Proxmox-Server: Gibt es ein I/O-Bottleneck?

[whiterabbit]

Hallo.
Wir haben hier einen ordentlich ausgestatteten Dell-Server (R730xd), der vor ein paar Jahren angeschafft wurde und zwei dieser CPUs auf zwei Sockets verbaut hat:

processor       : 63
vendor_id       : GenuineIntel
cpu family      : 6
model           : 63
model name      : Intel(R) Xeon(R) CPU E5-2698 v3 @ 2.30GHz
stepping        : 2
cpu MHz         : 1200.042
cache size      : 40960 KB
(also insgesamt 64 CPUs zu verteilen)

Dazu kommt reichlich RAM in der Größenordnung von 500GB. Die Platten wurden seinerzeit noch drehend angeschafft. Es sind viele 1.8 TB WD-Red Platten, die jeweils zu viert einen ZFS-Pool (mirror-0) bilden (und noch eine SSD als Cache dabei haben). Alle Platten hängen an einem SAS-HBA PERC HBA330 Adapter (IT-Mode).
Auf diesem Server laufen z.Z 14 VMs, von denen aber nur 2 mehr als 10 vCPUs zugewiesen bekommen haben. Die meiste Zeit sieht die Auslastung des Servers in etwa so aus:


Also: Eigentlich sollte das alles ja locker reichen und es keine Engstellen geben ...

... ABER: eine der VMs (und zwar die, auf ein MDM läuft und die ständig von den mobilen Geräten diesbgzl angefunkt wird) meldet manchmal Datenbank-Deadlocks. Da kam der Verdacht auf, dass die VM oder der Hypervisor evtl am Limit ist oder (kurzzeitig) zu stark beansprucht wird!? Ich habe daraufhin

atop

laufen lassen und mir auch

watch -n ,1 grep -R . /proc/pressure/

auf dem dell-Server angesehen.

Das liefert beispielsweise sowas wie:

grep -R . /proc/pressure/io
some avg10=3.12 avg60=1.28 avg300=0.74 total=712031962468
full avg10=3.00 avg60=1.24 avg300=0.72 total=685849770274

Nun weiß ich nicht, ob der Server tatsächlich (vermutlich hauptsächlich wegen der relativ langsamen Platten?) an ein Limit gelangt oder ob das alles völlig im grünen Bereich ist?!?

Und wo ich schon dabei bin: Falls ich den Server wirklich um ein paar SSD oder NVMe-Platten aufrüsten sollte, müssten diese Platten mit ZFS klar kommen. Da gab es ja kürzlich diesen Beitrag hier im Forum bzgl Samsung Platten, die nicht mit ZFS klar kommen:
https://forum.proxmox.com/threads/z...1-92tb-sata-schreckliche-schreibraten.131655/
Von daher: Habt ihr ein paar Empfehlungen für mich?
Vielen Dank!

 

[Falk R.]

grep -R . /proc/pressure/io
some avg10=3.12 avg60=1.28 avg300=0.74 total=712031962468
full avg10=3.00 avg60=1.24 avg300=0.72 total=685849770274

Nun weiß ich nicht, ob der Server tatsächlich (vermutlich hauptsächlich wegen der relativ langsamen Platten?) an ein Limit gelangt oder ob das alles völlig im grünen Bereich ist?!?

Und wo ich schon dabei bin: Falls ich den Server wirklich um ein paar SSD oder NVMe-Platten aufrüsten sollte, müssten diese Platten mit ZFS klar kommen. Da gab es ja kürzlich diesen Beitrag hier im Forum bzgl Samsung Platten, die nicht mit ZFS klar kommen:
https://forum.proxmox.com/threads/z...1-92tb-sata-schreckliche-schreibraten.131655/
Von daher: Habt ihr ein paar Empfehlungen für mich?
Vielen Dank!

Hi,
der I/O Pressure deutet schon auf Disks hin. Du könntest ja auch mal zur Kontrolle nach CPU pressure schauen.
Ich kann von den Samsung PM SSDs nichts schlechtes sagen, aber sind halt nur SATA SSDs.
Eventuell bekommst du ja gebrauchte SAS SSDs.

 

[whiterabbit]

Hallo Falk,
hier nochmal die gesamte Ausgabe (offenbar ist gerade nicht viel los):

/proc/pressure/io:some avg10=0.27 avg60=0.32 avg300=0.93 total=716705776370
/proc/pressure/io:full avg10=0.27 avg60=0.32 avg300=0.91 total=690346669603
/proc/pressure/cpu:some avg10=0.00 avg60=0.00 avg300=0.00 total=19014012629
/proc/pressure/cpu:full avg10=0.00 avg60=0.00 avg300=0.00 total=0
/proc/pressure/memory:some avg10=0.00 avg60=0.00 avg300=0.00 total=8832357938
/proc/pressure/memory:full avg10=0.00 avg60=0.00 avg300=0.00 total=8624660339

Da nur bei I/O etwas !=0 steht, würde ich auch auf die drehenden Platten tippen.
Der verbaute HBA kann mMn SSDs verwalten, doch ich habe auch dieses Teil entdeckt:
https://www.serverschmiede.com/konf...extender-expansion-kit-incl-cables-for-r730xd
Wenn es also einen richtigen Geschwindigkeitsschub geben soll, wäre das wahrscheinlich die bessere Wahl, oder?
Was ich in diesem Zshg aber nicht weiß ist, ob dieser Controller dann wieder mit ZFS und einem mirror-10 klar kommt.
Von daher bin ich über jeden weiteren Tipp dankbar.

 

[Falk R.]

Hallo Falk,
hier nochmal die gesamte Ausgabe (offenbar ist gerade nicht viel los):

/proc/pressure/io:some avg10=0.27 avg60=0.32 avg300=0.93 total=716705776370
/proc/pressure/io:full avg10=0.27 avg60=0.32 avg300=0.91 total=690346669603
/proc/pressure/cpu:some avg10=0.00 avg60=0.00 avg300=0.00 total=19014012629
/proc/pressure/cpu:full avg10=0.00 avg60=0.00 avg300=0.00 total=0
/proc/pressure/memory:some avg10=0.00 avg60=0.00 avg300=0.00 total=8832357938
/proc/pressure/memory:full avg10=0.00 avg60=0.00 avg300=0.00 total=8624660339

Da nur bei I/O etwas !=0 steht, würde ich auch auf die drehenden Platten tippen.

Da du auch kein CPU Pressure hast, ist es anscheinend nur Disk.

Der verbaute HBA kann mMn SSDs verwalten, doch ich habe auch dieses Teil entdeckt:
https://www.serverschmiede.com/konf...extender-expansion-kit-incl-cables-for-r730xd
Wenn es also einen richtigen Geschwindigkeitsschub geben soll, wäre das wahrscheinlich die bessere Wahl, oder?
Was ich in diesem Zshg aber nicht weiß ist, ob dieser Controller dann wieder mit ZFS und einem mirror-10 klar kommt.
Von daher bin ich über jeden weiteren Tipp dankbar.

Diese PCI Karte ist kein Controler sondern nur ein PCI Bifurcation Device. Du teilst die PCI Lanes auf 4 Kabel auf. Soweit ist das natürlich schön NVMe rein zu bekommen, aber deine Backplane im Server muss auch NVMe unterstützen. Standardmäßig haben die R730 nur SAS Backplanes und da kannst du die PCI Kabel nicht anschließen.

 

[whiterabbit]

Hallo Falk, bist Du da ganz sicher?
Ich habe die Serverschmiede diesbzgl mal angeschrieben und sie meinten ebenfalls, dass man das Controller Extender Expansion
Kit benötigt -- allerdings schreiben sie dazu: "im backplane splitmode", so dass man damit "4x NVMe einbauen kann".
Wo man im BIOS ggf einstellen muss, weiß ich bisher leider nicht.

Ich habe dazu aber dieses Video gefunden (offenbar nochmal ein etwas anderer Weg):
https://www.youtube.com/watch?v=xr7sV008Tjg (ab Minute 4:04) -- das wäre für meine Zwecke vielleicht die richtige Lösung, wenn es "nur" um mehr Geschwindigkeit in Sachen I/O geht. Letztlich bleibt es eine Frage es Preises, fürchte ich...

 

[Falk R.]

Hallo Falk, bist Du da ganz sicher?
Ich habe die Serverschmiede diesbzgl mal angeschrieben und sie meinten ebenfalls, dass man das Controller Extender Expansion
Kit benötigt -- allerdings schreiben sie dazu: "im backplane splitmode", so dass man damit "4x NVMe einbauen kann".
Wo man im BIOS ggf einstellen muss, weiß ich bisher leider nicht.

Ich habe dazu aber dieses Video gefunden (offenbar nochmal ein etwas anderer Weg):
https://www.youtube.com/watch?v=xr7sV008Tjg (ab Minute 4:04) -- das wäre für meine Zwecke vielleicht die richtige Lösung, wenn es "nur" um mehr Geschwindigkeit in Sachen I/O geht. Letztlich bleibt es eine Frage es Preises, fürchte ich...

Ja wenn du eine SAS/NVMe Backplane hast kannst du das einfach anstecken und der Split Modus regelt sich alleine.
Aber du musst vorher gucken ob du eine Tri Mode Backplane (NVME+SAS+SATA) oder nur SAS/SATA hast.
Das siehst du ob da Anschlüsse vorhanden sind, wo die abgebildeten Kabel dran passen.

 

[whiterabbit]

Hallo Falk, ok -- danke für den Tipp. Das kann ich vermutlich remote gar nicht herausfinden sondern nur, indem ich den Server vor Ort öffne und reinschaue, oder?
Was sagst Du denn zu der Alternative hier:
https://cloudninjas.com/products/su...d?utm_source=youtube&utm_medium=product_shelf
Das kommt mir ja fast noch einfacher vor. Damit gehen zwar nur 2 Platten ... aber es könnte unter'm Strich etwas günstiger sein, oder?

 

[Falk R.]

Du kannst auch die Service Tag nehmen und bei Dell schauen was ursprünglich verbaut wurde.

Die m.2 Adapter sind gut für ein OS. Es gibt kaum vernünftige Enterprise NVMe als m.2 normalerweise nur U2.

 

[whiterabbit]

Ok -- aber an das Service Tag komme ich gerade auch nicht ran ...

Weiß nicht, ob das weiterhilft aber ich hatte mir damals im Wiki notiert:

Erstaustattung:
Dell PowerEdge R730xd 19" 2U
24x 2,5“SFF
2x Intel XEON E5-2600 v3
v4 DDR4 ECC PERC SAS SATA Raid 4x NVMe 2x PSU -CTO-

Und welche U2 würdest Du empfehlen (wie gesagt: Am liebsten mit ZFS für die VMs)? Wie sieht's z.B. mit den "Micron 7450" aus (falls die passen)?

 

[waltar]

Service tag / sn --> see output of dmidecode.

 

[Falk R.]

Ok -- aber an das Service Tag komme ich gerade auch nicht ran ...

Weiß nicht, ob das weiterhilft aber ich hatte mir damals im Wiki notiert:

Erstaustattung:
Dell PowerEdge R730xd 19" 2U
24x 2,5“SFF
2x Intel XEON E5-2600 v3
v4 DDR4 ECC PERC SAS SATA Raid 4x NVMe 2x PSU -CTO-

Und welche U2 würdest Du empfehlen (wie gesagt: Am liebsten mit ZFS für die VMs)? Wie sieht's z.B. mit den "Micron 7450" aus (falls die passen)?

Ok, da steht es schon, ein 4NVMe Gehäuse. Dann läuft der Adapter.

Die Micron sind OK. Schau doch mal bei den vielen Gebruchthändlern vorbei. Da gibts oft gute Schnäppchen. Ich weiß nicht welche Kapazitäten du brauchst, aber hier mal ein Preisbeispiel: Link

 

[whiterabbit]

Super -- das schaue ich mir auf jeden Fall an. Auch die gebrauchten Platten sind ja wirklich sehr viel günstiger ... nur: sollte man das tun? Man bekommt sicherlich keine Garantie, wenn sie ausfallen oder der ZFS-Pool plötzlich "degraded" meldet, oder?

Übrigens was den Service tag angeht: Ok, das konnte ich mit "dmidecode" herausfinden, aber bei Dell geht's damit nicht sonderlich viel weiter!? Ich sehe nur, dass es ein R730xd ist und dass der Service abgelaufen ist aber weitere Infos konnte ich damit bisher nicht herausfinden.

 

[thearona]

die meisten seriösen HW Verkäufer geben Garantie auf ihre used Sachen. Wir bestellen regelmäßig bei Serverschmiede und (ich glaub), wir haben 1 Jahr Garantie. Austausch läuft problemlos, Teile sind meist in 1-2 Tagen da. Gibt aber auch Verkäufer mit kürzer Garantie.

Dell > Support > Support-Startseite > Tag eingeben > auf der rechten Seite auf "Produktspezifikationen anzeigen" klicken, da wir der Auslieferzustand der HW gelistet.

ps: Wenn die Dell Garantie abgelaufen ist, könnt ihr den Server bei einem TPMler (third party maintenance) unter Wartrung geben, dann ist auch die Garantie von den used Sachen egal (zumindest bei uns).

 

[whiterabbit]

Dell > Support > Support-Startseite > Tag eingeben > auf der rechten Seite auf "Produktspezifikationen anzeigen" klicken, da wir der Auslieferzustand der HW gelistet.

Ah - ok! Gefunden! Nun muss man sich aber durch die Abkürzungen und Teilenummern wühlen, die dort verwendet werden. Ich würde vermuten, dass die Angabe unter

350-BBFE : Chassis with up to 24, 2.5 Hard Drives and 2, 2.5" Flex Bay Hard Drives

stehen müsste?

Über die Support-Erweiterung für Gebrauchte muss ich mal nachdenken. Klingt gut!

 

[thearona]

ja, sollte dort drin sein ... Die Beschreibungen sind leider eher dürftig, deswegen muss man meist jede Nummer Gogglen, bis man das richige gefunden hat. Aber zumindest stellt DELL die Infos public zur Verfügung, andere OEMs machen das nicht.

 

[whiterabbit]

Nur nochmal aus Interesse: Ist das Service tag etwas, was man besser für sich behält oder kann man das ruhig öffentlich behandeln? (Der Server wurde eh gebraucht gekauft...). Anders gefragt: Kann man damit irgendwelchen Blödsinn anstellen, wenn man das Service Tag kennt?

 

[news]

Nur nochmal aus Interesse: Ist das Service tag etwas, was man besser für sich behält oder kann man das ruhig öffentlich behandeln? (Der Server wurde eh gebraucht gekauft...). Anders gefragt: Kann man damit irgendwelchen Blödsinn anstellen, wenn man das Service Tag kennt?

Ich sehe das so in der heutigen Welt, Daten Minimalismus ist angesagt. Bedeutet: man gibt nichts raus, was man nicht unbedingt muss.

 

[Sinux]

Nur nochmal aus Interesse: Ist das Service tag etwas, was man besser für sich behält oder kann man das ruhig öffentlich behandeln? (Der Server wurde eh gebraucht gekauft...). Anders gefragt: Kann man damit irgendwelchen Blödsinn anstellen, wenn man das Service Tag kennt?

Ich würde den Service Tag auch nicht rausgeben, warum auch...

 

[whiterabbit]

, warum auch...

na ja -- zum Beispiel für einen Fall wie diesen! Ich kenne mich mit den ganzen Abkürzungen bei Dell nicht wirklich aus ... aber vielleicht einer von Euch!? Daher die Frage, ob man mit dem Service-Tag irgendwelchen Blödsinn anstellen könnte...

Ich kann aber auch nur den vermutlich entscheidenden Ausschnitt posten. Der lautet:

350-BBFE : Chassis with up to 24, 2.5 Har d Drives and 2, 2.5" Flex Bay Hard Drives
Teilenummer     Beschreibung     Menge
JXJ30     INFO,JOINT-BACKPLANE     0
XWYP2     INFO,FLEX,RAID,RTNR,GNRC     0
HC5VX     ASSY,CHAS,2.5,2U,R730XD,V2     1
TW13J     ASSY,CARR,MTG,BLNK,HD,2.5,V3     8
8KX9H     Assembly,Cable,SASHD,2.5,Rear,R730XD     1
FD2FJ     ASSY,CBL,I2C,BKPLN,R420/R320     1
JWGFN     Assembly,Cable,Power,Backplane,Rear,R720XD     1
NHDXG     ASSY,CRD,BKPLN,2X2.5,R730XD,V2     1

Hoffe, dass man daraus abschließend ablesen kann, ob es sich nun um ein

 Tri Mode Backplane (NVME+SAS+SATA) oder nur SAS/SATA

handelt?

 

[waltar]

Looks like the R720xd doesn't support tri-mode backplanes https://www.dell.com/support/manual...383a56-781f-4847-a786-c634a13e5657&lang=en-us but the R730xd you have do. But if not assembled as that which looks so at line "JWGFN Assembly,Cable,Power,Backplane,Rear,R720XD 1" I suppose not in that model you have in that configuration.