Schlechte Random Read/Write Performance Raid10 ZFS 4x WD Black SN750 500 GB

[christophs]

Hallo Leute,

ich bin komplett neu in die Proxmox Materie eingetaucht.
Bisher hatte ich einen Home Server mit Hyper V am laufen und bin nun auf Proxmox umgestiegen.

Da ich nur einen kleinen 2HE Mini Server habe, habe ich 4 Nvmes verwendet (WD Black SN750 mit 500 GB PCIe 3.0x4) und auf diesen Proxmox installiert und alles default gelassen. Ich habe ein Raid10 aus den 4nvmes erstellt und ashift = 12 , Compression = lz4 gewählt.

Davon wird Proxmox selbst gebooted und es laufen verschiedene VMs drauf.
Ich habe eine WIn10 VM wo ich auch eine GTX 1650 erfolgreich durchgeschliffen habe.
Da habe ich dann weils mich interessiert hat, einen Disk Speed Test gemacht.

Ich meine nur das hier bei Random Read / Write was nicht stimmt?
Natürlich sind das keine Enterprise nvme ssds aber da hätte ich jetzt schon mehr erwartet?

Was meint ihr bzw. hat hier jemand eine Idee was ich da noch anpassen könnte um bessere Werte zu erreichen?
Die Werte sind ja niedriger als mit sata ssds?




Danke euch vorab schon für euren Input.

lg C

 

[Dunuin]

Also ersteinmal taugt Crystal Disk Mark nicht wirklich zum Testen der Laufwerke. Du misst eigentlich nur deinen RAM, da alles nur asynchrone Zugriffe sind welche dann erst von Win selbst im RAM gecacht werden, dann vom ARC (der wieder im RAM sitzt) auf dem Host und als letztes dann noch einmal vom RAM-Cache innerhalb der SSDs.

Willst du wirklich die Laufwerke testen musst du synchrone Zugriffe erzwingen. Das kann man z.B. mit Benchmarktools wie "fio" oder man erzwingt testweise synchrone Zugriffe für ZFS (zfs set sync=always PoolName) und setzt den Cache Mode der virtuellen disk auf "none". Und dann muss man auch schon genug Schreiben (also ein vielfaches der RAM-Größe des Gastes) und nicht nur 5x 1GB, damit Windows die Writes nicht alle im RAM cachen kann.

Und am besten testet man die Laufwerke auch vom Host selbst aus um keine verfälschten Werte zu bekommen. Zwischen Host und Gast hast du ja immer noch die Virtualisierung die bremst. Kann auch interessant sein zusätzlich noch den Gast zu benchmarken, damit man vergleichen kann, was da im Verglecih zum Host an Performance durch den Overhead der Virtualisierung verloren geht, aber dann müsstest du ein Programm nehmen, welches sowohl unter Linux als auch Windows läuft. Denn Messergebnisse von verschiedenen Programmen lassen sich nicht wirklich vergleichen.

Das Consumer SSDs, egal ob SATA oder NVMe, bei Random 4k Writes sehr lahm sind ist übrigens normal. Gerade wenn du die mit einer Queue Deep von 1 und nur einem Thread misst. Damit du die IOPS erreichst, womit die SSDs beworben werden musst du die Queue Deep und Threads schon viel höher haben, damit da sehr viele parallele Operationen stattfinden. Und generell wollen Consumer SSDs halt mit hohem Durchsatz bei sequentiellen Zugriffen punkten und IOPS sind eher nebensächlich. Und ganz übel wird es halt bei 4k Random Sync Writes, weil denen ja die Powerloss Protection fehlt und daher der eingebaute RAM Cache nicht genutzt werden kann.

 

[christophs]

Danke für die Infos
Ich habe leider keinen anständigen fio command gefunden der so was ähnliches mit random read write macht.

Habe aber zur Zeit irgendwie ein anderes Problem.
Habe auf der ersten nvme im Pool CHKSUM Fehler.
Das ging jetzt bis hin dass dann auf einmal die Disk unaviable war und ich habe ein replace eingeleitet - resilver ist dann durchgelaufen.
Nun die nächste Disk (zweite Disk im Pool) wo ich ein replace einleiten musste und ein resilver durch gelaufen ist.

Was kann das sein? Defektes oder inkompatibles RAM?
Habe jetzt mal neue Riegel bestellt..

 

[Dunuin]

Kann gut der RAM sein. Ist das ECC RAM? Der würde das ja selbst korrigieren oder wenigstens meckern. Am besten mal memtest86 booten und über Nacht durchlaufen lassen.

 

[christophs]

Sorry für die späte Rückmeldung - nach Ram tausch ist nun nix mehr aufgetreten.
Nachdem es alles neue Hardware war habe ich alle Riegel zurückgeschickt und neue kommen lassen.
Sind keine ECC Ram -> die Kiste ist Consumer Hardware mit einem i9 11900T - die Boards können alle kein ECC

Bezüglich benchmarken von den Nvmes habe ich leider bis dato noch nix brauchbares gefunden

 

[Dunuin]

Sorry für die späte Rückmeldung - nach Ram tausch ist nun nix mehr aufgetreten.
Nachdem es alles neue Hardware war habe ich alle Riegel zurückgeschickt und neue kommen lassen.
Sind keine ECC Ram -> die Kiste ist Consumer Hardware mit einem i9 11900T - die Boards können alle kein ECC

Deshalb empfehle ich immer professionelle Hardware mit ECC RAM und Co, damit man defekte Hardware auch schnell erkennt und die einem nicht langsam die Daten korrumpiert oder wie bei dir sogar zum Ausfall der ganzen SSD führt.

Bezüglich benchmarken von den Nvmes habe ich leider bis dato noch nix brauchbares gefunden

Fio läuft auf so ziemlich allem inkl Windows, Linux, Unix. Und Fio kann so ziemlich alles was man sich erdenken kann. Ist nur sehr kompliziert und man muss wissen was man da genau tut, damit auch sinnvolle Zahlen bei rauskommen.