iowait reduzieren

[DocMAX]

Ich habe hier einen "Würfel" als Server (ASUS PN52). Der hat 2 NVmE und 1 SDD drin. Alle zu einem ZFS zusammengefasst. Ich dachte eigentlich das reicht, aber was ich festelle ist ein hoher iowait (schwankt so 60%-90%) wenn viel los ist auf meinen VMs.

Ist das normal oder was kann ich kaufen so dass iowait nicht mehr der Flaschenhals ist?



Hier aktualisieren sich z.B. 2 Windows 11 VMs mit grossen Updates. Ist das normal? Die VM Platten sind mit VirtIO SCSI "angeschlossen".

 

[Falk R.]

Also du hast 3 Flash Speicher, im RaidZ1? Schon mal Langsam. Wieviel RAM und Auslastung hast du? Du brauchst für ZFS ja auch Cache.
Weitere Frage, wie sind denn die Windows VMs gesized? Wenn du deine CPU zu sehr Überprovisionierst, kann es auch langsam werden.

 

[news]

Welche Flash Speicherart sind verbaut? QLC, TLC, MLC oder SLC mit oder ohne Cache?
Wie sieht es mit einen ZFS Settings aus?
Ist atime=off?

 

[news]

Die Performance wird sich an der SSD ausrichten! Copy-on-Write halt.
Ich würde die SSD aus tauschen und ersetzen.
Dann anschließend, noch ein weiteren ZVOL als RaidZ1 mit 3 NVMe als Stripe anlegen,
dann werden alle weiteren Daten auf dem Beiden ZVOLs abgelegt und das lesen geht nochmals schneller.
Der Schreibdurchsatz hängt vom DDR Cache der NVMe und der Speicherart ab.

 

[DocMAX]

Welche Flash Speicherart sind verbaut? QLC, TLC, MLC oder SLC mit oder ohne Cache?
Wie sieht es mit einen ZFS Settings aus?
Ist atime=off?

Ne, atime war on. Jetzt off, schauen wir mal...
Speicherart von was? SSD oder NVME? Wie kann ich sie rausfinden?

 

[Falk R.]

Du kannst die Modelle der SSDs googlen oder einfach posten was du hast. Wie sieht dein ZFS aus, hast du ein Stripe, Mirror oder RaidZ1?
Die Informationen helfen schon eine ganze Menge.

 

[DocMAX]

BIWIN SSD 1TB
WD_BLACK SN770 2TB
Samsung SSD 870 QVO 4TB



Stripe

 

[sb-jw]

Also die Modelle für das Setup empfinde ich eher als Gruselig. Die WD Black und Samsung sind grundsätzlich in Ordnung, aber halt nicht für diesen Anwendungsfall.

Alleine die Tatsache, dass du SSDs und NVMe in eins wirfst wird dich Performance kosten. Es ist in der Regel immer so, dass sich die schnellsten am langsamsten orientieren werden. Dann ist die Samsung auch noch eine QLC, was zusätzlich Performance kostet.

Du kannst ja mal mit sar -d oder iostat -x schauen welche der dreien die höchste Wait hat.

Du solltest auch noch mal "zpool upgrade" ausführen, wie angemerkt von PVE.

 

[Falk R.]

Die Samsung QLC und ZFS sind eine ganz schlechte Kombination, vermutlich ist das auch die mit dem SATA Anschluss.
Quad Level Cell SSDs kann man gut als Dateiablage oder Archiv nutzen und alles wo fast nur gelesen wird.
ZFS hat aber beim Schreiben schon mehr Overhead als andere Systeme und wen du a-time eingeschaltet hattest, musste bei jeden lesen (access) auch geschrieben werden (last access time).
Wenn du Redundanz haben möchtest, könntest du ein Raid1 mit den NVMe machen, was aber schon gut Verschnitt gibt, da eine 1TB und die andere 2TB ist. Im Mirror hast du dann nur 1TB zur Verfügung. Die QLC kannst du am besten mit lvm-thin nutzen und da die großen Virtuellen Disks hinlegen, die aber keine hohen Schreibanforderungen haben.
Ganz wichtig bei dem Setup, das Backup. Ich habe schon ganz viele günstige SSDs schnell sterben gesehen wenn da ZFS drauf war.

 

[DocMAX]

Also ich möchte bei dem Würfel bleiben, alle Slots nutzen (2x NVME, 1X SATA). Welche Hardware könnt ihr mir konkret empfehlen? Ich mache Regelmäßige Backups. Ein RAID ist also nicht nötig. Mir ist die Speichergröße wichtiger.

 

[Falk R.]

Dann würde ich mich bei der Hardware von ZFS verabschieden.
Wenn du den PVE einmal neu installierst mit Standardeinstellung ext4, wird eine Partition für den PVE mit ext4 angelegt und der restliche Speicher in einen LVM-Thin Pool angelegt. Um die jeweilige Performance der SSDs nativ zu haben, würde ich dann auf den verbleibenden SSDs jeweils einen weiteren Thin Pool anlegen. Wenn dann eine SSD stirbt, ist nur der eine Pool weg und der Rest lebt noch.

Jetzt kommen bestimmt einige Leute mit, da hast du keine Bit Rot detection mehr, aber ohne ECC RAM ist das eh nicht zuverlässig und wenn du regelmässig Backups machst und Eventuell auch mal Restoretests wo du checkst ob deine Daten noch heile sind, bist du schon ganz gut aufgestellt.

 

[news]

Sorry, das entspricht nicht meiner Empfehlung für ein ZFS Pool mit passenden NVMe. Die SSD würde ich dann nur für das Betriebsystem nutzen und die NVMe als ZFS Raid1 - Mirror für den Datenpool, Backup usw.
Hardware jeder aktuelle PC mit stromsparender CPU ohne Overclocking und viel DDR4/5 RAM.

 

[DocMAX]

OK, ZFS wollte ich eigentlich behalten weil ich da snapshots nutze.

 

[Falk R.]

DU weißt, Snapshots ersetzten kein Backup!!!
Auf der WD Black hätte ich jetzt keinen Schmerz mit ZFS, wenn da nicht zu viel geschrieben wird, zu der BIWIN findet man keine klaren Aussagen was da drin steckt, eventuell machst du dann auf den beiden NVME jeweils einen ZFS Pool. Und dann den Wearout im Blick behalten.
Die QLC SSD würde ich auf gar keinen Fall mit ZFS betreiben, da kannst du die auch gleich wegwerfen, da die spätestens in einem halben Jahr stirbt mit ZFS. Entweder tauschst du die gegen eine Vernünftige SSD aus oder machst da ein LVM-Thin oder ähnliches draus.
Snapshots gehen ja auch bei LVM-Thin, aber wenn du die sparsamen Snapshots und die üblichen Auto Snapshot Scripte benutzen möchtest, wird das nix.
Eventuell mal doch zuerst die Doku lesen, die Tabelle hilft auf jeden Fall um eine Übersicht zu bekommen was geht.:
https://pve.proxmox.com/wiki/Storage

 

[DocMAX]

Also so schlecht doch eine SSD sein kann muss doch ein anderes Problem vorliegen. Die Samsung SSD 4TB QVO kann doch so schlecht nicht sein dass es im IO im Leerlauf (Grundrauschen von ca, 8 VMs/CTs) so aussehen kann...


Ich hab nun die Reissleine gezogen und die Crucial MX500 4TB bestellt (soll TLC haben).
Was mach ich nur jetzt mit dem Samsung-Schrott.

 

[Falk R.]

Die Samsung SSD 4TB QVO kann doch so schlecht nicht sein

Oh doch, aber das liegt nicht an Samsung sondern an der Quad Level Cell Architektur.
Enterprise Hersteller nutzen die QLCs auch, aber nur mit PLP und dann ausdrücklich nur für Backups und Filerdaten. Sobald etwas Schreiblast kommt brechen die ein auf unter HDD Niveau. TLC alleine bringt es auch nicht, erst ein gepufferter DRAM Cache macht das Schreiben flott und erhöht extrem die Haltbarkeit.

 

[DocMAX]

Also wird es wohl mit der neuen SSD nicht besser oder wie? Irgendein generelles Problem scheint aber mit der Samsung zu existieren. Mit SATA 6Gbps gab es im Kernel Log immer wieder Resets auf dem Bus. Habe jetzt gezwungenermaßen auf 3Gbps gedrosselt (libata.force=3.0) was evtl. bzw. sehr sicher die Leistung nochmal runterdrückt, aber keine Resets mehr.
Die Profi SSDs sind mir definitiv zu teuer für den Hausgebrauch. Evtl muss ich die SSD vielleicht doch einmal aus dem ZFS Verbund nehmen und auf LVM-thin oder so ausweichen. Vielleicht ist ZFS auch einfach total ungeeignet für NVME + NVME + SSD und macht zwischendurch einfach zu viel Mikro-I/O...

 

[news]

Also bei DMA Fehler auf den SATA 3 Schnittstellen, liegt es am SATA Kabel - kein SATA 3 Kabel - und meistens an der schlechten, mit knicken und in Winkeln verlegten Kabeln.
Alles neu gegen Markenware und immer in Bögen arbeiten hilft.
Ich verwende keine SATA 3 Kabel ohne Steckerdverriegelung.

 

[DocMAX]

Sehe ich auch so, nur in diesem Fall ist ein Würfel, da ist der SATA Anschluss direkt auf der Platine. Da kann's nicht das Kabel sein.

 

[Falk R.]

In einem Verbund, egal ob ZFS oder etwas anderes, sollte man immer möglichst geliche Disks nutzen, da immer alles auf das Niveau der langsamsten gebremst wird. Ein Mirror über 2 NVMe (auch wenn Consumer nicht optimalist) wird brauchbar laufen. Machst du ein RaidZ, was noch deutlich mehr Overhead erzeugt und bringst eine QLC SSD ins Spiel, wird es garantiert unerträglich.