NVME RAID-1

[mle]

Hy Leute

Habe mal ein Frage zu einem Storage oder Verständnis Problem.

Setup:
Dell-R720
CPU: 2x20 Core
RAM: 64GB
1x HW-RAID-1 2x-250GB Samsung PRO Sata SSD (Für HOST)
8x 4TB HDD ZFS RAID-Z3 (H710mini flash to IT-mode) (Für Daten, Backups, etc.)
2x NVME Samsung Pro 1TB (Aktuell Mirror ZFS) (Für z.b VMs, Datenbanken, etc.) (PCIe v3)

So jetzt mal zu meinem Problem.

Ich weiß nicht wie sich ZFS und der RAM bei zwei ZFS Pools verhält (ob 64gb RAM dann reichen oder braucht so ein Setup dann schon 2x mal 32gb?)
Brauche eigentlich nur 16gb RAM für die VMs die dann laufen der REST kann ruhig von ZFS benutz werden.

So eigentlich schon alles eingerichtet aber die Performance von den NVME SSD unter ZFS ist einfach nicht zufriedenstellend. c.a 1,5gb lesen und 800mb schreiben.
Bei den HDDs unter RAID-Z3 kommt die gleiche Geschwindigkeit raus. (Hier würde es mir aber reichen)
Hab es vorher unter Windof getestet und da hatte ich einen Speed unter RAID-1 von 7,7gb lesen und 4-5gb schreiben. (NTFS)

Jetzt wehre meine Idee gewesen einen LVM RAID-1 auf den NVMe SSDs einzurichten. (Weiß aber nicht ob das geht und hab in der Proxmox Doku nichts Passenden gefunden)

Ein andere Frage stehet auch noch im RAUM.

Würde auf den HDDs ZFS RAID-Z3 gerne ein DATA set mit Deduplikation einrichten nur für die Backups,
geht das oder geht das nur mit den gesamten ZFS pool und kann ich Deduplikation mit Komprimierung nutzen oder ist das so ein entweder oder ding.

Danke führ eure Antworten

MFG. Mike

 

[floh8]

also wegen der nvrams - suche doch mal im internet, ob du da nicht ein how-to findest. das problem ist dort sicherlich bereits geklärt.
bei uns gibts auch was: https://forum.proxmox.com/threads/proxmox-ve-zfs-benchmark-with-nvme.80744/unread

zfs:
du kannst für die Daten und das Backup unterschiedliche Subvolumes anlegen bzw. werden automatisch angelegt, bei der Erstellung der VM,CT. für jedes subvolume kannst du separat die Einstellung für Deduplizierung und Komprimierung konfigurieren. beides kann auch gleichzeitig aktiviert werden.
RAM:
bei zfs gibt es die Faustregel 1TB benötigt 1 GB RAM. Mit Deduplizierung wird nochmals nicht wenig RAM benötigt.
Deine 64 GB sind mehr als ausreichend, ob du Riegel ausbauen kannst, musst du ausprobieren.

 

[mle]

Erstmal Danke für die Erklärung wie ZFS unter Linux bzw. Proxmox funktioniert.

also wegen der nvrams - suche doch mal im internet, ob du da nicht ein how-to findest. das problem ist dort sicherlich bereits geklärt.
bei uns gibts auch was: https://forum.proxmox.com/threads/proxmox-ve-zfs-benchmark-with-nvme.80744/unread

Hab natürlich schon das Internet durchforstet.
Finde aber nur das man es nicht mit solchen SSDs machen sollte sondern eher mit Intel Optane oder ähnliche Enterprise SSD storage. Weiß aber jetzt nicht ob mir ein feature auf einer Samsung Pro NVNE fehlt oder es eher am schreib/lese Limit liegt. Warum man solche SSDs nicht einsetzen sollte bzw die schreib/lese rate so langsam unter ZFS ist.

Wenn ich eine alternative zu ZFS benutzen kann ist das auch kein Problem auf den NVMEs da ich hier keine Features wie Deduplikation oder Komprimierung benötige. Sie sollen halt nur in einem Mirror laufen und
Snapshots von VMs oder LXCs sollten möglich sein.

Deine 64 GB sind mehr als ausreichend, ob du Riegel ausbauen kannst, musst du ausprobieren.

Wenn RAM Rigel gemeint sind dann sollte das kein Problem sein. Es sind 8x 8GB Riegel verbaut, und ich könnte noch 16x weitere verbauen muss halt nur aufpassen beim erweitern das der Octa Channel erhalten bleibt.

Werde aber nur nachrüsten wenn es für ZFS Performance Vorteile bringt.

 

[floh8]

interessting:https://github.com/openzfs/zfs/issues/10856

 

[Dunuin]

Warum man solche SSDs nicht einsetzen sollte bzw die schreib/lese rate so langsam unter ZFS ist.

Gibt verschiedene Gründe warum man keine Consumer SSDs wie deine Samsung Pros für ZFS benutzen sollte. Zum einen wäre da die hohe Write Amplification die ZFS verursacht. Hast du eine Write Amplification von Faktor 5 geht deine SSD 5x so schnell kaputt und schafft nur 1/5 der Leistung. Ist wie Faktor 10 dann ist sie 10x so schnell kaputt und hat nur 1/10 der Leistung. Je nach Workload kannst du dir da eine echt üble Write Amplification einfangen. Hier bei mir sind es so Faktor 3 bis 81 je nach Art des Schreibvorangs. Enterprise SSDs haben eine höhere Haltbarbeit (meine hier halten z.B. 16x so lange wie deine Samsungs Pros bei gleicher Größe) und daher kommen die viel besser mit der Write Amplification klar. Das andere ist das deine SSDs keine Powerloss Protection haben, was zur Folge hat, dass da für Sync Writes kein Caching benutzt werden kann und daher Sync Writes (und deshalb vorallem auch Datenbanken) sehr langsam sind. Und dann sind die Consumer SSDs eher für kurze stoßartige Lasten ausgelegt und nicht für permanenten Dauerzugriff. Die sind dann zwar für Async Writes schnell aber die Performance bricht auch sehr schnell auf sehr üble Werte ein wenn man doch einmal etwas länger/mehr schreiben will. Macht sich dann gut im Benchmark aber nicht im realen Server-Einsatz.
Ich denke mal der Overhead von ZFS wird da dein Hauptproblem sein. Ich bin mir aber auch ziemlich sicher, dass du da für deine Testergebnisse nicht für dein Dataset "primarycache=metadata" gesetzt hast was dann bedeutet, dass du da eigentlich nur die Performance deines ARC (also RAMs) misst und nicht die Performance der SSDs selbst. Und wenn du dann den Test noch in z.B. einer Windows VM durchgeführt haben solltest, dann sind die Werte noch weniger aussagekräftig, da Virtualisierung schon sehr stark den RAM verlangsamen kann und da du ja nur den RAM misst, die Performance dann halt gut einbricht. Und dann hat der Gast ja auch noch sein eigenes Dateisystem was bei ZFS obendrauf läuft, du fängst dir also nochmal Write Amplification ein und da sich Write Amplification nicht addiert sondern multipliziert fällt dann die Performance exponentiell. Also am besten mal z.B. fio auf dem host für benchmarks verwenden anstatt so etwas wie Crystaldiskmark in einer VM.