Die Frage ist immer welche Workload du hast. Versuch mal 100GB als 4K Sync Random Writes auf die SSD mit ZFS zu schreiben. Würde mich nicht wundern wenn du da nicht über 1-stellige MB/s kommst, auch wenn die mit 1 GB/s beworben sind.
Und dann darfst du die Write Amplification nicht vergessen. Die SSD ist nur mit 100 TB TBW spezifiziert was die Haltbarkeit angeht. Ich habe hier mit ZFS eine Write Amplification von Faktor 3 bis 82 (je nach Workload) mit einer Write Amplification von Faktor 20 im Schnitt (über die Monate bei normaler Homeserver-Nutzung gemittelt). Heißt also für jeden 1TB den ich in einer VM schreibe werden 20TB auf die SSDs geschrieben. Wenn ich da also 5TB in einer VM schreiben würde, dann wären die 100TB TBW der SSD schon überschritten. Schreibst du mehr als 100TB auf die SSD erlischt deine Garantie weil du zu viel geschrieben hast, selbst wenn die 5 Jahre der Garantie noch nicht erreicht sind (Garantie ist immer "X Jahre
oder bis erreichen der TBW"). Mein Heimserver schreibt hier wegen der Write Amplification im Leerlauf 900 GB am Tag. Nach 111 Tagen hätte die SSD da bei mir schon ihre spezifizierte Lebenserwartung überschritten. Heißt dann nicht, dass die SSD sofort nach Überschreitung kaputt ist, aber für mehr liefert dir Intel halt keine Garantie und sollte sie danach kaputt gehen bleibst du auf den Kosten sitzen.
900GB am Tag hört sich zwar erstmal nach viel an, ist es aber eigentlich nicht. Ich habe ja eine Write Amplification von Faktor 20, also ich muss nur 45GB pro Tag in VMs schreiben um auf 900GB am Tag für die SSDs zu kommen. Dann habe ich gute 20 VMs am laufen. Sind also nur 2,25 GB pro Tag pro VM. 2,25GB pro Tag erreicht man wenn man im schnitt mit nur 26 kb/s schreibt. 20 VMs die mit je 26 kb/s schreiben (was schon die Logs und Metrics fast alleine im Leerlauf schaffen können) resultieren dann in 900GB am Tag.
Und eine Write Amplification von Faktor 20 heißt nicht nur die SSD ist 20x schneller kaputt, es heißt auch die Schreibperformance ist auf nur 1/20tel gedrosselt.
Wie gut oder schlecht deine Write Amplification ist hängt von vielen Dingen ab wie z.B.:
- verschiedene genutze Blockgrößen
- Sync/Async Writes Verhältnis
- wie komplex das Dateisystem ist
- Virtualisierungsoverhead
- Verschlüsselung
- ob kleine oder große Writes
- ob sequentielle oder random Writes
- ob eine Powerloss Protection verbaut ist oder nicht, da ohne Powerloss Protection keine Sync Writes optimiert werden können
- wieviele Dateisysteme du verschachtelst
- deine gewählte Volblocksize
- wieviel Overhead die Metadaten deiner Dateisysteme erzeugen
- benutztes Raid
- dein SSD modell
- ...
Das beste was ich hier gemessen habe war eine Write Amplification von Faktor 3 bei großen sequentiellen async Writes. Das schlechteste Faktor 82 bei 4K random Sync Writes mit nativer ZFS Verschlüsselung.
Ich habe da Intel S3710 Enterprise SSDs verbaut. Da haben die 400GB Modelle eine TBW von 8300 TB. Da verträgt meine SSD laut Papier 83x so viele Writes bevor sie kaputt geht, obwohl sie kleiner ist.
Was das Mainboard bezüglich "nur Intel NVMes" schreibt sollte eigentlich egal sein wenn du ZFS für Raid nutzen willst. ZFS macht das Raid ja in Software und
man sollte kein hardwareseitiges Raid in Kombination mit ZFS verwenden. Das Raid vom Mainboard müsste dann also sowieso deaktiviert werden. Denke das bezieht sich dann nur auf HW Raid, wenn dein Mainboard das Raid handhaben soll. Solltest du die SSDs behalten wollen würde ich dann aber auch eher statt ZFS zu dem HW onboard Raid raten, da es bestimmt schonender für die SSDs ist. Dann fallen aber natürlich auch die ganzen Features wie Deduplikation, Blocklevel Kompression, Replication, ZFS Snapshots, Selbstheilung bzw Schutz vor schleichendem Dateiverfall etc weg. Aber eben genau all diese Enterprise Features die ZFS so toll machen, machen es halt auch so komplex, dass es da massig Overhead gibt was dann auf die Leistung und Haltbarkeit der SSDs geht.
Außerdem solltest du gucken wie deine M.2 Slots am Mainboard angebunden sind. Meist ist einer der M.2 Slots direkt mit der CPU verbunden und hat volle 4 PCIe Lanes an Bandbreite alleine für sich zur Verfügung. Der zweite M.2 Slot ist meistens über den Chipsatz des MAinboards angebunden und muss sich die Bandbreite (meist auch 4 PCIe Lanes) zur CPU mit allen SATA Ports, allen USB Ports, NICs, Soundkarte, anderen PCIe Slots etc teilen. Ist da dann viel auf den SATA- oder USB-Ports los, dann muss die NVMe um die Bandbreite kämpfen und kann keine volle Performance liefern. Das bremst dann natürlich im Raid1 noch die andere schnelle M.2 SSD mit aus, da diese ja auf die langsamere M.2 SSD warten muss. Kann also durchaus sein, dass da deine HDDs die NVMes ausbremsen und umgekehrt, wenn du mal was von den NVMe zu den HDDs rüberkopieren willst. Volle Bandbreite mit 2 NVMe SSDs erreicht man da bei einfachen Consumer Boards normal nur mit PCIe zu M.2 Karten, da die einfachen Desktop CPUs einfach zu wenige PCIe Lanes liefern (meist nur 20 oder 24 Lanes), als dass man da eine GPU mit vollen 16 Lanes + zwei NVMe mit je 4 eigenen Lanes + sonstige Onboard-Sachen betreiben könnte.
