Proxmox Cluster mit VM's auf NFS Share

[Skyfay]

Also ich habe mir das jetzt nochmal überlegt. Wenn ich U.2 nutzen wollten würde, dann würde ich folgende SSD's kaufen.
Intel SSD (Intel) P4510 8 TB U.2 NVMe PCIe 3.1 SSDPE2KX080T801
oder
Kingston DC1500M

Nun brauche ich ja diese Adapter dazu. Bei meinem Mini Server könnte ich die M.2 Abdeckung weg lassen und somit einen M.2 auf U.2 Adapter kaufen:
Delock Adapter M.2 Key M > SFF-8643 NVMe

Jedoch bei dem Intel Nuc sind die M.2 Anschlüsse so verbaut, dass ich da kein kabel raus bekomme weil die mit der CPU hinter einem grossen Lüfter eingeschlossen sind.
Da müsste ich dann die PCIE-Karte nehmen. Jetzt hab ich irgendwo gelesen, dass das Mainboard dies über PCIE auch explizit unterstützen muss damit es dann funktioniert. Stimmt das oder sollte das immer funktionieren?

Da Mainboards für den Endverbraucher in der Regel keine U.2-Anschlüsse besitzen, lässt sich das U.2-Kabel mithilfe einer Steckkarte im M.2-Format oder über eine PCIe-Erweiterungskarte mit entsprechender U.2- Buchse an das restliche System anschließen. Letztere Adapter erlauben zwar ein breiteres Einsatzgebiet, das Bios muss aber auch die Anschlussart aktiv unterstützen. Fehlt die Option in der Firmware, so ist der Betrieb eines U.2-Speichers nicht möglich.
Quelle

Mein Setup würde wie folgt aussehen:
System 1 (Intel NUC)
Speicher: Intel SSD (Intel) P4510 8 TB U.2 NVMe PCIe 3.1 SSDPE2KX080T801
PCIE Adapter: Delock PCI Express x4 Karte zu 1 x intern SFF-8643 NVMe – Low Profile Formfaktor
Kabel: Delock SFF-8643 auf U.2 Port

System 2 (AsRock H570M-ITX/ac)
Speicher: Intel SSD (Intel) P4510 8 TB U.2 NVMe PCIe 3.1 SSDPE2KX080T801
M.2 Adapter: Delock Adapter M.2 Key M > SFF-8643 NVMe
Kabel: Delock SFF-8643 auf U.2 Port

Wäre das so möglich?

 

[Dunuin]

Keine Consumer SSD hat PLP, also wird immer die Performance schlecht und der Verschleiß hoch sein, egal welches Modell von egal welchem Hersteller du wählst, sobald da Sync Writes ins Spiel kommen. Sync Writes hast du halt viel bei ZFS und DBs. Daher sagen alle offiziellen Quellen, dass man nur was mit PLP und genug TBW/DWPD kaufen sollte. Weitere robuste SSD als SLOG zum Sync Writes abfangen, damit die nicht so sehr die anfälligen Consumer SSDs abnutzen, passt bei dir dann ja vmtl auch nicht in die MiniPCs.

Dann habe ich ja keine andere Möglich entweder 2.5 Zoll Sata SSD‘s oder halt Consumer M.2.

Naja, die 4TB Enterprise M.2 NVMe SSDs würden ja schon gehen, aber halt 450€ und nicht 300€

 

[Skyfay]

Keine Consumer SSD hat PLP, also wird immer die Performance schlecht und der Verschleiß hoch sein, egal welches Modell von egal welchem Hersteller du wählst, sobald da Sync Writes ins Spiel kommen

Was macht denn PLP so besonders dass die Leistung verbessert und der Verschleiss niedriger wird?

 

[Dunuin]

Was macht denn PLP so besonders dass die Leistung verbessert und der Verschleiss niedriger wird

Async Writes laufen so ab:
Async Write -> RAM -> DRAM Cache -> SLC Cache -> QLC/TLC/MLC

Kleine Schreiboperationen sind sehr langsam und nutzen die SSD massiv ab.
Bei Async Writes werden also viele kleine Schreiboperationen erst im super schnellen aber flüchtigen RAM und DRAM Cache gesammelt, welcher sich auch nicht abnutzt, dann werden die dort aggregiert und optimiert und als ein großer schneller und schonender Schreibvorgang auf den schnellen SLC Cache geschrieben, welcher sich dann abnutzt. Wenn die SSD dann mal nichts zu tun hat schreibt sie alles nochmal vom SLC Cache in den lahmen QLC/TLC/MLC NAND.

RAM und DRAM Cache sind aber wie gesagt flüchtig, d.H. fällt mal der Strom aus ist alles darin weg.

Alles was kritisch ist und auf keinen Fall verloren gehen darf wird daher als Sync Write geschrieben. Da immer ein Stromausfall stattfinden kann und Consumer SSDs keine Notstromversorgung (PLP) haben können Consumer SSDs daher weder RAM noch ihren DRAM Cache nutzen. Alles wird lahm, da es nicht im super schnellen DRAM Cache gecacht werden kann. Auch nutzt sich die SSD dann super schnell ab, da jede einzelne kleine Schreiboperation direkt und unoptimiert auf den SLC Cache geht.
Sieht bei Consumer SSDs also so aus:
Sync Write -> SLC Cache -> QLC/TLC/MLC NAND

Enterprise SSDs können ihren super schnellen DRAM Cache aber trotzdem benutzen und auch weiterhin die Schreiboperationen vor dem Schreiben optimieren. Die Performance bricht nicht abnormal ein und Abnutzung hält sich auch in Grenzen.
Weil deren DRAM Cache ist zwar auch flüchtig, aber die SSD kann dank der PLP für einige Sekunden auch ohne Strom laufen. Erkennt die Enterprise SSD dann einen Stromausfall, dann kopiert sie schnell panisch den Inhalt des flüchtigen DRAM Caches in den nichtflüchtigen SLC Cache.
Bei Enterprise SSDs ist es also:
Sync Write -> DRAM Cache -> SLC Cache -> QLC/TLC/MLC NAND

Bei Async Writes tut sich dann zwischen Consumer und Enterprise SSDs nicht so viel. Bei Sync Writes sind Enterprise SSDs aber gerne mal Factor 100 schneller als Consumer SSD mit nur einen Bruchteil der Abnutzung, einfach nur weil sie ihren DRAM Cache weiterhin nutzen können.

Und dann hast du bei Enterprise SSDs je nach Budget noch andere Vorteile wie viel größere Caches, hochwertigerer NAND der schneller und langlebiger ist (SLC besser als MLC, MLC besser als TLC, TLC besser als QLC), eine größere Reserve an NAND Zellen die defekte Zellen ersetzen können und eine Firmware die nicht auf kurze schnelle Sprints mit langer Verschnaufpause sondern eher auf lange aber langsamere Marathons ausgelegt ist.

 

[Skyfay]

Sehr spannend vielen Dank für die Erklärung

Ich habe jetzt mal folgendes Setup bestellt:
System 1 (Intel NUC)
Speicher: Intel SSD (Intel) P4510 8 TB U.2 NVMe PCIe 3.1 SSDPE2KX080T801
PCIE Adapter: Delock PCI Express x4 Karte zu 1 x intern SFF-8643 NVMe – Low Profile Formfaktor
Kabel: Delock SFF-8643 auf U.2 Port

System 2 (AsRock H570M-ITX/ac)
Speicher: Intel SSD (Intel) P4510 8 TB U.2 NVMe PCIe 3.1 SSDPE2KX080T801
M.2 Adapter: Delock Adapter M.2 Key M > SFF-8643 NVMe
Kabel: Delock SFF-8643 auf U.2 Port

Mal schauen ob da alles funktioniert. Wenn ja sollten ja dann die SSD's ne Weile halten.

 

[Skyfay]

Hätte noch kurz ne andere Frage. Wenn die SSD‘s eintreffen muss ich diese ja bei beiden Servern installieren.
Macht es Sinn irgendwas auf dem Host zu sichern und danach wiederherzustellen oder soll ich einfach Backups der VM‘s machen, dann Proxmox auf beiden Rechnern neu aufsetzen und dann die VM‘s vom NFS Share wiederherstellen?

Dann muss ich halt die Server wieder zusammen schalten aber das ist ja keine grosse Sache.

Was empfiehlt sich da normalerweise?

 

[Dunuin]

Konfigs sind alle im "/etc" Ordner, besonders in "/etc/pve". Die würde ich schon sichern, dass du da nicht all deine Konfigs verlierst.

 

[Skyfay]

Ich habe jetzt mal folgendes Setup bestellt:
System 1 (Intel NUC)
Speicher: Intel SSD (Intel) P4510 8 TB U.2 NVMe PCIe 3.1 SSDPE2KX080T801
PCIE Adapter: Delock PCI Express x4 Karte zu 1 x intern SFF-8643 NVMe – Low Profile Formfaktor
Kabel: Delock SFF-8643 auf U.2 Port

Kurz noch eine Anmerkung falls jemand das hier lesen würde und auch auf die Idee kommt diesen NUC als Proxmox Server mit U.2 Storage einzusetzen. Ich musste den NUC jetzt leider zurückgeben weil es nicht geklappt hat. Also grundsätzlich würde alles funktionieren aber es gibt keinen SATA Strom Anschluss für das SFF-8643 auf U.2 Kabel. Ich habe bei Intel nachgefragt und die haben gesagt dass es dafür keine Kabel gibt, da es nicht vorgesehen ist eine SATA SSD zu verbauen. Das Netzteil hätte zwar Anschlüsse dafür aber man kommt an kein Kabel. Ich hatte auch mal beim Netzteil Hersteller selber nachgefragt allerdings bis heute keine Antwort.
Bin jetzt so verblieben dass ich mir den 2. Server auch einfach selber gebaut habe.