Wechsel von TrueNas zu Proxmox

[iPat1982]

Hallo zusammen,

ich hatte mir vor etwa einem Jahr ein NAS zusammengestellt um TrueNas darauf zu betreiben. Da der Spieltrieb doch recht groß ist, und ich sowohl bei TrueNas Core als auch bei TrueNas Scale nicht zu 100 % glücklich bin was die VMs betrifft wollte ich jetzt einmal Proxmox als Unterbau testen und TrueNas dann darauf als VM laufen lassen.

Da meine Hardware dafür nicht ausgelegt wurde, ich mich mit Proxmox noch nicht all zu viel beschäftigt habe, tauchen hier natürlich einige Fragen bezüglich der Hardware auf. Ich hoffe mal das mir hier jemand den ein oder anderen Tip geben kann, und somit die Suche im Netz etwas verkürzen kann.

Aktuell sieht mein System wie folgt aus:
CPU: Intel i3-9100 F
Mainboard: Supermicro X11SCH-F (2 x M.2, 8 x SATA, 2 x LAN und 1 x ipmi)
Ram: 2 x 16GB DDR4-2666 CL19 ECC unbuffered Samsung M391A2K43BB1-CTD
OS SSD: 1 x Intel D3 S4510 SSD 2,5" 240GB SATA 2 DWPD
VM M.2: Samsung PM983 M.2 NVMe PCIe 3.0 x4 22110 SSD 960GB 1,3 DWPD
Speicher HDD: 4x Seagate Ironwolf Pro ST4000NE001 3,5" SATA
Case: Supermicro CSE-822T-333LPB 2U Chassis 6x3,5" (HotSwap) 1x5,25"
Netzteil: 330 W

Laufen sollen:
1 x VM mit TrueNas mit den 4 HDDs
1 x Virtuelle Telefonanlage (Phonalisa oder Asterisk für 4 Telefone)
1 x Homeassistent, Influxdb und Grafana mit Ebusd.

Und vielleicht noch 1-2 VMs zum basteln


Wie man sieht ist es brauchbare Hardware für ein gutes Nas das sparsam ist, allerdings nicht als perfekter VM-Server geeignet ist.

Für die ersten Versuche habe ich mir jetzt einen HBA (Supermicro S3008L-L8e HBA 3008 8-Port SAS/SATA 12G) zugelegt um die HDDs per PCI-Passtrough an TrueNas durchzureichen.

Nun ist mir beim durchlesen der Systemanforderungen aufgefallen das Proxmox gerne redundante Laufwerke hätte Und HBAs mit Batterie um Datenverlust vorzubeugen. In vielen Videos wird Proxmox aber nur auf einer Platte mit ext4 installiert…

1. OS Redundant auf die M.2 oder auf die Intel SSD?
2. Welches Dateisystem? Redundanz schaffen?
3. Speicher für VMs auf den verbleibenden Laufwerk(en) dann redundant?
4. Bezieht sich der angesprochene Datenverlust auf alle Daten oder das was gerade im Fehlerfall geschrieben wird? Ich dachte ZFS würde solche Fehler größtenteils verhindern.
5. Wie würde das perfekte System für den Heimgebrauch bei euch aussehen wenn man nicht zu hohe Anforderungen hat und etwas auf den Stromverbrauch achten will?

Für den Kauf neuer Hardware bin ich durchaus offen wenn es mir sinnvoll erscheint. Über allgemeine Anregungen was man Verbessern könnte würde ich mich ebenfalls freuen. Aktuell würde ich meine ersten Gehversuche gerne mit der vorhandenen Hardware machen. Allerdings würde ich generell mit einem Epyc 7232P (oder ähnlich) liebäugeln, allerdings war ich beim Kauf zu geizig.


Gruß Patrick

 

[Dunuin]

Nun ist mir beim durchlesen der Systemanforderungen aufgefallen das Proxmox gerne redundante Laufwerke hätte Und HBAs mit Batterie um Datenverlust vorzubeugen. In vielen Videos wird Proxmox aber nur auf einer Platte mit ext4 installiert…

Du brauchst keine Batterie. Das braucht nur ein Raid-Controller wegen Caching und für ZFS sollte man eh keine Raid-Controller kaufen sondern HBAs. Was du dir aber besorgen solltest ist eine USV mit USB-Anschluss die du mit dem PVE Host verbindest. Dann kannst du den NUT-Client installieren der dann über USB den Ladezustand der USV überwacht und dann den Server geregelt herunterfährt, sobald der Akkustand z.B. unter 90% fällt. So zerschießt du dir nicht deine ZFS Pools wenn es mal einen Stromausfall gibt. Ich hatte mir z.B. eine "Bluewalker USV Powerwalker VI 800 STL" für 50€ gekauft, würde inzwischen aber lieber was größeres mit aktiver Kühlung wie ein "BlueWalker PowerWalker Basic VI 2200 STL, USB" für 120€ nehmen, da mit der kleinen nur 2 von meinen 3 Heimservern an die USV passen.

1. OS Redundant auf die M.2 oder auf die Intel SSD?

PVE braucht keine tolle Performance für die System-Disk. Wenn du keine ISOs/Templates/Backups auf der System-Disk speichern willst, dann würde da eine 32GB SSD/HDD völlig reichen. Nur halt kein USB-Stick oder SD-Karte, weil die zu schnell kaputtgeschrieben werden. Redundanz ist kein Muss aber SSDs/HDDs werden dir zu 100% früher oder später wegsterben und dann kommst du über Tage nicht mehr an deine Daten, bis zu Ersatzlaufwerke gekauft und PVE komplett neu aufgesetzt hast. Lieber gleich überall für Redundanz sorgen und sich den Frust, Datenverlust, Downtime und zusätzliche Arbeit sparen.

2. Welches Dateisystem? Redundanz schaffen?

Über das GUI kann PVE nur ZFS als Software Raid nutzen oder halt Hardware Raid. Über CLI hat man natürlich noch andere Optionen wie mdadm, btrfs, lvm usw, aber da wird es dann schwierig wenn es um die System-Disks geht von denen du booten willst.

3. Speicher für VMs auf den verbleibenden Laufwerk(en) dann redundant?

Würde die M.2 für die VMs nehmen. Da willst du ordentlich Performance haben. Da würde es auch ohne Redundnaz gehen, wenn du z.b. tägliche Backups erstellst. Aber nicht vergessen...fällt die SSDs aus...und das wird sie...wären dann immer noch alle Daten seit dem letzen Backups weg. Und auch kann ZFS nichts gegen schleichenden Dateiverfall machen, wenn du keine Redundanz hast. Mit Redundanz würde ZFS beim Scrub korumpierte Daten einfach automatisch aus den redundanten Daten reparieren. so sagt dir der Scrub sonst nur "Deine Daten sind kaputt..." und du musst gucken ob du noch heile Versionen der Daten in irgendwelchen Backups findet die erstellt owrden sein müssen, bevor der letzte Scrub Job fehlerfrei durchlief.

4. Bezieht sich der angesprochene Datenverlust auf alle Daten oder das was gerade im Fehlerfall geschrieben wird? Ich dachte ZFS würde solche Fehler größtenteils verhindern.

Welchen Fall genau meinst du?

5. Wie würde das perfekte System für den Heimgebrauch bei euch aussehen wenn man nicht zu hohe Anforderungen hat und etwas auf den Stromverbrauch achten will?

Für den Kauf neuer Hardware bin ich durchaus offen wenn es mir sinnvoll erscheint. Über allgemeine Anregungen was man Verbessern könnte würde ich mich ebenfalls freuen. Aktuell würde ich meine ersten Gehversuche gerne mit der vorhandenen Hardware machen. Allerdings würde ich generell mit einem Epyc 7232P (oder ähnlich) liebäugeln, allerdings war ich beim Kauf zu geizig.

Hardware sieht ok aus. Würde wie gesagt überall Parität haben sollen, also Raid1 für System Disk und VM-Storage-Disk. Da würde ich also noch zwei SSDs kaufen. Und über ein Backup Konzept solltest du nachdenken. Raid ersetzt kein Backup. Du solltest trotzdem noch 2 weitere Kopien von allem auf anderen Medien haben. Ich kaufe hier z.B. die Server immer doppelt. Und dann wird wöchentlich alles vom Haupt-TrueNAS zum Backup-TrueNAS repliziert. Zerschieße ich mir irgendwie den ganzen Pool oder Server, dann habe ich immer noch das gleiche auf einem anderen Server, der nur einmal die Woche kurz für ein paar Stunden angeht, um die ZFS Pools synchronisiert zu bekommen. Und im Idealfall hat man dann noch ein drittes Backup irgendwo Offsite im Rechenzentrum (da fehlt mir aber leider das Budget für) oder auf verschlüsselten USB-HDDs die man bei Freunden/Familie lagert.

Außerdem solltest du dir noch überlegen wie du deine VMs und den PVE Host selbst sichern willst. Du kannst dir z.B. mal den Proxmox Backup Server angucken, den man im Idealfall auf einem weiteren Rechner installiert.

 

[iPat1982]

Du brauchst keine Batterie. Das braucht nur ein Raid-Controller wegen Caching und für ZFS sollte man eh keine Raid-Controller kaufen sondern HBAs. Was du dir aber besorgen solltest ist eine USV mit USB-Anschluss die du mit dem PVE Host verbindest. Dann kannst du den NUT-Client installieren der dann über USB den Ladezustand der USV überwacht und dann den Server geregelt herunterfährt, sobald der Akkustand z.B. unter 90% fällt. So zerschießt du dir nicht deine ZFS Pools wenn es mal einen Stromausfall gibt. Ich hatte mir z.B. eine "Bluewalker USV Powerwalker VI 800 STL" für 50€ gekauft, würde inzwischen aber lieber was größeres mit aktiver Kühlung wie ein "BlueWalker PowerWalker Basic VI 2200 STL, USB" für 120€ nehmen, da mit der kleinen nur 2 von meinen 3 Heimservern an die USV passen.

Ich habe mir die empfohlene Hardware angeschaut und hier steht eben:

• Schneller und redundanter Storage, SSD Disks empfohlen.
• OS-Storage: Hardware RAID mit Batterie-gestütztem RAID-Controller (“BBU”), oder non-RAID mit ZFS- und SSD-Cache.
• VM-Storage: Für lokales Storage, Hardware RAID mit BBU, oder non-RAID für ZFS. Weder ZFS noch Ceph sind kompatibel mit einem Hardware RAID-Controller. Auch shared und distributed Storage sind möglich.

Dann braucht man die BBU nur bei RAID nicht aber bei ZFS. Wenn das OS-Storage eine SSD ist, fällt der SSD-Cache auch weg? Wenn ich mir eine zweite SATA SSD von Intel hole, mache ich einen ZFS-Spiegel und gut ist es?

Da ich aktuell nur über die iCloud mein Backup mache, wollte ich erst einmal den Server fertig bekommen. Die USV kommt dann als nächstes dran. Ich weiß, das ist nicht ideal aber nachdem ich gerade erst in den Server und kurz danach in Lancom (Switche, Acesspoints) und eine OPNsense investiert habe, habe ich das erst einmal aufgeschoben. Deinen Vorschlag schaue ich mir aber an. Danke für den Tip.

Ist ZFS da so empfindlich was einen Stromausfall betrifft? Dachte die Integrität währe eine Stärke davon?

PVE braucht keine tolle Performance für die System-Disk. Wenn du keine ISOs/Templates/Backups auf der System-Disk speichern willst, dann würde da eine 32GB SSD/HDD völlig reichen. Nur halt kein USB-Stick oder SD-Karte, weil die zu schnell kaputtgeschrieben werden. Redundanz ist kein Muss aber SSDs/HDDs werden dir zu 100% früher oder später wegsterben und dann kommst du über Tage nicht mehr an deine Daten, bis zu Ersatzlaufwerke gekauft und PVE komplett neu aufgesetzt hast. Lieber gleich überall für Redundanz sorgen und sich den Frust, Datenverlust, Downtime und zusätzliche Arbeit sparen

Das mit Stick oder SD-Karte ist klar. Da ich eine Intel SSD habe, muss ich mal schauen ob zwei neue wesentlich billiger zu bekommen sind als eine. Mal schauen wo die 240 GB aktuell liegen.

Über das GUI kann PVE nur ZFS als Software Raid nutzen oder halt Hardware Raid. Über CLI hat man natürlich noch andere Optionen wie mdadm, btrfs, lvm usw, aber da wird es dann schwierig wenn es um die System-Disks geht von denen du booten willst.

Da das meine ersten Gehversuche sind, werde ich erst einmal bei der GUI bleiben und damit einen ZFS-Spiegel anlegen.

Würde die M.2 für die VMs nehmen. Da willst du ordentlich Performance haben. Da würde es auch ohne Redundnaz gehen, wenn du z.b. tägliche Backups erstellst. Aber nicht vergessen...fällt die SSDs aus...und das wird sie...wären dann immer noch alle Daten seit dem letzen Backups weg. Und auch kann ZFS nichts gegen schleichenden Dateiverfall machen, wenn du keine Redundanz hast. Mit Redundanz würde ZFS beim Scrub korumpierte Daten einfach automatisch aus den redundanten Daten reparieren. so sagt dir der Scrub sonst nur "Deine Daten sind kaputt..." und du musst gucken ob du noch heile Versionen der Daten in irgendwelchen Backups findet die erstellt owrden sein müssen, bevor der letzte Scrub Job fehlerfrei durchlief.

Die VMs sollten schon auf ZFS und redundanten Speicher liegen. Mit war nur nicht klar ob auf welchem. M.2 oder Sata. Aber da hast du mir oben schon geholfen.

Welchen Fall genau meinst du?

Angenommen ich reibe gerade in die Datenbank der VM und der Strom fällt aus. Fehlt dann der eine Wert oder geht der Pool kaputt?

Hardware sieht ok aus. Würde wie gesagt überall Parität haben sollen, also Raid1 für System Disk und VM-Storage-Disk. Da würde ich also noch zwei SSDs kaufen. Und über ein Backup Konzept solltest du nachdenken. Raid ersetzt kein Backup. Du solltest trotzdem noch 2 weitere Kopien von allem auf anderen Medien haben. Ich kaufe hier z.B. die Server immer doppelt. Und dann wird wöchentlich alles vom Haupt-TrueNAS zum Backup-TrueNAS repliziert. Zerschieße ich mir irgendwie den ganzen Pool oder Server, dann habe ich immer noch das gleiche auf einem anderen Server, der nur einmal die Woche kurz für ein paar Stunden angeht, um die ZFS Pools synchronisiert zu bekommen. Und im Idealfall hat man dann noch ein drittes Backup irgendwo Offsite im Rechenzentrum (da fehlt mir aber leider das Budget für) oder auf verschlüsselten USB-HDDs die man bei Freunden/Familie lagert.

Außerdem solltest du dir noch überlegen wie du deine VMs und den PVE Host selbst sichern willst. Du kannst dir z.B. mal den Proxmox Backup Server angucken, den man im Idealfall auf einem weiteren Rechner installiert.

Hardware sieht ok aus, heißt ich hätte noch Potential nach oben. Wie würde dein perfekter Bauvorschlag aussehen?

Für das OS dann ein Raid1 und kein ZFS? Könntest du mir bitte verraten wo hier der Vorteil ist?

Und warum 2 SSDs? Die M.2 sind ja doppelt. Eigentlich sollte nur die Intel für das OS eine zweite bekommen… oder habe ich etwas missverstanden?

Endausbau währe bei mir dann auch noch 4 Platten für Snapshots von TrueNas und/oder ein Backup im Rechenzentrum oder auf den Tanberg RDX.

Meine eigentlichen Daten haben erst einmal Vorrang. Die VMs sind erst einmal nicht ganz so wichtig das sie sofort einen Backup Server brauchen.

Vielen lieben Dank für deine ausführliche Antwort.

 

[Dunuin]

• OS-Storage: Hardware RAID mit Batterie-gestütztem RAID-Controller (“BBU”), oder non-RAID mit ZFS- und SSD-Cache.

SSD Cache brauchst du eigentlich nicht. Rein von der Performance her würde Proxmox sogar ein lahmer USB-Stick reichen, nur schreibt PVE halt ordentlich, dass das schon ein Speicher mit ordentlich Haltbarkeit sein sollte, was eben bei billigem Flashspeicher ohne Wear Leveling und ausreichend Spare-Area nicht der Fall ist.

• VM-Storage: Für lokales Storage, Hardware RAID mit BBU, oder non-RAID für ZFS. Weder ZFS noch Ceph sind kompatibel mit einem Hardware RAID-Controller. Auch shared und distributed Storage sind möglich.

Für shared oder distributed Storage brauchst du aber mehrere PVE server. Ceph geht z.B. erst ab 3 PVE Nodes und die sollten dann auch schon mindstens 10Gbit LAN haben. Bei nur einem Server würde ich entweder ZFS mit Enterprise SSDs oder alternativ LVM-Thin auf einem HW Raid Controller mit SSDs nehmen.

Dann braucht man die BBU nur bei RAID nicht aber bei ZFS. Wenn das OS-Storage eine SSD ist, fällt der SSD-Cache auch weg? Wenn ich mir eine zweite SATA SSD von Intel hole, mache ich einen ZFS-Spiegel und gut ist es?

SSD als Cache (also z.B. SLOG oder L2ARC) macht in den wenigsten Fällen Sinn. Und wenn dann auch eher wenn man HDDs benutzt. Also ja, einfach nur zwei Enterprise SSDs im Mirror und gut ist.

Da ich aktuell nur über die iCloud mein Backup mache, wollte ich erst einmal den Server fertig bekommen. Die USV kommt dann als nächstes dran. Ich weiß, das ist nicht ideal aber nachdem ich gerade erst in den Server und kurz danach in Lancom (Switche, Acesspoints) und eine OPNsense investiert habe, habe ich das erst einmal aufgeschoben. Deinen Vorschlag schaue ich mir aber an. Danke für den Tip.

Ist ZFS da so empfindlich was einen Stromausfall betrifft? Dachte die Integrität währe eine Stärke davon?

Es ist egal was du für ein Dateisystem du verwendest. Fällt dir der Strom aus oder das Netzteil, dann ist alles im RAM weg, was hätte asynchron geschrieben werden sollen. Im Falle von ZFS mit Standardwerten sind das die letzten 5 Sekunden an Daten. Hättest du keine Enterprise SSDs würde die ebenfalls noch alles an Daten verlieren was im SSD-internen RAM-Cache war. Und das könnte mehr als 5 Sekunden sein. Enterprise SSDs haben da eine eingebaute Notstromversorgung, dass da im Falle eines Stromausfalls noch ganz schnell der SSD-interne RAM-Cache schnell auf den NAND niedergeschrieben wird. Festplatten haben aber keine solche Notstromversorgung, da ist dann trotzdem alles weg, was die HDDs noch in ihrem HDD-internen RAM-Cache hatten (hier könnte eine BBU vielleicht doch helfen). Komplett sicher bist du bei ZFS nur wenn du alle async Writes als sync writes erzwingst (z.B. über die Option "sync=always") was alles unglaublich langsam macht und auch die SSDs deutlich mehr abnutzt.
Will man keine Daten verlieren, sollte man schon eine USV nutzen. Du musst nur mal gucken wie viele Leute hier im Forum um Hilfe Fragen, weil nach einem Stromausfall PVE nicht mehr booten will und Daten kaputt sind und sie keine Backups haben und nun Hilfe wollen, da noch irgendwie Daten zu retten. Sowas lese ich hier alle paar Wochen, weil kaum wer bereit ist die 50€ für eine USV auszugeben...

Das mit Stick oder SD-Karte ist klar. Da ich eine Intel SSD habe, muss ich mal schauen ob zwei neue wesentlich billiger zu bekommen sind als eine. Mal schauen wo die 240 GB aktuell liegen.

Prinzipiell brauchst du nicht einmal 4 SSDs. Man kann durch aus auch PVE System und VMs auf der selben Platte haben. Eigene Platten für das System können nur manchmal praktisch sein. Z.B. kann eine hohe Schreib-/Leseaktivität einer VM dann den IO delay nicht so in die höhe Treiben, dass da PVE nicht mehr läuft. Und wenn man mal mehr Platz für VMs braucht kann man leicht VMs sichern, VM-Storage zerstören, neuen ZFS Pool aus größeren Disks erstellen und VMs wiederherstellen. Das ist mit wenigen Klicks gemacht und man muss dann nicht einmal sein PVE neu aufsetzen, da es sich ja auf anderen Platten befindet.

Angenommen ich reibe gerade in die Datenbank der VM und der Strom fällt aus. Fehlt dann der eine Wert oder geht der Pool kaputt?

Der ganze Pool wohl nicht. Vielleicht nicht mal der eine Wert, da Datenbanken da für gewöhnlich Sync Writes benutzen welche alles an Caching umgehen.
Hast du aber sowas wie die ZFS Option "sync=none" oder den cache mode "writeback (unsafe)" für die virtuelle Disk gewählt, dann werden alle Sync Writes als Async Writes behandelt und dann wäre mit Pech in der Tat der Eintrag oder gar der ganze Pool futsch.

Hardware sieht ok aus, heißt ich hätte noch Potential nach oben. Wie würde dein perfekter Bauvorschlag aussehen?

RAM ist z.B. nicht gerade viel. Der TrueNAS VM würde ich schon mindestens 16GB RAM geben. Dann braucht PVE 2 GB RAM, dein ZFS für PVE braucht einige GB RAM, alles an VMs hat Overhead und eine 4GB VM frisst auch gerne mal 5GB etc. Also mein Homelab hat jetzt schon 112GB RAM und ich kann nicht alle VMs laufen lassen, die ich gerne möchte, weil mir einfach der RAM fehlt.
Deine CPU hat auch nur 4 Kerne und könnte recht schnell an die Grezen kommen. Gerade falls du z.B. vorhättest auch Win VMs betreiben zu wollen. Mein Homelab ist da jetzt auch schon bei 24 Kernen.
Aber ob dir da RAM oder CPU reicht siehst du dann ja. Zur Not musst du halt später einen Xeon oder weitere RAM Riegel nachkaufen.
Aber Enterprise SSDs und ECC RAM sind schon einmal eine gute Grundlage für einen zuverlässigen Betrieb.

Für das OS dann ein Raid1 und kein ZFS? Könntest du mir bitte verraten wo hier der Vorteil ist?

Kannst du machen wie du willst. HW Raid1 oder ZFS Mirror (was ja auch nur ein SW Raid1 ist). ZFS hat den Nachteil das es die SSDs schneller abnutzt und langsamer ist. Bietet dafür aber mehr Features, mehr Datensicherheit und läuft im Notfall auch in einem anderen Rechner.

Und warum 2 SSDs? Die M.2 sind ja doppelt. Eigentlich sollte nur die Intel für das OS eine zweite bekommen… oder habe ich etwas missverstanden?

Ich habe oben nichts von doppelten M.2 SSDs gelesen. Ich würde da zwei M.2 SSDs im ZFS Mirror betreiben.

Meine eigentlichen Daten haben erst einmal Vorrang. Die VMs sind erst einmal nicht ganz so wichtig das sie sofort einen Backup Server brauchen.

Naja, läuft dein PVE oder deine TrueNAS VM nicht mehr, dann kommst du ja auch nicht mehr an deine "eigentlichen Daten" die auf dem NAS liegen. Sind dann zwar nicht weg (man könnte die HDDs ja in einen beliebigen Rechner mit ZFS Support einbauen und würde noch drankommen) aber du kommst erst einmal nicht mehr dran. Finde ich also schon wichtig.

 

[iPat1982]

SSD Cache brauchst du eigentlich nicht. Rein von der Performance her würde Proxmox sogar ein lahmer USB-Stick reichen, nur schreibt PVE halt ordentlich, dass das schon ein Speicher mit ordentlich Haltbarkeit sein sollte, was eben bei billigem Flashspeicher ohne Wear Leveling und ausreichend Spare-Area nicht der Fall ist.

Für shared oder distributed Storage brauchst du aber mehrere PVE server. Ceph geht z.B. erst ab 3 PVE Nodes und die sollten dann auch schon mindstens 10Gbit LAN haben. Bei nur einem Server würde ich entweder ZFS mit Enterprise SSDs oder alternativ LVM-Thin auf einem HW Raid Controller mit SSDs nehmen.

SSD als Cache (also z.B. SLOG oder L2ARC) macht in den wenigsten Fällen Sinn. Und wenn dann auch eher wenn man HDDs benutzt. Also ja, einfach nur zwei Enterprise SSDs im Mirror und gut ist.

Das klingt einleuchtend. Aktuell habe ich erst einmal nur einen Server und habe mich erst einmal für die zweite Intel SSD entschieden. Die sollte gut genug sein. Cache setze ich erst einmal nicht ein Auch wenn ich für die Daten nur HDDs nehme. Da die meisten Daten ein Backup sind, kommt es im Fehlerfall nicht auf jede Sekunde an.

Es ist egal was du für ein Dateisystem du verwendest. Fällt dir der Strom aus oder das Netzteil, dann ist alles im RAM weg, was hätte asynchron geschrieben werden sollen. Im Falle von ZFS mit Standardwerten sind das die letzten 5 Sekunden an Daten. Hättest du keine Enterprise SSDs würde die ebenfalls noch alles an Daten verlieren was im SSD-internen RAM-Cache war. Und das könnte mehr als 5 Sekunden sein. Enterprise SSDs haben da eine eingebaute Notstromversorgung, dass da im Falle eines Stromausfalls noch ganz schnell der SSD-interne RAM-Cache schnell auf den NAND niedergeschrieben wird. Festplatten haben aber keine solche Notstromversorgung, da ist dann trotzdem alles weg, was die HDDs noch in ihrem HDD-internen RAM-Cache hatten (hier könnte eine BBU vielleicht doch helfen). Komplett sicher bist du bei ZFS nur wenn du alle async Writes als sync writes erzwingst (z.B. über die Option "sync=always") was alles unglaublich langsam macht und auch die SSDs deutlich mehr abnutzt.
Will man keine Daten verlieren, sollte man schon eine USV nutzen. Du musst nur mal gucken wie viele Leute hier im Forum um Hilfe Fragen, weil nach einem Stromausfall PVE nicht mehr booten will und Daten kaputt sind und sie keine Backups haben und nun Hilfe wollen, da noch irgendwie Daten zu retten. Sowas lese ich hier alle paar Wochen, weil kaum wer bereit ist die 50€ für eine USV auszugeben...

Puh, erst mal danke für die Ausführliche Erklärung. Für meinen Fall denke ich reicht eine USV dann aus. Den Pool will ich nicht zerstört haben bei einem Stromausfall. wegen einer USV werde ich mich aber mal umsehen. Gibt es was besonderes worauf man achten muss, außer das sie USB hat für die Abfrage? Hätte gerne etwas für das 19“ Rack und fände es schöner wenn es zum einbauen ist… Leistung und Kapazität mal vorausgesetzt. Die BlueWalker scheinen aber eine günstige Option zu sein. Muss man dabei auf was verzichten im Vergleich zu etwas teureren?

Prinzipiell brauchst du nicht einmal 4 SSDs. Man kann durch aus auch PVE System und VMs auf der selben Platte haben. Eigene Platten für das System können nur manchmal praktisch sein. Z.B. kann eine hohe Schreib-/Leseaktivität einer VM dann den IO delay nicht so in die höhe Treiben, dass da PVE nicht mehr läuft. Und wenn man mal mehr Platz für VMs braucht kann man leicht VMs sichern, VM-Storage zerstören, neuen ZFS Pool aus größeren Disks erstellen und VMs wiederherstellen. Das ist mit wenigen Klicks gemacht und man muss dann nicht einmal sein PVE neu aufsetzen, da es sich ja auf anderen Platten befindet.

Die M.2 habe ich ja bereits. Da ich mich gegen Cache entschieden habe, würden die sonst eh nur rumliegen. Klar hätte ich sie auch für das OS nehmen können und die Intel in den Schrank legen können aber irgendwie hätte ich die VMs und das OS eh getrennt haben wollen.

Der ganze Pool wohl nicht. Vielleicht nicht mal der eine Wert, da Datenbanken da für gewöhnlich Sync Writes benutzen welche alles an Caching umgehen.
Hast du aber sowas wie die ZFS Option "sync=none" oder den cache mode "writeback (unsafe)" für die virtuelle Disk gewählt, dann werden alle Sync Writes als Async Writes behandelt und dann wäre mit Pech in der Tat der Eintrag oder gar der ganze Pool futsch.

Mit USV sollte das dann ja selten passieren…

RAM ist z.B. nicht gerade viel. Der TrueNAS VM würde ich schon mindestens 16GB RAM geben. Dann braucht PVE 2 GB RAM, dein ZFS für PVE braucht einige GB RAM, alles an VMs hat Overhead und eine 4GB VM frisst auch gerne mal 5GB etc. Also mein Homelab hat jetzt schon 112GB RAM und ich kann nicht alle VMs laufen lassen, die ich gerne möchte, weil mir einfach der RAM fehlt.
Deine CPU hat auch nur 4 Kerne und könnte recht schnell an die Grezen kommen. Gerade falls du z.B. vorhättest auch Win VMs betreiben zu wollen. Mein Homelab ist da jetzt auch schon bei 24 Kernen.
Aber ob dir da RAM oder CPU reicht siehst du dann ja. Zur Not musst du halt später einen Xeon oder weitere RAM Riegel nachkaufen.
Aber Enterprise SSDs und ECC RAM sind schon einmal eine gute Grundlage für einen zuverlässigen Betrieb.

Das mit dem RAM stimmt. Der war damals recht teuer und von daher habe ich da etwas geknausert. Baue das System nach und nach auf. Das muss ich mir dann im Betrieb mal anschauen. Hätte vermutet das ich mit 4 Riegeln im Vollausbau hin komme, da meine VMs nicht so anspruchsvoll sind. Währe schon ärgerlich wenn ich neue brauche und nicht einfach 2 dazu stecke.

Die CPU war damals auch günstig und sparsam und hat ECC. Vor Proxmox hat sie gepasst. Das Board wurde ja so gewählt das ich da Luft nach oben habe.

Da es mein erster Server war, und ich mich da einlesen musste, konnte ich nicht auf Erfahrungen zurückgreifen und habe erst mal ein Eigenbau-NAS zusammengestellt das Luft nach oben hat. Scheinbar ohne große Fehler.

Kannst du machen wie du willst. HW Raid1 oder ZFS Mirror (was ja auch nur ein SW Raid1 ist). ZFS hat den Nachteil das es die SSDs schneller abnutzt und langsamer ist. Bietet dafür aber mehr Features, mehr Datensicherheit und läuft im Notfall auch in einem anderen Rechner.

Ok, dann wird es ZFS…

Ich habe oben nichts von doppelten M.2 SSDs gelesen. Ich würde da zwei M.2 SSDs im ZFS Mirror betreiben.

Stimmt, habe das 2x vergessen. Sorry.

Naja, läuft dein PVE oder deine TrueNAS VM nicht mehr, dann kommst du ja auch nicht mehr an deine "eigentlichen Daten" die auf dem NAS liegen. Sind dann zwar nicht weg (man könnte die HDDs ja in einen beliebigen Rechner mit ZFS Support einbauen und würde noch drankommen) aber du kommst erst einmal nicht mehr dran. Finde ich also schon wichtig.

In meinem Fall ist es aktuell größtenteils ein Backup. Also müsste mein MacBook Pro und das Nas zur gleichen Zeit Probleme machen. Da das MacBookPro 10 Jahre alt ist, kann das schon passieren, aber das zeitgleich das NAS streikt währe dann richtiges Pech. In dem Fall würde ich mit einer Neuinstallation aber innerhalb von ein paar Stunden Abhilfe schaffen können… Für den Fall das Daten drauf liegen an die man immer sofort rankommen muss, hast natürlich du recht. Habe es ja wie von dir vorgeschlagen gelöst, aber nur damit ich von Anfang an ein Solides untergestellt habe und dann nicht später alles neu aufsetzen muss nur weil die zweite Platte dazu kommt wenn sich die Anforderungen geändert haben.

 

[Dunuin]

USVs sind nochmal ein Thema für sich. Ich hätte auch lieber eine die rackbar ist, aber die fangen dann eher bei 200-300€ an und gehen auch mal gerne 4-stellig. Und dann nicht vergessen, dass da alle paar Jahre die Akkus getauscht werden müssen. Bei meiner für 50€ sollte das z.B. recht problemlos sein, da da normale Blei-Akkus mit Standardformfaktor reinkommen, welche man überall bekommt und die keine 20€ kosten. Die 1U oder 2U USVs haben wohl spezielle flache Akkus (Bleiakkus darf man ja nicht kippen), da wird der Akku-Wechsel dann wohl auch teurer.
Ansonsten ist halt wichtig, dass das Ding irgendwie Daten bereitstellt, die man abfragen kann, um dann automatisiert den Server runterfahren zu können. Am besten gleich eine USV die auf der Support-Liste von NUT steht. Dann sollte es natürlich genug Watt liefern können (auch nicht vergessen, dass da deine Router, Switches etc auch über die USV laufen sollten, damit nicht ein Netzwerk zusammenbricht...gerade wichtig wenn du mal mehrere Server hast und die über Netzwerk den Akkustand der UVS abgleichen müssen) und genug Akkukapazität haben, dass da die Server auch lange genug laufen können zum Runterfahren (würde ich schon so 10 Minuten einplanen, da kann ja mal eine VM hängen und wird erst nach 5 Minuten von PVE gekillt). Und dann ist noch zu beachten was für eine Technik die USV nutzt (line interactive, online, offline) bezüglich Energieeffizienz, Umschaltzeit und Co. Die gängigen Schutzschaltungen, Filter usw sollten die eigentlich alle haben, wenn man eine Marken USV nimmt.

Meine USV ist z.B. Line-Interactive und hat eine Wirkleistung von 480W. Viel mehr als so ca 150-200W sollte man aber nicht an die hängen, weil dann die Laufzeit doch schon sehr knapp wird. Bei mir hängen so 200-300W dran und da wurde es manchmal schon echt knapp mit den runterfahren, obwohl ich das runterfahren schon direkt beim Stromausfall starte und nicht erst wenn der Akkustnd das Standard-Limit unterschritten hat.

 

[iPat1982]

USVs sind nochmal ein Thema für sich. Ich hätte auch lieber eine die rackbar ist, aber die fangen dann eher bei 200-300€ und gehen auch mal gerne 4-stellig. Und dann nicht vergessen, dass da alle paar Jahre die Akkus getauscht werden müssen. Bei meiner für 50€ sollte das z.B. recht problemlos sein, da da normale Blei-Akkus mit Standardformfaktor reinkommen, welche man überall bekommt und die keine 20€ kosten. Die 1U oder 2U USVs haben wohl spezielle flache Akkus (Bleiakkus darf man ja nicht kippen), da wird der Akku-Wechsel dann wohl auch teurer.
Ansonsten ist halt wichtig, dass das Ding irgendwie Daten bereitstellt, die man abfragen kann, um dann automatisiert den Server runterfahren zu können. Am besten gleich eine USV die auf der Support-Liste von NUT steht. Dann sollte es natürlich genug Watt liefern können (auch nicht vergessen, dass da deine Router, Switches etc auch über die USV laufen sollten, damit nicht ein Netzwerk zusammenbricht...gerade wichtig wenn du mal mehrere Server hast und die über Netzwerk den Akkustand der UVS abgleichen müssen) und genug Akkukapazität haben, dass da die Server auch lange genug laufen können zum Runterfahren (würde ich schon so 10 Minuten einplanen, da kann ja mal eine VM hängen und wird erst nach 5 Minuten von PVE gekillt). Und dann ist noch zu beachten was für eine Technik die USV nutzt (line interactive, online, offline) bezüglich Energieeffizienz, Umschaltzeit und Co. Die gängigen Schutzschaltungen, Filter usw sollten die eigentlich alle haben, wenn man eine Marken USV nimmt.

Meine USV ist z.B. Line-Interactive und hat eine Wirkleistung von 480W. Viel mehr als so ca 150-200W sollte man aber nicht an die hängen, weil dann die Laufzeit doch schon sehr knapp wird. Bei mir hängen so 200-300W dran und da wurde es manchmal schon echt knapp mit den runterfahren, obwohl ich das runterfahren schon direkt beim Stromausfall starte und nicht erst wenn der Akkustnd das Standard-Limit unterschritten hat.

Hallo Dunin,

auch für diese Antwort erst einmal recht herzlichen Dank. Bezüglich der USV bin ich noch nicht wirklich dazu gekommen mir das genau anzusehen, aber deine Ausführungen erscheinen auch hier schlüssig...

Den HBA habe ich mittlerweile bestellt und eingebaut. Hat leider etwas gedauert wegen der Urlaubszeit Daher bitte ich die späte Antwort zu entschuldigen... Proxmox läuft jetzt auf den 2 Intel SATA-SSDs. Leider bekomme ich die NVME´s nicht in einen ZFS-Pool da mir eine nicht angezeigt wird, wohl sie als Festplatte verfügbar ist. Vielleicht hast du auch hier einen Tipp.


Vielen lieben Dank,
Gruß Patrick