Disk Design und PVE Konfiguration

[Blum0r]

Hallo zusammen,

ich möchte mir einen Proxmox Server zusammenbauen und habe schon
CPU: 20 x Intel(R) Xeon(R) CPU E5-2660 v3
Board: ASRock X99 Extreme6
RAM: 128GB ECC

Jetzt suche ich noch Festplatten für meine Kiste. Ein paar Testplatten habe ich schon mal rein gesetzt um ein Gefühl zu bekommen was ich final benötigen werde.
Evtl. könnt ihr meine Idee kurz kommentieren.

Geplant ist:
1 x SSD 1TB für Proxmox OS, fungiert ja dann auch als ISO Store?
2 x SSD 2TB für virtuelle Maschinen im ZFS Mirror? Win11, Server 2022, Daten...
1 x Toshiba Enterprise Capacity MG08ACA 16TB als Backup

Macht das Sinn?
Kann ich auf die Backup Platte die Proxmox vms und das Proxmox OS sichern und zusätzlich noch z.B. ein Windows Server Backup?

Das Thema Enterprise SSD wird ja immer empfohlen. Sollten alle 3 SSDs Enterprise SSDs sein oder nur die im ZFS Mirror?

Funktioniert das Wegschreiben der Daten bei Stromausfall einfach so bei den SSDs oder müssen dazu zusätzliche Komponenten im Server verbaut sein?

Würdet ihr die Fileservices einfach über ein virtuelles Laufwerk anbinden oder eine Platte durchreichen?

Kann ich im Dissaster Fall die Platten einfach in eine neue Maschine einhängen, Proxmox installieren und die vms einhängen?

Muss ein Monitoring extra konfiguriert werden (z.B. Plattenausfall) oder funktioniert das out of the box?

In meinen ersten Tests mit Crystal Disk Info kamen extrem hohe Leseraten raus (11000MB) obwohl ich kein Cache aktiviert habe. Woher kommt das?

Fragen über Fragen
Ich würde mich trotzdem freuen wenn ein paar davon kommentiert werden.

Danke & Gruß
Blum0r

 

[Dunuin]

1 x SSD 1TB für Proxmox OS, fungiert ja dann auch als ISO Store?
2 x SSD 2TB für virtuelle Maschinen im ZFS Mirror? Win11, Server 2022, Daten...

Du kannst auch PVE OS + ISOs + VMs auf dem selben ZFS Mirror betreiben. Würde ich einer einzelnen SSD für das OS bevorzugen, dann ist dein PVE wenigstens redundant. Mirror für VMs bringt dir ja auch nichts, wenn dir der Server crasht und sich nicht mehr starten lässt, weil du deine einzige System-Disk verloren hast.
Wenn du schon die System-Disks getrennt haben willst, dann würde ich die wenigstens ebenfalls in einen ZFS Mirror packen. Für PVE selbst reicht so 16-32GB. Wenn du dann noch Daten wie ISOs drauf speichern willst entsprechend mehr. Aber ISOs und Co könnten genau so gut auch mit auf die Disks für die VMs.

Bei ZFS nicht vergessen, dass du keine Consumer Disks nehmen solltest. Also Enterprise/Datacenter Grade SSDs mit "Power-loss Protection" und genügend Haltbarkeit (DWPD bzw TBW) besorgen.

1 x Toshiba Enterprise Capacity MG08ACA 16TB als Backup

Kann man machen, aber nicht vergessen, dass du inkrementelle Backups nur mit dem Proxmox Backup Server oder 3rd-Party-Software bekommst. Und für den PBS wäre eine einzelne 16TB HDD eine schlechte Wahl. Der braucht IOPS Performance.
Beispiel:
10 VMs mit je 100GB vDisks die sich nur 1GB pro Tag ändern. Tägliche Backups für 30 Tage sollen behalten werden.
Mit PBS: 10x 100GB + 290x 1GB = ca 1,29 TB Platzverbauch
Mit Vzdump: 300x 100GB = ca 30 TB Platzverbrauch
Abgesehen von der Platzersparnis dank der Deduplikation wären PBS Backups auch entsprechend schneller, da ab dem ersten Tag dann nur noch die neuen 1GB gelesen, gehasht, komprimiert, verschlüsselt und geschrieben werden müssen anstatt das immer mit den vollen 100GB tun zu müssen.

Kann ich auf die Backup Platte die Proxmox vms und das Proxmox OS sichern und zusätzlich noch z.B. ein Windows Server Backup?

Sowohl Vzdump als auch PBS brauchen einfach nur einen Ordner auf einem Posix-kompatiblem Dateisystem. Da kannst du dann natürlich auch noch anderes drauf sichern, sollte sich nur dann nicht in einem Unterordner befinden.
PVE hat übrigens noch keine Backup-Funktion für den Host selbst, das steht noch auf der Roadmap. Da müsstest du schon die Konfig Dateien selbst sichern.

Das Thema Enterprise SSD wird ja immer empfohlen. Sollten alle 3 SSDs Enterprise SSDs sein oder nur die im ZFS Mirror?

Bei ZFS, Ceph und Co definitiv Enterprise Grade. Über die System-Disk lässt sich streiten, wenn die nur LVM/etx4 nutzt. Wenn dir der Server wichtig ist (und das scheint er ja, wenn du schon Mainboard/CPU/RAM und Co Enterprise Grade gekauft hast) dann würde ich persönlich nichts an Consumer Grade Hardware verbauen.

Funktioniert das Wegschreiben der Daten bei Stromausfall einfach so bei den SSDs oder müssen dazu zusätzliche Komponenten im Server verbaut sein?

Erstmal solltest du den Server an eine UPS hängen. Sonst verlierst du so oder so Daten, da auch ein Raid-Controller mit BBU oder eine Enterprise SSd mit Power-loss Protection nicht davor schützt, dass da alles an im RAM gecachten Async Writes beim Stromausfall verloren geht. Bei ZFS würdest du da üblicherweise die letzten 5 Sekunden an Daten verlieren.

Um die Daten, die sich bereits im DRAM-Cache der Enterprise SSDs befinden, muss man sich nicht kümmern. Die dumpt die Firmware der SSD automatisch auf den NAND, während sie für ein paar Sekunden von den PowerCaps der integrierten Power-loss Protection versorgt wird.

Bei Consumer-SSDs hast du keine eingebaute Power-loss Protection, daher verlieren die dann auch die Daten im DRAM-Cache (und können Sync Writes daher auch garnicht erst cachen, daher fiese Sync Write Performance).

Kann ich im Dissaster Fall die Platten einfach in eine neue Maschine einhängen, Proxmox installieren und die vms einhängen?

Auf den Disks für die VMs sind wirklich nur die virtuellen Disks gespeichert. Alle Konfigs der VMs sind auf der System-Disk. Verlierst du deine System-Disk, dann sind auch die Konfigs weg, welche deine VMs definieren. Du hättest nach einem Neuinstallieren von PVE also keine VMs die du starten könntest. Daher nicht vergessen immer auch die Konfigs von der System-Disk zu sichern.

Muss ein Monitoring extra konfiguriert werden (z.B. Plattenausfall) oder funktioniert das out of the box?

Musst du selbst einrichten. PVE selbst hat nur sehr rudimentäres Monitoring im webUI. ZFS kann man über das zfs-zed packet überwachen und SMART-Werte der Disks über smartd. Muss man sich beides aber erst über die CLI einrichten. Auch kann PVE keine Warn-Emails verschicken, außer du richtest vorher manuell über die CLI einen Mail-Server wie postfix ein.

In meinen ersten Tests mit Crystal Disk Info kamen extrem hohe Leseraten raus (11000MB) obwohl ich kein Cache aktiviert habe. Woher kommt das?

Tools wie CrystalDiskMark kannst du vergessen. Da werden Lese und Schreiboperationen gecacht, du benchmarkst also nur deinen RAM.
Auch wenn du bei einer VM "cachemode=none" ausgewählt hast cacht ZFS mit seinem ARC im RAM. Standardmäßig wird sich dafür ZFS bei dir bis zu 64GB RAM gönnen.

 

[Blum0r]

Danke für die Antworten,

Du kannst auch PVE OS + ISOs + VMs auf dem selben ZFS Mirror betreiben. Würde ich einer einzelnen SSD für das OS bevorzugen, dann ist dein PVE wenigstens redundant. Mirror für VMs bringt dir ja auch nichts, wenn dir der Server crasht und sich nicht mehr starten lässt, weil du deine einzige System-Disk verloren hast.
Wenn du schon die System-Disks getrennt haben willst, dann würde ich die wenigstens ebenfalls in einen ZFS Mirror packen. Für PVE selbst reicht so 16-32GB. Wenn du dann noch Daten wie ISOs drauf speichern willst entsprechend mehr. Aber ISOs und Co könnten genau so gut auch mit auf die Disks für die VMs.

Bei ZFS nicht vergessen, dass du keine Consumer Disks nehmen solltest. Also Enterprise/Datacenter Grade SSDs mit "Power-loss Protection" und genügend Haltbarkeit (DWPD bzw TBW) besorgen.

Muss man das dann schon direkt beim installieren von PM erstellen?

Kann man machen, aber nicht vergessen, dass du inkrementelle Backups nur mit dem Proxmox Backup Server oder 3rd-Party-Software bekommst. Und für den PBS wäre eine einzelne 16TB HDD eine schlechte Wahl. Der braucht IOPS Performance.

Muss der Backup Server ein eigenes Blech sein?
Sollte die Backup Platte dann auch eine große SSD sein? Auch Enterprise?

Auf den Disks für die VMs sind wirklich nur die virtuellen Disks gespeichert. Alle Konfigs der VMs sind auf der System-Disk. Verlierst du deine System-Disk, dann sind auch die Konfigs weg, welche deine VMs definieren. Du hättest nach einem Neuinstallieren von PVE also keine VMs die du starten könntest. Daher nicht vergessen immer auch die Konfigs von der System-Disk zu sichern.

Das ist eine sehr wichtige Info gewesen, damit ist ein Backup oder ein Mirror der Systemplatte auch jeden fall gesetzt.

Wenn dir der Server wichtig ist (und das scheint er ja, wenn du schon Mainboard/CPU/RAM und Co Enterprise Grade gekauft hast) dann würde ich persönlich nichts an Consumer Grade Hardware verbauen

Wäre die PM893 von Samsung eine passende Enterprise Platte?
Sollte ich 2 x 480gb mirror + 2 x 2tb Mirror planen?

 

[Dunuin]

Muss man das dann schon direkt beim installieren von PM erstellen?

Bei ZFS teilen sich alle Storages dynamischen den vollen Platz. Bei LVM müsste man sich schon vor der Installation genau überlegen, wieviel Platz man für was haben möchte.

Muss der Backup Server ein eigenes Blech sein?

Nicht zwingend, aber ein PBS auf dem PVE hat einige Nachteile. Z.B. kommt irgendwann noch Host-Backups, was natürlich nichts bringt, wenn dein PBS nicht mehr lauffähig ist, da es ja erfordert dass dein PVE funktioniert. Auch kann sich die PBS VM/LXC nicht selbst sichern. Und deine Backups wären alle im selben Server auf dem auch deine Gäste laufen. Fängt da mal ein Kabel im Server an zu brennen, gibt das Netzteil den Geist auf und schließt alle SSDs/HDDs im Server nach 230V kurz, geht Nicht-ECC-RAM kaputt und korrumpiert über Wochen unbemerkt alle Daten, dann bringen dir auch all die Backups nichts mehr.

Sollte die Backup Platte dann auch eine große SSD sein? Auch Enterprise?

Im Idealfall redundante Enterprise-SSDs. Wenn du kein Copy-on-Write Dateisystem wie ZFS nutzt und dir die Backups nicht so wichtig sind, könnten es auch ordentliche Consumer SSDs tun. Aber Consumer SSDs haben eigentlich in keinem Produktivsystem etwas zu suchen.
Von HDDs ist abzuraten und wenn dann nur in Verbindung mit Enterprise SSDs für Metadaten, da sonst die GC einfach nicht fertig wird.

Wäre die PM893 von Samsung eine passende Enterprise Platte?
Sollte ich 2 x 480gb mirror + 2 x 2tb Mirror planen?

Ja, die kann man nutzen. Im Gegensatz zu Consumer-SSDs sind die Enterprise SSDs eigentlich alle recht brauchbar. Die PM893 sind aber eher am unteren Ende was Schreibperformance/Haltbarkeit angeht. Musst du gucken ob dir das reicht (PM893 ist für leseintensive Workloads die nicht viel schreiben, PM897 wäre das Modell für Mixed-Workloads).
Bei der Größenkalkulation nicht vergessen, dass man einen ZFS Pool nicht komplett füllen sollte. Für optimale Performance sollte der Pool nicht über 80% gefüllt werden. Ab 90% schaltet ZFS in einen langsameren Modus. Mit 2x 2TB im ZFS Mirror hättest du also eher 1.6TB nutzbar.

 

[mow]

Im Idealfall redundante Enterprise-SSDs. Wenn du kein Copy-on-Write Dateisystem wie ZFS nutzt und dir die Backups nicht so wichtig sind, könnten es auch ordentliche Consumer SSDs tun. Aber Consumer SSDs haben eigentlich in keinem Produktivsystem etwas zu suchen.
Von HDDs ist abzuraten und wenn dann nur in Verbindung mit Enterprise SSDs für Metadaten, da sonst die GC einfach nicht fertig wird.

(Onboard-)RAID mit FBWC reicht auch. 5 Minuten bei 1,3TB Belegung auf vier 3TB SAS im RAID5 am P420i.

Ja, die kann man nutzen. Im Gegensatz zu Consumer-SSDs sind die Enterprise SSDs eigentlich alle recht brauchbar. Die PM893 sind aber eher am unteren Ende was Schreibperformance/Haltbarkeit angeht. Musst du gucken ob dir das reicht (PM893 ist für leseintensive Workloads die nicht viel schreiben, PM897 wäre das Modell für Mixed-Workloads).

Hm, für die PM893 finde ich bei Samsung zwei unterschiedliche Angaben für TBW und Garantiedauer: Für 960GB 1366TBW bzw. 1,3 DWPD@3y und 1752TBW bzw. 1 DWPD@5y. Aber doof daß die mit der PM897 (3 DWPD) auch für die bessere Baureihe auf TLC umgestiegen sind und es keine SM893 o.ä. gibt.

 

[Falk R.]

Die SSDs mit 1DWPD@5Y schreibst du im Backupserver niemals tot und selbst bei normalem Workload ist das bei ZFS auch kein Problem.