Anfängerfragen zu Proxmox und Festplattenkonfiguration

[Nachtwind72]

Hallo zusammen,
ich betreibe einen Windows Server mit Hyper-V und ein paar virtuellen Maschinen darauf auf einem DELL T20 mit 32GB ECC. Dazu noch ein intel NUC mit HomeAssistant (der soll inkl. Zigbee USB-Stick auch als VM auf den PVE wandern) und ab und zu ein paar kleine VMs zum testen.
Da nun eh ein Wechsel auf eine neue Server-OS Version ansteht, wollte ich das ganze auf Proxmox aufbauen bzw umziehen. VMs werden mit Synology Active Backup for Business auf eine Diskstation gesichert, auch die Rücksicherung von Synology auf Proxmox läuft gut. Zusätzlich werden die Server momentan auf USB gesichert, das soll auch so bleiben. Ablage für große Dateien / Shares ist auf der Synology, PVE muss also keinen Massenspeicher bereitstellen.

Ein paar Spielereien mit Proxmox 8.3 auf einem 2. T20 habe ich hinter mir, nun habe ich aber vor der Migration noch ein paar Fragen zum Setup der Festplatten. Bisher habe ich mit intel CPU-Raid ein Raid 1 oder Raid 10 gefahren und bin für meine Ansprüche damit extrem zufrieden. Vorteil bei der Raid 1 Variante war, dass man einfach eine Platte an einer Docking an den PC anstecken konnte und direkt Zugriff auf das Dateisystem hatte. Wirklich benötigt habe ich das sehr selten, ein funktionierendes 2-stufiges Backup ist ja auch vorhanden.

Nun zur Frage, wie richte ich die Platten für den PVE-Host ein?
Zur Verfügung stehen bis zu 4x 1TB WD SA500 SSDs und bis zu 4x normale SanDisk Ultra 3D SSDs 500GB - eine Ausfallsicherheit soll auf jeden Fall vorhanden sein.
Ich bin mir nicht sicher, ob ich ein ZFS oder BTRFS Raid 1 oder 10 für das Bootvolume nutzen sollte / will, da ich damit auch wenig bis keine Erfahrung bisher habe.
Die 1 TB SA500 SSDs möchte ich für die VMs nutzen, Bei Bedarf / Sinnhaftigkeit gerne auch getrennt vom Bootlaufwerk für PVE. Da ich da aber wie gesagt keine Erfahrung habe, würde mich hier ein Best Practice mit knapper Begründung pro/contra interessieren.
Zu PVE an sich findet man ja massig Infos, aber zur "richtigen" Konfiguration der Platten habe ich nicht wirklich etwas gefunden.

Ich bedanke mich im Voraus für eure Meinungen / Infos

Schöne Grüße vom Nachtwind

 

[GMBauer]

VMs werden mit Synology Active Backup for Business auf eine Diskstation gesichert, auch die Rücksicherung von Synology auf Proxmox läuft gut.

Ich entschuldige mich fürs reingrätschen, aber wie hast du denn das geschafft? Bei mir tut das nicht. ABB bietet nur Optionen für VMware und HyperV. Proxmox kann ich nicht sichern. (Ich nutze aber nach wie vor nur DSM 6.x, wg. externem USB-2G5-Adapter... Wurde das in ABB für DSM-Version 7.x geändert?)

Zur Verfügung stehen bis zu 4x 1TB WD SA500 SSDs und bis zu 4x normale SanDisk Ultra 3D SSDs 500GB - eine Ausfallsicherheit soll auf jeden Fall vorhanden sein.
Ich bin mir nicht sicher, ob ich ein ZFS oder BTRFS Raid 1 oder 10 für das Bootvolume nutzen sollte / will, da ich damit auch wenig bis keine Erfahrung bisher habe.
Die 1 TB SA500 SSDs möchte ich für die VMs nutzen, Bei Bedarf / Sinnhaftigkeit gerne auch getrennt vom Bootlaufwerk für PVE. Da ich da aber wie gesagt keine Erfahrung habe, würde mich hier ein Best Practice mit knapper Begründung pro/contra interessieren.

Wieviel Platz brauchen denn deine VMs? Reden wir eher von 1 TB oder 2,5 TB? Wenn du mit dem Platz auskommst, würde ich die vier WDs in ein 10 stecken. Proxmox schreibt leider viel mehr ständig auf die Platten als ein ESXi - ich glaube, ich würde fürs OS zwei Sandisks in ein Raid 1 stecken und ein Spare dazubauen.

Auch wenn sich jetzt alle abwenden werden, aber ich habe auch mal ein Raid 1 in einem ESXi auf einem Dell T320 aus Sandisk Ultra 3D SSDs aufgebaut. Das war zu einer Zeit, als die gerade rauskamen (Anfang 2018) und ServerSSDs noch weitab jeder Erschwinglichkeit für kleine Firmen waren. Seitdem haben 8 VMs versucht, die abzunutzen, aber bisher erst 14 % geschafft. Die laufen immer noch, dank mehrerer unterschiedlicher Backups lässt mich das auch völlig kalt.

Edit: Nach nochmaligem Nachdenken würde ich fürs OS zwei neue kleine Server-SSDs anschaffen und die in ein Raid 1 bauen.

 

[Nachtwind72]

Ich entschuldige mich fürs reingrätschen, aber wie hast du denn das geschafft? Bei mir tut das nicht. ABB bietet nur Optionen für VMware und HyperV. Proxmox kann ich nicht sichern. (Ich nutze aber nach wie vor nur DSM 6.x, wg. externem USB-2G5-Adapter... Wurde das in ABB für DSM-Version 7.x geändert?)
...

Ich sichere die VMs selbst, nicht über Proxmox. Sorry, das hatte ich nicht genauer ausgeführt. Also nicht wie die Hyper-V-Sicherung, sondern die Sicherung über den Agenten in der Windows-VM. Restore geht dann über den Synology Restore Media Creator, den man auf der Seite der Clientsicherung erstellen kann.

...
Wieviel Platz brauchen denn deine VMs? Reden wir eher von 1 TB oder 2,5 TB? Wenn du mit dem Platz auskommst, würde ich die vier WDs in ein 10 stecken. Proxmox schreibt leider viel mehr ständig auf die Platten als ein ESXi - ich glaube, ich würde fürs OS zwei Sandisks in ein Raid 1 stecken und ein Spare dazubauen.
...

Edit: Nach nochmaligem Nachdenken würde ich fürs OS zwei neue kleine Server-SSDs anschaffen und die in ein Raid 1 bauen.

Mit dem 1TB komme ich wahrscheinlich aus, da ich aber immer auch mal ein paar Test-VMs brauche und das ganze jetzt natürlich auch eine Weile laufen soll, hatte ich zum Raid10 mit dann eben 2TB tendiert.
Da der T20 nur 4 interne SATA-Ports hat, würde ich in dem Fall das OS mit auf das Raid 10 packen wollen, da ich gern die Hardware schlank halten würde.
Bei 6 SATA-Ports würde ich klar auf ein Raid1 für das OS und ein Raid 10 für die VMs gehen... ist aber leider nicht so.

...
Auch wenn sich jetzt alle abwenden werden, aber ich habe auch mal ein Raid 1 in einem ESXi auf einem Dell T320 aus Sandisk Ultra 3D SSDs aufgebaut. Das war zu einer Zeit, als die gerade rauskamen (Anfang 2018) und ServerSSDs noch weitab jeder Erschwinglichkeit für kleine Firmen waren. Seitdem haben 8 VMs versucht, die abzunutzen, aber bisher erst 14 % geschafft. Die laufen immer noch, dank mehrerer unterschiedlicher Backups lässt mich das auch völlig kalt.
...

Hab ich auch alles hinter mir - zum Glück sind die Preise ja mittlerweiler entspannter geworden
Bei wenig schreibintensiven Anforderungen ist das auch alles okay. Ein 2-stufiges Backup in unterschiedlichen Brandabschnitten und ein Offsite-Sync der wichtigen Daten per VPN ist vorhanden, wir reden hier ja auch nicht von hochverfügbaren Datenbankservern mit 500 Benutzern.

Wichtig wäre mir wie gesagt nur, wie ich die Platten am sinnvollsten konfiguriere. Gerade auch im Hinblick auf Software-Raid & Dateisysteme (ZFS / BTRFS) von Proxmox, da habe ich einfach noch keine eigenen Erfahrungen.

 

[UdoB]

Wichtig wäre mir wie gesagt nur, wie ich die Platten am sinnvollsten konfiguriere. Gerade auch im Hinblick auf Software-Raid & Dateisysteme (ZFS / BTRFS) von Proxmox, da habe ich einfach noch keine eigenen Erfahrungen.

Alles auf ZFS. Immer.

Für das OS sowie für VMs: gespiegelt/mirroring = ähnlich Raid1/Raid10.
Für "normale" Daten ist möglicherweise ein RaidZ2/RaidZ3 empfehlenswerter. (RaidZ1 wird bei heutigen großen Kapazitäten generell nicht mehr empfohlen, genau wie Raid5.)

In englischer Sprache hatte ich einige Vorteile von ZFS hier aufgeführt: https://forum.proxmox.com/threads/f...y-a-few-disks-should-i-use-zfs-at-all.160037/

Rückfragen gerne hier auf deutsch

 

[Johannes S]

Zur Verfügung stehen bis zu 4x 1TB WD SA500 SSDs und bis zu 4x normale SanDisk Ultra 3D SSDs 500GB - eine Ausfallsicherheit soll auf jeden Fall vorhanden sein.
Ich bin mir nicht sicher, ob ich ein ZFS oder BTRFS Raid 1 oder 10 für das Bootvolume nutzen sollte / will, da ich damit auch wenig bis keine Erfahrung bisher habe.

Ja ZFS willst du, dafür musst du dann Hardware-RAID ausmachen ( beides verträgt sich schlecht):

[TUTORIAL] Thread 'FabU: This is just a small setup with limited resources and only a few disks, should I use ZFS at all?'

Jan 3, 2025

Should I use ZFS at all?​

For once this requires a disclaimer first: I am using ZFS nearly everywhere, where it is easily possible, though exceptions do exists. In any case I am definitely biased pro ZFS.

That said..., the correct answer is obviously: “Yes, of course” ;-)

Integrity​

ZFS assures integrity. It will deliver exactly the very same data when you read it as was written at some point of time in the past.

“But all filesystems do this, right?” Well, there is more to it. ZFS works hard to actively assure the correctness. An...

• UdoB
• consumer class enterprise class integrity mirror raidz storage zfs
• Replies: 1
• Forum: Proxmox VE: Installation and configuration

• 

Zu den RAID-Leveln bei ZFS bitte auch folgendes lesen:

[TUTORIAL] Thread 'FabU: Can I use ZFS RaidZ for my VMs?'

Jan 1, 2025

Assumption: you use at least four identical devices for that. Mirrors, RaidZ, RaidZ2 are possible - theoretically.

Technically correct answer: yes, it works. But the right answers is: no, do not do that! The recommendation is very clear: use “striped mirrors”. This results in something similar to a classic Raid10.

(1) RaidZ1 (and Z2 too) gives you the IOPS of a single device, completely independent of the actual number of physical devices. For the “four devices, mirrored” approach this will double --> giving twice as many Operations per Second. For a large-file...

• UdoB
• mirrors raidz vm storage zfs
• Replies: 3
• Forum: Proxmox VE: Installation and configuration

• 

Edit: UdoB als Autor dieser Postings war schneller

Die 1 TB SA500 SSDs möchte ich für die VMs nutzen, Bei Bedarf / Sinnhaftigkeit gerne auch getrennt vom Bootlaufwerk für PVE. Da ich da aber wie gesagt keine Erfahrung habe, würde mich hier ein Best Practice mit knapper Begründung pro/contra interessieren.

Best practice ist es, VMs und Betriebssystem zu trennen. Da die Schreiblast beim Bootlaufwerk durchs Logging relativ hoch ist, sollte man dafür Enterprise-SSDs, HDDs oder häufigere Plattentausch einplanen.

Ich würde zwei striped mirror ( einmal fürs OS, einmal für VMs/lxcs) anlegen, dies entspricht dann RAID10 und sollte die beste Performance bringen.

Noch was: Unterstützt deine Synology das Hosten von VMs? Dann würde ich mir da den ProxmoxBackupServer als zusätzliche Absicherung und für komfortablere Restores einrichten. Alternativ kannst du dafür natürlich auch deinen 2. T20 nehmen. Wenn du den nur fürs Backup anmachst, bleibt das vom Stromverbrauch aushalten. Auf deinen Hauptserver kannst du dir ja auch einen PBS ( als VM oder neben den PVE) einrichten, der PBS auf dem zweiten T20 kann dich dann die Backups von dort synchronisieren

 

[Nachtwind72]

Alles auf ZFS. Immer.

Für das OS sowie für VMs: gespiegelt/mirroring = ähnlich Raid1/Raid10.
...

Okay, dann wäre es also durchaus okay, die 4 Platten bei der Installation als Raid 10 mit ZFS zu konfigurieren und sowohl für das OS als auch die VMs zu nutzen?

Vielen Dank schon mal für die Infos!

 

[Nachtwind72]

Ja ZFS willst du, dafür musst du dann Hardware-RAID ausmachen ( beides verträgt sich schlecht):
...

Okay, ZFS ist dann wohl gesetzt (hatte ich auch so gedacht, aber eben keine Erfahrung und mit BTRFS auf der Syno bin ich halt sehr zufrieden)
Der T20 wird dann wieder von RAID auf AHCI konfiguriert (auch wenn Proxmox bei RAID trotzdem auf die einzelnen Platten zugreift, hab ich schon getestet)

...
Best practice ist es, VMs und Betriebssystem zu trennen. Da die Schreiblast beim Bootlaufwerk durchs Logging relativ hoch ist, sollte man dafür Enterprise-SSDs, HDDs oder häufigere Plattentausch einplanen.
Ich würde zwei striped mirror ( einmal fürs OS, einmal für VMs/lxcs) anlegen, dies entspricht dann RAID10 und sollte die beste Performance bringen.
...

Ich hatte oben ja schon geschrieben (hatte sich überlappt mit den Antworten), dass ich 4 SATA-Ports habe und eigentlich wenn möglich mit den 4 Ports / Platten auskommen wollte
2x Striped Mirror (Raid 10) wären dann ja 8 Platten - Oder was verstehe ich gerade falsch?

...
Noch was: Unterstützt deine Synology das Hosten von VMs? Dann würde ich mir da den ProxmoxBackupServer als zusätzliche Absicherung und für komfortablere Restores einrichten. Alternativ kannst du dafür natürlich auch deinen 2. T20 nehmen. Wenn du den nur fürs Backup anmachst, bleibt das vom Stromverbrauch aushalten. Auf deinen Hauptserver kannst du dir ja auch einen PBS ( als VM oder neben den PVE) einrichten, der PBS auf dem zweiten T20 kann dich dann die Backups von dort synchronisieren

Den Proxmox Backup-Server wollte ich mir auch anschauen, wenn erstmal alles soweit läuft, die Synology kann VMs hosten, ich weiß aber noch nicht genau, ob der Proxmox Backupserver funktioniert. Erstmal ist das Aufsetzen bzw. Konsolidieren des Servers im Vordergrund, Sicherungen der VMs habe ich ja schon am Laufen.
Der 2. T20 wird dann wieder andere Aufgaben am 2. Standort übernehmen

 

[UdoB]

Okay, dann wäre es also durchaus okay, die 4 Platten bei der Installation als Raid 10 mit ZFS zu konfigurieren und sowohl für das OS als auch die VMs zu nutzen?

Ja.

Die klassische Empfehlung "Betriebssystem / virtuelle Platten für VMs / normale Daten" zu trennen besteht natürlich weiterhin, da dies etliche Vorteile hat und Änderungen im jeweiligen Bereich vereinfacht.

Aber bei Mini-PCs mit einer sehr begrenzten Anzahl von Anschlüssen für SSD/NVMe/HDD kann man meiner Meinung nach durchaus Kompromisse eingehen. (Im Job tue ich dies ausdrücklich nicht, in meinem Homelab aber sehr wohl.)

Übrigens: wenn du gleich bei der Installation alle vier SSDs als "Striped Mirrors" (oder wie auch immer das dort genannt wird) einrichtest sind anschließend alle vier bootfähig.

Sicherheitshalber: die dringende Empfehlung "Enterprise Class mit PLP" solltest du allerdings nicht ignorieren.

 

[Johannes S]

Okay, ZFS ist dann wohl gesetzt (hatte ich auch so gedacht, aber eben keine Erfahrung und mit BTRFS auf der Syno bin ich halt sehr zufrieden)

Naja grundsätzlich sollte btrfs genausogut oder schlecht wie in jeden anderen Linux funktionieren ( mirror ok, Raid3/5 etc besser nicht), aber in ProxmoxVE ist es halt noch experimental. Die Integration von ZFS in die WebUI ist schlicht weiter

Ich hatte oben ja schon geschrieben (hatte sich überlappt mit den Antworten), dass ich 4 SATA-Ports habe und eigentlich wenn möglich mit den 4 Ports / Platten auskommen wollte
2x Striped Mirror (Raid 10) wären dann ja 8 Platten - Oder was verstehe ich gerade falsch?

Nein, dass verstehst du richtig, ich habe nicht richtig hingeguckt

Ob du nun zwei RAID1 mirror baust ( 2x500 und 2x1000) oder einen RAID10 ist dann eine Abwägungssache. RAID10 hätte bessere Performance und Ausfallsicherheit, zweimal RAID1 mehr Kapazität.

Den Proxmox Backup-Server wollte ich mir auch anschauen, wenn erstmal alles soweit läuft, die Synology kann VMs hosten, ich weiß aber noch nicht genau, ob der Proxmox Backupserver funktioniert.

Auch so könntest du eine NFS oder cifs-Freigabe der NAS als Backupspeicher einbinden für die nativen Backups von PVE. Die benötigen keinen PBS, verbrauchen aber mehr Speicherplatz. Vorteil: Geht eine vm kaputt/verbastelt, hat man sie damit schnell wieder am Rennen

 

[Nachtwind72]

...
Aber bei Mini-PCs mit einer sehr begrenzten Anzahl von Anschlüssen für SSD/NVMe/HDD kann man meiner Meinung nach durchaus Kompromisse eingehen. (Im Job tue ich dies ausdrücklich nicht, in meinem Homelab aber sehr wohl.)
...
Sicherheitshalber: die dringende Empfehlung "Enterprise Class mit PLP" solltest du allerdings nicht ignorieren.

Danke nochmal für den Hinweis, die SA500 habe ich halt noch hier und habe vor allem bisher sehr gute Erfahrungen damit gemacht. Der Server ist auch noch an einer USV angeschlossen, ein automatisierter Shutdown ist mir eh lieber als auf PLP zu vertrauen ;-p
Bei Neuanschaffung keine Frage, da würde / werde ich das natürlich beachten

...
Nein, dass verstehst du richtig, ich habe nicht richtig hingeguckt
Ob du nun zwei RAID1 mirror baust ( 2x500 und 2x1000) oder einen RAID10 ist dann eine Abwägungssache. RAID10 hätte bessere Performance und Ausfallsicherheit, zweimal RAID1 mehr Kapazität.
...

Ich habe ja 4x 1TB SA500 Platten, da wäre das R10 ja von der Kapazität identisch mit 2x R1, würde also das R10 nutzen für OS und VMs.
Die 500GB SSDs sind ja die normalen Ultra 3D SSDs - die hatte ich aber eh nicht ernsthaft (oder zumindest dauerhaft) für den Server vorgesehen.

...
Auch so könntest du eine NFS oder cifs-Freigabe der NAS als Backupspricher einbinden für die nativen Backups von PVE. Die benötigen keinen PBS, verbrauchen aber mehr Speicherplatz. Vorteil: Geht eine vm kaputt/verbastelt, hat man sie damit schnell wieder am Rennen

Ja, den PBS werde ich mir später noch näher ansehen. Eine gute, regelmäßige Backupstrategie ist mir eh schon immer wichtig


Vielen Dank schon mal an alle, mit so vielen guten und schnellen Reaktionen hatte ich gar nicht gerechnet

 

[Johannes S]

Danke nochmal für den Hinweis, die SA500 habe ich halt noch hier und habe vor allem bisher sehr gute Erfahrungen damit gemacht. Der Server ist auch noch an einer USV angeschlossen, ein automatisierter Shutdown ist mir eh lieber als auf PLP zu vertrauen ;-p

Bei PLP geht es eh nicht so sehr um Datensicherheit, sondern Performance und Lebensdauer, Consumer-SSDs müssen (da es eben keinen Puffer gibt) ihre Daten immer direkt auf die SSD schreiben, dadurch sind mehr Writes fällig, was die Lebenszeit entsprechend verkürzt und Performance kostet. Bei SSDs mit PLP können die daten dagegen erstmal im Cache vorgehalten werden, bevor sie als größerer Block geschrieben werden. Bei einen Stromausfall sorgen die Elkos der PLP dann dafür, dass die Daten dann trotzdem geschrieben werden.

Siehe dazu auch folgende Diskussion (inklusiver hübschen Foto von einer geöffneten SSD samst Elkos): https://forum.proxmox.com/threads/powerloss-protection-plp-mythos.157003/

Ich habe ja 4x 1TB SA500 Platten, da wäre das R10 ja von der Kapazität identisch mit 2x R1, würde also das R10 nutzen für OS und VMs.
Die 500GB SSDs sind ja die normalen Ultra 3D SSDs - die hatte ich aber eh nicht ernsthaft (oder zumindest dauerhaft) für den Server vorgesehen.

Klingt vernünftig

Ja, den PBS werde ich mir später noch näher ansehen. Eine gute, regelmäßige Backupstrategie ist mir eh schon immer wichtig

Die native vzdump-Funktion zum Erzeugen von vma-Backups braucht den PBS halt gar nicht, der würde sogar auf lokalen Festplatten (oder eben Netzwerkfreigaben) funktionieren, nur ist das natürlich etwas witzlos (weil das Backup einen ja vor den Ausfall der Platten schützen soll). Im Endeffekt musst du es ja wissen, aber im Zweifelsfall eine VM schnell wieder lauffähig zu kriegen, wäre mir ja den zusätzlichen Platzverbrauch auf der NAS wert, eine weitere Freigabe ist ja schnell eingerichtet.

 

[Nachtwind72]

Bei PLP geht es eh nicht so sehr um Datensicherheit, sondern Performance und Lebensdauer, Consumer-SSDs müssen (da es eben keinen Puffer gibt) ihre Daten immer direkt auf die SSD schreiben, dadurch sind mehr Writes fällig, was die Lebenszeit entsprechend verkürzt und Performance kostet. Bei SSDs mit PLP können die daten dagegen erstmal im Cache vorgehalten werden, bevor sie als größerer Block geschrieben werden. Bei einen Stromausfall sorgen die Elkos der PLP dann dafür, dass die Daten dann trotzdem geschrieben werden.
...

Du musst mich nicht davon überzeugen... ich bin gelernter Elektroniker und sehe das genau so wie Du... nur kosten eben 4 zusätzliche Enterprise-Platten auch wieder Geld... und ich habe 4 gute NAS-/Server-SSDs hier liegen. Daher erstmal den Weg so... gerade auch weil...

...
Die native vzdump-Funktion zum Erzeugen von vma-Backups braucht den PBS halt gar nicht, der würde sogar auf lokalen Festplatten (oder eben Netzwerkfreigaben) funktionieren, nur ist das natürlich etwas witzlos (weil das Backup einen ja vor den Ausfall der Platten schützen soll). Im Endeffekt musst du es ja wissen, aber im Zweifelsfall eine VM schnell wieder lauffähig zu kriegen, wäre mir ja den zusätzlichen Platzverbrauch auf der NAS wert, eine weitere Freigabe ist ja schnell eingerichtet.

...ich eh die Backups auf ABB auf der Syno habe.
Bei einem Totalausfall nur die Recovery-ISO laden, VM und Sicherungszeitpunkt auswählen und schon gehts los. Habe ich getestet und funktioniert wunderbar. Vorteil dabei ist eben die Deduplizierung auf Blockebene auf der Syno.