Ich möchte Proxmox neu aufsetzen - Was sollte ich verändern?

T

tp1de

Member
Oct 30, 2023
11
2
8
Ich bräuchte euren Expertenrat. Meine aktuelle Proxmox-Installation sieht folgendermaßen aus:

2 x Mini PCs mit NVMe im HA-Cluster + QDevice auf Raspberry PI.
Jeweils ZFS Replikation zwischen den Proxmox Nodes - kein CEPH

2 x Synology NAS - eines mit PBS unter Virtual Manager zur Sicherung

All das hat 2 Jahre gut funktioniert. Jetzt hat die NVMe der primären Node die TBW-Grenze erreicht. (War eine Consumer NVMe)

Jetzt bin ich am überlegen:

1. Sollte ich das Proxmox OS auf einer separaten SATA-SSD installieren? Oder wie gehabt beides zusammen auf einer NVMe?
2. Das HA-Cluster macht das Verwalten sehr angenehm, führt aber zu einer deutlich höheren Schreiblast.
Wie sind dort die Emfehlungen? Unterbrechungsfrei brauche ich nicht. Es sollte nur ohne viel Aufwand wieder laufen.
3. Bei Trennung Proxmox OS und NVME für LXC und VM - WIe verteilen sich die Schreiblasten auf die beiden Disks?
Welche TBW-Werte sollten die Disks dann haben. Reichen "normale" TLC SSDs?
4. Bei 2 Disks pro Mini-PC: Ich bin am überlegen PBS dann ggfs. als VM zu installieren und auf der SATA-SSD zu installieren / sichern?
Macht das Sinn?

Über euer Feedback würde ich mich freuen
Thomas
 
tp1de said:
Jetzt hat die NVMe der primären Node die TBW-Grenze erreicht.
Click to expand...
Hatte kürzlich den gleichartigen Fall. Zudem war mir die Boot-SSD zu klein (128GB).
. Neue SSD 512 GB mit USB-Docking Station angeschlossen ("GrauGear" von Amazon)
. Rescuezilla von USB-Stick gestartet
. SSD geklont
. Alte gegen neue SSD getauscht, Power on, PVE läuft wie bisher
. ZFS-Pool auf der neuen 512GB SSD zur vollen Größe angepaßt
tp1de said:
Welche TBW-Werte sollten die Disks dann haben.
Click to expand...
So viel wie bezahlbar möglich.
tp1de said:
Reichen "normale" TLC SSDs?
Click to expand...
Dann muß man vielleicht öfter klonen / ersetzen. SSD sind halt Verbrauchsmaterial. :D

Bin von billigem Chinamist (preinstalled) auf eine WD BLACK SN750, welche hier noch lag. Die hat offiziell wohl "nur" 300 TBW, aber diese hat bereits 131 TBW und zeigt 0% wear out an. Also wenn man halbwegs "Markenware" nimmt, die immer schön beobachtet, das Wichtigste spiegelt, dann kommt man mit Consumerware im Home Lab sehr gut hin. Erst recht bei den Preisen mittlerweile. :mad:
 
Last edited:
  • Like
Reactions: Johannes S
Der Idealfall wäre natürlich OS und Daten retreat auf jeweils eigenen Mirror. Da das mit mini-pcs nun mal nicht geht, packe ich immer beides auf einen gemeinsamen mirror, da ich auf den zfs mirror nicht verzichten möchte
 
Johannes S said:
Der Idealfall wäre natürlich OS und Daten retreat auf jeweils eigenen Mirror. Da das mit mini-pcs nun mal nicht geht, packe ich immer beides auf einen gemeinsamen mirror, da ich auf den zfs mirror nicht verzichten möchte
Click to expand...
Meine Mini-PCs haben jeweils einen NVMe Steckplatz und zusätzlich die Möglichkeit eine 2,5 Zoll SATA SSD einzubauen.
ZFS-Mirror geht doch dann nicht - oder?
 
tp1de said:
Meine Mini-PCs haben jeweils einen NVMe Steckplatz und zusätzlich die Möglichkeit eine 2,5 Zoll SATA SSD einzubauen.
ZFS-Mirror geht doch dann nicht - oder?
Click to expand...
Gehen würde es schon, würde ich aber nicht empfehlen, weil du dann nur SATA Perofmance hast. In deinem Fall würdeich die SATA SSD als Bootlaufwerk nehmen und die NVME's für VMs. Und dann halt Backups der VMs machen auf das NAS.
 
6equj5 said:
Bin von billigem Chinamist (preinstalled) auf eine WD BLACK SN750, welche hier noch lag. Die hat offiziell wohl "nur" 300 TBW, aber diese hat bereits 131 TBW und zeigt 0% wear out an. Also wenn man halbwegs "Markenware" nimmt, die immer schön beobachtet, das Wichtigste spiegelt, dann kommt man mit Consumerware im Home Lab sehr gut hin. Erst recht bei den Preisen mittlerweile. :mad:
Click to expand...


D.h. du würdest nur eine Marken-NVMe nehmen für OS und Anwendungen? (und nicht trennen?)
 
Was ist dann schon vorhanden und was müsstest du kaufen?

Performancetechnisch profitiert Proxmox nicht gross von einer NVMe, die VMs/LCXs je nachdem aber schon. Und du häöttest weniger "wear" auf der tendentiell teureren NVMe SSD, wenn das OS da nicht auch noch daruf ist.
 
  • Like
Reactions: 6equj5
Hat Jemand Ratschläge zum HA-Cluster und dem Wear-Out? Wo tritt das am stärksten auf)
Bei Trennung OS und VMs: Proxmox OS (SATA-SSD) oder bei den VM's (NVMe) ?
 
TErxleben said:
Was das Dateisystem angeht, hier ein durchaus lesenswerter Artikel:
https://webhosting.de/ext4-xfs-zfs-hosting-performance-vergleich-storage/
Click to expand...
Nun, wenn er HA mit Replikation nutzen möchte, wird er ZFS brauchen. Ob man HA braucht, ist eine andere Frage. Aber man muss ja nicht in jedem Thread zwingend immer zu Adam und Eva zurückgehen. ;)

Und alle drei werden auf einer SATA-SSD deutlich schlechter performen als auf einer NVMe, wobei es auch da wieder auf den Anwendungsfall ankommt, ob die Performanceunterschiede sich im Alltag überhaupt bemerkbar machen.
 
Last edited:
  • Like
Reactions: Johannes S
proxuser77 said:
Naja wenn er HA mit Replication machen will, wird er ZFS brauchen. Ob man HA braucht, ist nochmal eine andere Frage, aber mann muss ja nicht in jedem Thread zwingend immer komplett zu Adam und Eva zurückgehen.;)
Click to expand...
Kommen wir zu PVE-HA. Fettes Wort für das was Proxmox liefert. Wie verkraftet denn dein Cluster den plötzlichen Totalausfall eines Nodes? Nebenbei ist ja wohl nicht falsch sich Wissen anzueignen, das seit Adam und Eva immer noch Grundlage ist.
 
  • Like
Reactions: waltar
waltar said:
Puuh, bei dem geschriebenem kommen mir aber auch wieder die Haare hoch, besser nicht lesen, wenn an xfs interessiert.
Click to expand...
Ist sicherlich keine Doktorarbeit, aber verschafft einen Überblick. So richtig fette Schnitzer konnte ich auch nicht entdecken. Was fiel dir denn ins Auge?
 
tp1de said:
Meine Mini-PCs haben jeweils einen NVMe Steckplatz und zusätzlich die Möglichkeit eine 2,5 Zoll SATA SSD einzubauen.
ZFS-Mirror geht doch dann nicht - oder?
Click to expand...
Doch schon, nur dann halt mit maximal SATA-Performance. Das finde ich im Homelab vertretbar, vor allen weil typische Consumer-NVMEs ohne Powerloss-Protection ja auch nicht unbedingt die beste Performance haben. Dieser Mirror wird dann halt sowohl für das System als auch die VMs genutzt. Für größere Datenmengen werden Netzwerkfreigaben von der NAS eingebunden bei mir.

TErxleben said:
Kommen wir zu PVE-HA. Fettes Wort für das was Proxmox liefert. Wie verkraftet denn dein Cluster den plötzlichen Totalausfall eines Nodes? Nebenbei ist ja wohl nicht falsch sich Wissen anzueignen, das seit Adam und Eva immer noch Grundlage ist.
Click to expand...
Wenn man sich an die Empfehlungen hält (dezidiertes Clusternetzwerk zusätzlich auf eigenen Netzwerkkarten, drei Knoten oder zwei Knoten + qdevice) verkraftet der Cluster das ganz gut. Für HA braucht es dann halt shared storage oder zfs (als pseudo-shared-storage), aber das ist ja eh klar.

waltar said:
Puuh, bei dem geschriebenem kommen mir aber auch wieder die Haare hoch, besser nicht lesen, wenn an xfs interessiert.
Click to expand...
Für eine Übersicht zu Dateisystemen würde ich eher folgenden Vortrag empfehlen: https://media.ccc.de/v/froscon2025-3238-50_years_in_filesystems
Oder die Blogposts des Vortragenden, aus denen er den Vortrag zusammengebastelt hat:
https://blog.koehntopp.info/2023/05/05/50-years-in-filesystems-1974/
https://blog.koehntopp.info/2023/05/06/50-years-in-filesystems-1984/
https://blog.koehntopp.info/2023/05/12/50-years-in-filesystems-1994/
https://blog.koehntopp.info/2023/05/15/50-years-in-filesystems-vnodes/
https://blog.koehntopp.info/2023/05/17/50-years-in-filesystems-towards-2004-lfs/

Und etwas älter zu btrfs und auf deutsch, das geht nämlich auch noch mal auf zfs ein (was im Grunde auf Ideen aus lfs basiert):

https://blog.koehntopp.info/2009/02/06/neue-ideen-in-dateisystemen-oder-btrfs-in-fedora-11/
 
Last edited:
  • Like
Reactions: UdoB
Johannes S said:
Für HA braucht es dann halt shared storage oder zfs (als pseudo-shared-storage), aber das ist ja eh klar.
Click to expand...
Genau da liegt doch der berühmte Hase im Pfeffer. Ohne schnellen und zuverlässigem shared storage, kannst du bzgl. HA keinen Blumentopf gewinnen. Hier wird es aber fälschlich gerne so dargestellt, da es ja Zauber-ZFS gibt.

ZFS wird auch nicht auch zu keinem pseudo-shared-storage, nur weil man Deltas übers Netzwerk schieben kann. Bricht dir ein Node im Cluster weg, dann ist es schlagartig vorbei mit den darauf laufenden VMs und dem shared-storage.
 
TErxleben said:
Genau da liegt doch der berühmte Hase im Pfeffer. Ohne schnellen und zuverlässigem shared storage, kannst du bzgl. HA keinen Blumentopf gewinnen. Hier wird es aber fälschlich gerne so dargestellt, da es ja Zauber-ZFS gibt.

ZFS wird auch nicht auch zu keinem pseudo-shared-storage, nur weil man Deltas übers Netzwerk schieben kann. Bricht dir ein Node im Cluster weg, dann ist es schlagartig vorbei mit den darauf laufenden VMs und dem shared-storage.
Click to expand...

Eben nicht. Wenn man Storage-Replikation aktiv hat UND HA für die entsprechende VM aktiviert, dann wird die VM auf den anderen Knoten weitegeführt auf Basis des letzten Replikationsstandes. Ja, das ist keine echte Hochverfügbarkeit und hat einen entsprechenden Datenverlust, was nicht in jeden Szenario akzeptabel ist. Ich wage aber zu behaupten, dass im Homelab die meisten Leute damit leben können. Und es wurde hier im Forum ja schon öfter auch von Leuten berichtet, dass sie mittelständische Kunden haben, die mit dieser Einschränkung (also den Datenverlust von minimal einer Minute, der Default von 15 Minuten muss halt angepasst werden ) gut leben können. Bei geplanter Maintenance eines Knoten (wie Updates) werden ja die Daten ja sogar komplett migriert. Und auf der Proxmoxseite findet sich ja eine "Sucess story", wo eine portugiesische Onlineapotheke das nutzt: https://www.proxmox.com/de/ueber-uns/ueber-uns/stories/story/farmacia-nova-da-maia-de

Taugt das für jeden Usecase? Nein. Gibt es genug Usecases, dass sich so ein Setup mit einen Cluster sinnvoll mit HA/Pseudo-HA betreiben lässt? Ja.

Ob das zutrifft, muss man natürlich im Einzelfall schauen. Aber von den eigenen Erfahrungen und Kunden auf die Allgemeinheit zu schließen, finde ich doch ein wenig schwierig.
 
  • Like
Reactions: UdoB
TErxleben said:
da es ja Zauber-ZFS
Click to expand...
Ja, gut erkannt :)

Und mit NFS kannst du bzgl. HA keinen Blumentopf gewinnen. Jedenfalls nicht, solange der NFS ein Spof ist und die gesamte Netzwerkinfrastruktur nicht ebenfalls redundant ausgelegt ist.

Jedes Konstrukt, welches im Homelab realistisch installierbar ist, hat sowohl Vor- als auch Nachteile!

----
Nachtrag: das kam jetzt offenbar etwas unpassend 'rüber, sorry. Mein obiger Blumentopf war nur als Spitze gegen den nicht zitierten Teil:

"Ohne schnellen und zuverlässigem shared storage, kannst du bzgl. HA keinen Blumentopf gewinnen. Hier wird es aber fälschlich gerne so dargestellt, da es ja Zauber-ZFS gibt."

...in #18 gedacht. Ich habe nix gegen NFS :-)
 
Last edited:
  • Like
Reactions: Johannes S
You must log in or register to reply here.
Top Bottom
Back