Pve 5 Updaten und pbs Möglichkeiten

[freakofevil]

Hallo zusammen,

Ich habe hier ein pve Cluster aus mehrere geräten die noch auf pve5 laufen.

Da es keine Backups gibt habe ich erstmal alles per nfs gesichert

Ich wollte ein Backup machen (schon erledigt über nfs)
Wollte aber weiter noch einen PBS einbinden was aber nicht unter Storage aufgeführt ist.

Ich möchte gerne das gesamte Cluster auf übe 7 hochziehen weil mir nicht so geheuer ist mit dem alten OS.


Leider kann ich nicht alle vms auf einen Node packen weil die Ressourcen nicht reichen.


Wie würdet ihr vorgehen um vernünftig die nodes upzudaten?

 

[Dunuin]

Klingt ja so, als hättest du da einen echt vernachlässigten PVE Cluster übernommen. Wenn ich da höre, dass der Cluster seit über 2 Jahren keine Sicherheitsupdates mehr bekommt, weil PVE 5.X schon seit über 2 Jahren EoL ist und nicht einmal Backups existieren, dann wurde der vorherige Admin hoffentlich genau deshalb gefeuert

PBS 1.X wurde erst mit PVE 6.X eingeführt und PBS 2.X mit PVE 7.X. PVE5.X kennt das also noch gar nicht.

Für das Update müsstest du erst das PVE 5.X auf die letzte Version bringen, dann von PVE 5.X auf PVE 6.X und wieder auf die letzte Version bringen. Und dann PVE 6.X auf PVE 7.2. Ich habe da aber keine Ahnung wie gut sich ein gemischter Cluster aus PVE 5.X und PVE 7.2 Nodes vertragen.
Da kann bestimmt wer vom Proxmox Staff bessere Infos geben, wie man da am besten vorgeht.

 

[freakofevil]

Danke für die Rückmeldung.


Naja jetzt ist es halt wie es ist und ich bin dabei den Karren aus dem dreck zu ziehen


Ich habe mir privat extra schon dieses Szenario nachgebaut und ein Update von PVE5 hoch zu pve7 durchgeführt.

Hier ist mir der Prozess gut dokumentiert.
Mein cluster Update zuhause hat einwandfrei funktioniert.

Ich habe nur massive Bauchschmerzen dieses Upgrade im Live-System einer Firma durchzuführen. Vor allem dann, wenn ich nicht mindestens im Notfall alle vms irgendwo anders hochziehen kann.


Die Antwort kann ich selbst geben
Gestern getestet
Ein pve7 Node kann einem pve5 cluster nicht joinen

Was aber geht ich kann die Backups einfach auf einem pve7node neu hochziehen

Meine Idee wäre jetzt
Ich kaufe eine Maschine, die alle vms beherbergen kann
installier dort pve7 und starte alle vms darauf
Dann mach ich das cluster Update pve5 auf 7

Jetzt kann ich alle vms wieder im cluster hochziehen
Die neue Maschine dem Cluster joinen
#ALTERNATIVE DAZU WÄRE
- Ich lasse alle vms auf dem neuen Node
- Starte auf dem neuen Node ein neues Cluster
- Mache die anderen nodes platt
- zieh sie auf pve7 neu hoch
- joine dem neuen pve7 Cluster

Dann könnte ich letztendlich den pbs einbinden und endlich sicher leben

Ich weis dieser Weg ist sehr zeitintensiv aber für mich der einzige der im Desasterfall die Infrastruktur nicht gefährdet.


Ich freu mich auf eure Anregungen und Ideen - vielleicht hat ja jemand noch einen Vorschlag den ich übersehe.

 

[fluxX04]

Hi,

Die neue Maschine dem Cluster joinen

zur Info, ein standalone Node, der schon VM's laufen hat, kann zu keinem bestehenden Cluster hinzugefügt werden.
https://pve.proxmox.com/pve-docs/pve-admin-guide.html#pvecm_join_node_to_cluster

Daher wäre eher deine Alternative die Lösung dazu.

Greetz

 

[freakofevil]

Mir ist noch eingefallen es scheitert eher am RAM als am cpu, dann wäre noch eine Option dies upzugraden, vms auf einen Node schieben den anderen upgraden
Und dann umgekehrt.


Hab generell noch ein paar Fragen und würde sie hier einfach anhängen.
Falls ein eigener Thread besser wäre Bescheid geben, dann hol ich das nach


Das Cluster hat zwei nodes was ja nicht gerade optimal ist.

Also sollte ein dritter her
Hardware für den pbs brauche ich ebenfalls.

Und jetzt zur Frage
Hat jemand Erfahrung mit gebrauchten Servern von dementsprechenden Händlern (servershop24.de oder ähnliche)

Ich weis nicht was ich von gebrauchten Sachen halten soll.
Solche Anbieter würden aber nicht existieren, wenn die Hardware nicht auch produktiv genutzt werden würde.

Klar wären Platten neu zu kaufen statt die mitgelieferten zu nutzen.

Dennoch bin ich mir nicht ganz sicher

Der Einsatz wäre wie beschrieben der pbs evtl ein zweiter pbs in einer anderen Niederlassung sowie der dritte Node


Bin mal auf eure Meinungen gespannt

 

[Dunuin]

Also für privat sind gebrauchte Server super. Im Produktiveinsatz aber natürlich noch einmal eine ganz andere Sache. Da möchte man dann statt der 6 Monate Gewährleistung vielleicht lieber eine volle Garantie haben inkl. Support-Plan, dass da auch Ersatzteile vorgehalten werden und etwas defektes möglichst schnell ersetzt werden kann, um unnötige Downtime zu vermeiden. Auch nicht vergessen, dass da die Garantie oft Klauseln hat bezüglich Zweitbesitzer. So eine Intel Enterprise SSD hat z.B. 5 Jahre Herstellergarantie. Guckt man da aber ins Kleingedruckte, dann steht da, dass die Garantie für den Zweitbesitzer entfällt. Hatte da dann auch schon gebrauchte SSDs die vor Ablauf der Herstellergarantie ausgefallen sind, ich aber nicht mehr wegen RMA einschicken durfte.

Das Cluster hat zwei nodes was ja nicht gerade optimal ist.

Also sollte ein dritter her

Wirklich gut, dass du das nun administrierst. Das klingt ja alles schrecklich.

Zur Not kann man da auch 2 Nodes + ein Qdevice betreiben, damit es nicht zum Split-Brain kommt, wenn da einer der beiden Nodes ausfällt. So ein Qdevice könnte dann z.B. auch der Server sein, auf dem PBS läuft. Siehe hier: https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support

Klingt dann aber so, als wenn da der Cluster mit ZFS läuft? Ceph wäre da eigentlich zu bevorzugen, da ZFS bei HA immer etwas an Daten verliert, da es kein echter Shared Storage (nur lokaler Storage der jede Minute oder so synchronisiert wird, also nie perfekt synchron ist) ist. Aber für Ceph bräuchte man dann wirklich mindestens 3 Nodes und ein gutes Netzwerk.

 

[freakofevil]

1. gute Nachrichten History hat gezeigt ein qdevice ist vorhanden.
Ist eine synology (KEINE vm darauf sondern die synology selbst)

• Hier muss ich noch recherchieren wie. Installiert ist darauf zumindest mal der „high availability Manager“ konnte jetzt auf die schnelle nicht finden ob die synology dann als qdevice dienen kann.

Die Server selbst haben keinen Speicher nur die System ssds
Als Storage dient die selbe synology, die auch das qdevice ist.
Storage ist per nfs eingebunden - hier bin ich nicht sicher ob iscsi nicht schlauer gewesen wäre.
Ceph läuft nicht




Hab mir jetzt mal ein Angebot neuer hw geholt
RAM aufdoppeln damit die aktuellen knoten entlastet werden (CPU Auslastung ist sehr gering)
Dann nen neuen pbs mit 128gb RAM, 40tb netto im raid 10 (dort dann zfs nutzen)

Vielleicht kommt ein gebrauchter pbs an eine andere Niederlassung
Dann täglich vom 1.pbs die Backups pullen
Sicher ist sicher


Shop:
Gerade bei servershop24 war ich schon vor Ort dort sind Hallen voller Servern (sie kaufen Rechenzentren auf wenn diese umrüsten)
ersatzteilversorgung ist dort auch klasse, denke für einen 2.pbs wirklich eine Option
Natürlich mit neuen hdds und System ssd

 

[Dunuin]

Bei PBS nicht vergessen, dass da PBS für SSDs ausgelegt ist. 40TB an Backups heißt du hast rund 20 Mio Chunk-Dateien und nicht rein-sequentielle Schreib-/Lesevorgänge, da ja alles dedupliziert wird. Willst du da z.B. einen täglichen GC Job laufen lassen, dann muss der Job auch die atime von allen 20 Mio Dateien einmal lesen und dann neu schreiben. Hast du also mindestens 40 Mio IO. Wie lange das bei HDDs mit 100-200 IOPS baucht kannst du dir ja ausrechnen. Gerade wenn du ein großes Raidz2 oder so benutzt und keinen Striped Mirror, wo dann ja die IOPS auch nicht mit der Anzahl der Disks skalieren.
Entweder ausschließlich Enterprise-SSDs als Backup-Storage nutzen (was empfehlenswert ist) oder als Notlösung wenigstens die HDDs mit SSDs als Special Devices beschleunigen.

 

[freakofevil]

Danke für den tipp


bei einem renommierten Shop für Server Hardware wurden mir hdds angeboten obwohl ich klargemacht habe, was der Zweck ist und welches Betriebssystem ich einsetzen werde

Edit:
Ich wollte damit nicht sagen dass ich die Antwort nicht ernst nehme.
Vielmehr wollte ich zum Ausdruck bringen wie erstaunt ich bin, dass ein unternehmen, die ihr Geld mit der Beratung und dem Verkauf verdient doch so wenig Ahnung hat


Noch als Danke dafür