Cluster neu aufbauen

hpcraith

Member
Mar 8, 2013
60
0
6
Stuttgart Germany
www.hlrs.de
Gibt es eine genaue Beschreibung, wie man ein Cluster von Scratch neu aufsetzt?

Ich habe einen Server, der mit Proxmox 4.1 läuft, zwei Server mit Proxmox 3.4 und einen
neu installierten mit Proxmox 4.2 ( wegen Problems mit einem LSI RAID-Controller klappte der
Upgrade nicht).
Bei der Version wurde sovieles geändert, daß man fast alle Aufschriebe in den Müll werfen kann.
Eine sachdienliche Gegenüberstellung 3.x <--> 4.x gibt es nicht. Erst durch "wundern" kommt man
auf die Änderungen (z.B. /var/lib/vz zeigt keine VM disks an). Das Cluster ist wohl auch erheblichen
Änderungen unterzogen worden. Bei der ersten Installation von 4.2 konnte ich das Cluster noch
hoch bringen. Bei einer Neuinstallation auf der identischen Hardware wurde nicht nur mein Subscription-Key
ungültig. Ich bekomme auch mein Cluster nicht mehr zum Laufen. Irgendwo muß noch information
über das vorherige Cluster sein. Es sind die vielen Ungereimtheiten, die nerven.
Beispiel:
root@vwsrv4:/etc/pve/nodes# ls
vwsrv1 vwsrv4
root@vwsrv4:/etc/pve/nodes# pvecm delnode vwsrv1
root@vwsrv4:/etc/pve/nodes# pvecm delnode vwsrv1
no such node 'vwsrv1'
root@vwsrv4:/etc/pve/nodes# ls
vwsrv1 vwsrv4
root@vwsrv4:/etc/pve/nodes#

Warum verschwindet vwsrv1 nicht aus dem "nodes" Ordner? Es wäre wünschenswert zu erfahren,
wo welche Information gespeichert ist und wie man alles neu aufsetzen kann.
Ich möchte den Produktions-Server mit Proxmox 4.1 aber nicht neu booten.

Die nächste Herausforderung steht ja schon an: "Migration der VMs auf den 3.x Servern auf die 4.x. von
Storage Type "Directory" ---> "LVM-Thin". War bisher ganz einfach.
/etc/pve/qemu-server/1yy.conf von Server 1 auf 2yy.conf Server 2 kopieren.
/var/lib/vz/images/1yy von Server 1 auf 2yy Server 2 kopieren.
Auf Server 2 VM starten und fertig. Das geht ja jetzt wohl nicht mehr so einfach, oder?

Gruß
Dieter Raith
 

LnxBil

Well-Known Member
Feb 21, 2015
4,087
387
83
Germany
Gibt es eine genaue Beschreibung, wie man ein Cluster von Scratch neu aufsetzt?

Ich habe einen Server, der mit Proxmox 4.1 läuft, zwei Server mit Proxmox 3.4 und einen
neu installierten mit Proxmox 4.2 ( wegen Problems mit einem LSI RAID-Controller klappte der
Upgrade nicht).
Bei der Version wurde sovieles geändert, daß man fast alle Aufschriebe in den Müll werfen kann.
Eine sachdienliche Gegenüberstellung 3.x <--> 4.x gibt es nicht. Erst durch "wundern" kommt man
auf die Änderungen (z.B. /var/lib/vz zeigt keine VM disks an). Das Cluster ist wohl auch erheblichen
Änderungen unterzogen worden.
Ja, von 3.x auf 4.x hat sich sehr viel geändert, da hier die komplette Technologie umgestellt wurde. 3.x sollte man nicht mehr verwenden, da es keinen Sicherheitssupport mehr hat.

Die nächste Herausforderung steht ja schon an: "Migration der VMs auf den 3.x Servern auf die 4.x. von
Storage Type "Directory" ---> "LVM-Thin". War bisher ganz einfach.
/etc/pve/qemu-server/1yy.conf von Server 1 auf 2yy.conf Server 2 kopieren.
/var/lib/vz/images/1yy von Server 1 auf 2yy Server 2 kopieren.
Auf Server 2 VM starten und fertig. Das geht ja jetzt wohl nicht mehr so einfach, oder?
Klar geht das immer noch so einfach: Du brauchst keine Migration auf Thin-LVM zu machen, wie hier im Wiki beschrieben ist:
https://pve.proxmox.com/wiki/Installation#Optional:_Reverting_Thin-LVM_to_.22old.22_Behavior_of_.2Fvar.2Flib.2Fvz_.28Proxmox_4.2_and_later.29

Der einfachste Weg eine Migration von egal was auf die neueste Version im Cluster zu machen ist eine komplette Neuinstallation und dann die Maschinen wiederherstellen. Ist natürlich am einfachsten, wenn man ein shared storage hat (ist ja auch ein muss für eine "richtige" Clusterinstallation). Dann ist es nur ein Kopieren der VM-Einstellungen, Firewalls, etc. (Daten in /etc/pve) und dann ist man durch.
 

hpcraith

Member
Mar 8, 2013
60
0
6
Stuttgart Germany
www.hlrs.de
Ja, von 3.x auf 4.x hat sich sehr viel geändert, da hier die komplette Technologie umgestellt wurde. 3.x sollte man nicht mehr verwenden, da es keinen Sicherheitssupport mehr hat.



Klar geht das immer noch so einfach: Du brauchst keine Migration auf Thin-LVM zu machen, wie hier im Wiki beschrieben ist:
https://pve.proxmox.com/wiki/Installation#Optional:_Reverting_Thin-LVM_to_.22old.22_Behavior_of_.2Fvar.2Flib.2Fvz_.28Proxmox_4.2_and_later.29

Der einfachste Weg eine Migration von egal was auf die neueste Version im Cluster zu machen ist eine komplette Neuinstallation und dann die Maschinen wiederherstellen. Ist natürlich am einfachsten, wenn man ein shared storage hat (ist ja auch ein muss für eine "richtige" Clusterinstallation). Dann ist es nur ein Kopieren der VM-Einstellungen, Firewalls, etc. (Daten in /etc/pve) und dann ist man durch.
 

hpcraith

Member
Mar 8, 2013
60
0
6
Stuttgart Germany
www.hlrs.de
Danke für die Antwort. Eine Umstellung auf 4.2 ist ja geplant. Unser neuester Server läuft ja schon auf
4.1. Den ersten der 3.x Serie habe ich ja schon platt gemacht und 4.2 installiert. Diesen will ich jetzt
in das Cluster des 4.1 einbinden. Das hatte schon mal funktioniert. Nach einer Neuinstallation dieses
Servers geht es jetzt nicht mehr. Deshalb will ich das gesammte Clustering neu aufsetzen und suche
nach einer Beschreibung.
Natürlich haben kein echtes Cluster. Die Server stehen in verschiedenen Gebäuden. Der Clusterteil
dient nur der einfachen Verwaltbarkeit von einer Weboberfläche.
 

dcsapak

Proxmox Staff Member
Staff member
Feb 1, 2016
3,798
345
83
31
Vienna
haben sie schon diesen wiki artikel gesehen:
http://pve.proxmox.com/wiki/Proxmox_Cluster_file_system_(pmxcfs)
?
besonders der teil 'Remove Cluster configuration' (obwohl ein neu aufsetzen der nodes empfohlen ist)

Natürlich haben kein echtes Cluster. Die Server stehen in verschiedenen Gebäuden. Der Clusterteil
dient nur der einfachen Verwaltbarkeit von einer Weboberfläche.
das ist prinzipiell nicht empfohlen, da das clustering sehr latenzabhängig ist (corosync gibt hier soweit ich weiß ein maximum von 2ms an), dh es ist nicht unwahrscheinlich, dass in so einem setup die nodes sich gegenseitig nicht erreichen können
 

hpcraith

Member
Mar 8, 2013
60
0
6
Stuttgart Germany
www.hlrs.de
haben sie schon diesen wiki artikel gesehen:
http://pve.proxmox.com/wiki/Proxmox_Cluster_file_system_(pmxcfs)
?
besonders der teil 'Remove Cluster configuration' (obwohl ein neu aufsetzen der nodes empfohlen ist)


das ist prinzipiell nicht empfohlen, da das clustering sehr latenzabhängig ist (corosync gibt hier soweit ich weiß ein maximum von 2ms an), dh es ist nicht unwahrscheinlich, dass in so einem setup die nodes sich gegenseitig nicht erreichen können
 

hpcraith

Member
Mar 8, 2013
60
0
6
Stuttgart Germany
www.hlrs.de
Könnte es sein, daß mein Problem darin liegt, daß ich auf dem neuen Server "vwsrv1" auch ein
pvecm create cluster VW-Cluster gemacht habe, obwohl auf dem server "vwsrv4" auch ein solches
existiert. Die Server "vwsrv2" und "vwsrv3", die ja noch unter 3.x laufen haben auch ein Cluster mit Namen
"VW-Cluster". Deshalb wäre es ja wünschenswert auf "vwsrv1" und "vwsrv4" alles was mit dem Cluster
zu tun hat, platt zu machen und dort z.B ein neues Cluster mit Namen "VW-Cluster-V4" aufzusetzen.
Der Server "vwsrv4" sollte möglichst nicht gebootet werden.
Ein Kommando pvcm delete cluster VW-Cluster wäre also wünschenswert. Ein Script würde es auch
tun.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!