Proxmox Cluster Verständnis

[hpcraith]

1. Der Rechner vwsrv1 wurde neu aufgesetzt und mit den VMs 1xx.conf mit den images unter /var/lib/vz/images/1xx
Derzeit sind 5 VMs vorhanden.
2. Auf dem Rechner vwsrv1 wurde mit "pvecm create VW-Cluster-V4" ein Cluster erzeugt.
root@vwsrv1:/etc/pve# pvecm status
Quorum information
------------------
Date: Mon Jul 25 20:33:47 2016
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000001
Ring ID: 20
Quorate: No

Votequorum information
----------------------
Expected votes: 2
Highest expected: 2
Total votes: 1
Quorum: 2 Activity blocked
Flags:

Membership information
----------------------
Nodeid Votes Name
0x00000001 1 141.58.4.248 (local)
root@vwsrv1:/etc/pve#

3. Auf dem Rechner vwsrv2 wurde ein Upgrade von V3 nach V4 gemacht und nicht neu installiert, um die sich
dort befindlichen VMs zu erhalten.
Die Konfigurationsfiles sind alle 2xx.conf und die images unter /var/lib/vz/images/2xx
Auf dem Rechner vwsrv2 wurde kein "pvecm create VW-Cluster-V4" gemacht.

4. Nach der man-page zufolge von vwsrv1 auf vwsrv2 per ssh einloggen.
pvecm add IP-ADDRESS-CLUSTER
Der einzige Cluster Node ist 141.58.4.248 auf vwsrv1.
Die Antwort:
root@vwsrv2:~# pvecm add 141.58.4.248
this host already contains virtual machines - please remove them first
root@vwsrv2:~# pvecm status
Corosync config '/etc/pve/corosync.conf' does not exist - is this node part of a cluster?
Cannot initialize CMAP service

Ok, es stimmt, daß dieser host (vwsrv2??) VMs enthält. vwsrv1 enthält aber auch VMs. Es wäre schön,
wenn immer die IP mitgeliefert wird. Aber warum existiert /etc/pve/corosync.conf nicht?
Wird das File erst durch einen erfolgreichen pvecm add erzeugt?
5. Es wäre schade, wenn der Plan bei allen Servern (noch 2 warten) nur ein Software upgrade zu machen und
die VMs zu erhalten, nicht realisierbar wären. Die VMs haben keine gleichen IDs.

 

[dietmar]

Ok, es stimmt, daß dieser host (vwsrv2??) VMs enthält. vwsrv1 enthält aber auch VMs. Es wäre schön,
wenn immer die IP mitgeliefert wird. Aber warum existiert /etc/pve/corosync.conf nicht?

Das 'pvecm add' ist ja fehlgeschlagen, weil VMs drauf sind.

Wird das File erst durch einen erfolgreichen pvecm add erzeugt?

genau.

 

[dietmar]

Bessere Vorgangsweise:

1.) vwsrv1 neu aufsetzen (vorher backup aller VMs).
2.) vwsrv1 zu cluster hinzufügen
3.) VMs zürückspielen.

 

[hpcraith]

nochmal zur Klarstellung:
1.) auf vwsrv1 wurde ein "create VW-Cluster-V4" durchgeführt. Früher war das doch mal der Master. Auf vwsrv1 gibt es auch
den File corosync.conf
2.) vwsrv2 soll zu diesem Cluster hinzugefügt werden!! Diese enthält tatsächlich VM's. Auf vwsrv2 habe ich die xxx.conf files nach
/root/VW-IDs verschoben und den Ordner /var/lib/vz/images nach /var/lib/backup. Dann habe ich /var/lib/vz/images gelöscht.Und
wieder angelegt.
root@vwsrv2:/var/lib/vz# rm -r images
root@vwsrv2:/var/lib/vz# ls -al
total 44
drwxr-xr-x 8 root root 4096 Jul 26 13:32 .
drwxr-xr-x 48 root root 4096 Jul 25 14:28 ..
drwxr-xr-x 5 root root 4096 Jul 26 13:03 backup
drwxr-xr-x 2 root root 4096 Jul 22 15:08 dump
drwx------ 2 root root 16384 Dec 18 2012 lost+found
drwxr-xr-x 2 root root 4096 Jul 22 15:18 private
drwxr-xr-x 5 root root 4096 Jul 25 13:27 template
drwxr-xr-x 2 root root 4096 Feb 20 2015 vmbackup
root@vwsrv2:/var/lib/vz# mkdir images/
mkdir: cannot create directory ‘images/’: File exists
root@vwsrv2:/var/lib/vz# ls
backup dump images lost+found private template vmbackup
root@vwsrv2:/var/lib/vz#

Warum diese schon wieder existierte, enzieht sich meinem Verständnis.

3.) In der Weboberfläche von vwsrv2 gibt es jetzt keine! VMs mehr und die Files der VM erscheinen dort unter
Storage 'backup' on node 'vwsrv2'. Damit wäre eigentlich die Bedingung keine VMs erfüllt!
4.) von vwsrv1 (erster Cluster Node) mit ssh auf vwsrv2 eingeloggt und
root@vwsrv2:~# pvecm add vwsrv2
this host already contains virtual machines - please remove them first
root@vwsrv2:~#
Da macht sich doch Ratlosigkeit breit. Wer ist this host? Ist das vwsrv2 oder vwsrv1?
Gibt es vielleicht noch eine verborgene Datenbank mit Einträgen? Hilft ein reboot?
Es muß doch möglich sein ein bestehendes Cluster auf eine neue Softwareversion zu
bringen ohne die Terrabytes von Daten im Netz zu bewegen.
Ich widerstehe immer noch dem Rat meiner Kollegen auf VMWare zu wechseln, möchte
mich aber nicht gerne zum Gespött machen.
Gruß
Dieter

 

[dietmar]

4.) von vwsrv1 (erster Cluster Node) mit ssh auf vwsrv2 eingeloggt und
root@vwsrv2:~# pvecm add vwsrv2

root@vwsrv2:~# pvecm add vwsrv1

 

[hpcraith]

root@vwsrv2:~# pvecm add vwsrv1
this host already contains virtual machines - please remove them first
root@vwsrv2:~#

 

[dietmar]

What is the output of

root@vwsrv2:~# cat /etc/pve/.vmlist

 

[hpcraith]

Ich muß im Moment leider passen. Habe gerade alle Server in diesem Rechenraum vom Netz genommen.
Morgen ist große Prüfüng der neuen Brandmeldeanlage! Die Proxmox Server sind auf 3 Rechenräume an
verschiedenen Lokalitäten verteilt, sodaß immer die Verfügbarkeit garantiert ist.

Vielleicht solltet ihr mal überlegen, ob man nicht einzelne Support-Tickets kaufen kann, die so einen Aufwand
abdecken. Für den Tagesbetrieb reicht die kleinste Variante.

Gruß
Dieter

 

[hpcraith]

root@vwsrv2:/etc/pve# cat .vmlist
{
"version": 1,
"ids": {
"310": { "node": "vwsrv3", "type": "openvz", "version": 17 },
"311": { "node": "vwsrv3", "type": "qemu", "version": 15 },
"312": { "node": "vwsrv3", "type": "qemu", "version": 10 },
"313": { "node": "vwsrv3", "type": "qemu", "version": 11 },
"100": { "node": "vwsrv1", "type": "qemu", "version": 2 },
"101": { "node": "vwsrv1", "type": "qemu", "version": 5 },
"103": { "node": "vwsrv1", "type": "qemu", "version": 4 },
"104": { "node": "vwsrv1", "type": "qemu", "version": 1 },
"112": { "node": "vwsrv1", "type": "qemu", "version": 3 },
"300": { "node": "vwsrv3", "type": "qemu", "version": 6 },
"301": { "node": "vwsrv3", "type": "qemu", "version": 7 },
"302": { "node": "vwsrv3", "type": "qemu", "version": 8 },
"303": { "node": "vwsrv3", "type": "qemu", "version": 9 },
"306": { "node": "vwsrv3", "type": "qemu", "version": 12 },
"307": { "node": "vwsrv3", "type": "qemu", "version": 13 },
"308": { "node": "vwsrv3", "type": "qemu", "version": 14 },
"309": { "node": "vwsrv3", "type": "qemu", "version": 16 }}

}
root@vwsrv2:/etc/pve#

Interessanter File. Ich hatte bisher immer nur die config files im command Fenster erzeugt, bearbeitet und gelöscht.
Beispiel:
in vwsrv1 im GUI eine neue VM (101) erzeugt. 101.conf angepasst auf die anderen server kopiert.
auf vwsrv2 war das dann 201.conf, auf vwsrv3 301.conf usw. Dasselbe mit den images unter /var/lib/vz/images.
Die 1xx IDs im File .vmlist stammen noch aus der Zeit als wir noch nicht dieses Prinzip hatte immer als erste
Ziffer mit der Server ID zu verknüpfen.
VM 101 auf vwsrv1 ist eine Kopie von VM 201 auf vwsrv2. Es läuft nur jeweils eine aus 101,201,301,401. Die
anderen sind Backups, die verschiedene Zeitstempel haben. Alle Server stehen an räumlich verschieden
Standpunkten und sind völlig autonom. Statt eines Vollbackups eine VM wird nur sein image auf einen
anderen Server kopiert. Mit den täglichen Datenbanksicherungen kann eine VM in kurzer Zeit aus einem
älteren Backup wiederhergestellt werden.
Den Proxmox GUI brauchen wir nur zur Überwachung und da ist es von Vorteil nur eine Weboberfläche
zu haben anstatt jeweils eine pro server. Deshalb sollte das Cluster funktionieren.

Kann ich .vmlist löschen? Wozu ist der nötig?

Gruß
Dieter

 

[hpcraith]

Kann mir bitte jemand sagen, ob ich .vmlist löschen kann?
Gruß
Dieter

 

[hpcraith]

Wir haben inzwischen die Subscriber Verlängerung für 3 unserer Server bekommen.
Die 4. wurde ja erst kürzlich neu neu beschafft.
Leider sind unsere Probleme immer noch nicht gelöst, was wir auch der Ferienzeit
zuschreiben.
Wir hoffen, daß sich da in absehbarer Zeit was tut.

Gruß
Dieter