[SOLVED] Proxmox VE 6: Neuer Node lässt sich nicht zum Cluster hinzufügen

[T-Heinrich]

Wir betreiben einen proxmox VE Cluster mit 6 Nodes. Wegen Hardwareproblemen musste ien Node ersetzt werden. Diesen habe ich vorher aus dem Cluster entfernt und wollte nun den neuen Node dem Cluster hinzufügen. Dazu habe ich auf dem potentiellen neuen Node proxmox VE 6 installiert. Anschließend wollte ich wie in der Doku beschrieben den Node mit:

pvecm add IP-ADDRESS-CLUSTER -link0 LOCAL-IP-ADDRESS-LINK0

hinzufügen, da wir ein separates Netz für den Cluster haben.

Das Skript blieb dann bei "Warte auf Quorum..." stehen. In meinem vorhandenen Cluster ist der Node zu sehen (auch in der Clusterliste der GUI), aber mit einem roten X versehen und auch nicht auswählbar. Nach mehreren Stunden habe ich den Node rebootet, da das einer der Tipps war, die ich gefunden habe. Leider hat das keine Veränderung bewirkt.

Aktuell sehe ich folgenden Fehler im syslog:

/etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1891

Außerdem zeigt

service pve-cluster status

folgendes

pmxcfs[2485]: [status] crit: cpg_send_message failed: 6

In meinem Cluster ergibt

pvecm status

das folgende:

Cluster information
-------------------
Name:             kv-it
Config Version:   34
Transport:        knet
Secure auth:      on

Quorum information
------------------
Date:             Mon Sep 20 14:01:22 2021
Quorum provider:  corosync_votequorum
Nodes:            6
Node ID:          0x0000000b
Ring ID:          2.1081
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   7
Highest expected: 7
Total votes:      6
Quorum:           4
Flags:            Quorate

Auf dem neuen Node sieht das so aus:

Cluster information
-------------------
Name:             kv-it
Config Version:   34
Transport:        knet
Secure auth:      on

Quorum information
------------------
Date:             Mon Sep 20 14:03:56 2021
Quorum provider:  corosync_votequorum
Nodes:            1
Node ID:          0x00000001
Ring ID:          1.10a1
Quorate:          No

Votequorum information
----------------------
Expected votes:   7
Highest expected: 7
Total votes:      1
Quorum:           4 Activity blocked
Flags:

Wie bekomme ich den Node korrekt in den vorhandenen Cluster?

 

[T-Heinrich]

Hat niemand eine Idee, oder einen Hinweis? Werden mehr Informationen gebraucht?

Alle Hinweise und Beiträge die ich bisher dazu finden drehen sich quasi im Kreis, weil ich kein quorum habe, kann ich die Zertifikate nicht neu erstellen, aber der pmxcfs (pve-cluster) gibt nur notice: cpg_send_message retry aus. Das neustarten der Dienste oder des Nodes bringt auch keine Änderung. usw

Wie kann ich diesen Kreislauf durchbrechen?

 

[jsterr]

Wie sieht denn die /etc/pve/corosync.conf aus?

Bitte auch die Daten vom alten und neuen Host nennen IP/HOSTNAME.
Wurde unter dem selben Namen installiert und unter der selben IP?
Wie wurde der Node entfernt der alte?

 

[T-Heinrich]

Der alte Node hieß kvit-proxmox6 mit der IP 172.22.26.196.
172.22.26.xx ist das Clusternetz der Clusters.
Entfernt wurde der alte Node wie in der Doku beschrieben. Das ist auch schon ein paar Tage vorher geschehen.

Anbei der Inhalt der corosync.conf des neuen Nodes (kvit-proxmox12).

logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: kvit-proxmox10
    nodeid: 10
    quorum_votes: 1
    ring0_addr: 172.22.26.223
  }
  node {
    name: kvit-proxmox11
    nodeid: 11
    quorum_votes: 1
    ring0_addr: 172.22.26.224
  }
  node {
    name: kvit-proxmox12
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 172.22.26.221
  }
  node {
    name: kvit-proxmox3
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 172.22.26.168
  }
  node {
    name: kvit-proxmox7
    nodeid: 7
    quorum_votes: 1
    ring0_addr: 172.22.26.201
  }
  node {
    name: kvit-proxmox8
    nodeid: 8
    quorum_votes: 1
    ring0_addr: 172.22.26.203
  }
  node {
    name: kvit-proxmox9
    nodeid: 9
    quorum_votes: 1
    ring0_addr: 172.22.26.204
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: kv-it
  config_version: 34
  interface {
    bindnetaddr: 172.22.26.0
    ringnumber: 0
  }
  ip_version: ipv4
  rrp_mode: passive
  secauth: on
  version: 2
}

 

[jsterr]

Wie sieht die /etc/hosts aus, ist lokale Namensauflösung auf allen Nodes sichergestellt inklusive dem neuen? Auf jedem Node sollte jeder Node eingetragen sein - Beispiel:

root@pve01:~# cat /etc/hosts

127.0.0.1 localhost.localdomain localhost
10.2.2.231 pve01.cloudfighter.de pve01
10.2.2.232 pve02.cloudfighter.de pve02
10.2.2.233 pve03.cloudfighter.de pve03


# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefi
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

 

[T-Heinrich]

Nein, nicht bei allen. Das habe ich gerade nachgeholt, da das scheinbar bisher nicht notwendig war. Hat sich da etwas mit Version 6 geändert? Die letzten Nodes haben wir noch mit Version 5.3 hinzugefügt.

Sieht jetzt auf allen Nodes so aus:

127.0.0.1 localhost.localdomain localhost
172.22.23.168 kvit-proxmox3.itgmbh.intern kvit-proxmox3
172.22.23.201 kvit-proxmox7.itgmbh.intern kvit-proxmox7
172.22.23.203 kvit-proxmox8.itgmbh.intern kvit-proxmox8
172.22.23.204 kvit-proxmox9.itgmbh.intern kvit-proxmox9 pvelocalhost
172.22.23.223 kvit-proxmox10.itgmbh.intern kvit-proxmox10
172.22.23.224 kvit-proxmox11.itgmbh.intern kvit-proxmox11
172.22.23.221 kvit-proxmox12.itgmbh.intern kvit-proxmox12

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

Geändert hat das jetzt erstmal nichts. Im syslog tauchen weiterhin die gleichen Fehler auf.
Ich habe den corosync und pve-cluster auf dem neuen Node einmal neu gestartet. Muss ich weitere Dienste neu starten? Wenn ja welche?

 

[jsterr]

Geändert hat das jetzt erstmal nichts. Im syslog tauchen weiterhin die gleichen Fehler auf.
Ich habe den corosync und pve-cluster auf dem neuen Node einmal neu gestartet. Muss ich weitere Dienste neu starten? Wenn ja welche?

Obs auch ohne geht weiß ich nicht, aufgrund anderer Forenposts mit dem selben Fehler vermute ich aber, dass es notwendig ist. Generell ist es eine Empfehlung auf allen Hosts Namenauflösung auch lokal umzusetzen via /etc/hosts.

Die Dienste spezifizieren kann ich leider nicht (würde mich auch interessieren) ggf. den Node einfach mal durchbooten. Alternativ nochmal entfernen und neu adden. Als ich zuletzt einen Node entfernt und unter dem selben Namen (geht auch) hinzugefügt habe, hat das genauso funktioniert.

 

[T-Heinrich]

Ok, vielen Dank für deine Hilfe bis hierhin. Ich werde das mit dem reboot und dem entfernen und neu hinzufügen mal probieren. Wobei das entfernen so eine Sache ist, da der Node ja kein gültiger Bestandteil des Clusters ist...

 

[T-Heinrich]

Der reboot hat keine Änderung bewirkt, aber das entfernen des nicht korrekt eingebundenen neuen Nodes und erneutes hinzufügen hat dann tatsächlich geklappt!

Es ist also offensichtlich doch notwendig die /etc/hosts auf allen Nodes aktuell zu halten und vor allem den neuen Node dort einzutragen bevor er zum Cluster hinzugefügt wird.