neuer Node nicht korrekt in Cluster integriert

[aGro]

Hallo zusammen,

ich habe gestern an einem unserer Standorte einen neuen Node dem Cluster hinzufügen wollen. Bisher bestand der Cluster aus 3 Nodes und nun sollte ein vierter Node hinzukommen. Der Cluster läuft noch mit Version 5.4. und mit Ceph.
Das Ganze über pvecm add IP-Adresse gestartet und wurde auch als erfolgreich beendet. Der 4. Node ist nun im Cluster auch zu sehen.
Nun habe ich aber das Problem, dass der Cluster nur noch als Standalone aufgeführt wird.
Die /etc/hosts (auf allen Nodes) habe ich angepasst und alle Nodes aufgeführt. Es bleibt aber weiterhin ein Standalone-System.


Mit systemctl status pve* auf dem neuen Node erhalte ich die Fehlermeldung:

Nov 24 08:38:09 mc-me-vh06 pveproxy[19881]: worker exit
Nov 24 08:38:09 mc-me-vh06 pveproxy[19674]: worker 19880 finished
Nov 24 08:38:09 mc-me-vh06 pveproxy[19674]: starting 1 worker(s)
Nov 24 08:38:09 mc-me-vh06 pveproxy[19882]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1683.
Nov 24 08:38:09 mc-me-vh06 pveproxy[19674]: worker 19883 started
Nov 24 08:38:09 mc-me-vh06 pveproxy[19883]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1683.
Nov 24 08:38:09 mc-me-vh06 pveproxy[19674]: worker 19881 finished
Nov 24 08:38:09 mc-me-vh06 pveproxy[19674]: starting 1 worker(s)
Nov 24 08:38:09 mc-me-vh06 pveproxy[19674]: worker 19884 started
Nov 24 08:38:09 mc-me-vh06 pveproxy[19884]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1683.

Des Weiteren wird der neue Node nicht im Ceph aufgenommen. Hier tauchen weiterhin nur die drei alten Nodes auf.

Kann mir wer bitte helfen diesen neuen Node ordnungsgemäß in den Cluster zu integrieren und den Cluster überhaupt erstmal wieder korrekt zum laufen zu bekommen?

 

[nunner]

Hi,

Der Cluster läuft noch mit Version 5.4. und mit Ceph.

PVE 5.x ist seit 2 Jahren EOL, siehe [1].

Ein paar Ansätze für das Problem: läuft der pve-cluster Service? Damit hängt das pmxcfs zusammen, also /etc/pve. Sind die Einträge in der hosts Datei wirklich korrekt? Bei anderen Leuten mit ähnlichen Problemen scheint das die häuigste Ursache gewesen zu sein.

[1] https://forum.proxmox.com/threads/proxmox-ve-support-lifecycle.35755/

 

[aGro]

Hallo nunner,

ja die hosts-Dateien auf allen 4 Nodes sind korrekt.

pve-cluster läuft

 

[aGro]

Ok das Problem mit dem Cluster konnte ich inzwischen lösen, indem ich auf jeder Node den pve-cluster.service neugestartet habe.

Es bleibt aber das Problem, dass der neue Node nicht im Ceph auftaucht. Gehe ich über den Ceph Monitor und versuche den neuen Node hinzuzufügen, kommt diese Fehlermeldung...



In der Config tauchen aber nur die drei alten Nodes auf...


Wie bekomme ich den 4. Node integriert?

 

[aGro]

Mal wieder ein kleines Update....im Moment hangel ich mich von einem Problem zum nächsten.
Ich habe mit systemctl disable ceph-mon@<meinvierterNode> und im Anschluss mit rm -r /var/lib/ceph/mon/ceph@<meinvierterNode> den Ghostmonitor auf dem neuen Node gelöscht und konnte danach erfolgreich den neuen Node im Ceph-Monitor aktivieren.

Nun habe ich die OSD's erstellt, was problemlos funktionierte....

...aber unter Ceph / OSD ist weder der neue Node, noch die neuen OSD's zu sehen.

Wo könnte hier jetzt noch das Problem liegen?

 

[aGro]

Keiner eine Idee?
Wie gesagt, der neue vierte Node wird nun im Ceph-Monitor aufgeführt...

...aber die neuen angelegten OSD's tauchen nicht in der Crush-Map auf...

 

[aGro]

Evtl. kann ja jemand etwas mit diesen Fehlermeldungen anfangen? Warum laufen die Dienste nicht und wie bekomme ich diese aktiviert?



und wenn ich das Ganze mit systemctl status pve* überprüfe, ist dies, der einzige Dienst, der eine Fehlermeldung auswirft...

 

[aGro]

Hat hier keiner von Proxmox auch nur irgendeinen Rat, wie ich diese Fehlermeldung wegbekommen könnte? Oder vielleicht auch Ceph nochmal von der Node komplett löschen?