Weiterer Ceph Node findet keine Konfiguration

illumina7

Member
Jan 22, 2023
37
6
8
Bayern
Hallo zusammen,
ich baue eben unseren pve Produktiv Cluster von einem Single NFS Storage zu einem Ceph Cluster um.
(Habe das vorher auch im Lab mehrmals erfolgreich durchgespielt)
3 pve/ceph Nodes laufen bereits und ich wollte jetzt einen 4., neuen, pve host hinzufügen.
PVE Clusterjoin lief so halb problemlos, irgendwie hat der Host Key Austausch mit der neuen Maschine nicht richtig funktioniert. Nachdem ich die Keys manuell hinzugefügt habe (ssh-copy-id), funktioniert jetzt auch die Live-Migration zum neuen Node. Auch der Ceph Storage Pool ist verfüg- und nutzbar.
corosync-cfgtool -s sagt aber alles i.O., alle Links sind connected.

Soweit sieht es jetzt ok aus.

Anschließend wollte ich den neuen pve Node auch dem bestehenden Ceph Cluster hinzufügen und habe die Ceph Installation regulär über die GUI gestartet.
Nach Abschluss der Installation sollte ja, beim Klick auf weiter, die vorhandene Konfiguration gefunden und der neue Node hinzugefügt werden.
Das klappt leider nicht, stattdessen möchte Proxmox nun einen neuen Ceph Cluster auf dem neuen Node erstellen.

So viel probiert habe ich bisher ehrlich gesagt noch nicht, möchte nicht versehentlich Ceph abschießen:
- auf dem neuen Node einen Symlink /etc/ceph/ceph.conf -> /etc/pve/ceph.conf erstellt
- neuen Node nochmal entfernt und neu installiert (neuer Hostname, hosts Einträge auf allen Nodes angepasst)

Weiß jemand wo mein Fehler liegt? Habe das jetzt schon 2x mit dem gleichen Ergebnis durch.
Die Hosts erreichen sich über alle Schnittstellen/VLANs, die ich konfiguriert habe.
Liegt das eventuell an der abweichenden pve Version? Die 3 Nodes im Bestand sind auf 2x8.1.4 und 8.1.10, der neue Node auf 8.2.2?

Über einen Tipp würde ich mich sehr freuen, bei Bedarf kann ich gerne weitere Infos durchgeben.
 
Ich konnte zwar die Ursache für das nicht funktionierende Adden des Nodes nicht finden, das muss ich nochmal gesondert prüfen, allerdings habe ich Ceph jetzt auch online bekommen.
-> ln -s /etc/pve/ceph.conf /etc/ceph/ceph.conf
+ pveceph init
Damit war der Node direkt mit online, OSDs erstellt, rebalancing angelaufen, in der Crush Map taucht der Node auch automatisch auf. Scheint alles zu laufen, Log ist auch unauffällig. Ich weiß nicht, warum das nicht wie vorgesehen über die GUI funktioniert hat.
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!