Ceph Mon lässt sich nicht mehr löschen

[mpatzwah]

Hi,
ich hatte einen meiner 3 Proxmox (neueste Version) Knoten aus dem Verbund genommen und vergessen den Ceph abzumelden, auszutragen, ...
Als ich den neuen Knoten einhängen wollte, konnte ich die Ceph Mon nicht löschen, aber auch keinen neuen eintragen, weil es den angeblich schon gab.
Das habe ich irgendwie gelöst (mit 47 Tipps aus em Internet nur habe ich jetzt einen zuviel...)
Den kann ich nun gar nicht mehr löschen: Fehlermeldung:
Parameter verification failed. (400) monid: value does not match the regex pattern

Gibt es da eine Lösung ?
Danke, Marco

 

[dcsapak]

wie sieht denn die ceph.conf aktuell aus? (/etc/pve/ceph.conf)

EDIT: seh grad dass der thread schon von letztem samstag ist, ist das problem noch aktuell?

 

[mpatzwah]

ja, ist aktuell ...


[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster_network = 172.30.11.0/24
fsid = e14a45a7-3018-46e8-9de4-23b58a3c0aed
mon_allow_pool_delete = true
mon_host = 172.30.11.201 172.30.11.245 172.30.11.202
ms_bind_ipv4 = true
ms_bind_ipv6 = false
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = 172.30.11.0/24

[client]
keyring = /etc/pve/priv/$cluster.$name.keyring

[mon.pve]
public_addr = 172.30.11.245

[mon.pve-1]
public_addr = 172.30.11.201

[mon.pve-2]
public_addr = 172.30.11.202

 

[dcsapak]

ok und den 'mon.pve-2' aus der config entfernen funktioniert nicht?

auch der aktuelle output von 'pvesh get /nodes/<NODENAME>/ceph/mon' wäre interessant

 

[mpatzwah]

pvesh get /nodes/pve/ceph/mon
┌───────────┬──────────────────────┬────────────────────────────────────────────
│ name │ addr │ ceph_version
╞═══════════╪══════════════════════╪════════════════════════════════════════════
│ mon.pve-2 │ │
├───────────┼──────────────────────┼────────────────────────────────────────────
│ pve │ 172.30.11.245:6789/0 │ ceph version 16.2.11 (578f8e68e41b0a98523d0
├───────────┼──────────────────────┼────────────────────────────────────────────
│ pve-1 │ 172.30.11.201:6789/0 │ ceph version 16.2.11 (578f8e68e41b0a98523d0
├───────────┼──────────────────────┼────────────────────────────────────────────
│ pve-2 │ 172.30.11.202:6789/0 │ ceph version 16.2.11 (578f8e68e41b0a98523d0
└───────────┴──────────────────────┴────────────────────────────────────────────

hab mich nicht getraut etws zu löschen .... hab auch immer den vierten Eintrag gesucht ....

 

[aaron]

https://docs.ceph.com/en/latest/rados/operations/add-or-rm-mons/#removing-a-monitor-manual

Das sollte helfen

 

[mpatzwah]

vielen Dank für die Unterstützung, ihr seid die Besten !!!

Das hatte ich schon mal versucht ...
root@pve-1:~# service ceph -a stop mon.pve-2
ceph: unrecognized service

 

[aaron]

Ah, ich hab auch eher den zweiten Schritt gemeint. Gestoppt ist der Dienst in dem Sinn ja schon

Danach muss der Mon noch innerhalb vom Ceph Cluster gelöscht werden. Neben der Konfigurationsdatei halten die Monitore nämlich noch selber eine List vor mit den MONs die da sein sollten, die "monmap".

 

[mpatzwah]

ceph mon remove mon.pve-2
mon.mon.pve-2 does not exist or has already been removed

 

[mpatzwah]

?

 

[aaron]

ceph mon remove mon.pve-2
mon.mon.pve-2 does not exist or has already been removed

Probiers mal mit ceph mon remove pve-2. Die Fehlermeldung lässt darauf schließen, dass das "mon." nochmal angefügt wurde.

 

[mpatzwah]

das hatte ich (fast) alles schon versucht

#ceph mon remove pve-2
mon.mon.pve-2 does not exist or has already been removed

 

[jsterr]

Bitte mal die komplette ceph.conf posten außerdem die komplette Online Ansicht der Monitore.
Wurde schon versucht alle Referenzen innerhalb der ceph.conf zum zu löschen MON zu entfernen?

 

[mpatzwah]

cat ceph.conf
[global]
         auth_client_required = cephx
         auth_cluster_required = cephx
         auth_service_required = cephx
         cluster_network = 172.30.11.0/24
         fsid = e14a45a7-3018-46e8-9de4-23b58a3c0aed
         mon_allow_pool_delete = true
         mon_host = 172.30.11.201 172.30.11.245 172.30.11.202
         ms_bind_ipv4 = true
         ms_bind_ipv6 = false
         osd_pool_default_min_size = 2
         osd_pool_default_size = 3
         public_network = 172.30.11.0/24

[client]
         keyring = /etc/pve/priv/$cluster.$name.keyring

[mon.pve]
         public_addr = 172.30.11.245

[mon.pve-1]
         public_addr = 172.30.11.201

[mon.pve-2]
         public_addr = 172.30.11.2

>>Wurde schon versucht alle Referenzen innerhalb der ceph.conf zum zu löschen MON zu entfernen?
Wie mache ich das bitte ?

 

[jsterr]

[mon.pve-2]
         public_addr = 172.30.11.2 und 172.30.11.202 stimmt nicht überein

Es kann gut sein, dass die richtige IP entsprechend an beiden Stellen drin sein muss, damit der Löschvorgang funktioniert. Alternative beides rauslöschen, dass mon.pve-2 nicht mehr referenziert wird und oben auch die IP rauslöschen vom zu löschen MON unter mon_host.

Wichtig ist, dass du 2 funktionierende aktive MON hast, damit du keine Downtime hast. Diese oben vorgeschlagenen Dinge also nur machen wenn pve und pve-1 wirklich auch aktiv und funktional sind.

 

[mpatzwah]

sorry, hatte die letzten 2 Bytes nicht kopiert. da stand schon 202 und nicht 2

 

[Falk R.]

Notfalls geht Manuelles Löschen in der Config immer.
Ich kopiere mir die Konfiguration immer weg, ändere eine Kopie und ersetze dann die Originale. Ich behalte aber auch immer die Originale Konfiguration zur Sicherheit.

 

[mpatzwah]

aber es steht doch in der Konfig gar nicht drinn??? ceph.conf oder `?

 

[Falk R.]

cat ceph.conf
[global]
         auth_client_required = cephx
         auth_cluster_required = cephx
         auth_service_required = cephx
         cluster_network = 172.30.11.0/24
         fsid = e14a45a7-3018-46e8-9de4-23b58a3c0aed
         mon_allow_pool_delete = true
         mon_host = 172.30.11.201 172.30.11.245 172.30.11.202
         ms_bind_ipv4 = true
         ms_bind_ipv6 = false
         osd_pool_default_min_size = 2
         osd_pool_default_size = 3
         public_network = 172.30.11.0/24

[client]
         keyring = /etc/pve/priv/$cluster.$name.keyring

[mon.pve]
         public_addr = 172.30.11.245

[mon.pve-1]
         public_addr = 172.30.11.201

[mon.pve-2]
         public_addr = 172.30.11.2

Es geht doch um diese ceph.conf und du willst pve-2 löschen?
Dann lösche die IP bei mon_host= und alles ab [mon.pve-2].

 

[mpatzwah]

sorry, wenn ich nerve, aber dann lösch in doch den letzen Eintrag (siehe Bild) und nicht den ersten, oder ?