Tja, da antworte ich mir mal selbst.
Keine Ahnung ob es die beste Lösung ist, hier hat sie zumindest funktioniert. Ist aber nicht ganz risikofrei! Backup sollte man auf jeden Fall haben.
Symptome:
bei "systemctl status ceph-*" tauchen Fehler beim laden der services der betroffen Disks auf:
ceph-disk@dev-sdxy
Failed to start Ceph disk activation: /dev/sdxy
Wie es scheint ist da aus alten Zeiten von der Umstellung auf Bluestore noch irgendwas der alten Datastores was nicht geladen werden kann. Darum scheitert ceph-disk und dann ceph.target. Und damit sind die Bezeichnungen im GUI weg. Was das sonst noch an Folgeproblemen produziert, keine Ahnung.
Lösungmöglichkeit:
Ich habe also die bestehenden OSD gelöscht, den Node neu gestartet, /var/lib/ceph/osd/ceph-x gelöscht und nochmal neu gestartet.
Beim Neuanlegen der OSD über die GUI tauchten diese dann aber nicht in der GUI auf und starteten auch nicht. Also habe ich sie auf der Kommandozeile nochmal gelöscht. Reboot, Folder löschen, noch ein Reboot und dann sagte ZAP die Disk wäre in Benutzung. Und oh Wunder, die Folder ceph-x waren wieder da. Das ist dann wohl diese Altlast gewesen. Also Folder nochmal gelöscht, Reboot, ZAP, Reboot.
Jetzt liesen sich die OSD wieder anlegen, zeigten sich im GUI und die Anzeige bei Disks ist jetzt auch ok. Nebenbei sind auch die Fehler bei "systemctl status ceph-*" weg.
Nochmal:
Die ganze Sache ist natürlich nicht ganz ohne. Es wird eine Replik der Daten mal lässig geschreddert und später neu erstellt. Das dauert eine Weile und belastet natürlich auch die Platten etwas mehr. Man sollte sich also im klaren sein, was man da tut. Datenverlust ist immerhin möglich.
Wenn jemand eine besser Lösung weiß, dann immer her damit. Der dritte Node zeigt auch noch Müll an und muss noch behandelt werden sobald die Datastores wieder synchron sind.
