OSD wiederherstellen

[aGro]

Hallo,

ich hatte eine OSD rausgeschmissen, nachdem ich in der Annahme war, dass die Festplatte defekt ist.
Letztendlich half es aber schon, die Festplatte einmal kurz zu entfernen und anschließend wieder einzustecken. Dann noch das Logical Drive reenabled und nun war von der Seite alles i.O.
Aber natürlich fehlt die OSD jetzt im OSD Tree (OSD 8).





Was muss ich tun, um die OSD wieder korrekt angezeigt zu bekommen?

 

[aaron]

Wie schaut ceph osd df tree aus?

Du kannst mal mit ceph-volume lvm activate --all versuchen ob sie wieder in den Cluster eingebunden werden kann.

 

[aGro]

Wie schaut ceph osd df tree aus?

Du kannst mal mit ceph-volume lvm activate --all versuchen ob sie wieder in den Cluster eingebunden werden kann.

Das gleiche Ergebnis.

Und beim Aktivieren wird keine OSD gefunden, die aktiviert werden könnte.

 

[Falk R.]

Was muss ich tun, um die OSD wieder korrekt angezeigt zu bekommen?

Hi was immer geht, OSD komplett löschen (Partition Clean) und dann als neue OSD einhängen. Die Daten sind ja eh schon auf die anderen OSDs verteilt.

 

[aaron]

Wenn möglich bitte den gesamten Output an Befehlen schicken und idealerweise nicht als Screenshot, sondern innerhalb von [CODE][/CODE] Tags. Das macht uns das Leben leichter.

Hi was immer geht, OSD komplett löschen (Partition Clean) und dann als neue OSD einhängen. Die Daten sind ja eh schon auf die anderen OSDs verteilt.

Evtl. musst du dafür die Volume Group noch deaktivieren.

Mit lsblk solltest du sehen welche VG-LV auf sdb liegt. Dann mit vgchange -an {volume group} deaktivieren. Danach sollte das "Wipe Disk" in der GUI klappen.

Sieht z.B. so aus:

# lsblk
[…]
sdb                                                                                                     8:16   0   20G  0 disk
└─ceph--3552b8db--c743--4dbb--8ea2--8f89614cb987-osd--block--977b5766--7e98--4088--b623--a3e29ff01ca9 253:0    0   20G  0 lvm
# vgs
  VG                                        #PV #LV #SN Attr   VSize   VFree
  ceph-3552b8db-c743-4dbb-8ea2-8f89614cb987   1   1   0 wz--n- <20.00g    0

Der erste Teil, bis zum einfachen Bindestrich ist die Volume Group. Mit vgs bekommst du die Volume Group dann in der Form raus, dass man sie in den vgchange Befehl kopieren kann.

 

[aGro]

root@mc-kvg06:~# lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                  8:0    0 223.6G  0 disk
├─sda1               8:1    0  1007K  0 part
├─sda2               8:2    0   512M  0 part /boot/efi
└─sda3               8:3    0   223G  0 part
  ├─pve-swap       253:0    0     8G  0 lvm  [SWAP]
  ├─pve-root       253:1    0  55.8G  0 lvm  /
  ├─pve-data_tmeta 253:2    0   1.4G  0 lvm 
  │ └─pve-data     253:4    0 140.4G  0 lvm 
  └─pve-data_tdata 253:3    0 140.4G  0 lvm 
    └─pve-data     253:4    0 140.4G  0 lvm 
sdb                  8:16   0   1.7T  0 disk
├─sdb1               8:17   0   100M  0 part /var/lib/ceph/osd/ceph-8
└─sdb2               8:18   0   1.7T  0 part
sdc                  8:32   0   1.7T  0 disk
├─sdc1               8:33   0   100M  0 part /var/lib/ceph/osd/ceph-9
└─sdc2               8:34   0   1.7T  0 part
sdd                  8:48   0   1.7T  0 disk
├─sdd1               8:49   0   100M  0 part /var/lib/ceph/osd/ceph-10
└─sdd2               8:50   0   1.7T  0 part
sde                  8:64   0   1.7T  0 disk
├─sde1               8:65   0   100M  0 part /var/lib/ceph/osd/ceph-11
└─sde2               8:66   0   1.7T  0 part
root@mc-kvg06:~#

Das ist die Ausgabe von lsblk.

 

[aaron]

Hmm, das sieht noch nach älteren Bluestore OSDs aus.

Dann würde ich die Disk wipen und die OSD neu erstellen. Und auch die anderen OSDs langsam mal neu erstellen, damit diese die aktuelle Variante von Bluestore mit LVM verwenden.

Zum neu erstellen einer OSD gehst du am besten wie folgt vor:

1. OSD auf OUT setzen
2. warten bis diese leer bzw. alle PGs wieder nur "active" sind und nicht "remapped"
3. OSD stoppen
4. OSD zerstören
5. OSD neu erstellen
6. Nächste OSD

 

[aGro]

Ok, die OSD ist wieder da. Danke für die Hilfe!

Da wir dort noch die Version 5.4 verwenden, muss ich den Standort demnächst sowieso erstmal anheben.