OSD wiederherstellen

Feb 22, 2021
70
4
13
44
Hallo,

ich hatte eine OSD rausgeschmissen, nachdem ich in der Annahme war, dass die Festplatte defekt ist.
Letztendlich half es aber schon, die Festplatte einmal kurz zu entfernen und anschließend wieder einzustecken. Dann noch das Logical Drive reenabled und nun war von der Seite alles i.O.
Aber natürlich fehlt die OSD jetzt im OSD Tree (OSD 8).

1692687255577.png

1692687362169.png

Was muss ich tun, um die OSD wieder korrekt angezeigt zu bekommen?
 
Wie schaut ceph osd df tree aus?

Du kannst mal mit ceph-volume lvm activate --all versuchen ob sie wieder in den Cluster eingebunden werden kann.
 
Wenn möglich bitte den gesamten Output an Befehlen schicken und idealerweise nicht als Screenshot, sondern innerhalb von [CODE][/CODE] Tags. Das macht uns das Leben leichter. :)

Hi was immer geht, OSD komplett löschen (Partition Clean) und dann als neue OSD einhängen. Die Daten sind ja eh schon auf die anderen OSDs verteilt.
Evtl. musst du dafür die Volume Group noch deaktivieren.

Mit lsblk solltest du sehen welche VG-LV auf sdb liegt. Dann mit vgchange -an {volume group} deaktivieren. Danach sollte das "Wipe Disk" in der GUI klappen.

Sieht z.B. so aus:
Code:
# lsblk
[…]
sdb                                                                                                     8:16   0   20G  0 disk
└─ceph--3552b8db--c743--4dbb--8ea2--8f89614cb987-osd--block--977b5766--7e98--4088--b623--a3e29ff01ca9 253:0    0   20G  0 lvm
# vgs
  VG                                        #PV #LV #SN Attr   VSize   VFree
  ceph-3552b8db-c743-4dbb-8ea2-8f89614cb987   1   1   0 wz--n- <20.00g    0
Der erste Teil, bis zum einfachen Bindestrich ist die Volume Group. Mit vgs bekommst du die Volume Group dann in der Form raus, dass man sie in den vgchange Befehl kopieren kann.
 
Code:
root@mc-kvg06:~# lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                  8:0    0 223.6G  0 disk
├─sda1               8:1    0  1007K  0 part
├─sda2               8:2    0   512M  0 part /boot/efi
└─sda3               8:3    0   223G  0 part
  ├─pve-swap       253:0    0     8G  0 lvm  [SWAP]
  ├─pve-root       253:1    0  55.8G  0 lvm  /
  ├─pve-data_tmeta 253:2    0   1.4G  0 lvm 
  │ └─pve-data     253:4    0 140.4G  0 lvm 
  └─pve-data_tdata 253:3    0 140.4G  0 lvm 
    └─pve-data     253:4    0 140.4G  0 lvm 
sdb                  8:16   0   1.7T  0 disk
├─sdb1               8:17   0   100M  0 part /var/lib/ceph/osd/ceph-8
└─sdb2               8:18   0   1.7T  0 part
sdc                  8:32   0   1.7T  0 disk
├─sdc1               8:33   0   100M  0 part /var/lib/ceph/osd/ceph-9
└─sdc2               8:34   0   1.7T  0 part
sdd                  8:48   0   1.7T  0 disk
├─sdd1               8:49   0   100M  0 part /var/lib/ceph/osd/ceph-10
└─sdd2               8:50   0   1.7T  0 part
sde                  8:64   0   1.7T  0 disk
├─sde1               8:65   0   100M  0 part /var/lib/ceph/osd/ceph-11
└─sde2               8:66   0   1.7T  0 part
root@mc-kvg06:~#

Das ist die Ausgabe von lsblk.
 
Hmm, das sieht noch nach älteren Bluestore OSDs aus.

Dann würde ich die Disk wipen und die OSD neu erstellen. Und auch die anderen OSDs langsam mal neu erstellen, damit diese die aktuelle Variante von Bluestore mit LVM verwenden.

Zum neu erstellen einer OSD gehst du am besten wie folgt vor:
  1. OSD auf OUT setzen
  2. warten bis diese leer bzw. alle PGs wieder nur "active" sind und nicht "remapped"
  3. OSD stoppen
  4. OSD zerstören
  5. OSD neu erstellen
  6. Nächste OSD
 
Ok, die OSD ist wieder da. Danke für die Hilfe!

Da wir dort noch die Version 5.4 verwenden, muss ich den Standort demnächst sowieso erstmal anheben.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!