Ceph cluster wurde full -> immer mehr OSDs sind down/out

[fips]

Hi,

habe leider beim zurückspielen einer VM übersehen, das mein 3er Ceph Cluster schon an der 80% Grenze war, darauf haben die ersten OSDs gesagt sie sind full.
Dann sind allerdings immer mehr OSD down.

Jetzt sind auf einem Node schon alle OSDs down...
Etwas löschen kann ich nicht da das full flag gesetzt ist.

Was kann ich jetzt tun?

 

[Alwin]

Die einfachste Variante ist mehr OSDs hinzuzufügen, bis der Status auf "near full" steht. Oder die Schwellwerte anzupassen, dafür ist aber vielleicht nicht mehr genug freier Platz verfügbar.

Beispiel:

# ceph tell mon.* injectargs "--mon_osd_nearfull_ratio .88"
# ceph tell mon.* injectargs "--mon_osd_full_ratio .98"