[SOLVED] CEPH - 3er Cluster mit jeweils sieben SSDs

[Romsch]

Hallo liebe Proxmoxfreunde,
ich habe eine Frage.
Es wird im Ceph GUI - nachdem ich zwei OSDs entfernt (ceph-8 und ceph-13 osds) und dann wieder hinzugefügt habe (ceph-21 & ceph-22 osds) - nun im status unter Total: 23 angezeigt, sowie das zwei OSDs "down" wären. Aus welchen osd table holt sich ceph die info, das es insgesamt 23 OSDs sind, doch tatsächlich nur 21 OSDs vorhanden sind. Alle Konfigurationen die ich gefunden habe, sind ok. Es funktioniert auch alles.

Auf dem einem Knoten, bei dem ich die beiden OSDs entfernt und wieder hinzugefügt habe, hab ich manuel noch unter /var/lib/ceph/osd die entsprechenden "falschen" Ornder entfernt, da diese root gehörten und nicht mehr ceph, dies brachte aber auch keine richtige Ansicht im Ceph Gui.

Im Ceph Dashboard steht auch total 23, obwohl es nur 21 sind.

Alle drei Knoten sind up-to-date.

Vielen Dank und beste Grüße,

Roman

 

[wolfgang]

Hi,

die Information kommt aus der Crush map.
Ich nehme an die Ceph-8 und Ceph-13 sind dort noch als nicht zugeordnete OSD enthalten.

Send mal bitte den Output von

ceph osd tree

 

[Romsch]

Hi Wolfgang,

danke für Deine Antwort, hier ceph osd tree:

ceph osd tree
ID CLASS WEIGHT   TYPE NAME      STATUS    REWEIGHT PRI-AFF
-1       19.10143 root default                            
-3        6.36714     host pve1                            
 0   ssd  0.90959         osd.0         up  1.00000 1.00000
 6   ssd  0.90959         osd.6         up  1.00000 1.00000
 9   ssd  0.90959         osd.9         up  1.00000 1.00000
14   ssd  0.90959         osd.14        up  1.00000 1.00000
15   ssd  0.90959         osd.15        up  1.00000 1.00000
21   ssd  0.90959         osd.21        up  1.00000 1.00000
22   ssd  0.90959         osd.22        up  1.00000 1.00000
-5        6.36714     host pve2                            
 1   ssd  0.90959         osd.1         up  1.00000 1.00000
 4   ssd  0.90959         osd.4         up  1.00000 1.00000
 7   ssd  0.90959         osd.7         up  1.00000 1.00000
10   ssd  0.90959         osd.10        up  1.00000 1.00000
13   ssd  0.90959         osd.13        up  1.00000 1.00000
16   ssd  0.90959         osd.16        up  1.00000 1.00000
19   ssd  0.90959         osd.19        up  1.00000 1.00000
-7        6.36714     host pve3                            
 2   ssd  0.90959         osd.2         up  1.00000 1.00000
 5   ssd  0.90959         osd.5         up  1.00000 1.00000
 8   ssd  0.90959         osd.8         up  1.00000 1.00000
11   ssd  0.90959         osd.11        up  1.00000 1.00000
12   ssd  0.90959         osd.12        up  1.00000 1.00000
17   ssd  0.90959         osd.17        up  1.00000 1.00000
20   ssd  0.90959         osd.20        up  1.00000 1.00000
 3              0 osd.3          destroyed        0 1.00000
18              0 osd.18         destroyed        0 1.00000

Tatsächlich sind die beiden OSDs hier gelistet. Was mach ich nun am besten?
Das wird evtl. noch paar mal vorkommen, da ich ein bisschen am Festplatten ziehen/testen bin.

Vielen Dank und beste Grüße,

Roman


NACHTRAG --- Sorry, hab die OSDs 13 mit 3 und 8 mit 18 verwechselt... -----

 

[wolfgang]

Einfach loeschen.

ceph osd rm <osd.n>

 

[Romsch]

Danke Wolfgang!

Gruß, Roman