[SOLVED] Ceph-Storage scheint zu schrumpfen ...

Marvin1973

New Member
Mar 10, 2019
2
0
1
51
Hallo zusammen,

bis vor ein paar Tagen war alles ok.
Ich habe 3 Nodes 2 Boot-SSD als Raid 1 (448GB), 6 HDD 3,64TB und noch mal 2 SSD 448GB ursprünglich auch als RAID 1.

In der Cluster Summary waren im Storage rund 22Tb als maximale Kapazität zu sehen, das dem erwarteten bei 3/2 für den Ceph-Storage Pool entspricht.
Das zweite SSD Pärchen hatte ich im Raid1 als Tiering-Cache davor.
Nun habe ich, zusammen mit nem apt-get upgrade das RAID1 des zweiten SSD Paares auf gelöst nach dem ich das Cache-Tiering auf gehoben habe.

Soweit noch alles ok.
Dann dann kam der Cluster in Bewegung, die SSD wurden scheinbar in den Pool mit eingebunden der Maxstorage ging massiv runter (8TB) , gut wieder raus damit, alles wieder gut.
Eine Crush Rule für die SSD erstellt (take default class ssd) und wieder rein, und es beruhigte sich.

Den SSD-Pool wieder als Tering-Cache rein und ich hatte meine rund 22TB in der Übersicht.

Leider "frisst" jetzt irgend etwas den Storage, von den ursprünglichen rund 22Tb bin ich jetzt wieder auf 8,22TB runter, weiter fallend.

Schaue ich aber auf der Console bekomme ich:
oot@proxmox1:/var/log/ceph# ceph pg stat
1408 pgs: 1408 active+clean; 4.13TiB data, 12.0TiB used, 56.1TiB / 68.1TiB avail; 1.65KiB/s rd, 3.98MiB/s wr, 262op/s

Somit das was ich erwarte, die VMs im System haben zusammen rund die 4,1TB Plattenbedarf, somit scheint hier alle ok.

schalte ich in der WebGui den Angezeigten Storage hin und her bekomme ich entweder 3,5TiB belegt und die 8TB verfügbar um auf alles 3 Nodes mit dem Storage, dann sehe 10.8TuB belegt und 24TB "verfügbar)

ceph pg dump zeigt mir für jede Placementgroup an, das 2 OSD dran hängen-

Aber auch, das die SSD im Pool als Storage drin hängen, ich vermute über die default "replicated_rule" die ja scheinbar alles nimmt.

Stehe ich auf dem Schlauch und übersehe etwas?

Wie kriege ich im Nachgang die SSD aus dem "default" Pool raus also die "replicated_rule" umgestellt auf "step take default class hdd" korrespondierend zum ssdPool mit "step take default classe ssd"


Schon mal danke für Hinweise.

Grüße
Dirk
 
da war wohl der Fehler 80cm vorm Monitor.


Ich hab den Ceph Pool umgestellt auf eine andere Rule, die nur die HHDs nimmt, dann war es wieder ok.
ich denke das hängt mit den PG und eren Verteilung zu sammen wie auch immer.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!