Besserer OSD Ausgleich

[KnowVation]

Hallo Zusammen,

wir haben immer wieder probleme mit dem OSD Ausgleich. Schlimmsten Falls kommt es dazu dass eine OSD z.B. zu 85% belegt wird und die nächste wiederrum nur zu 55% belegt ist. Bisher habe ich mir damit ausgeholfen manuell mit reweight gegenzusteuern oder einfach Vms von Ceph zu löschen um nicht das System zum Stillstand zu bringen.
Der Befehl reweight-by-utilization hatte keinerlei Auswirkung auf den Ausgleich. Hier ein Beispiel Screenshot. PGs sind auf 1024 eingestellt, es sind 25 1TB Osds vorhanden.

Über Tipps würde ich mich freuen!

 

[wigor]

Aus dem Bauch heraus würde ich die Anzahl pg erhöhen. 1024 entspricht zwar den Empfehlungen bzgl. Anzahl osd. Aber ich meine, dass gerade das Phänomen was ihr beobachtet bei zu kleinem pg_num passieren kann.

 

[Fusel]

Hi,
du kannst den balancer dafür aktivieren.

https://docs.ceph.com/docs/mimic/mgr/balancer/

Gruß

 

[KnowVation]

Aus dem Bauch heraus würde ich die Anzahl pg erhöhen. 1024 entspricht zwar den Empfehlungen bzgl. Anzahl osd. Aber ich meine, dass gerade das Phänomen was ihr beobachtet bei zu kleinem pg_num passieren kann.

Danke für die Antwort das hatte ich auch schon einmal vermutet. Der Rechner hat halt einfach ergeben, dass es die korrekte Anzahl von PGs ist und deswegen bin ich nicht weiter in die Richtung gegangen.

 

[Alwin]

Ein ceph osd df tree sollte zeigen, ob mehr PGs benötigt werden.

 

[KnowVation]

ID WEIGHT   REWEIGHT SIZE   USE    AVAIL  %USE  VAR  TYPE NAME
-1 27.14981        - 27781G 17090G 10691G 61.52 1.00 root default
-2  4.49997        -  4630G  2683G  1947G 57.95 0.94     host Aurora
 0  0.89999  1.00000   926G   564G   361G 60.95 0.99         osd.0
 1  0.89999  1.00000   926G   546G   379G 58.97 0.96         osd.1
 2  0.89999  1.00000   926G   488G   437G 52.77 0.86         osd.2
 3  0.89999  1.00000   926G   580G   345G 62.70 1.02         osd.3
21  0.89999  1.00000   926G   503G   422G 54.34 0.88         osd.21
-3  4.49997        -  4630G  2791G  1838G 60.29 0.98     host Dakota
 4  0.89999  1.00000   926G   620G   305G 67.02 1.09         osd.4
 5  0.89999  1.00000   926G   538G   387G 58.17 0.95         osd.5
 6  0.89999  1.00000   926G   597G   328G 64.49 1.05         osd.6
 7  0.89999  1.00000   926G   448G   477G 48.48 0.79         osd.7
22  0.89999  1.00000   926G   586G   339G 63.30 1.03         osd.22
-4  4.49997        -  4630G  2840G  1789G 61.35 1.00     host Ember
 8  0.89999  1.00000   926G   605G   320G 65.35 1.06         osd.8
 9  0.89999  1.00000   926G   700G   225G 75.69 1.23         osd.9
10  0.89999  1.00000   926G   431G   494G 46.60 0.76         osd.10
11  0.89999  1.00000   926G   473G   452G 51.16 0.83         osd.11
24  0.89999  1.00000   926G   629G   296G 67.97 1.10         osd.24
-5  4.49997        -  4630G  2959G  1671G 63.91 1.04     host Bucky
12  0.89999  1.00000   926G   534G   391G 57.68 0.94         osd.12
13  0.89999  1.00000   926G   602G   323G 65.07 1.06         osd.13
14  0.89999  1.00000   926G   571G   354G 61.71 1.00         osd.14
15  0.89999  1.00000   926G   593G   332G 64.13 1.04         osd.15
20  0.89999  1.00000   926G   657G   268G 70.96 1.15         osd.20
-6  4.64996        -  4630G  2827G  1802G 61.07 0.99     host Calypso
16  0.89999  1.00000   926G   579G   346G 62.56 1.02         osd.16
17  0.89999  1.00000   926G   513G   412G 55.44 0.90         osd.17
18  0.89999  1.00000   926G   573G   352G 61.91 1.01         osd.18
19  1.04999  1.00000   926G   522G   403G 56.44 0.92         osd.19
23  0.89999  1.00000   926G   638G   287G 68.98 1.12         osd.23
-7  4.49997        -  4630G  2987G  1642G 64.53 1.05     host Falcon
25  0.89999  1.00000   926G   562G   363G 60.75 0.99         osd.25
26  0.89999  1.00000   926G   555G   370G 59.97 0.97         osd.26
27  0.89999  1.00000   926G   646G   279G 69.83 1.14         osd.27
28  0.89999  0.89999   926G   671G   254G 72.49 1.18         osd.28
29  0.89999  1.00000   926G   552G   374G 59.61 0.97         osd.29
               TOTAL 27781G 17090G 10691G 61.52
MIN/MAX VAR: 0.76/1.23  STDDEV: 6.78

An welche Werten kann ich erkennen ob weitere PGs nötig sind?

 

[Alwin]

An welche Werten kann ich erkennen ob weitere PGs nötig sind?

Bitte in CODE tags posten, dann bleibt auch die Formatierung erhalten. Zu finden im Editor als </>.

 

[KnowVation]

Bitte in CODE tags posten, dann bleibt auch die Formatierung erhalten. Zu finden im Editor als </>.

Sorry habs angepasst, siehe oben.

 

[Alwin]

Hm... das scheint noch ein Luminous zu sein oder? Da sollte ein Spalte mit PGS stehen.

Falls es ein Luminous ist, dann sollte das Cluster dringend aktualisiert werden. Luminous ist EoL und das Proxmox VE 5.x auch.

EDIT: ein ceph pg dump könnte das auch noch zeigen.