Ceph: gleiche Größe, gleiche weight -> warum unterschiedliche belegt?

[fips]

Hallo,

hab auf einem Host paar SSD die gleiche Größen haben, Weight ist auch gleich, trotzdem hat eine (OSD 10) 58% Belegung und die andere (OSD 14) 80%.
Wenn neue Daten geschrieben werden, passiert das genauso auf die schon fast volle, siehe Screenshot.
Wieso das??


Danke

Liebe Grüße, Stefan

 

[Alwin]

Aus den Screenshots lässt sich das nicht sagen, aber eine Vermutung wäre, das mehr PGs als auf den anderen OSDs gemapped sind oder eine Client viele Daten auf die PGs dieser OSD schreibt. Es sollten auch andere OSDs im Cluster eine höhere %-Usage auf weisen. Ein 'ceph osd df tree' sollte da schon mehr Einblick geben.

 

[fips]

Hast recht, auf OSD 10 sind 66 PGs auf OSD 14 hingegen sind es 91.
Aber werden die PGs nicht auch verschoben damit es Normalverteilt wird?

 

[Alwin]

Jein, die Anzahl zeigt an, wie viele PGs mit dieser Verknüpft sind, das Ziel ist ~100 (nächstes zum Quadrat) PGs zu auf jeder OSD zu haben. Wenn zB. OSDs hinzugefügt oder entfernt werden, dann ändert sich die Verteilung. Da aber Ceph schlau sein möchte, werden PGs die bereits nach den Crush Regeln passend liegen, nicht noch einmal verteilen.

Ich vermute mal anhand deiner Aussage, das du zu wenig PGs in deinem Cluster haben könntest und damit auch eine Ungleichheit entstehen kann. Mit dem PG calculator kann die Anzahl der PGs berechnet werden, hinzufügen von PGs zu einem Pool kann jederzeit gemacht werden..https://ceph.com/pgcalc/

 

[fips]

Laut Calc sollte ich 1024 haben und 1024 sind bei mir auch eingestellt.
Muss demnächst ohnehin zusätzliche OSDs einbauen, mal schauen wie es sich nun entwickelt.
Aber Danke erstmal!!