Ceph: Autoscaler auch einsetzbar wenn man unterschiedlich große OSDs hat?

[KaiS]

Nachdem ich nun meine Auslastung im Pool durch hinzunahme weiterer OSD auf 60% runter gebracht habe (von 80), bin ich versucht den autoscaler zu aktivieren.
Nur habe ich irgendwo auf einer Seite gelesen, dass der Autoscaler die Anzahl der PG pro OSD identisch setzt.
Da ich 1 TB und 2 TB SSD´s gemixed habe (allerdings so, dass jede der 3 Nodes identisch ist), wäre es wohl nciht so optimal wenn jede OSD dann die selbe Zahl PG´s vom Autoscaler bekommt.

Oder habe ich es falsch verstanden?

Ich möchte vermeiden, dass der Autoscaler Daten so verschiebt, dass CEPH nachher die 1TB Platten versucht zu befüllen wie die 2TB Platten.

Im Moment behelfe ich mir mit einem CRON : ceph osd reweight-by-utilization - autoscaler fände ich irgendwie eleganter


Könnt Ihr mir mit Rat & Wissen helfen?

 

[itNGO]

Ist zumindest meiner Erfahrung nach kein Problem mit dem Autoscaler und mixed size Disks... mag mit zunehmenden Füllstand natürlich ggf. sinnvoll sein die Gewichtung anzupassen.

 

[KaiS]

Danke für Deine Antwort. Wenn ich Deine OSD.0 sehe hast Du dort 33,55% Auslastung und Deine OSD.7 hat bereits 78,86%
Das ist eine "Unwucht" von 45% - außerdem bist Du bei der osd.7 kurz for 80%. Das könnte zu Problemen führen.

Ich sehe auch dass Deine erste Node große Platten hat und die beiden anderen nur kleine. Ich habe versucht meine 3 Nodes synchron identisch aufzubauen, weil ich ja hyperkonvergenz mit HA fahre. Wenn bei Dir Node1 ausfällt gibt es dann keine Probleme? 16 TB Osd´s auf Node 1 und auf den anderen hast Du nur 8 TB. Ich würde wahrscheinlich die großen Platten aus Node1 auf alle 3 Nodes ausgewogen verteilen. Aber wie gesagt: ich bin Laie

Irgendwo glaube ich gelesen zu haben, dass eine Spreizung von bis 20% normal ist.

Um dem zu entgehen benutze ich ja:

ceph osd reweight-by-utilization

Ob es bei Dir sinnvoll und ratsam wäre das einzusetzen weiss ich nicht.

Bei mir sieht es aktuell so aus als Ergebnis des oben genannten Befehls:

 

[itNGO]

Nein kein Problem bislang mit der Aufteilung wenn ein Node mal down ist... die Crushmap sagt bei uns allerdings auch 2 minimum und 3 Kopien normal. Und das dann wiederum zwingend in "unterschiedlichen" Gehäusen. Entsprechend fängt der CEPH, wenn ein Node down ist, gar nicht an irgendwelche Daten zu "moven". Was die knapp 80% angeht... ja wir müssen mal bisschen aufräumen.... ;-)

 

[Falk R.]

@KaiS du hast nur das Problem, dass du mehr Daten auf den großen Platten hast und das zu einem Performance Unterschied führen kann. Da teilen sich mehr GB Daten die Schnittstelle und Max IOs.
Bei schnellen SSDs fällt das vielleicht nicht auf, aber wenn du 8TB und 16TB Disks mixt, dann merkst du das ganz schnell.