Ceph: Autoscaler auch einsetzbar wenn man unterschiedlich große OSDs hat?

Feb 20, 2019
62
7
13
54
Nachdem ich nun meine Auslastung im Pool durch hinzunahme weiterer OSD auf 60% runter gebracht habe (von 80), bin ich versucht den autoscaler zu aktivieren.
Nur habe ich irgendwo auf einer Seite gelesen, dass der Autoscaler die Anzahl der PG pro OSD identisch setzt.
Da ich 1 TB und 2 TB SSD´s gemixed habe (allerdings so, dass jede der 3 Nodes identisch ist), wäre es wohl nciht so optimal wenn jede OSD dann die selbe Zahl PG´s vom Autoscaler bekommt.

Oder habe ich es falsch verstanden?

Ich möchte vermeiden, dass der Autoscaler Daten so verschiebt, dass CEPH nachher die 1TB Platten versucht zu befüllen wie die 2TB Platten.

Im Moment behelfe ich mir mit einem CRON : ceph osd reweight-by-utilization - autoscaler fände ich irgendwie eleganter


Könnt Ihr mir mit Rat & Wissen helfen?
 

itNGO

Well-Known Member
Jun 12, 2020
583
128
48
44
Germany
it-ngo.com
Ist zumindest meiner Erfahrung nach kein Problem mit dem Autoscaler und mixed size Disks... mag mit zunehmenden Füllstand natürlich ggf. sinnvoll sein die Gewichtung anzupassen.
1647588454227.png
 
Feb 20, 2019
62
7
13
54
Danke für Deine Antwort. Wenn ich Deine OSD.0 sehe hast Du dort 33,55% Auslastung und Deine OSD.7 hat bereits 78,86%
Das ist eine "Unwucht" von 45% - außerdem bist Du bei der osd.7 kurz for 80%. Das könnte zu Problemen führen.

Ich sehe auch dass Deine erste Node große Platten hat und die beiden anderen nur kleine. Ich habe versucht meine 3 Nodes synchron identisch aufzubauen, weil ich ja hyperkonvergenz mit HA fahre. Wenn bei Dir Node1 ausfällt gibt es dann keine Probleme? 16 TB Osd´s auf Node 1 und auf den anderen hast Du nur 8 TB. Ich würde wahrscheinlich die großen Platten aus Node1 auf alle 3 Nodes ausgewogen verteilen. Aber wie gesagt: ich bin Laie

Irgendwo glaube ich gelesen zu haben, dass eine Spreizung von bis 20% normal ist.

Um dem zu entgehen benutze ich ja:

ceph osd reweight-by-utilization

Ob es bei Dir sinnvoll und ratsam wäre das einzusetzen weiss ich nicht.

Bei mir sieht es aktuell so aus als Ergebnis des oben genannten Befehls:

OSDs.jpg
 
Last edited:

itNGO

Well-Known Member
Jun 12, 2020
583
128
48
44
Germany
it-ngo.com
Nein kein Problem bislang mit der Aufteilung wenn ein Node mal down ist... die Crushmap sagt bei uns allerdings auch 2 minimum und 3 Kopien normal. Und das dann wiederum zwingend in "unterschiedlichen" Gehäusen. Entsprechend fängt der CEPH, wenn ein Node down ist, gar nicht an irgendwelche Daten zu "moven". Was die knapp 80% angeht... ja wir müssen mal bisschen aufräumen.... ;-)
 
Aug 2, 2021
738
82
28
43
Damme, Germany
roesing-consulting.de
@KaiS du hast nur das Problem, dass du mehr Daten auf den großen Platten hast und das zu einem Performance Unterschied führen kann. Da teilen sich mehr GB Daten die Schnittstelle und Max IOs.
Bei schnellen SSDs fällt das vielleicht nicht auf, aber wenn du 8TB und 16TB Disks mixt, dann merkst du das ganz schnell.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!