[SOLVED] Ceph: neue Nodes, wie neue Pools hinzufügen?

[fips]

Hallo Leute und einen schönen Zwickeltag!

Ich betreibe 3 Ceph Nodes und möchte diesen demnächst um 2 weitere Nodes erweitern.
Es gibt einen 3/2 Pool (Config wie im HowTo), diesen kann ich ja nicht ändern, also müsste ich einen neuen Pool 5/3 hinzufügen oder?

Eine grundsätzliche Frage hätte ich auch noch:
Wenn ich zum jetzigen Pool, bei dem jede Node ca. 2TB Speicher hält, einen neuen Node hinzufüge und dieser hat sagen wir nur 500G, was würde dann passieren?
Wie regelt Ceph die Verteilung der PG wenn eine Node nicht genug Kapazität hat? (Stichwort osd full)

Danke und bis Donnerstag
Stefan

 

[Alwin]

Es gibt einen 3/2 Pool (Config wie im HowTo), diesen kann ich ja nicht ändern, also müsste ich einen neuen Pool 5/3 hinzufügen oder?

Nein, size/min_size bezieht sich auf die Anzahl der Objekt-Kopien. Also 3 Kopien und wenn etwas ausfällt, dann kann weiter auf den Pool geschrieben werden, solange es min_size (2) Kopien gibt.

Wie regelt Ceph die Verteilung der PG wenn eine Node nicht genug Kapazität hat? (Stichwort osd full)

Ceph verteilt per Standard auf Host Ebene, damit kann Ceph einen guten Teil der PGs auf andere Hosts verteilen, wenn mehr als 3 Hosts vorhanden sind. Die Anzahl der OSDs mit dem gesamten OSD-Speicherplatz eines Hosts sollten in Waage mit den anderen Hosts sein.

Oder anders gesagt, je homogener die Hosts sind, desto besser die Performance.

 

[udo]

Hi Stefan,
Die Verteilung der PGs wird mittels der Crushmap nach verschiedenen Parametern geregelt - einen wichtigen Anteil daran hat die Gewichtung der OSDs und der Nodes (die Node hat einfach die Gewichtung der OSD-Gewichtungs-Summe).
Es wird nach Netto-TB gewichtet - so hat eine 4TB Platte z.B. eine Gewichtung von 3,6 und eine 500G-Platte hätte dann ca. 0,45.

Also, es funktioniert auch mit unterschiedlichen Nodes, aber wie Alwin bereits schrieb, ist es sinnvoll ähnliche (am besten gleiche) Konfigurationen zu haben.

Udo