ceph - quota setzen?

grefabu

Member
May 23, 2018
111
6
23
47
Moin,

ein ceph über drei nodes mit jeweils 4 1TB SSDs ergibt ja eine Speichergröße von 12TB.
Für einen Hyperconvergenten cluster sollte es doch Sinnvoll sein, höchstens 9TB zu nutzen? Damit ich z.b. einen Knoten zu Wrtungszwecken herunterfahren kann.

Setze ich dafür ein quota auf den Pool?

Grüße

Gregor
 

tom

Proxmox Staff Member
Staff member
Aug 29, 2006
14,943
717
133
Da Ceph auf jeden Fall 3 mal replizieren soll/muss, sind in diesem Fall max. 85 % von 4 x 1 TB nutzbar. (also ca. 3 bis 3,4 TB, da kommt die "near full warning")

Einen Knoten für Wartung zur rebooten oder runterfahren ist kein Problem, da auch kein rebalance stattfinden kann. (da nur 3 nodes).
 

grefabu

Member
May 23, 2018
111
6
23
47
Moin,

ich muss das für mein Verständnis noch einmal hochholen:
Bei drei Knoten entspricht dass einem RAID 1 (Spiegelung) über alle drei Knoten? Also habe ich bei drei Knoten für den Cluster nur die Ressourcen entsprechend eines Knoten zur Verfügung. Wenn es mehr Knoten werden, vergrößert sich dann der mögliche Plattenplatz?

Kann ich festlegen, auf welchen OSDs welche Pools laufen? z.B. Ich habe eine Mischung aus schnelleren und langsameren SSDs oder auch HDDs. Auf die langsamen lege ich VMs an, die weniger Perfprmance benötigen.
 

wigor

Member
Dec 5, 2019
30
5
8
Hallo grefabu,

von der groben Draufsicht entspricht das RAID1 auf drei Knoten.
Ceph spiegelt aber nicht 1:1 sondern speichert in Objekten und verteilt diese in Placement Groups. Diese Placement Groups suchen sich osd.
Aber die 1/3 Betrachtung an sich ist korrekt, wobei man bei Ceph default ab 85% bereits voll ist. Siehe Toms Beitrag.

Über Device-Classes läßt sich das mit dem langsamen und schnellerem Pool regeln:
https://ceph.io/community/new-luminous-crush-device-classes/
 

grefabu

Member
May 23, 2018
111
6
23
47
Das klingt schon mal vielversprechend. Aber man kann keine Unterscheidungen bei den Klassen in sich machen? Das man bestimmte SSDs markiert, die Klasse manuell setzt z.B. SSD1 SSD2 um festzulegen dass bestimmte Pools nur auf einer bestimmten Klasse läuft?
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!