CEPH und pg_num Verständnisproblem

[CoolTux]

Hallo,

Nun muss ich doch mal fragen. Trotz Calculator und lesen komme ich nicht dahinter wie genau das geht.
Ich habe 5 OSD's und ein Size von 3.
Aktuell haben meine 3 Pools ein pg_num von 128. Was laut der Rechnung pg_num=(osd*100)/3 ja passt.

Wenn ich aber unter Pools schaue habe ich aktuell 25 Prozent belegt mit 430GB. Grob gesagt bin gerade unterwegs.
Das mach in Summe knapp 1600 GB.
Wenn ich aber auf meine CEPH Übersicht gehe stehen mir dort 2,24TB zur Verfügung.

Wo ist da mein Denkfehler?

Theoretisch kann ich noch einen 4 Pool anlegen, dann aber nicht mehr mit 128 sondern höchstens mit 96 oder so.

 

[Alwin]

Theoretisch kann ich noch einen 4 Pool anlegen, dann aber nicht mehr mit 128 sondern höchstens mit 96 oder so.

Nein, um bei den 100 PGs einer OSD zu bleiben, müssten die anderen Pools die Anzahl der PGs verkleinern. Je nach angedachter Beflügelung kann ein Pool mehr PGs haben als andere. Deshalb hat der Calculator auch das %-Data Feld, um die Gewichtung zu verteilen.

Wenn ich aber unter Pools schaue habe ich aktuell 25 Prozent belegt mit 430GB. Grob gesagt bin gerade unterwegs.
Das mach in Summe knapp 1600 GB.
Wenn ich aber auf meine CEPH Übersicht gehe stehen mir dort 2,24TB zur Verfügung.

Am besten schau dir die Ausgabe von ceph df an. Die Usage vom Pool is ohne Replika.

 

[CoolTux]

Hallo,

Vielen Dank für Deine Antwort.
Würdest Du im großen und ganzen sagen das ich alles soweit richtig gemacht habe? Passt das soweit? Dann lasse ich es so und bin glücklich. Oder kann ich etwas anders/besser machen?

root@n1-pve-cluster:~# ceph df
RAW STORAGE:
CLASS SIZE AVAIL USED RAW USED %RAW USED
ssd 2.2 TiB 1.8 TiB 450 GiB 455 GiB 19.83
TOTAL 2.2 TiB 1.8 TiB 450 GiB 455 GiB 19.83

POOLS:
POOL ID STORED OBJECTS USED %USED MAX AVAIL
pool2 12 119 GiB 31.13k 358 GiB 19.86 482 GiB
pool1 15 16 GiB 4.18k 48 GiB 3.22 482 GiB
pool3 34 14 GiB 6.78k 42 GiB 2.85 482 GiB

Grüße
Leon

 

[Alwin]

Würdest Du im großen und ganzen sagen das ich alles soweit richtig gemacht habe? Passt das soweit? Dann lasse ich es so und bin glücklich. Oder kann ich etwas anders/besser machen?

Das hängt von mehr als nur von den Pools ab. Ob die Performance passt oder Ausfallsicherheit gegeben ist, muss einfach getestet werden.

ssd 2.2 TiB 1.8 TiB 450 GiB 455 GiB 19.83

Hier sind RAW 450 GiB belegt und 1.8 TiB frei. Die Pools selbst haben unter 'STORED' den Füllstand ohne der Replikation stehen.

 

[CoolTux]

Hallo Alvin,

Danke für Deine Geduld. Performance ist naja nicht soooo relevant (Heimprojekt), Ausfallsicher wäre schon nicht so schlecht.
Im Grunde ist aber mein aktuelles anliegen eher die Frage nach dem verwende ich in der jetzigen Konfig wirklich den maximalen Plattenplatz, natürlich abzüglich der Replika.

Es kommen noch mehr Platten rein. Bin gerade dabei um zu bauen. Leider habe ich pro Proxmox Node nur Platz für eine HDD. Somit ist Proxmox drauf und der Rest an Platz steht dann CEPH zur Verfügung. Heimprojekt halt. Aber ich bin jetzt schon super glücklich mit Eurer Software. Jetzt noch statt der aktuell 250GB Platten 1TB Platten einbauen in allen Nodes und nicht nur in 2 Nodes dann passt das. Das nur so am Rande


Grüße

 

[Alwin]

Im Grunde ist aber mein aktuelles anliegen eher die Frage nach dem verwende ich in der jetzigen Konfig wirklich den maximalen Plattenplatz, natürlich abzüglich der Replika.

Das ist unabhängig der PGs im Normalfall immer so.

Leider habe ich pro Proxmox Node nur Platz für eine HDD. Somit ist Proxmox drauf und der Rest an Platz steht dann CEPH zur Verfügung.

Das kann ich nicht empfehlen, das OSDs sich die Platte mit anderen Services teilen. Das führt nur zu Problemen im nachhinein.

 

[CoolTux]

Das kann ich nicht empfehlen, das OSDs sich die Platte mit anderen Services teilen. Das führt nur zu Problemen im nachhinein.

Hallo Alwin,
Das verstehe ich das Du sowas nicht empfiehlst und nehme Deine Aussage gerne mit. Vielen Dank für den tollen Support.


Grüße
Leon