Ceph Verständnisfrage

[KaiS]

Hallo,

ich habe CEPH am laufen (3 Nodes mit jeweils 4* 1TB SSD).

Ich habe 2 Pools eingerichtet mit jeweils 1 Storage - jeweils eins für Vm und eins für Container. (ahlt so wie im Anleitungsvideo)

Läuft alles soweit prächtig.

Wenn ich jetzt auf eine Node gehe und dort den jeweiligen Storage anklicke sehe ich einen Belegungsstand.

In meinem Fall:

VM: 63.76% (1.77 TiB of 2.78 TiB)
Container: 1.00% (10.41 GiB of 1.02 TiB)

Jetzt meine Frage: woher kommt die "of" Zahl, d.h. wo wird oder wurde festgelegt, dass dem VM Storage 2.78 TiB und dem Container Storage 1.02 TiB zur Verfügung stehen soll?

Bei der Konfig habe ich doch nur Pool Default size: 3 und min size= 2 eingegeben und die Anzahl der PlacementGroups, nicht jedoch eine TiB Begrenzung?

Wie kommen meine beiden Pools darauf ?

 

[Alwin]

Schau mit 'ceph def detail' auf der CLI, das siehst due Ceph's Belegung.

Bei der Konfig habe ich doch nur Pool Default size: 3 und min size= 2 eingegeben und die Anzahl der PlacementGroups, nicht jedoch eine TiB Begrenzung?

Das ist unter anderem mit von der Partie. Da beide Pools wohl auf den selben OSDs zuhause sind, wird der Platz für beide entsprechend kleiner oder grösser.

 

[KaiS]

Schau mit 'ceph def detail' auf der CLI, das siehst due Ceph's Belegung.


Das ist unter anderem mit von der Partie. Da beide Pools wohl auf den selben OSDs zuhause sind, wird der Platz für beide entsprechend kleiner oder grösser.

Danke für die Antwort. Ja, beide Pools sind auf den selben OSD´s.

Verstehe ich das richtig, dass die von mir bemerkten Grenzen dann eher dynamisch sind als absolut?

Führt mich zur Folgefrage: Wenn ich den Storage und den Pool für die Container jetzt lösche, hätte ich für meinen VM Storage dann mehr Platz?

Kann man / ist es schädlich wenn man im Storage für VM´s auch Containe speichert? (Ich hatte ja das Anleitungsvideo benutzt und da wird für Container und VM unterschiedlicher Storage genutzt, ohne zu erklären wieso das notwendig ist).

 

[Alwin]

Verstehe ich das richtig, dass die von mir bemerkten Grenzen dann eher dynamisch sind als absolut?

Genau. Jeder Pool zwackt von der gesamten Kapazität ab.

Führt mich zur Folgefrage: Wenn ich den Storage und den Pool für die Container jetzt lösche, hätte ich für meinen VM Storage dann mehr Platz?

Um die Größe die der Pool belegt hat.

Kann man / ist es schädlich wenn man im Storage für VM´s auch Containe speichert? (Ich hatte ja das Anleitungsvideo benutzt und da wird für Container und VM unterschiedlicher Storage genutzt, ohne zu erklären wieso das notwendig ist).

Beide Videos sind schon etwas älter. Es ist nicht mehr nötig, zwei Pools zu haben. Es geht meist nur um die Art der Verbindung (KRBD oder librbd).

 

[KaiS]

Beide Videos sind schon etwas älter. Es ist nicht mehr nötig, zwei Pools zu haben. Es geht meist nur um die Art der Verbindung (KRBD oder librbd).

Ok, und das scheint eine Glaubensfrage zu sein? In diversen Threads hier wird in jede Richtung geraten, was performanter sei für VM´s

KRBD oder librbd.

Tendenz geht dahin dass KRBD die bessere Wahl sei, da MultiThread ?

 

[Alwin]

Der Kernel RBD client kann schneller sein, hinkt aber bei den Features hinterher, da wäre wieder librbd schneller. In jeglicher Hinsicht muss das jeweilige Szenario getestet werden.

 

[KaiS]

Schau mit 'ceph def detail' auf der CLI, das siehst due Ceph's Belegung.


Das ist unter anderem mit von der Partie. Da beide Pools wohl auf den selben OSDs zuhause sind, wird der Platz für beide entsprechend kleiner oder grösser.

Ganz verstehe ich es aber nicht:


VM: 63.76% (1.77 TiB of 2.78 TiB)
Container: 1.00% (10.41 GiB of 1.02 TiB)

Beide Pools liegen auf den selben OSD´s.

Wie kommt der VM Pool auf die Idee insgesamt 2.78 TiB zur Verfügung zu haben und der Container Pool nur 1.02 TiB.

Die haben doch beide den selben OSD Space unter sich zur Verfügung auf dem sie gemeinsam liegen und der schrumpft sobald ich im einen oder dem anderen Pool etwas speichere. Die Summe beider Zahlen 2.78 + 1.02 könnte tatsächlich in meiner Konfig der gesamt verfügbare Speicher sein. Aber wieso wird der 3/4 zu 1/4 zwischen den Pools aufgeteilt ?

Wo ist mein Denkfehler?

 

[Alwin]

Wenn beide Pools komplett gleich konfiguriert sind und die standard Einstellungen verwendet wurden, dann sollten beide ~4TB zu beginn zu Verfügung haben. Genaueres kann ich aber mit den jetzigen Information nicht sagen. Was gibt den 'ceph df detail' aus?

 

[KaiS]

Wenn beide Pools komplett gleich konfiguriert sind und die standard Einstellungen verwendet wurden, dann sollten beide ~4TB zu beginn zu Verfügung haben. Genaueres kann ich aber mit den jetzigen Information nicht sagen. Was gibt den 'ceph df detail' aus?

Meiner Meinung nach auf dem Clean Insall beide Pools identisch aufgesetzt.

Ergebnis von ceph df detail:

ceph> df detail
GLOBAL:
SIZE AVAIL RAW USED %RAW USED OBJECTS
10.5TiB 5.07TiB 5.41TiB 51.62 591.61k
POOLS:
NAME ID QUOTA OBJECTS QUOTA BYTES USED %USED MAX AVAIL OBJECTS DIRTY READ WRITE RAW USED
ceph-vm 3 N/A N/A 1.81TiB 65.48 978GiB 589131 589.13k 226MiB 364MiB 5.44TiB
ceph-lxc 4 N/A N/A 8.77GiB 0.89 978GiB 2476 2.48k 1.42MiB 5.48MiB 26.3GiB

 

[Alwin]

SIZE    AVAIL   RAW USED        %RAW USED       OBJECTS                                                
10.5TiB 5.07TiB 5.41TiB         51.62           591.61k                                                
POOLS:                                                                                
NAME            ID      QUOTA OBJECTS   QUOTA BYTES     USED    %USED   MAX AVAIL       OBJECTS DIRTY   READ    WRITE   RAW USED
ceph-vm         3       N/A             N/A             1.81TiB 65.48   978GiB          589131  589.13k 226MiB  364MiB  5.44TiB
ceph-lxc        4       N/A             N/A             8.77GiB 0.89    978GiB          2476    2.48k   1.42MiB 5.48MiB 26.3GiB

Vom 'ceph df detail' scheint's zu passen.

Auf welcher PVE version ist die Node den (pveversion -v)? Und was gibt 'pvesm status' aus?

EDIT: Bitte die Ausgabe in CODE tags packen (unter dem Plus).

 

[KaiS]

SIZE    AVAIL   RAW USED        %RAW USED       OBJECTS                                               
10.5TiB 5.07TiB 5.41TiB         51.62           591.61k                                               
POOLS:                                                                               
NAME            ID      QUOTA OBJECTS   QUOTA BYTES     USED    %USED   MAX AVAIL       OBJECTS DIRTY   READ    WRITE   RAW USED
ceph-vm         3       N/A             N/A             1.81TiB 65.48   978GiB          589131  589.13k 226MiB  364MiB  5.44TiB
ceph-lxc        4       N/A             N/A             8.77GiB 0.89    978GiB          2476    2.48k   1.42MiB 5.48MiB 26.3GiB

Vom 'ceph df detail' scheint's zu passen.

Auf welcher PVE version ist die Node den (pveversion -v)? Und was gibt 'pvesm status' aus?

EDIT: Bitte die Ausgabe in CODE tags packen (unter dem Plus).

Sorry für die fehlende Formatierung.

root@Prox3:~# pveversion -v
proxmox-ve: 5.3-1 (running kernel: 4.15.18-12-pve)
pve-manager: 5.3-12 (running version: 5.3-12/5fbbbaf6)
pve-kernel-4.15: 5.3-3
pve-kernel-4.15.18-12-pve: 4.15.18-35
pve-kernel-4.15.18-11-pve: 4.15.18-34
pve-kernel-4.15.18-10-pve: 4.15.18-32
ceph: 12.2.11-pve1
corosync: 2.4.4-pve1
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: 1.2-2
libjs-extjs: 6.0.1-2
libpve-access-control: 5.1-3
libpve-apiclient-perl: 2.0-5
libpve-common-perl: 5.0-48
libpve-guest-common-perl: 2.0-20
libpve-http-server-perl: 2.0-12
libpve-storage-perl: 5.0-39
libqb0: 1.0.3-1~bpo9
lvm2: 2.02.168-pve6
lxc-pve: 3.1.0-3
lxcfs: 3.0.3-pve1
novnc-pve: 1.0.0-3
proxmox-widget-toolkit: 1.0-24
pve-cluster: 5.0-34
pve-container: 2.0-35
pve-docs: 5.3-3
pve-edk2-firmware: 1.20190312-1
pve-firewall: 3.0-18
pve-firmware: 2.0-6
pve-ha-manager: 2.0-8
pve-i18n: 1.0-9
pve-libspice-server1: 0.14.1-2
pve-qemu-kvm: 2.12.1-2
pve-xtermjs: 3.10.1-2
qemu-server: 5.0-47
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3
zfsutils-linux: 0.7.13-pve1~bpo2

Und:

root@Prox3:~# pvesm status
storage 'nnas' is not online
Name                            Type     Status           Total            Used       Available        %
ceph-lxc                         rbd     active      1051179260         9197756      1041981504    0.87%
ceph-vm                          rbd     active      2973638942      1931657438      1041981504   64.96%
local                            dir   disabled               0               0               0      N/A
local-lvm                    lvmthin   disabled               0               0               0      N/A

 

[Alwin]

Die Berechnung im PVE Storage ist 'Used + Available = Total', damit ergeben sich die unterschiedlichen Totale.

 

[KaiS]

Die Berechnung im PVE Storage ist 'Used + Available = Total', damit ergeben sich die unterschiedlichen Totale.

Das macht Sinn, ist aber -insofern man es nicht erklärt bekommt- erstmal verwirrend.

Vielen Dank für Deine Hilfe!