Ceph HDD Pool zeigt unterschiedliche Größen an

[rockenstein]

Moin zusammen,

ich brauche mal Eure Hilfe.
Und zwar habe ich auf zwei Rechenzentren verteilt, zwei PVE-Cluster mit HDD Speicher bestückt.
Die Configuration als auch die Zuordnung und sogar die genutzte Speciehrkapazität ist gleich, aber die Ceph HDD Poolgröße wird unterschiedlich angezeigt.

RZ2



RZ1


Hat jemand eine Ahnung, was ich noch prüfen kann, wo der Fehler liegen könnte?
Ich danke Euch.

BG
Florian

 

[dcsapak]

was sagt denn

ceph df
ceph osd df

von beiden clustern ?

 

[rockenstein]

Danke für Deine Rückmeldung und im Folgenden die Übersich:

RZ1:
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS 0 hdd 12.73340 0.95001 13 TiB 7.5 TiB 7.5 TiB 31 MiB 14 GiB 5.3 TiB 58.72 1.18 100 up 15 hdd 3.63869 1.00000 3.6 TiB 1.9 TiB 1.9 TiB 11 MiB 3.7 GiB 1.7 TiB 52.39 1.05 29 up 24 hdd 12.73340 1.00000 13 TiB 6.5 TiB 6.5 TiB 28 MiB 12 GiB 6.2 TiB 51.23 1.03 92 up 25 hdd 12.73340 1.00000 13 TiB 6.4 TiB 6.4 TiB 33 MiB 12 GiB 6.4 TiB 50.09 1.00 93 up 3 ssd 5.82190 1.00000 5.8 TiB 2.4 TiB 2.4 TiB 29 MiB 7.0 GiB 3.4 TiB 41.75 0.84 91 up 4 ssd 5.82190 1.00000 5.8 TiB 2.6 TiB 2.6 TiB 36 MiB 7.4 GiB 3.2 TiB 44.44 0.89 97 up 6 ssd 1.74660 1.00000 1.7 TiB 1018 GiB 1006 GiB 14 MiB 12 GiB 771 GiB 56.91 1.14 37 up 9 ssd 1.74660 1.00000 1.7 TiB 618 GiB 612 GiB 7.2 MiB 6.2 GiB 1.1 TiB 34.55 0.69 24 up 12 ssd 1.74660 1.00000 1.7 TiB 394 GiB 393 GiB 11 MiB 988 MiB 1.4 TiB 22.05 0.44 14 up 1 hdd 12.73340 1.00000 13 TiB 6.8 TiB 6.8 TiB 40 MiB 12 GiB 5.9 TiB 53.41 1.07 101 up 17 hdd 3.63869 0.95001 3.6 TiB 3.1 TiB 3.1 TiB 15 MiB 6.4 GiB 519 GiB 86.07 1.73 41 up 26 hdd 12.73340 1.00000 13 TiB 6.7 TiB 6.7 TiB 31 MiB 12 GiB 6.0 TiB 52.60 1.05 90 up 27 hdd 12.73340 1.00000 13 TiB 5.7 TiB 5.6 TiB 20 MiB 11 GiB 7.1 TiB 44.41 0.89 80 up 5 ssd 5.82190 1.00000 5.8 TiB 2.5 TiB 2.5 TiB 30 MiB 7.1 GiB 3.3 TiB 43.04 0.86 94 up 7 ssd 1.74660 1.00000 1.7 TiB 532 GiB 530 GiB 6.3 MiB 1.3 GiB 1.2 TiB 29.72 0.60 20 up 10 ssd 1.74660 1.00000 1.7 TiB 561 GiB 560 GiB 6.6 MiB 1.2 GiB 1.2 TiB 31.36 0.63 22 up 13 ssd 5.82190 1.00000 5.8 TiB 2.8 TiB 2.8 TiB 38 MiB 21 GiB 3.0 TiB 48.09 0.96 106 up 18 ssd 1.74660 1.00000 1.7 TiB 642 GiB 640 GiB 13 MiB 1.5 GiB 1.1 TiB 35.88 0.72 23 up 2 hdd 12.73340 1.00000 13 TiB 7.2 TiB 7.2 TiB 36 MiB 13 GiB 5.5 TiB 56.57 1.13 99 up 19 hdd 3.63869 1.00000 3.6 TiB 1.7 TiB 1.7 TiB 11 MiB 3.7 GiB 1.9 TiB 47.73 0.96 25 up 28 hdd 12.73340 1.00000 13 TiB 7.6 TiB 7.5 TiB 26 MiB 14 GiB 5.2 TiB 59.36 1.19 99 up 29 hdd 12.73340 1.00000 13 TiB 5.8 TiB 5.8 TiB 20 MiB 11 GiB 6.9 TiB 45.44 0.91 93 up 8 ssd 1.74660 1.00000 1.7 TiB 781 GiB 779 GiB 15 MiB 1.8 GiB 1007 GiB 43.68 0.88 29 up 11 ssd 1.74660 1.00000 1.7 TiB 809 GiB 807 GiB 16 MiB 1.8 GiB 979 GiB 45.24 0.91 29 up 14 ssd 5.82190 1.00000 5.8 TiB 2.4 TiB 2.4 TiB 34 MiB 11 GiB 3.4 TiB 41.31 0.83 90 up 16 ssd 5.82190 1.00000 5.8 TiB 2.2 TiB 2.2 TiB 27 MiB 16 GiB 3.6 TiB 38.60 0.77 84 up 20 ssd 1.74660 1.00000 1.7 TiB 812 GiB 810 GiB 9.6 MiB 1.7 GiB 976 GiB 45.40 0.91 29 up TOTAL 176 TiB 88 TiB 88 TiB 595 MiB 221 GiB 88 TiB 49.87 MIN/MAX VAR: 0.44/1.73 STDDEV: 12.14

RZ2:
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS 13 hdd 12.73340 1.00000 13 TiB 7.8 TiB 7.8 TiB 19 MiB 14 GiB 4.9 TiB 61.20 1.38 105 up 16 hdd 3.63869 1.00000 3.6 TiB 1.7 TiB 1.7 TiB 8.0 MiB 2.6 GiB 2.0 TiB 45.69 1.03 23 up 24 hdd 12.73340 1.00000 13 TiB 6.2 TiB 6.2 TiB 19 MiB 12 GiB 6.5 TiB 48.88 1.10 91 up 25 hdd 12.73340 1.00000 13 TiB 6.8 TiB 6.7 TiB 27 MiB 13 GiB 6.0 TiB 53.08 1.19 102 up 0 ssd 1.74660 1.00000 1.7 TiB 590 GiB 588 GiB 3.2 MiB 1.4 GiB 1.2 TiB 32.98 0.74 10 up 3 ssd 1.74660 1.00000 1.7 TiB 588 GiB 586 GiB 3.2 MiB 2.0 GiB 1.2 TiB 32.90 0.74 10 up 6 ssd 5.82190 1.00000 5.8 TiB 1.2 TiB 1.2 TiB 6.0 MiB 4.0 GiB 4.6 TiB 20.72 0.47 21 up 7 ssd 5.82190 1.00000 5.8 TiB 940 GiB 937 GiB 4.7 MiB 3.4 GiB 4.9 TiB 15.77 0.35 16 up 14 ssd 1.74660 1.00000 1.7 TiB 409 GiB 408 GiB 2.2 MiB 853 MiB 1.3 TiB 22.86 0.51 7 up 15 hdd 3.63869 1.00000 3.6 TiB 1.9 TiB 1.9 TiB 4.6 MiB 4.0 GiB 1.7 TiB 52.95 1.19 26 up 17 hdd 12.73340 1.00000 13 TiB 6.1 TiB 6.1 TiB 20 MiB 11 GiB 6.6 TiB 48.24 1.08 91 up 26 hdd 12.73340 1.00000 13 TiB 7.5 TiB 7.5 TiB 26 MiB 14 GiB 5.2 TiB 59.20 1.33 104 up 27 hdd 12.73340 1.00000 13 TiB 6.8 TiB 6.8 TiB 19 MiB 12 GiB 5.9 TiB 53.65 1.21 99 up 1 ssd 1.74660 1.00000 1.7 TiB 705 GiB 703 GiB 3.9 MiB 1.6 GiB 1.1 TiB 39.40 0.89 12 up 4 ssd 1.74660 1.00000 1.7 TiB 706 GiB 703 GiB 15 MiB 2.3 GiB 1.1 TiB 39.45 0.89 13 up 8 ssd 5.82190 1.00000 5.8 TiB 1.2 TiB 1.2 TiB 5.6 MiB 4.1 GiB 4.6 TiB 20.73 0.47 21 up 9 ssd 5.82190 1.00000 5.8 TiB 645 GiB 644 GiB 3.1 MiB 1.6 GiB 5.2 TiB 10.82 0.24 11 up 18 ssd 1.74660 1.00000 1.7 TiB 468 GiB 467 GiB 11 MiB 1.1 GiB 1.3 TiB 26.18 0.59 8 up 12 hdd 3.63869 1.00000 3.6 TiB 1.8 TiB 1.7 TiB 8.1 MiB 3.8 GiB 1.9 TiB 48.10 1.08 26 up 21 hdd 12.73340 1.00000 13 TiB 7.7 TiB 7.7 TiB 34 MiB 14 GiB 5.0 TiB 60.52 1.36 105 up 28 hdd 12.73340 1.00000 13 TiB 7.4 TiB 7.3 TiB 18 MiB 13 GiB 5.4 TiB 57.77 1.30 107 up 29 hdd 12.73340 1.00000 13 TiB 5.6 TiB 5.6 TiB 19 MiB 11 GiB 7.1 TiB 44.19 0.99 83 up 2 ssd 1.74660 1.00000 1.7 TiB 294 GiB 293 GiB 1.6 MiB 1.5 GiB 1.5 TiB 16.46 0.37 5 up 5 ssd 1.74660 1.00000 1.7 TiB 351 GiB 350 GiB 1.8 MiB 892 MiB 1.4 TiB 19.64 0.44 6 up 10 ssd 5.82190 1.00000 5.8 TiB 1.4 TiB 1.4 TiB 7.0 MiB 4.5 GiB 4.4 TiB 23.72 0.53 24 up 11 ssd 5.82190 1.00000 5.8 TiB 1.2 TiB 1.2 TiB 12 MiB 2.8 GiB 4.6 TiB 20.69 0.47 21 up 22 ssd 1.74660 1.00000 1.7 TiB 469 GiB 468 GiB 2.6 MiB 954 MiB 1.3 TiB 26.22 0.59 8 up TOTAL 176 TiB 78 TiB 78 TiB 304 MiB 157 GiB 98 TiB 44.47 MIN/MAX VAR: 0.24/1.38 STDDEV: 17.36

 

[wigor]

i think your first screenshot ist from storage tab? I checked this here. There you see the free space in the brackets.
Look at the ceph tab, there should stand 176 TB, maybe.

 

[wigor]

oh, das war hier auf Deutsch.
Im Storage Tab zeigt der nur den noch verfügbaren Speicher an. Nicht die Pool _Size_. Zumindest habe ich das hier gerade quergecheckt und bei uns ist das so.

 

[rockenstein]

oh, das war hier auf Deutsch.
Im Storage Tab zeigt der nur den noch verfügbaren Speicher an. Nicht die Pool _Size_. Zumindest habe ich das hier gerade quergecheckt und bei uns ist das so.

Trotzdem sollten die doch gleich, wenn sonst alle gleich bestückt und konfiguriert ist. Diesen Wert zieht sich auch ein Monitoring Tool, sodass es wichtig, dass hier beide gleich sind.

 

[wigor]

Hey,
nein, der "freie Speicher" ist bei Ceph nicht ganz trivial. Hat was mit dem Placement zu tun. Ceph schaut, wieviel es an Daten/PGs noch bei gegebener Redundanzvorgabe schreiben kann. Maßgeblich sind da die vollsten OSD und Nodes an der Berechnung beteiligt. Die STDDEV: 17.36 erscheint mir hier auch sehr hoch.

 

[wigor]

btw., bzgl. des Monitoring Tools ist es aber ja auch genau richtig, dass der freie Wert da genommen wird. Und das genügend frei ist. "Gleich" wirst Du m.E. nicht hinbekommen.

 

[rockenstein]

btw., bzgl. des Monitoring Tools ist es aber ja auch genau richtig, dass der freie Wert da genommen wird. Und das genügend frei ist. "Gleich" wirst Du m.E. nicht hinbekommen.

Ok, dann erstmal danke Dir.