Ceph: max avail: Monitoring motzt, Proxmox GUI sagt alles ok?!

[fips]

Hallo Leute,
mein Monitoring (check_mk) motzt weil der Speicherverbrauch meines (einzigen) pools (replication 3/2) über 80% liegt.
Dieser Wert (den das Monitoring als maximalen Speicherplatz nimmt) wird errechnet aus USED und MAX AVAIL gebildet:

RAW STORAGE:
    CLASS     SIZE       AVAIL       USED        RAW USED     %RAW USED
    ssd       13 TiB     6.4 TiB     6.3 TiB      6.4 TiB         49.76
    TOTAL     13 TiB     6.4 TiB     6.3 TiB      6.4 TiB         49.76

POOLS:
    POOL     ID     STORED      OBJECTS     USED        %USED     MAX AVAIL
    ceph     11     2.1 TiB     569.96k     6.3 TiB     60.19       1.4 TiB

Das Proxmox GUI sagt aber alles OK.

Habe für den Speicherverbrauch nun irgendwie 3 Werte: 80%, 60% und 50%

Wem soll ich nun glauben?

 

[Alwin]

Dieser Wert (den das Monitoring als maximalen Speicherplatz nimmt) wird errechnet aus USED und MAX AVAIL gebildet:

Mit Ceph Nautilus wurde ein "STORED" Feld eingebaut. "STORED" und "MAX AVAIL" sind ohne Replica, (2.1 / (2.1 + 1.4)) * 100 = 60%. Die Auslastung eines Pools kann sich zum ganzen Cluster unterscheiden. Es wäre daher wichtig beide zu überwachen.

 

[fips]

Hmm noch eine Anschlussfrage damit hoffentlich der Knopf aufgeht:
Wenn 2,1 STORED ist und 1,4 MAX AVAIL, beides ohne Replica, dann müsste laut der Erklärung bei 2,1 + 1,4 = 3,5 der Pool voll sein.
Wenn dann Replica (3/2) dazukommt 3,5 *3 = 10,5, aber dann fehlt ja wieder einiges zu SIZE von 13... 13 - 10,5 = 2,5 umgenau zu sein ;-)

 

[Alwin]

Wenn dann Replica (3/2) dazukommt 3,5 *3 = 10,5, aber dann fehlt ja wieder einiges zu SIZE von 13... 13 - 10,5 = 2,5 umgenau zu sein ;-)

Generell sind diese Werte, eine Annäherung an die tatsächliche Auslastung und nicht absolut.

"RAW STORAGE" ist der gesamte physikalische Speicher. Leider kann dieser nicht komplett von Ceph benutzt werden. Zum einen werden OSDs bei 95% Füllstand als Voll markiert (read-only Pool). Das hängt mit Plattengröße und Verteilung zusammen. Dann wird ein Teil für DB+WAL verwendet.