CEPH Usage

[dsn-bt]

Hallo,

ich habe eine Verständnisfrage zur Anzeige des belegten Speichers von CEPH.

Es handelt sich um ein Cluster aus 5 Knoten mit jeweils 4 SSDs in einer 3/2 Konfiguration.
Ich habe es so verstanden, dass um die gewünschte Redundanz zu gewährleisten von der Bruttokapazität lediglich
1/3 nutzbar ist.

Auf dem CEPH Dashboard dient allerdings die Bruttokapazität als Refferenz für die Anzeige des belegten Speichers.
Sollte dort nicht die effektiv nutzbare Kapazität als Bezugsgröße herangezogen werden?

Was passiert, wenn die Belegung die 33% überschreitet?

 

[Azunai333]

Hallo, du bist hier im englischen Subforum gelandet. Zu deinen Fragen:

Was passiert, wenn die Belegung die 33% überschreitet?

Du solltest vermeiden, dass einzelne OSDs volllaufen. Bei den eventuellen Folgen kann vielleicht noch jemand anderes eine Erfahrung preisgeben.

Sollte dort nicht die effektiv nutzbare Kapazität als Bezugsgröße herangezogen werden?

Schwierig. Das Dashboard muss davon ausgehen, dass du vielleicht nicht alle Pools mit 3/2 Replikas einstellst. Es könnte ja auch einen 5/2 oder 4/2 geben. Und dann stimmt die Berechnung wieder nicht, da sich alle Pools den leeren Speicher teilen.

 

[VictorSTS]

By default, up to 95% of the whole gross capacity is usable (OSD full_ratio). The amount of data you can write depends on the replica/min_replica configuration of your pool(s). In your example, for one single 3/2 pool, for every GB of data you write, it will need 3 GB in your OSDs (plus some overhead for metadata, rocksDB entries, etc). In your example, the available capacity is one third of your gross capacity. It would be even less if you want to cover the case of an OSD or a whole node failing and be able to rebalance to a full healthy cluster while you repair/replace the failed OSD/Host (you will lose gross capacity, so net capacity will shrink too).

PVE shows the gross space as it can't know how you will use it: the replica/min_replica of your pool(s) or if you use inline compression.

Just monitor the usage of each OSD and never let them go over ~70%. Recovering from full OSD's can get really hard if you can't add more capacity to Ceph.

Was passiert, wenn die Belegung die 33% überschreitet?

You can't go over 33% nett capacity in a 3/2 pool, as that means that your OSD will be 99% full (and Ceph will stop I/O at 95% by default, anyways).

 

[Falk R.]

Hallo,

ich habe eine Verständnisfrage zur Anzeige des belegten Speichers von CEPH.

Es handelt sich um ein Cluster aus 5 Knoten mit jeweils 4 SSDs in einer 3/2 Konfiguration.
Ich habe es so verstanden, dass um die gewünschte Redundanz zu gewährleisten von der Bruttokapazität lediglich
1/3 nutzbar ist.

Auf dem CEPH Dashboard dient allerdings die Bruttokapazität als Refferenz für die Anzeige des belegten Speichers.
Sollte dort nicht die effektiv nutzbare Kapazität als Bezugsgröße herangezogen werden?

Was passiert, wenn die Belegung die 33% überschreitet?

Wie schon geschrieben wurde, muss immer Brutto angezeigt werden, da due verschiedene Pools mit verschiedenen replication oder erasure coding Einstellungen erstellt werden können.
Da ja die Brutto Belegung angezeigt wird, solltest du bei 80% reagieren, denn ab dann wird es langsamer.