Anzeige Storage Kapazität im WebGUI PVE

[Jackobli]

Hallo
Evtl wurde die Frage schon einmal beantwortet, aber meine Suche war nicht erfolgreich.
Wir haben die hier gezeigte Info im WebGUI über den verfügbaren Speicherplatz auf einem Pool und ich verstehe die hellgrüne Linie nicht wirklich.
Ist das die Gesamtkapazität? Dann sollte die doch nicht ändern, wenn man nicht zusätzliche Disken/SSD hinzufügt?
Oder ist das die Anzeige der effektiv belegten Menge vs. der Thin provisionierten Disks?

 

[aaron]

Der gesamte verfügbare Platz ist bei Ceph (RBD) eine Schätzung, die von mehreren Faktoren abhängt.

Gibt es andere Pools, die sich die OSDs teilen? Wenn da einer größer wird, bleibt für die anderen Pools entsprechend weniger Platz übrig.
Ein anderer Grund ist, wenn eine OSD deutlich weniger freien Platz hat als andere.

Wie sieht denn der Output von ceph osd df tree aus? Bitte innerhalb von [CODE][/CODE] tags damit es lesbar ist.

 

[Jackobli]

Hallo
Meines Erachtens ist die obige, grafische Darstellung ja nicht die des gesamten Platzes (welche zB im Reiter Ceph angezeigt wird). Die Anzeige des Storage Pools ist ja auch unabhängig, ob man Ceph oder einen sonstigen Speicherpool zur Verfügung stellt?

Anyway, hier unsere Ceph - Infos, wir haben drei Pools:

• Capacity = Spindeln mit SSD DB/WAL
• Performance = SATA SSD
• High Performance = SAS SSD

ID   CLASS    WEIGHT    REWEIGHT  SIZE     RAW USE  DATA      OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME
 -1           48.24844         -   48 TiB   23 TiB    22 TiB  492 MiB   49 GiB   25 TiB  48.29  1.00    -          root default
-21            7.64116         -  7.6 TiB  3.4 TiB   3.2 TiB  2.6 MiB  8.1 GiB  4.2 TiB  44.67  0.93    -              host pve-01
 12      hdd   2.40149   1.00000  2.4 TiB  1.1 TiB   927 GiB  765 KiB  1.7 GiB  1.3 TiB  46.79  0.97   51      up          osd.12
 29  sas-ssd   3.49309   1.00000  3.5 TiB  1.6 TiB   1.6 TiB   16 KiB  3.9 GiB  1.9 TiB  46.32  0.96   54      up          osd.29
  0      ssd   0.87329   1.00000  894 GiB  301 GiB   300 GiB  604 KiB  1.0 GiB  593 GiB  33.63  0.70   33      up          osd.0
  6      ssd   0.87329   1.00000  894 GiB  387 GiB   386 GiB  1.2 MiB  1.5 GiB  507 GiB  43.32  0.90   42      up          osd.6
-31            7.64116         -  7.6 TiB  3.7 TiB   3.4 TiB  162 MiB  7.2 GiB  4.0 TiB  47.90  0.99    -              host pve-02
 15      hdd   2.40149   1.00000  2.4 TiB  1.1 TiB   949 GiB  892 KiB  1.6 GiB  1.3 TiB  47.68  0.99   52      up          osd.15
 24  sas-ssd   3.49309   1.00000  3.5 TiB  2.0 TiB   2.0 TiB  160 MiB  4.2 GiB  1.5 TiB  57.42  1.19   68      up          osd.24
  1      ssd   0.87329   1.00000  894 GiB  255 GiB   254 GiB  698 KiB  688 MiB  639 GiB  28.50  0.59   28      up          osd.1
  7      ssd   0.87329   1.00000  894 GiB  267 GiB   266 GiB  690 KiB  673 MiB  628 GiB  29.82  0.62   29      up          osd.7
-18            7.64116         -  7.6 TiB  3.9 TiB   3.7 TiB  1.7 MiB  8.3 GiB  3.7 TiB  51.06  1.06    -              host pve-03
 17      hdd   2.40149   1.00000  2.4 TiB  1.2 TiB  1021 GiB  908 KiB  1.8 GiB  1.2 TiB  50.62  1.05   56      up          osd.17
 25  sas-ssd   3.49309   1.00000  3.5 TiB  2.2 TiB   2.2 TiB   13 KiB  4.9 GiB  1.3 TiB  61.86  1.28   72      up          osd.25
  2      ssd   0.87329   1.00000  894 GiB  182 GiB   181 GiB  189 KiB  728 MiB  713 GiB  20.31  0.42   20      up          osd.2
  8      ssd   0.87329   1.00000  894 GiB  356 GiB   355 GiB  637 KiB  890 MiB  538 GiB  39.84  0.83   39      up          osd.8
-34            7.64116         -  7.6 TiB  3.8 TiB   3.6 TiB  162 MiB  8.4 GiB  3.8 TiB  50.07  1.04    -              host pve-04
 19      hdd   2.40149   1.00000  2.4 TiB  1.4 TiB   1.2 TiB  1.1 MiB  2.8 GiB  992 GiB  59.67  1.24   68      up          osd.19
 26  sas-ssd   3.49309   1.00000  3.5 TiB  1.8 TiB   1.8 TiB  160 MiB  3.9 GiB  1.7 TiB  50.59  1.05   60      up          osd.26
  3      ssd   0.87329   1.00000  894 GiB  322 GiB   321 GiB  558 KiB  905 MiB  572 GiB  36.00  0.75   35      up          osd.3
  9      ssd   0.87329   1.00000  894 GiB  319 GiB   318 GiB  497 KiB  911 MiB  575 GiB  35.65  0.74   35      up          osd.9
-37            7.64116         -  7.6 TiB  3.6 TiB   3.4 TiB  162 MiB  7.4 GiB  4.1 TiB  46.96  0.97    -              host pve-05
 21      hdd   2.40149   1.00000  2.4 TiB  1.3 TiB   1.1 TiB  815 KiB  2.1 GiB  1.1 TiB  54.16  1.12   61      up          osd.21
 27  sas-ssd   3.49309   1.00000  3.5 TiB  1.7 TiB   1.7 TiB  160 MiB  3.7 GiB  1.8 TiB  48.89  1.01   58      up          osd.27
  4      ssd   0.87329   1.00000  894 GiB  272 GiB   272 GiB  484 KiB  755 MiB  622 GiB  30.46  0.63   30      up          osd.4
 10      ssd   0.87329   1.00000  894 GiB  322 GiB   321 GiB  839 KiB  916 MiB  573 GiB  35.97  0.74   35      up          osd.10
-40           10.04265         -   10 TiB  4.9 TiB   4.5 TiB  2.5 MiB  9.3 GiB  5.1 TiB  48.89  1.01    -              host pve-06
 22      hdd   2.40149   1.00000  2.4 TiB  1.1 TiB   891 GiB  702 KiB  1.6 GiB  1.3 TiB  45.31  0.94   49      up          osd.22
 23      hdd   2.40149   1.00000  2.4 TiB  1.1 TiB   859 GiB  836 KiB  1.5 GiB  1.3 TiB  44.03  0.91   47      up          osd.23
 28  sas-ssd   3.49309   1.00000  3.5 TiB  2.2 TiB   2.2 TiB   16 KiB  4.8 GiB  1.2 TiB  64.32  1.33   75      up          osd.28
  5      ssd   0.87329   1.00000  894 GiB  240 GiB   239 GiB  555 KiB  742 MiB  655 GiB  26.78  0.55   26      up          osd.5
 11      ssd   0.87329   1.00000  894 GiB  290 GiB   290 GiB  442 KiB  694 MiB  604 GiB  32.47  0.67   32      up          osd.11
                           TOTAL   48 TiB   23 TiB    22 TiB  492 MiB   49 GiB   25 TiB  48.29
MIN/MAX VAR: 0.42/1.33  STDDEV: 12.73

 

[aaron]

Der helle Teil zeigt an, wie viel Platz noch verfügbar ist für den Pool. Das hängt wie gesagt schon von einigen Parametern ab.
Im Vergleich zur Angabe im Ceph Panel ist die Anzeige schon "Netto" entsprechend der Anzahl der Replicas während im Ceph Panel der Speicherplatz in "Brutto" angezeigt wird. Sprich, ein Pool mit mehr Replicas (size), wird in der Storageübersicht auch weniger anzeigen.

Sind für die verschiedenen Device Classes auch entsprechende Regeln definiert und den Pools zugeordnet? Es gibt zwischen den einzelnen OSDs einer Device Class teilweise ziemliche Unterschiede, wie voll diese sind. Sie haben teilweise auch recht wenig PGs.

Kannst du den Output von diesem Befehl posten?
pveceph pool ls --noborder. Wenn das Terminal nicht weit genug ist, wird der Rest abgeschnitten, dann kann es helfen, die Ausgabe in einer Datei umzuleiten: pveceph pool ls --noborder > pools.txt.

Wahrscheinlich kann man hier noch ein wenig optimieren.

 

[Jackobli]

Zum Glück kann ich das Terminal sehr gut in die Breite ziehen
Wir hatten bereits einmal ein Ticket mit ProxMox wegen verschiedenen Themen rund um Storage und haben dabei festgestellt, dass es mit dem Autoscaler und den PG nicht korrekt funktionierte. Wobei ich ehrlich gesagt immer noch nicht ganz verstehe, was das Teil macht.

~$ sudo pveceph pool ls --noborder
Name             Size Min Size PG Num min. PG Num Optimal PG Num PG Autoscale Mode PG Autoscale Target Size PG Autoscale Target Ratio Crush Rule Name               %-Used Used
.mgr                3        2      1           1              1 on                                                                   sas-ssd         9.13277181098238e-05 645821929
capacity            3        2    128                         64 on                                                                   hdd                0.535043179988861 7515107828119
high-performance    3        2    128                        128 on                                                                   sas-ssd            0.640972554683685 12623575715079
performance         3        2    128                        128 on                                                                   ssd                0.387156695127487 3760184847354

Im Moment fügen wir gerade neue OSD beim Pool «high-performance» hinzu.

 

[aaron]

Ok, in dem Fall wo es nur einen Pool pro Device Class gibt, ist es sehr einfach. Den ".mgr" kann man dafür ignorieren, der hat seine eine PG und ist damit eigentlich immer glücklich.

Der Autoscaler versucht die richtige PG Num für die Pools herauszufinden. Solange man aber keine target_size oder target_ratio setzt, nimmt er dafür aber nur die aktuelle Größe des Pools. Die kann sich natürlich ändern und wenn dann der Pool ausreichend gewachsen ist, wird der Autoscaler feststellen, dass eine größere PG Num besser wäre und ein Rebalance kann passieren.

Idealerweise gibt man dem Autoscaler eine Abschätzung mit, wohin die Reise gehen wird, mit der target_size oder target_ratio. Beides kann in der GUI für einen Pool gesetzt werden. "Advanced" neben dem OK Button sollte aktiviert sein.

Die target_ratio ist eine Gewichtung. Wenn man nun aber nur einen Pool pro Device Class hat, hat jeglicher Wert hier 100%. Also am besten mal für die 3 Pools (.mgr ignorieren wir) die target_ratio auf, zum Beispiel, 1 setzen.

Dann sollte der Autoscale sehr schnell eine Optimal PG Num ausspucken. Wenn der aktuelle Wert vom optimalen um einen Faktor 3 oder mehr abweicht, wird der Autoscaler von selbst aktiv und wird die PGs für den Pool langsam rauf schrauben.
Wenn der Wert nur um einen Faktor 2 abweicht, muss man ihn manuell setzen.

Am Ende sollten die einzelnen OSDs um die ~100 PGs haben. Dadurch beherbergen die einzelnen PGs auch weniger Objekte. Somit lassen sich die Daten deutlich besser im Cluster verteilen. Die "%USE" Spalte im ceph osd df tree Output sollte in einer Device Class nur noch wenig Varianz zeigen.
Wenn du dir das pro Device Class anzeigen lassen willst, kannst du auch ceph osd df tree class {device class} ausführen.

Mitunter wird in der Storageübersicht auch wieder mehr verfügbarer Platz angezeigt, wenn die vollsten OSDs wieder ein bisschen weniger voll sind.

 

[Jackobli]

Danke, wir haben nun eben gerade sechs zusätzliche SSD hinzugefügt, da wir deutlich überprovisioniert waren beim High-Performance.
Nun zeigt es (während rebalancing noch läuft):

~$ sudo pveceph pool ls --noborder
Name             Size Min Size PG Num min. PG Num Optimal PG Num PG Autoscale Mode PG Autoscale Target Size PG Autoscale Target Ratio Crush Rule Name               %-Used Used
high-performance    3        2    128                        128 on                                                                   sas-ssd            0.328203022480011 14888081524133

Das GUI zeigt aktuell:


Gem. meiner Rechnung (TB vs GB und Bibits vs Bit?) müssten sechs 3.84 TB und sechs 6.4 TB Platten verfügbar sein.
Die einzelnen Nodes zeigen unter Ceph --> OSD jeweils 3.49 bzw. 5.82 TiB an.
Das ergäbe nun also 18.62 TiB total. Diese Menge müsste aber eigentlich gleich bleiben und dürfte nicht schwanken, ausser man nimmt Disken aus ausser Betrieb?

 

[aaron]

Diese Menge müsste aber eigentlich gleich bleiben und dürfte nicht schwanken

Nein.

Einer der zwei großen Faktoren, andere Pools auf den gleichen OSDs, gibt es hier nicht. Aber es kann immer noch sein, dass eine OSD deutlich voller als andere ist. Dann geht der geschätzte verfügbare Speicherplatz auch runter.

Was sagt denn ceph osd df tree class sas-ssd?

Bei 12 OSDs sollten die PGs auch eher bei 512 angesetzt werden.

https://old.ceph.com/pgcalc/

Wobei die dann nicht ganz gleich verteilt werden, wenn manche OSDs circa doppelt so groß wie andere sind.

 

[Jackobli]

Müsste nicht der Autoscaler dafür sorgen, dass die Anzahl PG ungefähr stimmt?
Hat das rebalancing beim hinzufügen der neuen SSD (à 6.4 TB) denn nun die Daten effektiv auf die neuen Disken verteilt? Wir sind ursprünglich davon ausgegangen, dass es «keinen Grund» dafür gäbe.

~$ sudo ceph osd df tree class sas-ssd
ID   CLASS    WEIGHT    REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME
 -1           83.17984         -   56 TiB   12 TiB   11 TiB  591 MiB   34 GiB   44 TiB  20.61  1.00    -          root default
-21           13.46306         -  9.3 TiB  1.6 TiB  1.6 TiB   37 KiB  5.1 GiB  7.7 TiB  17.39  0.84    -              host pve-01
 16  sas-ssd   5.82190   1.00000  5.8 TiB  1.1 TiB  1.1 TiB   16 KiB  2.6 GiB  4.7 TiB  18.53  0.90   36      up          osd.16
 29  sas-ssd   3.49309   1.00000  3.5 TiB  554 GiB  551 GiB   21 KiB  2.4 GiB  3.0 TiB  15.48  0.75   18      up          osd.29
-31           13.46306         -  9.3 TiB  2.0 TiB  2.0 TiB  160 MiB  5.3 GiB  7.3 TiB  21.56  1.05    -              host pve-02
 20  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.2 TiB   16 KiB  2.0 GiB  4.7 TiB  20.06  0.97   39      up          osd.20
 24  sas-ssd   3.49309   1.00000  3.5 TiB  860 GiB  857 GiB  160 MiB  3.2 GiB  2.7 TiB  24.05  1.17   29      up          osd.24
-18           13.46306         -  9.3 TiB  2.2 TiB  2.2 TiB   36 KiB  6.0 GiB  7.2 TiB  23.22  1.13    -              host pve-03
 18  sas-ssd   5.82190   1.00000  5.8 TiB  1.4 TiB  1.4 TiB   16 KiB  3.0 GiB  4.4 TiB  23.70  1.15   46      up          osd.18
 25  sas-ssd   3.49309   1.00000  3.5 TiB  802 GiB  799 GiB   20 KiB  3.0 GiB  2.7 TiB  22.42  1.09   26      up          osd.25
-34           13.46306         -  9.3 TiB  1.8 TiB  1.8 TiB  160 MiB  5.4 GiB  7.5 TiB  19.00  0.92    -              host pve-04
 26  sas-ssd   3.49309   1.00000  3.5 TiB  552 GiB  550 GiB  160 MiB  2.3 GiB  3.0 TiB  15.44  0.75   19      up          osd.26
 30  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.2 TiB   15 KiB  3.1 GiB  4.6 TiB  21.13  1.03   41      up          osd.30
-37           13.46306         -  9.3 TiB  1.7 TiB  1.7 TiB  160 MiB  5.4 GiB  7.6 TiB  18.36  0.89    -              host pve-05
 14  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.2 TiB  160 MiB  2.9 GiB  4.6 TiB  20.60  1.00   41      up          osd.14
 27  sas-ssd   3.49309   1.00000  3.5 TiB  523 GiB  520 GiB    9 KiB  2.5 GiB  3.0 TiB  14.62  0.71   17      up          osd.27
-40           15.86455         -  9.3 TiB  2.2 TiB  2.2 TiB  112 MiB  6.7 GiB  7.1 TiB  24.15  1.17    -              host pve-06
 13  sas-ssd   5.82190   1.00000  5.8 TiB  1.3 TiB  1.3 TiB  112 MiB  3.7 GiB  4.5 TiB  22.09  1.07   43      up          osd.13
 28  sas-ssd   3.49309   1.00000  3.5 TiB  987 GiB  984 GiB   20 KiB  3.0 GiB  2.5 TiB  27.59  1.34   32      up          osd.28
                           TOTAL   56 TiB   12 TiB   11 TiB  591 MiB   34 GiB   44 TiB  20.61
MIN/MAX VAR: 0.71/1.34  STDDEV: 3.76

 

[aaron]

Müsste nicht der Autoscaler dafür sorgen, dass die Anzahl PG ungefähr stimmt?

Dafür müsste man ihm eine target_ratio setzen. Aktuell nimmt er nur den aktuellen Platzverbrauch des Pools her. Also am besten die target_ratio mal auf 1 setzen und beobachten. Bei nur einem Pool in der Device Class ist die target_ratio immer gleich 100% -> der Pool kann den ganzen Platz verwenden und sollte entsprechend viele PGs haben.

Hat das rebalancing beim hinzufügen der neuen SSD (à 6.4 TB) denn nun die Daten effektiv auf die neuen Disken verteilt? Wir sind ursprünglich davon ausgegangen, dass es «keinen Grund» dafür gäbe.

Damit ändert sich die Zusammensetzung des Clusters, und somit auch, wo der CRUSH Algorithmus die Daten platziert. Entsprechend sind hier sicher Daten herumgeschaufelt worden. Man sieht auch, dass alle OSDs Daten beinhalten.

Manche OSDs sind zu knapp 30% voll, während andere nur zu ~15% voll sind. Entweder ist das Rebalancing nocht nicht ganz fertig, oder es gibt teilweise sehr volle und teils recht leere PGs. Bei so wenig PGs läuft man eher in die Problematik.

Zusätzlich zur target_ratio könnt ihr auch noch überprüfen, was der Balancer macht. Der CRUSH Algorithmus verteilt die Daten nicht immer ganz gleichmäßig. Der Balancer überprüft, ob man nachträglich nicht manche PGs auf andere OSDs verschieben kann, um eine ausgewogenere Auslastung zu bekommen.
ceph balancer status zeigt an, ob der Balancer läuft und ob er Möglichkeiten der Optimierungen findet.

 

[Jackobli]

ceph balancer status zeigt an, ob der Balancer läuft und ob er Möglichkeiten der Optimierungen findet.

$ sudo ceph balancer status
{
    "active": true,
    "last_optimize_duration": "0:00:00.003595",
    "last_optimize_started": "Wed May  3 15:10:50 2023",
    "mode": "upmap",
    "optimize_result": "Optimization plan created successfully",
    "plans": []
}

Manche OSDs sind zu knapp 30% voll, während andere nur zu ~15% voll sind. Entweder ist das Rebalancing nocht nicht ganz fertig, oder es gibt teilweise sehr volle und teils recht leere PGs. Bei so wenig PGs läuft man eher in die Problematik.

Vermutlich liegt das daran, dass er die Daten gleichmässig verteilt, denn die neuen Disken haben die doppelte Grösse?

 

[aaron]

Vermutlich liegt das daran, dass er die Daten gleichmässig verteilt, denn die neuen Disken haben die doppelte Grösse?

Die "%USE" bezieht sich auf die größer der OSD, bzw. auf Node Ebene, der gesamten Kapazität die die Node hat.

Habt ihr die target_ratio in der Zwischenzeit gesetzt und gewartet bis das Rebalance fertig ist?

 

[Jackobli]

Ja, wir haben die Ratio gesetzt und Ceph schiebt die Daten herum (und die Anwender beschweren sich, dass sie hohe IO Waits haben).

~$ sudo pveceph pool ls --noborder
Name             Size Min Size PG Num min. PG Num Optimal PG Num PG Autoscale Mode PG Autoscale Target Size PG Autoscale Target Ratio Crush Rule Name               %-Used Used
.mgr                3        2      1           1              1 on                                                                   sas-ssd         2.45602568611503e-05 1078923649
capacity            3        2    128                        256 on                                                                 1 hdd                0.536789119243622 7535740076728
high-performance    3        2    512                        512 on                                                                 1 sas-ssd            0.226871863007545 12890694103662
performance         3        2    512                        512 on                                                                 1 ssd                0.289794415235519 3003171281694

 

[aaron]

und die Anwender beschweren sich, dass sie hohe IO Waits haben

Aktuelles Ceph Quincy (v17)? https://pve.proxmox.com/wiki/Ceph_mclock_tuning um das Rebalancen einzubremsen.

Mit der Zeit sollte sich dann auch im ceph osd df tree zeigen, dass die OSD Auslastung sich angleicht. Damit sollte dann wahrscheinlich auch ein bisschen mehr freier Speicherplatz in der Storageübersicht angezeigt werden.

 

[Jackobli]

Ja, 17.2.5-pve1 (vor ca 3 Wochen upgegradet als es verfügbar wurde).

Use hat sich angeglichen.

$ sudo ceph osd df tree class sas-ssd
ID   CLASS    WEIGHT    REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME
 -1           83.17984         -   56 TiB   12 TiB   12 TiB  537 MiB   37 GiB   44 TiB  20.69  1.00    -          root default
-21           13.46306         -  9.3 TiB  1.9 TiB  1.9 TiB   40 KiB  5.7 GiB  7.4 TiB  20.92  1.01    -              host pve-01
 16  sas-ssd   5.82190   1.00000  5.8 TiB  1.1 TiB  1.1 TiB   21 KiB  3.1 GiB  4.7 TiB  19.64  0.95  152      up          osd.16
 29  sas-ssd   3.49309   1.00000  3.5 TiB  825 GiB  822 GiB   19 KiB  2.6 GiB  2.7 TiB  23.06  1.11  107      up          osd.29
-31           13.46306         -  9.3 TiB  2.0 TiB  2.0 TiB  160 MiB  6.0 GiB  7.4 TiB  21.08  1.02    -              host pve-02
 20  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.1 TiB   15 KiB  2.7 GiB  4.7 TiB  19.76  0.96  153      up          osd.20
 24  sas-ssd   3.49309   1.00000  3.5 TiB  833 GiB  829 GiB  160 MiB  3.3 GiB  2.7 TiB  23.29  1.13  109      up          osd.24
-18           13.46306         -  9.3 TiB  2.0 TiB  2.0 TiB   38 KiB  6.0 GiB  7.3 TiB  21.14  1.02    -              host pve-03
 18  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.2 TiB   18 KiB  3.2 GiB  4.6 TiB  20.80  1.01  161      up          osd.18
 25  sas-ssd   3.49309   1.00000  3.5 TiB  777 GiB  774 GiB   20 KiB  2.8 GiB  2.7 TiB  21.72  1.05  101      up          osd.25
-34           13.46306         -  9.3 TiB  1.9 TiB  1.9 TiB  160 MiB  6.2 GiB  7.4 TiB  20.38  0.98    -              host pve-04
 26  sas-ssd   3.49309   1.00000  3.5 TiB  809 GiB  806 GiB  160 MiB  3.0 GiB  2.7 TiB  22.61  1.09  106      up          osd.26
 30  sas-ssd   5.82190   1.00000  5.8 TiB  1.1 TiB  1.1 TiB   18 KiB  3.1 GiB  4.7 TiB  19.04  0.92  147      up          osd.30
-37           13.46306         -  9.3 TiB  1.9 TiB  1.9 TiB  160 MiB  6.6 GiB  7.4 TiB  20.05  0.97    -              host pve-05
 14  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.2 TiB  160 MiB  3.7 GiB  4.6 TiB  21.28  1.03  166      up          osd.14
 27  sas-ssd   3.49309   1.00000  3.5 TiB  644 GiB  641 GiB   12 KiB  3.0 GiB  2.9 TiB  18.01  0.87   83      up          osd.27
-40           15.86455         -  9.3 TiB  1.9 TiB  1.9 TiB   58 MiB  6.4 GiB  7.4 TiB  20.56  0.99    -              host pve-06
 13  sas-ssd   5.82190   1.00000  5.8 TiB  1.2 TiB  1.2 TiB   58 MiB  3.5 GiB  4.7 TiB  19.92  0.96  154      up          osd.13
 28  sas-ssd   3.49309   1.00000  3.5 TiB  773 GiB  770 GiB   18 KiB  2.9 GiB  2.7 TiB  21.61  1.04  100      up          osd.28
                           TOTAL   56 TiB   12 TiB   12 TiB  537 MiB   37 GiB   44 TiB  20.69
MIN/MAX VAR: 0.87/1.13  STDDEV: 1.60

Grösse (Total Size) verändert sich in der Anzeige immer noch, aber nur wenig.

 

[aaron]

Schaut mittlerweile aber doch ganz gut aus. Die Größe (aktueller Verbrauch + geschätzer freier Platz) ist von 17.74 TB auf 18.91 gestiegen!

Das ergäbe nun also 18.62 TiB total.

Wenn ich hier zitieren darf, sind wir jetzt ziemlich genau dort, wo wir es uns erwartet hätten