ceph rbd pool zeigt falsche Gesamtgröße - fehlender Speicher

[sigmarb]

Hi Forum,

mein HDD-Pool sollte bei einer Gesamtgröße von 213TB und 3 Replicas (default) eine ca. Größe von 70TB haben.

# ceph df detail
--- RAW STORAGE ---
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
hdd    213 TiB  133 TiB   80 TiB    80 TiB      37.53
nvme    21 TiB   13 TiB  8.2 TiB   8.2 TiB      39.09
ssd    5.8 TiB  2.3 TiB  3.5 TiB   3.5 TiB      59.70
TOTAL  240 TiB  148 TiB   92 TiB    92 TiB      38.21
 
--- POOLS ---
POOL                   ID   PGS   STORED   (DATA)   (OMAP)  OBJECTS     USED   (DATA)   (OMAP)  %USED  MAX AVAIL  QUOTA OBJECTS  QUOTA BYTES  DIRTY  USED COMPR  UNDER COMPR
device_health_metrics   1  1024  185 MiB      0 B  185 MiB       77  554 MiB      0 B  554 MiB      0     11 TiB            N/A          N/A    N/A         0 B          0 B
ssd-pool                2   256  1.2 TiB  1.2 TiB  158 KiB  305.62k  3.5 TiB  3.5 TiB  473 KiB  74.52    405 GiB            N/A          N/A    N/A         0 B          0 B
hdd-pool                3  2048   27 TiB   27 TiB   74 KiB    7.00M   80 TiB   80 TiB  222 KiB  71.45     11 TiB            N/A          N/A    N/A         0 B          0 B
nvme-pool               4   512  2.7 TiB  2.7 TiB  5.3 KiB  728.15k  8.2 TiB  8.2 TiB   16 KiB  44.55    3.4 TiB            N/A          N/A    N/A         0 B          0 B

Jedoch ist proxmox hier anderer Meinung und zeigt Gesamtspeicher nur knapp 40TB.
Wie kann man sich das erklären?

 

[dcsapak]

wie viel daten ceph noch schreiben kann hängt von vielen faktoren ab, unter anderem wie die crushmap aussieht und wie die osds auf den hosts verteilt sind.
hier sieht man dass 'MAX AVAIL' beim hdd-pool nur 11TiB sind -> Used (~29TiB) + Avail (11TiB) = ~40TiB

kannst du mal den output von 'ceph osd df tree' posten ?

 

[sigmarb]

kannst du mal den output von 'ceph osd df tree' posten ?

# ceph osd df tree
ID   CLASS  WEIGHT     REWEIGHT  SIZE     RAW USE   DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME         
 -1         239.63440         -  240 TiB    93 TiB   93 TiB  428 MiB  207 GiB  147 TiB  38.77  1.00    -          root default     
 -3          13.97276         -   14 TiB   6.8 TiB  6.8 TiB  802 KiB   14 GiB  7.2 TiB  48.61  1.25    -              host MCHPLPX01
  0    hdd    1.81940   1.00000  1.8 TiB   1.3 TiB  1.3 TiB      0 B  2.3 GiB  512 GiB  72.53  1.87  132      up          osd.0     
  1    hdd    1.81940   1.00000  1.8 TiB   1.1 TiB  1.1 TiB      0 B  1.8 GiB  730 GiB  60.82  1.57  121      up          osd.1     
  2    hdd    1.81940   1.00000  1.8 TiB   650 GiB  649 GiB      0 B  1.3 GiB  1.2 TiB  34.91  0.90   82      up          osd.2     
  3    hdd    1.81940   1.00000  1.8 TiB   806 GiB  804 GiB      0 B  1.5 GiB  1.0 TiB  43.26  1.12  105      up          osd.3     
 33   nvme    1.74660   1.00000  1.7 TiB   693 GiB  692 GiB      0 B  1.5 GiB  1.1 TiB  38.76  1.00  128      up          osd.33   
 34   nvme    1.74660   1.00000  1.7 TiB   641 GiB  640 GiB      0 B  1.5 GiB  1.1 TiB  35.84  0.92  118      up          osd.34   
 35   nvme    1.74660   1.00000  1.7 TiB   732 GiB  730 GiB    4 KiB  1.6 GiB  1.0 TiB  40.91  1.06  135      up          osd.35   
  4    ssd    0.72769   1.00000  745 GiB   410 GiB  410 GiB      0 B  930 MiB  335 GiB  55.07  1.42   88      up          osd.4     
  5    ssd    0.72769   1.00000  745 GiB   538 GiB  537 GiB  798 KiB  1.2 GiB  207 GiB  72.19  1.86  116      up          osd.5     
 -7          13.97276         -   14 TiB   8.0 TiB  8.0 TiB  1.3 MiB   15 GiB  6.0 TiB  57.13  1.47    -              host MCHPLPX02
  8    hdd    1.81940   1.00000  1.8 TiB   1.1 TiB  1.1 TiB      0 B  1.8 GiB  770 GiB  58.65  1.51  115      up          osd.8     
  9    hdd    1.81940   1.00000  1.8 TiB   1.4 TiB  1.4 TiB      0 B  2.3 GiB  400 GiB  78.50  2.02  152      up          osd.9     
 10    hdd    1.81940   1.00000  1.8 TiB   1.1 TiB  1.1 TiB  1.3 MiB  2.0 GiB  779 GiB  58.18  1.50  119      up          osd.10   
 11    hdd    1.81940   1.00000  1.8 TiB   1.6 TiB  1.6 TiB      0 B  2.6 GiB  199 GiB  89.31  2.30  158      up          osd.11   
 30   nvme    1.74660   1.00000  1.7 TiB   663 GiB  661 GiB    3 KiB  1.4 GiB  1.1 TiB  37.05  0.96  122      up          osd.30   
 31   nvme    1.74660   1.00000  1.7 TiB   717 GiB  716 GiB      0 B  1.4 GiB  1.0 TiB  40.10  1.03  132      up          osd.31   
 32   nvme    1.74660   1.00000  1.7 TiB   630 GiB  629 GiB      0 B  1.6 GiB  1.1 TiB  35.23  0.91  116      up          osd.32   
  6    ssd    0.72769   1.00000  745 GiB   490 GiB  489 GiB    3 KiB  1.2 GiB  255 GiB  65.76  1.70  106      up          osd.6     
  7    ssd    0.72769   1.00000  745 GiB   371 GiB  370 GiB      0 B  968 MiB  375 GiB  49.74  1.28   80      up          osd.7     
-10          12.15337         -   12 TiB   5.9 TiB  5.9 TiB  1.2 MiB   12 GiB  6.3 TiB  48.30  1.25    -              host MCHPLPX03
 15    hdd    1.81940   1.00000  1.8 TiB   784 GiB  782 GiB    3 KiB  1.5 GiB  1.1 TiB  42.06  1.08   88      up          osd.15   
 16    hdd    1.81940   1.00000  1.8 TiB   789 GiB  788 GiB  1.2 MiB  1.4 GiB  1.0 TiB  42.35  1.09   91      up          osd.16   
 17    hdd    1.81940   1.00000  1.8 TiB   1.2 TiB  1.2 TiB      0 B  2.4 GiB  592 GiB  68.20  1.76  139      up          osd.17   
 27   nvme    1.74660   1.00000  1.7 TiB   826 GiB  824 GiB      0 B  1.8 GiB  963 GiB  46.18  1.19  152      up          osd.27   
 28   nvme    1.74660   1.00000  1.7 TiB   641 GiB  639 GiB    3 KiB  1.6 GiB  1.1 TiB  35.83  0.92  118      up          osd.28   
 29   nvme    1.74660   1.00000  1.7 TiB   820 GiB  818 GiB      0 B  1.7 GiB  969 GiB  45.84  1.18  151      up          osd.29   
 12    ssd    0.72769   1.00000  745 GiB   454 GiB  453 GiB      0 B  1.1 GiB  291 GiB  60.97  1.57   98      up          osd.12   
 13    ssd    0.72769   1.00000  745 GiB   427 GiB  426 GiB      0 B  954 MiB  318 GiB  57.35  1.48   92      up          osd.13   
-13          13.97276         -   14 TiB   7.1 TiB  7.1 TiB    6 KiB   14 GiB  6.9 TiB  50.82  1.31    -              host MCHPLPX04
 20    hdd    1.81940   1.00000  1.8 TiB   1.0 TiB  1.0 TiB      0 B  1.6 GiB  808 GiB  56.64  1.46  116      up          osd.20   
 21    hdd    1.81940   1.00000  1.8 TiB   1.0 TiB  1.0 TiB      0 B  1.7 GiB  812 GiB  56.43  1.46  104      up          osd.21   
 22    hdd    1.81940   1.00000  1.8 TiB   1.0 TiB  1.0 TiB      0 B  1.8 GiB  810 GiB  56.50  1.46  111      up          osd.22   
 23    hdd    1.81940   1.00000  1.8 TiB   1.2 TiB  1.2 TiB    3 KiB  2.2 GiB  598 GiB  67.88  1.75  128      up          osd.23   
 24   nvme    1.74660   1.00000  1.7 TiB   643 GiB  641 GiB      0 B  1.4 GiB  1.1 TiB  35.94  0.93  118      up          osd.24   
 25   nvme    1.74660   1.00000  1.7 TiB   635 GiB  633 GiB    3 KiB  1.5 GiB  1.1 TiB  35.49  0.92  117      up          osd.25   
 26   nvme    1.74660   1.00000  1.7 TiB   700 GiB  698 GiB      0 B  1.4 GiB  1.1 TiB  39.12  1.01  129      up          osd.26   
 18    ssd    0.72769   1.00000  745 GiB   333 GiB  332 GiB      0 B  1.1 GiB  412 GiB  44.67  1.15   72      up          osd.18   
 19    ssd    0.72769   1.00000  745 GiB   538 GiB  536 GiB      0 B  1.2 GiB  208 GiB  72.14  1.86  116      up          osd.19   
-21          65.49225         -   65 TiB    22 TiB   22 TiB  143 MiB   54 GiB   43 TiB  34.31  0.88    -              host MCHPLPX05
 14    hdd   14.55269   1.00000   15 TiB   5.4 TiB  5.4 TiB   33 MiB   13 GiB  9.2 TiB  37.08  0.96  602      up          osd.14   
 36    hdd    3.63869   1.00000  3.6 TiB   893 GiB  890 GiB  5.3 MiB  2.7 GiB  2.8 TiB  23.97  0.62  110      up          osd.36   
 37    hdd    3.63869   1.00000  3.6 TiB   962 GiB  959 GiB  9.6 MiB  2.7 GiB  2.7 TiB  25.81  0.67  123      up          osd.37   
 38    hdd    3.63869   1.00000  3.6 TiB   1.0 TiB  1.0 TiB   10 MiB  2.8 GiB  2.6 TiB  28.29  0.73  131      up          osd.38   
 39    hdd   14.55269   1.00000   15 TiB   5.2 TiB  5.2 TiB   19 MiB  9.7 GiB  9.4 TiB  35.59  0.92  563      up          osd.39   
 40    hdd    3.63869   1.00000  3.6 TiB   1.5 TiB  1.5 TiB  3.0 MiB  3.0 GiB  2.2 TiB  40.21  1.04  155      up          osd.40   
 42    hdd    3.63869   1.00000  3.6 TiB   1.7 TiB  1.7 TiB  1.6 MiB  3.9 GiB  2.0 TiB  46.09  1.19  170      up          osd.42   
 43    hdd    3.63869   1.00000  3.6 TiB   765 GiB  762 GiB  1.2 MiB  2.7 GiB  2.9 TiB  20.53  0.53   94      up          osd.43   
 44    hdd    3.63869   1.00000  3.6 TiB   943 GiB  940 GiB   37 MiB  2.5 GiB  2.7 TiB  25.30  0.65  126      up          osd.44   
 45    hdd    3.63869   1.00000  3.6 TiB  1000 GiB  997 GiB  8.0 MiB  2.8 GiB  2.7 TiB  26.84  0.69  138      up          osd.45   
 46    hdd    3.63869   1.00000  3.6 TiB   1.7 TiB  1.7 TiB  5.0 MiB  4.5 GiB  1.9 TiB  47.86  1.23  172      up          osd.46   
 70    hdd    3.63869   1.00000  3.6 TiB   1.5 TiB  1.5 TiB   11 MiB  4.1 GiB  2.1 TiB  42.02  1.08  156      up          osd.70   
-25          65.49225         -   65 TiB    23 TiB   22 TiB  176 MiB   53 GiB   43 TiB  34.42  0.89    -              host MCHPLPX06
 41    hdd   14.55269   1.00000   15 TiB   4.6 TiB  4.6 TiB   50 MiB  8.5 GiB   10 TiB  31.47  0.81  540      up          osd.41   
 47    hdd    3.63869   1.00000  3.6 TiB   1.2 TiB  1.2 TiB  1.7 MiB  2.9 GiB  2.5 TiB  32.57  0.84  140      up          osd.47   
 48    hdd    3.63869   1.00000  3.6 TiB   1.2 TiB  1.2 TiB  9.3 MiB  3.3 GiB  2.4 TiB  33.36  0.86  138      up          osd.48   
 49    hdd   14.55269   1.00000   15 TiB   5.6 TiB  5.5 TiB   31 MiB   12 GiB  9.0 TiB  38.19  0.98  616      up          osd.49   
 50    hdd    3.63869   1.00000  3.6 TiB   1.5 TiB  1.5 TiB  1.1 MiB  3.9 GiB  2.1 TiB  41.09  1.06  161      up          osd.50   
 51    hdd    3.63869   1.00000  3.6 TiB   1.0 TiB  1.0 TiB  2.9 MiB  2.4 GiB  2.6 TiB  27.57  0.71  123      up          osd.51   
 52    hdd    3.63869   1.00000  3.6 TiB   865 GiB  862 GiB  5.7 MiB  2.7 GiB  2.8 TiB  23.21  0.60  117      up          osd.52   
 53    hdd    3.63869   1.00000  3.6 TiB   878 GiB  875 GiB  5.0 MiB  2.9 GiB  2.8 TiB  23.57  0.61  116      up          osd.53   
 54    hdd    3.63869   1.00000  3.6 TiB   1.3 TiB  1.3 TiB    5 KiB  3.3 GiB  2.4 TiB  34.66  0.89  144      up          osd.54   
 55    hdd    3.63869   1.00000  3.6 TiB   1.7 TiB  1.7 TiB  1.6 MiB  4.0 GiB  2.0 TiB  46.11  1.19  158      up          osd.55   
 56    hdd    3.63869   1.00000  3.6 TiB   1.5 TiB  1.5 TiB   64 MiB  4.1 GiB  2.2 TiB  40.15  1.04  164      up          osd.56   
 57    hdd    3.63869   1.00000  3.6 TiB   1.4 TiB  1.4 TiB  3.4 MiB  3.3 GiB  2.2 TiB  38.72  1.00  142      up          osd.57   
-29          54.57825         -   55 TiB    20 TiB   20 TiB  105 MiB   45 GiB   34 TiB  36.91  0.95    -              host MCHPLPX07
 58    hdd    3.63869   1.00000  3.6 TiB   1.1 TiB  1.1 TiB  6.2 MiB  2.3 GiB  2.5 TiB  29.97  0.77  127      up          osd.58   
 59    hdd   14.55269   1.00000   15 TiB   4.7 TiB  4.7 TiB   58 MiB  8.2 GiB  9.8 TiB  32.40  0.84  573      up          osd.59   
 60    hdd    3.63869   1.00000  3.6 TiB   1.5 TiB  1.5 TiB  5.2 MiB  3.5 GiB  2.2 TiB  40.64  1.05  165      up          osd.60   
 61    hdd    3.63869   1.00000  3.6 TiB   1.6 TiB  1.6 TiB  372 KiB  3.5 GiB  2.0 TiB  45.22  1.17  181      up          osd.61   
 62    hdd    3.63869   1.00000  3.6 TiB   1.8 TiB  1.8 TiB  2.7 MiB  4.3 GiB  1.8 TiB  49.95  1.29  190      up          osd.62   
 63    hdd    3.63869   1.00000  3.6 TiB   1.2 TiB  1.2 TiB  910 KiB  3.1 GiB  2.4 TiB  33.96  0.88  158      up          osd.63   
 64    hdd    3.63869   1.00000  3.6 TiB   2.0 TiB  2.0 TiB  2.6 MiB  4.7 GiB  1.6 TiB  55.08  1.42  198      up          osd.64   
 65    hdd    3.63869   1.00000  3.6 TiB   1.4 TiB  1.4 TiB  6.0 MiB  3.5 GiB  2.2 TiB  39.47  1.02  158      up          osd.65   
 66    hdd    3.63869   1.00000  3.6 TiB   755 GiB  753 GiB  1.4 MiB  2.5 GiB  2.9 TiB  20.27  0.52  106      up          osd.66   
 67    hdd    3.63869   1.00000  3.6 TiB   1.2 TiB  1.2 TiB  8.7 MiB  3.2 GiB  2.4 TiB  33.37  0.86  145      up          osd.67   
 68    hdd    3.63869   1.00000  3.6 TiB   1.4 TiB  1.4 TiB  2.6 MiB  3.5 GiB  2.3 TiB  38.12  0.98  154      up          osd.68   
 69    hdd    3.63869   1.00000  3.6 TiB   1.4 TiB  1.4 TiB   10 MiB  3.1 GiB  2.3 TiB  38.03  0.98  165      up          osd.69   
                          TOTAL  240 TiB    93 TiB   93 TiB  428 MiB  207 GiB  147 TiB  38.77                                       
MIN/MAX VAR: 0.52/2.30  STDDEV: 15.33

 

[dcsapak]

ok, die hdd osds sind doch *sehr* ungleich verteilt:

3 hosts mit jeweils 4*2TiB
1 host mit 3*2TiB
2 hosts mit 2*16TiB + 10*4Tib
1 host mit 1*16Tib + 11*4Tib

da die noch verfügbare auslastung damit zusammenhängt wie die daten verteilt werden müssen, ist das die erklärung...

hier kann man definitiv schonmal nicht 'Disksize/Replicas' rechnen, da die crushmap das nicht sehr gleich verteilen kann...
Auch innerhalb der hosts sind die osd sehr ungleich verteilt (hier könnte der https://docs.ceph.com/en/latest/rados/operations/balancer/ helfen, viel unterschied wirds wahrscheinlich nicht machen)

Außerdem werden die grob ungleichen osd größen vermutlich noch probleme machen (performance/rebalance)
ich würde mir sehr gut überlegen wie ich die nodes/osds ein bisschen ausgeglichener verteilen kann