Proxmox und Ceph

[josch12]

Hallo,

wir haben paar Proxmox mit Ceph-Cluster mit SSD Platten, un ein Großes mit HDD Platten wo unter anderem auch die ganzen Backups liegen.

Dieses eine Große Ceph Storage verwirrt mich ein wenig .. laut Ceph verfügt das teil über 160TB Space und davon sind 105TB belegt. Die Pools sind allerdings voll. Meine Frage ist nun, wo sind die restlichen 55TB geblieben ?

Rados DF

root@HDD-CEPH-01:~# rados df
POOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS RD WR_OPS WR USED COMPR UNDER COMPR
Bootdisk 119 GiB 17330 0 34660 0 0 0 17213800 2.9 TiB 81188385 5.5 TiB 0 B 0 B
Ceph 35 TiB 4687463 0 9374926 0 0 0 329694256 45 TiB 39065768 33 TiB 0 B 0 B
cephfs_data 0 B 0 0 0 0 0 0 0 0 B 0 0 B 0 B 0 B
cephfs_metadata 1.5 MiB 22 0 66 0 0 0 120 426 KiB 196 161 KiB 0 B 0 B
nextcloud 70 TiB 9116442 96119 18232884 0 0 47541 201585354 26 TiB 494534497 47 TiB 0 B 0 B

total_objects 13821257
total_used 105 TiB
total_avail 55 TiB
total_space 160 TiB

OSD Tree

ceph> osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 160.10017 root default
-5 43.66219 host HDD-CEPH-01
4 hdd 3.63869 osd.4 up 1.00000 1.00000
5 hdd 3.63869 osd.5 up 1.00000 1.00000
6 hdd 3.63869 osd.6 up 1.00000 1.00000
7 hdd 3.63869 osd.7 up 1.00000 1.00000
9 hdd 9.09569 osd.9 up 1.00000 1.00000
10 hdd 9.09569 osd.10 up 1.00000 1.00000
11 hdd 3.63869 osd.11 up 1.00000 1.00000
41 hdd 3.63869 osd.41 up 1.00000 1.00000
43 hdd 3.63869 osd.43 up 1.00000 1.00000
-3 40.02556 host HDD-CEPH-03
0 hdd 3.63869 osd.0 up 1.00000 1.00000
1 hdd 3.63869 osd.1 up 1.00000 1.00000
2 hdd 3.63869 osd.2 up 1.00000 1.00000
3 hdd 3.63869 osd.3 up 1.00000 1.00000
8 hdd 3.63869 osd.8 up 1.00000 1.00000
12 hdd 3.63869 osd.12 up 1.00000 1.00000
13 hdd 3.63869 osd.13 up 1.00000 1.00000
14 hdd 3.63869 osd.14 up 1.00000 1.00000
15 hdd 3.63869 osd.15 up 1.00000 1.00000
16 hdd 3.63869 osd.16 up 1.00000 1.00000
17 hdd 3.63869 osd.17 up 1.00000 1.00000
-9 36.38687 host HDD-CEPH-04
30 hdd 3.63869 osd.30 up 1.00000 1.00000
31 hdd 3.63869 osd.31 up 1.00000 1.00000
32 hdd 3.63869 osd.32 up 1.00000 1.00000
33 hdd 3.63869 osd.33 up 1.00000 1.00000
34 hdd 3.63869 osd.34 up 1.00000 1.00000
35 hdd 3.63869 osd.35 up 1.00000 1.00000
36 hdd 3.63869 osd.36 up 1.00000 1.00000
37 hdd 3.63869 osd.37 up 1.00000 1.00000
38 hdd 3.63869 osd.38 up 1.00000 1.00000
39 hdd 3.63869 osd.39 up 1.00000 1.00000
-7 40.02556 host hddceph02
19 hdd 3.63869 osd.19 up 1.00000 1.00000
20 hdd 3.63869 osd.20 up 1.00000 1.00000
21 hdd 3.63869 osd.21 up 1.00000 1.00000
22 hdd 3.63869 osd.22 up 1.00000 1.00000
23 hdd 3.63869 osd.23 up 1.00000 1.00000
24 hdd 3.63869 osd.24 up 1.00000 1.00000
25 hdd 3.63869 osd.25 up 1.00000 1.00000
26 hdd 3.63869 osd.26 up 1.00000 1.00000
27 hdd 3.63869 osd.27 up 1.00000 1.00000
28 hdd 3.63869 osd.28 up 1.00000 1.00000
29 hdd 3.63869 osd.29 up 1.00000 1.00000
18 0 osd.18 down 0 1.00000

 

[gurubert]

Was sagen "ceph osd df tree" und "ceph df"?

Wenn ein einzelnes OSD voll ist, sind auch alle Pools voll, die das OSD verwenden.