nach Node crash hängt alles - hilfe bitte

[Ronny]

Hi zusammen,

wir haben einen PVE Cluster mit 7 Nodes mit CEPH - je Node 8-9 SSDs.
Bei einem Node hat der Raid-Controller (ceph läuft nativ, ohne Raid) heute Nacht ein Problem gehabt, dann waren alle OSDs auf einmal weg.

Nach neustart der Node ist der RaidController wieder OK und die OSDs sind auch wieder UP&Online.

Nun kämpfen wir seit Mittag damit, dass VMs "da" sind, reagieren aber nicht.

Wir sehen im CEPH Dashboard "SLOW ops" (unten im ceph -s nochmal)
Die OSD 18 war ebenfalls down und ist wieder up/online - trotzdem zeigt er das SLOW OPS an?!
Was kann man hier machen?


im Moment läuft noch ein Recovery wie man sieht... es wird aber nicht besser.


Wir sind langsam am Ende mit unserem Latein - irgendwelche Ideen dazu?

danke euch.


ceph -s
cluster:
id: a7013d34-3091-4b56-b3eb-f70a0574aa94
health: HEALTH_WARN
14 nearfull osd(s)
Reduced data availability: 4 pgs inactive, 4 pgs incomplete
Low space hindering backfill (add storage if this doesn't resolve itself): 37 pgs backfill_toofull
3 pool(s) nearfull
1022 slow ops, oldest one blocked for 1263 sec, daemons [osd.18,osd.52,osd.6,osd.8] have slow ops.

services:
mon: 3 daemons, quorum pve-hp-01,pve-hp-02,pve-dell-01 (age 76m)
mgr: pve-dell-01(active, since 12m), standbys: pve-hp-01, pve-hp-02
osd: 73 osds: 73 up (since 21m), 73 in (since 21m); 105 remapped pgs

data:
pools: 4 pools, 2049 pgs
objects: 5.32M objects, 19 TiB
usage: 40 TiB used, 12 TiB / 52 TiB avail
pgs: 0.195% pgs not active
316028/12516121 objects misplaced (2.525%)
1940 active+clean
66 active+remapped+backfill_wait
22 active+remapped+backfill_wait+backfill_toofull
15 active+remapped+backfill_toofull
4 incomplete
2 active+remapped+backfilling

io:
client: 15 KiB/s rd, 983 KiB/s wr, 3 op/s rd, 79 op/s wr
recovery: 204 MiB/s, 56 objects/s



Die OSDs sind noch nicht wirklich voll... aber seht selbst.
Haben schon diverse reweight's durchgeführt, habe den Eindruck, das verbessert die Sitation nicht sonderlich.


ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
36 ssd 0.87299 0.84999 894 GiB 802 GiB 800 GiB 139 MiB 1.7 GiB 93 GiB 89.64 1.16 80 up
37 ssd 0.87299 0.84999 894 GiB 778 GiB 777 GiB 125 MiB 1.5 GiB 116 GiB 87.05 1.12 86 up
38 ssd 0.87299 0.91228 894 GiB 734 GiB 732 GiB 100 MiB 1.6 GiB 161 GiB 82.04 1.06 81 up
39 ssd 0.87299 0.80005 894 GiB 696 GiB 694 GiB 117 MiB 1.5 GiB 199 GiB 77.80 1.00 73 up
40 ssd 0.87299 0.80005 894 GiB 741 GiB 740 GiB 102 MiB 1.6 GiB 153 GiB 82.92 1.07 72 up
41 ssd 0.87299 0.81992 894 GiB 734 GiB 733 GiB 122 MiB 1.5 GiB 160 GiB 82.11 1.06 71 up
42 ssd 0.87299 0.93132 894 GiB 714 GiB 713 GiB 73 MiB 1.5 GiB 180 GiB 79.87 1.03 72 up
44 ssd 0.87299 1.00000 894 GiB 740 GiB 738 GiB 265 MiB 1.5 GiB 155 GiB 82.71 1.07 89 up
45 ssd 0.87299 0.84999 894 GiB 762 GiB 761 GiB 82 MiB 1.6 GiB 132 GiB 85.24 1.10 71 up
46 ssd 0.87299 0.93430 894 GiB 759 GiB 758 GiB 79 MiB 1.5 GiB 135 GiB 84.90 1.10 83 up
47 ssd 0.87299 0.93953 894 GiB 700 GiB 698 GiB 134 MiB 1.5 GiB 194 GiB 78.26 1.01 84 up
48 ssd 0.87299 0.90002 894 GiB 721 GiB 719 GiB 119 MiB 1.6 GiB 173 GiB 80.64 1.04 73 up
49 ssd 0.87299 0.84999 894 GiB 798 GiB 796 GiB 123 MiB 1.7 GiB 97 GiB 89.21 1.15 77 up
50 ssd 0.87299 0.85004 894 GiB 670 GiB 669 GiB 107 MiB 1.6 GiB 224 GiB 74.96 0.97 69 up
74 ssd 0.87320 0.90002 894 GiB 725 GiB 723 GiB 84 MiB 1.4 GiB 169 GiB 81.06 1.05 69 up
75 ssd 0.87320 0.84416 894 GiB 730 GiB 728 GiB 118 MiB 1.6 GiB 164 GiB 81.61 1.05 74 up
76 ssd 0.87320 0.86700 894 GiB 709 GiB 707 GiB 115 MiB 1.5 GiB 185 GiB 79.29 1.02 65 up
77 ssd 0.87320 0.85004 894 GiB 722 GiB 721 GiB 108 MiB 1.4 GiB 172 GiB 80.75 1.04 79 up
78 ssd 0.87320 0.85004 894 GiB 737 GiB 736 GiB 93 MiB 1.5 GiB 157 GiB 82.45 1.06 82 up
79 ssd 0.87320 0.84999 894 GiB 800 GiB 798 GiB 97 MiB 1.5 GiB 94 GiB 89.48 1.15 79 up
80 ssd 0.87320 0.90002 894 GiB 718 GiB 717 GiB 239 MiB 1.5 GiB 176 GiB 80.34 1.04 78 up
58 ssd 0.87329 0.90002 894 GiB 742 GiB 739 GiB 2.5 MiB 2.5 GiB 152 GiB 82.97 1.07 73 up
59 ssd 0.87329 0.84999 894 GiB 748 GiB 746 GiB 2.5 MiB 2.6 GiB 146 GiB 83.69 1.08 76 up
60 ssd 0.87329 0.84999 894 GiB 800 GiB 797 GiB 2.3 MiB 2.9 GiB 95 GiB 89.42 1.15 84 up
61 ssd 0.87329 0.80005 894 GiB 739 GiB 737 GiB 2.2 MiB 2.4 GiB 155 GiB 82.66 1.07 74 up
62 ssd 0.87329 0.90002 894 GiB 746 GiB 743 GiB 2.4 MiB 2.5 GiB 149 GiB 83.39 1.08 77 up
64 ssd 0.87329 1.00000 894 GiB 687 GiB 685 GiB 2.2 MiB 2.5 GiB 207 GiB 76.84 0.99 76 up
65 ssd 0.87329 1.00000 894 GiB 753 GiB 750 GiB 2.3 MiB 2.7 GiB 141 GiB 84.22 1.09 79 up
25 hdd300 0.27299 1.00000 279 GiB 107 GiB 106 GiB 117 MiB 454 MiB 173 GiB 38.22 0.49 49 up
26 hdd300 0.18199 1.00000 186 GiB 77 GiB 77 GiB 62 MiB 410 MiB 109 GiB 41.43 0.53 36 up
27 hdd300 0.27299 1.00000 279 GiB 139 GiB 139 GiB 95 MiB 453 MiB 140 GiB 49.84 0.64 64 up
28 hdd300 0.27299 1.00000 279 GiB 89 GiB 89 GiB 79 MiB 374 MiB 190 GiB 31.93 0.41 41 up
34 hdd300 0.27299 1.00000 279 GiB 100 GiB 100 GiB 102 MiB 504 MiB 179 GiB 35.85 0.46 46 up
35 hdd300 0.27299 1.00000 279 GiB 115 GiB 114 GiB 57 MiB 334 MiB 165 GiB 41.08 0.53 53 up
55 hdd300 0.27299 1.00000 279 GiB 107 GiB 107 GiB 80 MiB 340 MiB 172 GiB 38.40 0.50 49 up
0 ssd 0.87299 1.00000 894 GiB 609 GiB 608 GiB 65 MiB 1.4 GiB 285 GiB 68.14 0.88 62 up
1 ssd 0.87299 1.00000 894 GiB 723 GiB 721 GiB 89 MiB 1.5 GiB 171 GiB 80.83 1.04 81 up
2 ssd 0.87299 0.95001 894 GiB 696 GiB 694 GiB 115 MiB 1.5 GiB 198 GiB 77.85 1.00 75 up
3 ssd 0.87299 0.85873 894 GiB 717 GiB 715 GiB 99 MiB 1.6 GiB 177 GiB 80.18 1.03 72 up
5 ssd 0.87299 0.91373 894 GiB 718 GiB 717 GiB 87 MiB 1.5 GiB 176 GiB 80.33 1.04 79 up
7 ssd 0.87299 1.00000 894 GiB 608 GiB 606 GiB 71 MiB 1.2 GiB 287 GiB 67.94 0.88 75 up
9 ssd 0.87299 0.95001 894 GiB 712 GiB 710 GiB 103 MiB 1.7 GiB 182 GiB 79.60 1.03 75 up
51 ssd 0.87299 0.84999 894 GiB 804 GiB 802 GiB 104 MiB 1.7 GiB 90 GiB 89.92 1.16 82 up
29 hdd300 0.18199 1.00000 186 GiB 81 GiB 81 GiB 89 MiB 211 MiB 105 GiB 43.68 0.56 38 up
31 hdd300 0.27299 1.00000 279 GiB 123 GiB 122 GiB 102 MiB 288 MiB 157 GiB 43.95 0.57 56 up
32 hdd300 0.27299 1.00000 279 GiB 129 GiB 128 GiB 96 MiB 436 MiB 150 GiB 46.13 0.60 59 up
33 hdd300 0.27299 1.00000 279 GiB 119 GiB 119 GiB 175 MiB 432 MiB 160 GiB 42.76 0.55 55 up
56 hdd300 0.27299 1.00000 279 GiB 148 GiB 148 GiB 208 MiB 461 MiB 131 GiB 53.07 0.68 68 up
57 hdd300 0.27299 1.00000 279 GiB 129 GiB 128 GiB 189 MiB 448 MiB 150 GiB 46.17 0.60 60 up
4 ssd 0.87299 0.80005 894 GiB 699 GiB 698 GiB 99 MiB 1.3 GiB 195 GiB 78.20 1.01 70 up
6 ssd 0.87299 0.84999 894 GiB 799 GiB 797 GiB 79 MiB 1.6 GiB 96 GiB 89.32 1.15 75 up
8 ssd 0.87299 0.84999 894 GiB 803 GiB 802 GiB 88 MiB 1.7 GiB 91 GiB 89.84 1.16 86 up
10 ssd 0.87299 0.89276 894 GiB 730 GiB 729 GiB 67 MiB 1.4 GiB 164 GiB 81.69 1.05 74 up
11 ssd 0.87299 1.00000 894 GiB 719 GiB 718 GiB 96 MiB 1.4 GiB 175 GiB 80.46 1.04 81 up
12 ssd 0.87299 0.90002 894 GiB 733 GiB 731 GiB 85 MiB 1.5 GiB 162 GiB 81.93 1.06 73 up
13 ssd 0.87299 0.79999 894 GiB 542 GiB 541 GiB 47 MiB 1.0 GiB 352 GiB 60.59 0.78 57 up
30 ssd 0.87320 0.93504 894 GiB 740 GiB 739 GiB 72 MiB 1.4 GiB 154 GiB 82.77 1.07 84 up
52 ssd 0.87299 0.84999 894 GiB 800 GiB 799 GiB 91 MiB 1.6 GiB 94 GiB 89.49 1.15 83 up
21 hdd300 0.27299 1.00000 279 GiB 123 GiB 123 GiB 115 MiB 328 MiB 156 GiB 44.14 0.57 56 up
22 hdd300 0.27299 1.00000 279 GiB 148 GiB 148 GiB 64 MiB 454 MiB 131 GiB 53.03 0.68 68 up
23 hdd300 0.27299 1.00000 279 GiB 120 GiB 119 GiB 60 MiB 310 MiB 160 GiB 42.83 0.55 55 up
24 hdd300 0.27299 1.00000 279 GiB 119 GiB 119 GiB 70 MiB 527 MiB 160 GiB 42.77 0.55 55 up
43 hdd300 0.27299 1.00000 279 GiB 130 GiB 130 GiB 68 MiB 332 MiB 149 GiB 46.66 0.60 60 up
63 hdd300 0.27299 1.00000 279 GiB 121 GiB 121 GiB 87 MiB 420 MiB 158 GiB 43.49 0.56 56 up
14 ssd 0.87299 0.95001 894 GiB 753 GiB 751 GiB 62 MiB 1.3 GiB 142 GiB 84.17 1.09 84 up
15 ssd 0.87299 0.95001 894 GiB 790 GiB 788 GiB 69 MiB 1.7 GiB 104 GiB 88.36 1.14 81 up
16 ssd 0.87299 0.80005 894 GiB 794 GiB 792 GiB 62 MiB 1.6 GiB 100 GiB 88.77 1.15 84 up
17 ssd 0.87299 0.85539 894 GiB 713 GiB 712 GiB 58 MiB 1.5 GiB 181 GiB 79.78 1.03 72 up
18 ssd 0.87329 1.00000 894 GiB 174 GiB 174 GiB 0 B 488 MiB 720 GiB 19.49 0.25 25 up
19 ssd 0.87299 0.80005 894 GiB 781 GiB 780 GiB 88 MiB 1.6 GiB 113 GiB 87.37 1.13 78 up
20 ssd 0.87299 0.95001 894 GiB 761 GiB 760 GiB 218 MiB 1.5 GiB 133 GiB 85.14 1.10 81 up
53 ssd 0.87299 0.96725 894 GiB 756 GiB 754 GiB 90 MiB 1.8 GiB 139 GiB 84.51 1.09 85 up
54 ssd 0.87299 0.79999 894 GiB 777 GiB 775 GiB 78 MiB 1.7 GiB 117 GiB 86.89 1.12 79 up
TOTAL 52 TiB 40 TiB 40 TiB 6.5 GiB 96 GiB 12 TiB 77.49
MIN/MAX VAR: 0.25/1.16 STDDEV: 20.57

 

[Falk R.]

Also bei Ceph zählt eine OSD als Full bei 90%.
Ich würde sagen Disks nachstecken ist angesagt. Wenn ein Node ausfällt und beim Recovery geht eine OSD auf 90% voll, geht der ganze Pool auf Readonly.
Slow OPs können auch auf Hardware Defekt deuten, ich sehe das oft kurz bevor eine SSD aussteigt.
Hast du mal die SMART Werte kontrolliert?
Geht bei den OSDs die Latenz hoch? Da sieht man ganz gut welche OSD zickt.

 

[Ronny]

Hi,

danke für deine schnelle Antwort

hier dachten wir, dass wir per reweight die OSD's eben vor den 90% retten können.
Dennoch sind OSDs mit reweight auf 80 oder 85% nun wieder bei fast 90% - andere dagegen bei 70-80...

Hiermit für eine OSD (osd.79) auf 85%
ceph osd reweight 79 0.85

Hiermit "by-usage" auf 105 - das war mal eine "Empfehlung":
ceph osd reweight-by-utilization 105

Die Latenzen schauen ganz gut aus - entweder alle bei 0/0 oder so 15/15 (Die OSDs die eben einen reweight machen) - das ist aber normal bei uns.

PS: sind alles Enterprise SSDs, Cluster läuft so schon seit 3-4 Jahren

 

[Falk R.]

Ich lasse das mit manuellen Eingriffen, ich habe auch mal mit rewight gearbeitet, aber wurde dadurch nie besser.
Alles auf default balanciert sich mit der Zeit schon, dauert halt nur etwas.
Vor allem regelmäßig Reboot macht ein schöneres Rewight.
Ich glaube bei 87% füllstand hört der auf vernünftig zu verteilen. Besser immer unter 80% bleiben.

 

[Ronny]

hat alles nicht geholfen - wir haben 4 incomplete PGs und bekommen die nicht weg.

zudem ist immer noch das "Slow OPS" und keine VM will mehr wirklich arbeiten. wir sind gerade hart am verzweifeln.

also - falls hier jemand mit echt guten CEPH Kenntnissen ist - bitte asap melden, gerne dann auch per tel oder teams/ TV.

oder kann jemand einen CEPH pro-support vorschlagen?

 

[Falk R.]

Du hast eine PM,

Wenn du eine Subscription hast ist der Proxmox Support auch sehr gut.