Ceph: 1 PG bleibt dauerhaft auf active+clean+remapped stehen

K

KaiS

Active Member
Proxmox Subscriber
Feb 20, 2019
62
7
28
56
Wie im Titel schon geschrieben:

1 PG bleibt dauerhaft auf active+clean+remapped stehen

Ceph Status ist aber auf Health_OK

Zuvor habe ich auf jeder der 3 Nodes eine weitere OSD hinzugefügt und danach die Anzahl der PG´s auf 1024 erhöht.

Seitdem steht rechts untr PG´s in gelb "active+clean+remapped 1"

Im Ceph Log läuft das in Sekundentakt durch:

2022-03-19T18:28:49.824696+0100 mgr.Prox2 (mgr.72564295) 136365 : cluster [DBG] pgmap v137912: 1026 pgs: 1 active+clean+remapped, 1025 active+clean; 5.6 TiB data, 16 TiB used, 9.8 TiB / 26 TiB avail; 3.0 KiB/s rd, 4.6 MiB/s wr, 211 op/s; 1719/5325306 objects misplaced (0.032%) 2022-03-19T18:28:51.826187+0100 mgr.Prox2 (mgr.72564295) 136366 : cluster [DBG] pgmap v137913: 1026 pgs: 1 active+clean+remapped, 1025 active+clean; 5.6 TiB data, 16 TiB used, 9.8 TiB / 26 TiB avail; 1.7 KiB/s rd, 3.6 MiB/s wr, 174 op/s; 1719/5325306 objects misplaced (0.032%) 2022-03-19T18:28:53.829694+0100 mgr.Prox2 (mgr.72564295) 136367 : cluster [DBG] pgmap v137914: 1026 pgs: 1 active+clean+remapped, 1025 active+clean; 5.6 TiB data, 16 TiB used, 9.8 TiB / 26 TiB avail; 2.0 KiB/s rd, 4.4 MiB/s wr, 242 op/s; 1719/5325306 objects misplaced (0.032%) 2022-03-19T18:28:55.831245+0100 mgr.Prox2 (mgr.72564295) 136368 : cluster [DBG] pgmap v137915: 1026 pgs: 1 active+clean+remapped, 1025 active+clean; 5.6 TiB data, 16 TiB used, 9.8 TiB / 26 TiB avail; 3.3 KiB/s rd, 4.3 MiB/s wr, 196 op/s; 1719/5325306 objects misplaced (0.032%) 2022-03-19T18:28:57.833789+0100 mgr.Prox2 (mgr.72564295) 136369 : cluster [DBG] pgmap v137916: 1026 pgs: 1 active+clean+remapped, 1025 active+clean; 5.6 TiB data, 16 TiB used, 9.8 TiB / 26 TiB avail; 6.0 KiB/s rd, 4.0 MiB/s wr, 226 op/s; 1719/5325306 objects misplaced (0.032%) 2022-03-19T18:28:59.836622+0100 mgr.Prox2 (mgr.72564295) 136370 : cluster [DBG] pgmap v137917: 1026 pgs: 1 active+clean+remapped, 1025 active+clean; 5.6 TiB data, 16 TiB used, 9.8 TiB / 26 TiB avail; 16 KiB/s rd, 4.4 MiB/s wr, 233 op/s; 1719/5325306 objects misplaced (0.032%)

1719 objects misplaced - ohne das sich etwas ändern würde.

Weiterhin auffällig ist die Anzahl der PG´s

Ich habe 2 Pools, der eine ist mein RBD Pool in dem ich alle VM´s habe - er hat 1024 PGs
Der zweite Pool ist der von CEPH angelegte Pool device_health_metrics - der hat 2 PGs. Der Autoscaler ist dort aktiviert und meint optimal wäre 1 PG.
Er hatte auch die ganze Zeit nur 1 PG - offensichtlich hat der Scaler ihn irgendwanna auf 2 PG gebracht.

Ich gehe mal davon aus, dass mein "active+clean+remapped 1" von diesem Pool her rührt.

Kann mir jemand helfen was zu tun ist?

Danke,
Kai
 
Was sagt "ceph pg dump | grep remapped"?:

root@Prox1:~# ceph pg dump | grep neu kartiert alle gedumpt 3.1e8 1721 0 0 1721 0 5726963712 0 0 1620 1620 active+clean+remapped 2022-03-21T06:55:57.873442+0100 22232'26671189 22232:86290872 [17,5] 17 [17,5,12] 17 22232'26665967 2022-03-21T06:55:57.873369+0100 22160'26636049 2022-03-19T02:15:05.


Wie ist die Ausgabe von "ceph osd df tree"?

root@Prox1:~# ceph osd df Baum ID-KLASSE GEWICHT GEWICHT GEWICHTUNG GRÖSSE ROH VERWENDEN DATEN OMAP META AVAIL %USE VAR PGS STATUSTYP NAME -1 26.19711 - 26 TiB 16 TiB 16 TiB 2,7 GiB 56 GiB 9,7 TiB 62,84 1,00 - Root-Standard -3 8,73236 - 8,7 TiB 5,6 TiB 5,6 TiB 642 MiB 20 GiB 3,1 TiB 64,02 1,02 - Host Prox1 0 ssd 0.87318 0.76833 894 GiB 594 GiB 592 GiB 61 MiB 1.7 GiB 300 GiB 66.45 1.06 107 up osd.0 1 SSD 0,87320 0,63580 894 GiB 569 GiB 566 GiB 52 MiB 2,2 GiB 326 GiB 63,58 1,01 104 bis osd.1 2 ssd 0.87320 0.77213 894 GiB 579 GiB 577 GiB 61 MiB 1.9 GiB 316 GiB 64.71 1.03 103 up osd.2 3 ssd 0.87320 0.81779 894 GiB 573 GiB 571 GiB 45 MiB 1.9 GiB 321 GiB 64.13 1.02 104 up osd.3 12 ssd 1.74649 0.83409 1.7 TiB 1.1 TiB 1.1 TiB 168 MiB 4.6 GiB 645 GiB 63.92 1.02 208 up osd.12 15 ssd 1.74649 0.75960 1.7 TiB 1.1 TiB 1.1 TiB 224 MiB 4.6 GiB 662 GiB 62.98 1.00 206 up osd.15 18 ssd 1.74660 0.74890 1.7 TiB 1.1 TiB 1.1 TiB 31 MiB 2.6 GiB 649 GiB 63.74 1.01 193 up osd.18 -5 8,73238 - 8,7 TiB 5,4 TiB 5,4 TiB 1,1 GiB 19 GiB 3,3 TiB 62,15 0,99 - Host Prox2 4 ssd 0.87320 0.88026 894 GiB 554 GiB 552 GiB 65 MiB 1.7 GiB 340 GiB 61.98 0.99 103 up osd.4 5 ssd 0.87320 1.00000 894 GiB 514 GiB 512 GiB 112 MiB 1.7 GiB 380 GiB 57.45 0.91 98 up osd.5 6 ssd 0.87320 1.00000 894 GiB 526 GiB 525 GiB 119 MiB 1.6 GiB 368 GiB 58.86 0.94 99 up osd.6 7 ssd 0.87320 1.00000 894 GiB 543 GiB 541 GiB 71 MiB 2.2 GiB 351 GiB 60.77 0.97 102 up osd.7 13 ssd 1.74649 1.00000 1.7 TiB 1.1 TiB 1.1 TiB 345 MiB 4.4 GiB 687 GiB 61.61 0.98 207 up osd.13 16 ssd 1.74649 1.00000 1.7 TiB 1.1 TiB 1.1 TiB 430 MiB 4.1 GiB 702 GiB 60.75 0.97 206 up osd.16 19 ssd 1.74660 0.95001 1.7 TiB 1.2 TiB 1.2 TiB 28 MiB 3.1 GiB 557 GiB 68.87 1.10 210 up osd.19 -7 8,73238 - 8,7 TiB 5,4 TiB 5,4 TiB 914 MiB 18 GiB 3,3 TiB 62,36 0,99 - Host Prox3 8 ssd 0.87320 1.00000 894 GiB 527 GiB 525 GiB 74 MiB 1.7 GiB 367 GiB 58.96 0.94 99 up osd.8 9 ssd 0.87320 1.00000 894 GiB 551 GiB 549 GiB 132 MiB 1.7 GiB 343 GiB 61.59 0.98 102 up osd.9 10 ssd 0.87320 0.98776 894 GiB 614 GiB 612 GiB 108 MiB 1.8 GiB 281 GiB 68.62 1.09 113 up osd.10 11 ssd 0.87320 1.00000 894 GiB 584 GiB 582 GiB 72 MiB 1.8 GiB 310 GiB 65.31 1.04 108 up osd.11 14 ssd 1.74649 1.00000 1.7 TiB 1.1 TiB 1.1 TiB 221 MiB 4.3 GiB 663 GiB 62.95 1.00 211 up osd.14 17 ssd 1.74649 1.00000 1.7 TiB 1.0 TiB 1.0 TiB 277 MiB 4.1 GiB 746 GiB 58.28 0.93 197 up osd.17 20 ssd 1.74660 0.98074 1.7 TiB 1.1 TiB 1.1 TiB 29 MiB 2.5 GiB 656 GiB 63.31 1.01 195 up osd.20 GESAMT 26 TiB 16 TiB 16 TiB 2,7 GiB 56 GiB 9,7 TiB 62,84 MIN/MAX VAR: 0,91/1,10 STDDEV: 3,09

Zu welchem Pool gehört die PG, welche size und min_size hat dieser?

Wir haben nur 2 Pools: ceph-vm wo alle rbd vms drin liegen und den automatisch angelegten :



Pool1.jpg

Pool2.jpg
 
Last edited:
Was ist denn da mit osd.1 los? Device-Class "SSD" und nicht "ssd"? Status "bis" und nicht "up"?

Laut "pg dump" soll die dritte Kopie der PG 3.1e8 auf OSD.12 gespeichert werden, irgendwie kann Ceph es aber nicht.

Evtl hilft ein "ceph pg repair 3.1e8" oder ein "ceph pg repeer 3.1e8".

Es könnte auch helfen, kurzzeitig die "min. Size" des Pools auf 1 zu setzen. Dann aber zeitnah wieder auf 2 hochsetzen, sonst droht bei OSD-Ausfall Datenverlust.
 
Oh, sorry. Hehe. Das war wohl der Google Autotranslate der versucht hat engliche texte auf Deutsch zu übersetzen. Wobei der englisch garnicht übersezen soll. Der hat das gepostete im Input versucht zu übersetzen.

Min size es Pools auf 1 finde ich nciht so prickelnd. Ich versuche dann erstmal repair / repeer.

Wenns nciht funktioniert: Was hältst Du davon die OSD.12 auf OUT zu setzen ?
 
Sehr strange. Der repair Befehl auf der PG abgesetzt versucht etwas auf osd.17 zu reparieren, obwohl doch eigentlich 12 betroffen ist ...


2022-03-21T14:43:35.885425+0100 osd.17 (osd.17) 744 : cluster [DBG] 3.1e8 repair starts 2022-03-21T14:43:36.063269+0100 mgr.Prox2 (mgr.72564295) 217579 : cluster [DBG] pgmap v217509: 1025 pgs: 1 active+clean+remapped, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 3.3 KiB/s rd, 13 MiB/s wr, 257 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:38.066256+0100 mgr.Prox2 (mgr.72564295) 217580 : cluster [DBG] pgmap v217510: 1025 pgs: 1 active+clean+remapped, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 3.3 KiB/s rd, 12 MiB/s wr, 289 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:40.069019+0100 mgr.Prox2 (mgr.72564295) 217581 : cluster [DBG] pgmap v217511: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 4.7 KiB/s rd, 13 MiB/s wr, 271 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:42.070648+0100 mgr.Prox2 (mgr.72564295) 217582 : cluster [DBG] pgmap v217512: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 7.3 KiB/s rd, 11 MiB/s wr, 234 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:44.073724+0100 mgr.Prox2 (mgr.72564295) 217583 : cluster [DBG] pgmap v217513: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 10 KiB/s rd, 11 MiB/s wr, 287 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:46.075732+0100 mgr.Prox2 (mgr.72564295) 217584 : cluster [DBG] pgmap v217514: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 9.3 KiB/s rd, 6.0 MiB/s wr, 231 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:48.078612+0100 mgr.Prox2 (mgr.72564295) 217585 : cluster [DBG] pgmap v217515: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 943 KiB/s rd, 4.4 MiB/s wr, 277 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:50.081098+0100 mgr.Prox2 (mgr.72564295) 217586 : cluster [DBG] pgmap v217516: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 2.1 MiB/s rd, 4.2 MiB/s wr, 297 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:52.082720+0100 mgr.Prox2 (mgr.72564295) 217588 : cluster [DBG] pgmap v217517: 1025 pgs: 1 active+clean+remapped+scrubbing+deep+repair, 1024 active+clean; 5.6 TiB data, 16 TiB used, 9.7 TiB / 26 TiB avail; 2.6 MiB/s rd, 3.3 MiB/s wr, 294 op/s; 1721/5331159 objects misplaced (0.032%) 2022-03-21T14:43:53.537982+0100 osd.17 (osd.17) 745 : cluster [DBG] 3.1e8 repair ok, 0 fixed
 
Du könntest falls das Problem mit dem Device Health Metric Pool zusammenhängt folgendes mal probieren:

1. Delete the pool device_health_metric
2. delete the active manager under monitors
3. wait for an standby manager go active and the recently delete manager disappers in the list.
4. now create manager on the host again were it was recently deleted
5. This manager go standby now, but recreates the metric health pool.

LG Jonas Sterr
 
You must log in or register to reply here.
Top Bottom