[SOLVED] Welche OSD nutzt welche SSD WAL/DB Partition

[Ingo S]

Moin zusammen

Nachdem eine HDD OSD bei uns ausgefallen ist und es ewig her ist, das ich da mal was tauschen musste, finde ich es leider nicht mehr raus:
Die HDD OSD nutzt eine Partition auf einer SSD als WAL/DB Device. Ich finde aber nicht mehr heraus, welche der Partitionen auf dem Host welcher OSD zugeordnet sind.
Theoretisch gibts ja bei den OSDs die Detailseite, auf der ich die Devices sehen kann. Aber das scheint nicht 100% zu funktionieren.


Ich brauche da nochmal nen Tip wie ich die Partition einer OSD zuordnen kann, damit ich nach dem Austausch der HDD auch die richtige Partion wieder als DB verwenden kann.

 

[aaron]

Ad hoc, nach dem Ausschlussverfahren. Du sieht in den OSD Details (Ceph -> OSD) die Devices welche die OSD verwendet. Da sind auch alle LVs gelistet.
Wahrscheinlich gibts auch elegantere Varianten, aber die fallen mir gerade nicht ein.

 

[Ingo S]

Ad hoc, nach dem Ausschlussverfahren. Du sieht in den OSD Details (Ceph -> OSD) die Devices welche die OSD verwendet. Da sind auch alle LVs gelistet.
Wahrscheinlich gibts auch elegantere Varianten, aber die fallen mir gerade nicht ein.

Danke erstmal. Leider hilft mir das nicht so richtig weiter. Wie oben zu sehen ist, ist zwar in der Liste oben block und db aufgeführt, aber da steht nur das Device und nicht die Partition, denn wir haben in jedem Server eine SSD, die über je eine Partition pro HDD OSD verfügt.
Wenn ich db anklicke um details zu sehen, erhalte ich die o.a. Fehlermeldung.

 

[aaron]

Siehst du die infos aber für die anderen OSDs?
Die Infos könntest du dann gegen die liste an LVs auf der DB SSD diese ist. Mit lsblk sollten zB alle LVs angezeigt werden.

 

[Ingo S]

Nein, leider nicht. Bei jeder OSD die eine separate DB Partition nutzt, bekomme ich diese Fehlermeldung.
Ist es möglich, dass die Partitionen nicht via LVM genutzt werden?

 

[Ingo S]

Hey, hat vielleicht jemand noch eine Idee?

 

[noPa$$word]

Ich nehme an, dass du das kennst?

https://www.ibm.com/docs/en/storage-ceph/7.1?topic=osds-replacing-in-non-colocated-scenario

 

[Ingo S]

Ich nehme an, dass du das kennst?

https://www.ibm.com/docs/en/storage-ceph/7.1?topic=osds-replacing-in-non-colocated-scenario

Danke, das kannte ich noch nicht. Das werde ich mir mal durchlesen. Beim ersten Überfliegen ist glaube ich genau das drin, was ich gesucht habe.

 

[Ingo S]

So, endlich Zeit gefunden.
Tatsächlich war der "Trick" der mir nicht mehr einfiel folgender:

Mit ceph-volume lvm list <OSD device> bekommt man alle Details über das Device

Spoiler: ceph-volume lvm list

root@vm-2:~# ceph-volume lvm list /dev/sdd


====== osd.14 ======

  [block]       /dev/ceph-45630b27-43db-4f80-bfb7-1fcd69af410d/osd-block-f3bcb710-475a-4aa7-84e8-329f6d950d97

      block device              /dev/ceph-45630b27-43db-4f80-bfb7-1fcd69af410d/osd-block-f3bcb710-475a-4aa7-84e8-329f6d950d97
      block uuid                DJOx25-LFUf-O1GV-6WGU-Immu-GPGE-2NAq4U
      cephx lockbox secret     
      cluster fsid              39629f5b-df77-441a-a4f0-8fa7eb388c0f
      cluster name              ceph
      crush device class        None
      db device                 /dev/nvme0n1p4
      db uuid                   b18cbe8e-11c6-1d45-b248-47eca6bd0803
      encrypted                 0
      osd fsid                  f3bcb710-475a-4aa7-84e8-329f6d950d97
      osd id                    14
      osdspec affinity         
      type                      block
      vdo                       0
      devices                   /dev/sdd

  [db]          /dev/nvme0n1p4

      PARTUUID                  b18cbe8e-11c6-1d45-b248-47eca6bd0803

Und da steht unter [db] ganz klar, welche Partition verwendet wurde.
Das habe ich in dem IBM Artikel wiedergefunden. Danke @noPa$$word