[SOLVED] Ceph block.db auf SSD-Mirror (md-raid, lvm mirror, ZFS mirror)

[herzkerl]

Ich möchte einen Mirror/RAID1 aus zwei SSDS erstellen, um darauf dann die block.db von einigen (HDD-)OSDs abzulegen.

Hardware-RAID ist (natürlich) nicht vorhanden, d.h. ich sehe hier drei Möglichkeiten:

• ZFS Mirror – jedoch wird /dev/zd0 nicht von pveceph create akzeptiert
• MD Mirror, jedoch wird auch /dev/md/ceph nicht akzeptiert
• LVM Mirror (habe ich bisher noch nicht ausprobiert)

Was wäre hier eure Empfehlung? Am liebsten würde ich hier ZFS benutzen...

 

[Alwin Antreich]

Einfach NEIN.

Als Argument (oder mehrere), du brauchst mehr Platten und bekommst einen relative kleinen Gewinn bei IOps (niedrigere Latenz). Die Redundanz lebt schon im Cluster, wenn eine DB/WAL Disk ausfällt, dann erstellst du einfach neue OSDs mit einer neuen SSD.

Das Verhältnis ist bei SATA SSDs, 4:1 und bei NVMe SSDs, 12:1. Sprich X OSD DB/WAL auf Y Disken.

 

[herzkerl]

Ich lasse mal den Link zu meinem Beitrag bei Reddit hier – da hatte ich die Frage nach dem Sinn des ganzen schon beantwortet:

While I understand how Ceph works, providing a mirror — as DB/WAL device only(!) — reduces the probability of those OSDs to fail, which means in such event, Ceph wouldn’t have to recover quite a few TB’s on slow HDD’s, as long as the second SSD still works.

Dort wurden auch einige interessante Wege beschrieben, aber am Ende war mir das alles doch zu komplex und vor allem fehleranfällig.
Zudem hatte ich beim Umbau dann auch 'live' miterlebt, wie schnell unser Cluster die Daten auf den HDDs recovert – selbst bei den wenigen und großen HDDs, die es für Ceph-Verhältnisse derzeit sind...