Fragen zu CEPH, Netzwerk und Bandbreiten im Homelab

[rootless]

Hallo Community

Täglich grüsst das Murmeltier: in der Planungsphase zu meinem neuen Proxmox-Cluster mit CEPH, sind Fragen aufgetaucht und ich würde mich über Inputs von Euch freuen.

Hintergrund: der Cluster steht zuhause in mein Homelab und soll zwei VMware-Hosts (Intel NUCs) und mehrere weitere physische miniPCs ablösen. Ziel ist es, die ganzen kleinen Hardwarebüchsen loszuwerden, halbwegs sowas wie HA hinzubekommen und trotzdem nicht gleich ein ganzes Datacenter aufzustellen.

Aktuell liebäugle ich mit drei minisforum MS-01 (Intel i9-12900H) mit jeweils folgenden Eckdaten:

• 2x 48GB DDR5
• 2x WD Black SN770 250 GB (RAID1, Proxmox-OS)
• 1x Samsung PM9A3 U.2, 1.9TB (OSD)

Bisher angedachtes Netzwerk (CEPH unterhalb):

• 10 GbE = VM-Traffic
• 10 GbE = ungenutzt, möglicherweise später PBS
• 2.5 GbE = Corosync (via QSW-1105-5T)
• 2.5 GbE = Management

Theoretisch könnte Corosync ebenfalls als Mesh aufgebaut und der zweite 10 GbE fürs Management genutzt werden, sofern das die Latenz spürbar reduziert und Corosync zuträglich sein sollte.

Nun der Knackpunkt bezüglich CEPH-Netzwerk, bei dem ich auf Eure Inputs hoffe. Option A:

• USB4 (Thunderbolt) Mesh

In der Praxis sind wohl 20-22 Gbits realistisch, zumindest habe ich Speedtests bei entsprechendem Setup gesehen. Die Frage an Euch: reicht diese Bandbreite für CEPH in dieser Konstellation?

Wenn ich mich im Forum einlese, dann dürfte das wohl eher das absolute Minimum sein. Da der Aufwand mit der Anschaffung von Thunderbolt-Kabel gering ist, könnte ich das auch einfach einmal testen. Falls das aber sowieso nicht reichen sollte, dann komme ich lieber gleich von der Idee ab und suche Alternativen.

Altuelle Option B wäre direkt auf ein 100-Gbits-Setup zu setzen. Man liest hier halbwegs regelmässig von Setups mit Mikrotik CRS504 ( Falk), das wäre im Rahmen des machbaren, wenn es denn erforderlich sein soll. Mein Problem dabei:

Der MS-01 hat eine PCIE4 x16 Steckplatz, der wohl aber nur über 8 Lanes verfügt (Specs). Wenn ich das richtig verstehe, bringen Netzwerkkarten mit zwei Anschlüssen (Mesh) wohl nichts und es sind damit maximal bis zu 60 Gbits möglich. Das habe ich ehrlich gesagt nicht so recht verstanden, mit den PCIE-Lanes, den Bandbreiten und möglichen Anschlüssen.

Herausforderung: Eine bezahlbare und kompatible 100 Gbits-Netzwerkkarte in halber Höhe. Gibts Erfahrungen oder Empfehlungen dafür?

Grüsse,
rootless

 

[gurubert]

Selbst wenn Du eine schnelle Netzwerkkarte besorgst, wirst Du mit diesem absoluten Minimalsetup nicht glücklich werden.

Nur eine OSD pro Knoten und nur drei Knoten ist einfach zu wenig, Ceph kann damit seine Stärken nicht ausspielen. Die Performance wird auch lange nicht an die möglichen Erwartungswerte ranreichen.

 

[rootless]

Danke, gurubert.

Nur eine OSD pro Knoten und nur drei Knoten ist einfach zu wenig, Ceph kann damit seine Stärken nicht ausspielen. Die Performance wird auch lange nicht an die möglichen Erwartungswerte ranreichen.

Ich habe versucht zu verstehen wie OSD funktionieren. Mein Verständnis war, dass zwar in der offiziellen CEPH-Doku ein OSD für eine SSD steht, es aber durchaus möglich ist pro SDD mehrere OSD laufen zu lassen. Die Idee war, drei OSD für diese eine SSD laufen zu lassen. Im Forum habe ich entsprechende Hinweise gefunden, wie das übers CLI konfigurierbar sein soll.

Habe ich das falsch verstanden oder spielen da weitere Faktoren rein?

 

[gurubert]

Das ist mit aktuellem Ceph auch nicht mehr notwendig. Früher war das IO auf SSDs/NVMes noch nicht so optimal, so dass 2 OSDs auf einem Device empfohlen wurden.

Wenn das Device dann aber defekt ist, sind halt auch beide OSDs kaputt.

 

[itNGO]

Also auch mit aktuellem Ceph Reef steigt die Performance bei regulären SSDs (SATA mit PLP) bei 2 bis 4 OSDs pro SSD durchaus noch um teils 40% an (IOPS)... bei NVMEs nicht so stark, aber es kann durchaus mit aktuellen Ceph und Bluestore noch Sinn machen. Wenn man sich der "komplexität" natürlich auch bewusst ist, die damit einhergeht.

Das CEPH besser "breit" skaliert ist richtig, aber man soll jetzt nicht gleich meinen das ein 3 Node mit je einer SSD gar nicht läuft.... das mag für ein HomeLab durchaus ausreichend sein... ein Node darf ausfallen, das System ist etwas langsamer, aber es wird funktionieren....