Hallo Community
Täglich grüsst das Murmeltier: in der Planungsphase zu meinem neuen Proxmox-Cluster mit CEPH, sind Fragen aufgetaucht und ich würde mich über Inputs von Euch freuen.
Hintergrund: der Cluster steht zuhause in mein Homelab und soll zwei VMware-Hosts (Intel NUCs) und mehrere weitere physische miniPCs ablösen. Ziel ist es, die ganzen kleinen Hardwarebüchsen loszuwerden, halbwegs sowas wie HA hinzubekommen und trotzdem nicht gleich ein ganzes Datacenter aufzustellen.
Aktuell liebäugle ich mit drei minisforum MS-01 (Intel i9-12900H) mit jeweils folgenden Eckdaten:
Nun der Knackpunkt bezüglich CEPH-Netzwerk, bei dem ich auf Eure Inputs hoffe. Option A:
Wenn ich mich im Forum einlese, dann dürfte das wohl eher das absolute Minimum sein. Da der Aufwand mit der Anschaffung von Thunderbolt-Kabel gering ist, könnte ich das auch einfach einmal testen. Falls das aber sowieso nicht reichen sollte, dann komme ich lieber gleich von der Idee ab und suche Alternativen.
Altuelle Option B wäre direkt auf ein 100-Gbits-Setup zu setzen. Man liest hier halbwegs regelmässig von Setups mit Mikrotik CRS504 ( Falk), das wäre im Rahmen des machbaren, wenn es denn erforderlich sein soll. Mein Problem dabei:
Der MS-01 hat eine PCIE4 x16 Steckplatz, der wohl aber nur über 8 Lanes verfügt (Specs). Wenn ich das richtig verstehe, bringen Netzwerkkarten mit zwei Anschlüssen (Mesh) wohl nichts und es sind damit maximal bis zu 60 Gbits möglich. Das habe ich ehrlich gesagt nicht so recht verstanden, mit den PCIE-Lanes, den Bandbreiten und möglichen Anschlüssen.
Herausforderung: Eine bezahlbare und kompatible 100 Gbits-Netzwerkkarte in halber Höhe. Gibts Erfahrungen oder Empfehlungen dafür?
Grüsse,
rootless
Täglich grüsst das Murmeltier: in der Planungsphase zu meinem neuen Proxmox-Cluster mit CEPH, sind Fragen aufgetaucht und ich würde mich über Inputs von Euch freuen.
Hintergrund: der Cluster steht zuhause in mein Homelab und soll zwei VMware-Hosts (Intel NUCs) und mehrere weitere physische miniPCs ablösen. Ziel ist es, die ganzen kleinen Hardwarebüchsen loszuwerden, halbwegs sowas wie HA hinzubekommen und trotzdem nicht gleich ein ganzes Datacenter aufzustellen.
Aktuell liebäugle ich mit drei minisforum MS-01 (Intel i9-12900H) mit jeweils folgenden Eckdaten:
- 2x 48GB DDR5
- 2x WD Black SN770 250 GB (RAID1, Proxmox-OS)
- 1x Samsung PM9A3 U.2, 1.9TB (OSD)
- 10 GbE = VM-Traffic
- 10 GbE = ungenutzt, möglicherweise später PBS
- 2.5 GbE = Corosync (via QSW-1105-5T)
- 2.5 GbE = Management
Nun der Knackpunkt bezüglich CEPH-Netzwerk, bei dem ich auf Eure Inputs hoffe. Option A:
- USB4 (Thunderbolt) Mesh
Wenn ich mich im Forum einlese, dann dürfte das wohl eher das absolute Minimum sein. Da der Aufwand mit der Anschaffung von Thunderbolt-Kabel gering ist, könnte ich das auch einfach einmal testen. Falls das aber sowieso nicht reichen sollte, dann komme ich lieber gleich von der Idee ab und suche Alternativen.
Altuelle Option B wäre direkt auf ein 100-Gbits-Setup zu setzen. Man liest hier halbwegs regelmässig von Setups mit Mikrotik CRS504 ( Falk), das wäre im Rahmen des machbaren, wenn es denn erforderlich sein soll. Mein Problem dabei:
Der MS-01 hat eine PCIE4 x16 Steckplatz, der wohl aber nur über 8 Lanes verfügt (Specs). Wenn ich das richtig verstehe, bringen Netzwerkkarten mit zwei Anschlüssen (Mesh) wohl nichts und es sind damit maximal bis zu 60 Gbits möglich. Das habe ich ehrlich gesagt nicht so recht verstanden, mit den PCIE-Lanes, den Bandbreiten und möglichen Anschlüssen.
Herausforderung: Eine bezahlbare und kompatible 100 Gbits-Netzwerkkarte in halber Höhe. Gibts Erfahrungen oder Empfehlungen dafür?
Grüsse,
rootless
