Intel X710 im 3-Node Proxmox/Ceph-Cluster – Aktueller Stand?

[tgelser]

Hallo zusammen,


ich plane aktuell einen 3-Node Proxmox-Cluster mit Ceph und überlege, ob ich Boards mit Intel X710-AT2 (10GBase-T) verwenden kann oder es besser ist auf X550-T2 zu setzen.

Ich habe in der Vergangenheit gemischte Berichte über Probleme mit den X710-Karten gelesen, z. B. zu:

• Treiberproblemen (i40e)
• Instabilitäten bei SR-IOV oder VLANs
• schlechter Performance unter bestimmten Kernelversionen

Daher meine Frage an euch:
Wie stabil läuft die X710 heute mit Proxmox 8.4 und Ceph (Squid)?
Gibt es Dinge, auf die man achten sollte? (z. B. Firmware-Version, Kernel-Modul, bestimmte Proxmox-Optionen)

Würde mich freuen, wenn ihr eure Erfahrungen teilen könnt – besonders mit Blick auf Stabilität, Performance und eventuelle Workarounds bei der Einrichtung.


Danke vorab für Eure Mühe, Tom

 

[Falk R.]

Hi, warum willst du mit so alten NICs arbeiten wenn du ein neues Ceph Setup bauen willst?
Fürs Homelab oder Mini Cluster kann 10G schon mal reichen, aber da die Preise fast identisch sind, empfehle ich eher 25G NICs.

Ich baue Cluster z.B. nur noch mit 100G NICs für Ceph.

Die Butter und Brot NICs bei mir sind die Broadcom P225p oder P2100er.

 

[tgelser]

Ja, im Prinzip hast Du sicher recht.
Aber preislich muss ich ja auch die Switches einkalkulieren, und die sind meines Wissens nach deutlich teurer.
Außerdem werden SFP28-DACs zusätzlich benötigt – das alles summiert sich dann doch zu einer deutlich höheren Gesamtsumme.

Ich plane, entweder das Asus P13R-M oder das P13R-M/10G-2T einzusetzen. Letzteres verfügt bereits über eine integrierte Intel X710 mit 10 Gbit/s. Das erstgenannte Modell bietet nur 1 Gbit/s, dort würde ich stattdessen eine Intel X550 nachrüsten, falls diese besser unterstützt oder problemloser ist.

 

[Falk R.]

Also ob ich 11€ für ein 10G DAC oder 13€ für ein 25G DAC ausgebe, interessiert wirklich niemanden.
Switches gibt es auch genügend günstigere auf dem Markt. Wenn du sagst welche Anforderungen du hast, bekommst du hier ehrliche Tipps. Wenn du einen Händler fragst, verkauft der dir immer die, mit am meisten Marge.

 

[tgelser]

Danke für die Rückmeldung!

Folgende Hardware ist geplant (Produktivumgebung):

3 Proxmox 8.4 Nodes

Mainboards: Asus P13R-M oder P13R-M/10G-2T

Xeon E-2468, 64 GB DDR5 ECC (2×32 GB)

2× 512 GB SATA-SSDs (ZFS Mirror für Proxmox)

2× 1 TB SATA-SSDs als Ceph-OSDs

Insgesamt nur 3 VMs, recht geringe bis mittlere Last (2x Windows DCs, 1x SQL Server)
Aktuell werden unter 300 GB Nutzdaten belegt

Geplant ist (aktueller Stand):
Ceph (Squid 18.2) mit getrenntem Public- und Cluster-Netz. Pro Node würden zwei 10GBase-T-Ports zur Verfügung stehen (für Ceph Public und Cluster jeweils einer) sowie zwei zusätzliche 1Gbit-Ports – einer fürs Management (GUI, SSH, Cluster, HA), einer für das VM-Netz.

Die 10G-Anbindung würde ich erstmal über zwei einfache unmanaged Switches realisieren (z. B. TP-Link TL-SX100), je einer pro Netzwerk. VLANs will ich vermeiden, dafür sind Jumbo Frames (MTU 9000) vorgesehen.

Ich überlege deshalb, ob ich besser das Board mit der X710-AT2 onboard nehme (P13R-M/10G-2T), oder lieber das normale P13R-M plus eine dedizierte X550-T2 einsetze – weil die X550 in vielen Foren als „unkomplizierter“ in Sachen Treiber und Proxmox-Kompatibilität gilt (i40e-Treiber usw.).

Danke!