Auswahl Netzwerkkarte (LWL 10GBit) für CEPH

[stewen78]

Hallo beisammen,

ich bin dabei, einen Cluster aus fünf Nodes zu erstellen. Da die Server über zwei Stockwerke verteilt werden sollen, würde ich bei der Verkabelung direkt auf LWL und einen im Keller geplanten Aggregations-Switch setzen. Für das CEPH System habe ich zwei 10 GBit/s Schnittstellen (als Dual-Port Adapter mit SFP/SFP+) vorgesehen.
Hier scheinen mir die beiden Karten "Intel X710-DA2" sowie "Mellanox Connectx-4 LX" in Frage zu kommen.
Könnt Ihr mir hier Eure Erfahrungen und Gedanken zu den beiden Karten mitteilen? Wie stehts mit der Treiber-Unterstützung in Proxmox aus?
Ein interessantes Thema wäre auch die supporteten SFP(+)-Module (MM).

Vielleicht hat sich jemand schon die gleiche Frage gestellt und kann mir ein paar Anregungen geben

Vielen Dank und viele Grüße
Stephan

 

[coldenburg]

Moin,
Ich kann die Intel Karten empfehlen. Die haben wir auch im Einsatz und die funktionieren faktisch unter allen Betriebssystemen. Aber daran denken Jumbo Frames für Ceph einstellen sonst kommt der Cluster nicht hoch.
Bei den SFP+ Modulen sollten SR Module reichen ( 300m ). Die größte Auswahl zum besten Preis hast du da bei fs.com. Die führen kompatible Module für alle Switch Hersteller.

 

[grefabu]

Moin,

wir haben Mellanox Technologies MT27500 im Einsatz, funktioniert ohne Probleme.

Grüße

Gregor

 

[stewen78]

Hallo, danke für die Antworten. Ich hab jetzt mal eine Intel-Karte zum Test geordert.
Ich gehe eh davon aus, dass die Intel-Karten unter Debian/Proxmox keine Schwierigkeiten machen sollten, hab aber mal was gelesen und wollte nochmal nachfragen.

Momentan sind wohl bei unserem Lieferanten die Mellanox-Karten schwer zu bekommen (bzw. schwerer als Intel), daher die Entscheidung vorerst für Intel.

Bei Fragen melde ich mich wieder - vielen Dank

Schönen Sonntag!
Stephan

 

[Ramalama]

Beide sind sehr gute karten.
Du musst aber bei intel karten bisschen aufpassen, da es von diversen karten Fälschungen gibt, vor allem die x540 war davon betroffen.

Also intel karten, wenn möglich, nicht bei ebay kaufen. Die funktionieren auch, werden allerdings heißer und schaffen ~4-5gb/s statt 10. Sehen 1:1 identisch aus, funktionieren auch perfekt mit dem intel treiber, also fallen sie garnicht auf, bis auf die hitze und den speed.

Bei 710/720, weiß ich nicht um ehrlich zu sein ob es mittlerweile Fälschungen gibt, da noch nie bei ebay gekauft. Aber bei 10gb/s versionen würde ich auch davon ausgehen.

Davon abgesehen, sind beide karten top.
Intel wird vor allem sehr gut von den kernel entwicklern gepflegt, der treiber im linux kernel ist oft besser als der korresponierende von intel hab ich vor kurzem festgestellt.
Mellanox betreibt aber auch eine riesige treiber pflege/aufwand direkt im kernel.
Wie gesagt, beide sind absolut top unter linux.

Ich würde einfach beide vergleichen, auf offloading funktionen und sr-iov Support, kleineres Fertigungsverfahren wegen Stromverbrauch (hitze der karten). Und dann einfach den Preis entscheiden lassen, welche mehr bietet für den preis halt.

LG