Kein Link mit Mellanox 10 Gbit

[gooni]

Guten Tag zusammen,

ich möchte gerne einen Datastore über eine 10 Gbit NAS anbinden. Wir besitzen einen HP Proliant DL360 G9 in der eine Mellanox 10Gbit Karte eingebaut ist. Nach dem Einstecken des SFP+ DAC Kabel kommt jedoch keine Verbindung zustande. Es leuchtet keinerlei Lampe (Link/Act):






Hat jemand eine Idee was man noch versuchen könnte ? Das Kabel steht auf der Kompatibilitätsliste der Karte und funktioniert von Switch zu Switch.

Noch eine kleine Frage am Rande: Wie muss die Netzwerkkonfig aussehen damit direkt der Datastore über 10 Gbit angesprochen wird und nicht der worüber die VM´s laufen? Ich hoffe man versteht was ich meine

Vielen Dank!

Gruß

 

[H4R0]

Ich würde als erstes mal autonegotation aktivieren und das kabel neu anschließen.

ethtool -s eno49 autoneg on


Danach schauen ob es ein firmware update für die karte gibt.

Zuletzt anderes dac kabel oder tranceiver testen.


Der linux treiber funktioniert zumindest.

 

[coldenburg]

Ist das ein aktives oder passives DAC Kabel?
Passive funktionieren in der Regel bei 40 GBit Karten nicht mehr. Die Erfahrung habe ich leider auch schon sammeln müssen. Von Switch zu Switch klappt es noch, von Switch zu Server meistens nicht.

 

[gooni]

Firmware ist aktuell. Die Autonegoation bekomme ich nicht aktiviert. Gibt leider keine Fehlermeldung aus.

Es ist ein passives DAC 10 GBIT 3 Meter.

Ich werde nun nochmal ein neues Kabel bestellen bzw. ein SFP+ auf RJ45 Transceiver. Mich wundert nur, dass überhaupt nichts leuchtet. Habe das Kabel insgesamt 3x.

 

[coldenburg]

Wenn ich die Ausgabe deiner Karte sehe müsste die einen QSFP Anschluss haben. Bislang sind mir noch keine Kabel untergekommen die von QSFP auf CAT 8 umsetzen. Lediglich Brakeout Kabel von QSFP auf vier mal SFP+.
Aber nur weil ich es noch nicht gesehen hab heißt das nicht das es das nicht gibt.
Für QSFP von Server auf Switch brauchst du auf alle Fälle ein aktives Kabel. Kostet so 80-100€ Je nach Länge.

 

[0xd149e38e]

Ich installiere immer die Infiniband-Tools, die funktionen gut zur Diagnose auch bei reinen Ethernet Karten:

$ ibstat
CA 'mlx4_0'
        CA type: MT4099
        Number of ports: 1
        Firmware version: 2.42.5000
        Hardware version: 1
        Node GUID: 0x0002c90300edb560
        System image GUID: 0x0002c90300edb560
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 10
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x00010000
                Port GUID: 0x0202c9fffeedb560
                Link layer: Ethernet

 

[gooni]

Wenn ich die Ausgabe deiner Karte sehe müsste die einen QSFP Anschluss haben. Bislang sind mir noch keine Kabel untergekommen die von QSFP auf CAT 8 umsetzen. Lediglich Brakeout Kabel von QSFP auf vier mal SFP+.
Aber nur weil ich es noch nicht gesehen hab heißt das nicht das es das nicht gibt.
Für QSFP von Server auf Switch brauchst du auf alle Fälle ein aktives Kabel. Kostet so 80-100€ Je nach Länge.

Die Karte ist die hier:

HP 1x 10GbE Ethernet SFP+ Mellanox CX3 MLX Single Port FlexibleLOM Controller Adapter 682148-B21 682150-001 682625-001​

Das Kabel:

3m Cisco SFP+ 10Gbit Netzwerkkabel Twinax Twinaxial Cable SFP-H10GB-CU3M 10Gbe

Switch:
QNAP
QSW-M408S

Da steht überall nur etwas von SFP+

Kann gut sein, dass ich mich da total in der Hardware versehen habe, denke aber nicht...

 

[coldenburg]

Ja, das ist SFP+.
Dann stelle ich mir allerdings die Frage warum die Karte 40 GBit und 56 Gbit Infinyband anzeigt. Da kenne ich nämlich nur QSFP als Schnittstelle.
Trotzdem würde ich dir ein aktives Kabel oder zwei SFP+ Module mit OM4 Glasfaser Kabel zu probieren.
Schau mal bei fs.com die sind für solche Sachen die günstigsten Anbieter und haben eine Riesenauswahl.