[SOLVED] Intel x520 wird "falsch" erkannt

[antimon]

Hallo zusammen,

ich habe ein seltsames Problem mit einem Server, in dem eine Intel x520 verbaut ist.
Die Karte wird erkannt:

root@pve2:~# dmesg | grep ixgbe
[    1.164068] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver - version 5.1.0-k
[    1.164069] ixgbe: Copyright (c) 1999-2016 Intel Corporation.
[    1.337855] ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8 XDP Queue count = 0
[    1.338182] ixgbe 0000:01:00.0: 32.000 Gb/s available PCIe bandwidth (5 GT/s x8 link)
[    1.338523] ixgbe 0000:01:00.0: MAC: 2, PHY: 20, SFP+: 5, PBA No: G28774-000
[    1.338523] ixgbe 0000:01:00.0: a0:36:9f:20:9a:04
[    1.341483] ixgbe 0000:01:00.0: Intel(R) 10 Gigabit Network Connection
[    1.341550] libphy: ixgbe-mdio: probed
[    1.516362] ixgbe 0000:01:00.1: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8 XDP Queue count = 0
[    1.516646] ixgbe 0000:01:00.1: 32.000 Gb/s available PCIe bandwidth (5 GT/s x8 link)
[    1.516965] ixgbe 0000:01:00.1: MAC: 2, PHY: 20, SFP+: 6, PBA No: G28774-000
[    1.516965] ixgbe 0000:01:00.1: a0:36:9f:20:9a:06
[    1.607131] ixgbe 0000:01:00.1: Intel(R) 10 Gigabit Network Connection
[    1.607150] libphy: ixgbe-mdio: probed
[    1.657153] ixgbe 0000:01:00.0 enp1s0f0: renamed from eth1
[    1.680246] ixgbe 0000:01:00.1 enp1s0f1: renamed from eth0
[   70.784271] ixgbe 0000:01:00.0: complete
[   70.844276] ixgbe 0000:01:00.1: complete

Interessant an dieser Stelle ist die Meldung "enp1s0f0: renamed from eth1".
Beim Befehl "ip a" erscheint sie aber schon mal nicht.

In der Proxmox-GUI taucht die Karte neben den beiden Onboard-Schnittstellen eno* plötzlich als "enp7s0f*" auf:


Die Karten sind auch nicht als "active" gekennzeichnet, obwohl beide SFPs gesteckt sind und beim Booten auch einen Link haben.

Ändere ich in der GUI Einstellungen, erscheint folgende Meldung:


Der Befehl unter der Shell ausgeführt bringt das Ergebnis:

root@pve2:~# ifreload -a
error: ifname enp7s0f0 not present in cache

Jetzt bin ich mit meinem Latein am Ende...

Der Host ist Teil eines Clusters mit 3 Knoten und hatte mal eine andere Netzwerkkarte gesteckt. Kann es sein, dass da eine andere Config mit reinspielt?
Habt Ihr ne Idee, was ich tun kann, um den Adapter zum Laufen zu bringen? Die Karte ist ja jetzt nicht sooooo außergewöhnlich und sollte normalerweise supportet werden

Ein Firmware-Update hat übrigens auch nichts gebracht...

 

[ph0x]

Na, in der GUi steht das, was in der /etc/network/interfaces steht und das scheint ja falsch zu sein.
Schau mit ip link, welche Interfaces es tatsächlich gibt und trag die ein.

 

[antimon]

Ah okay das ist schon mal ein guter Tip. Nachdem es Probleme mit dem Zugriff gab, habe ich die Datei vom anderen, fast identisch ausgestatteten Host kopiert und angepasst. Dann kamen die Interfaces daher.

ip link zeigt mir leider nur die beiden onboard NICs... also erkennt er die Karte zwar prinzipiell (via dmesg), aber dann gibts wohl ein Problem mit dem Kernelmodul? Wie debuggt man das am besten?

 

[ph0x]

Hm, da bin ich leider kein Experte drin. Was sagt denn lspci?
Da du in dmesg ja schon gesehen hast, wie die Karte heißt, würd ich die einfach mal frech in die /etc/network/interfaces eintragen und schauen, was passiert.

 

[antimon]

Ein lspci zeigt folgendes an:

01:00.0 Ethernet controller: Intel Corporation Ethernet 10G 2P X520 Adapter (rev 01)
01:00.1 Ethernet controller: Intel Corporation Ethernet 10G 2P X520 Adapter (rev 01)

Mittlerweile habe ich herausgefunden, dass meine Karte eine gebrandete DELL-Karte ist. Könnte es sein, dass es damit Probleme gibt? Bei Fiber Channel Karten von QLogic gibts ja oft Schwierigkeiten, wenns keine originalen QLogic sind - gibts solche Probleme auch bei Netzwerkadaptern?

Interessant ist halt, dass die Karte auf beiden Ports Link hat, solange bis der Server ins Proxmox startet. Dann geht der Link down. Also sobald der Treiber ins Spiel kommt, passt irgendwas nicht, das finde ich verwirrend...

 

[ph0x]

Da bin ich leider raus.

 

[noPa$$word]

Da Debian Grundlage von Proxmox ist, würde ich in diesen Foren einmal schauen bzw. nachfragen.

Hier z.B. auch ein Ansatz --> Link

 

[antimon]

Okay, an der Karte liegts nicht. In einem anderen System funktioniert sie und eine funktionierende Karte aus einem anderen System funktioniert nicht.

Kann es sein, dass irgend etwas die Karte "ausblendet"? Ich habe den SAS-Controller an eine VM durchgereicht, wobei diese VM gar nicht mehr existiert. Die Festplatten dieses Controllers sind aber nicht sichtbar. Könnte es sein, dass das auch mit dem Netzwerkcontroller passiert (warum auch immer)?
Gibt es eine Möglichkeit, sich anzeigen zu lassen, was durchgereicht werden soll und dem Hauptsystem versteckt wird?

Den Ansatz von noPa$$word habe ich auch schon verfolgt, aber dann müsste das Problem auf dem anderen (identischen) Host ja auch existieren... dort geht die Karte aber. Identisch heisst übrigens gleiches Board, gleicher RAM, gleiche CPU...

 

[antimon]

Das Rätsel ist gelöst! Leider ist die Ursache so saudumm, dass da niemand ohne mir hat draufkommen können. Ich poste mal die Lösung, falls jemand ein ähnliches Szenario hat und noch auf der Fehlersuche ist.

Meine beiden Server sind identisch... dachte ich. Board, CPU, RAM, alles gleich - nur das Netzteil ist anders! Und zwar habe ich im "Problem-"Server eine PicoPSU zum Strom sparen eingebaut. Das lief (auch mit mehreren Festplatten) über Jahre hinweg total unkompliziert und ohne Abstürze oder sonstiges. Auch mit der Intel x520 lief das System absturzfrei - nur eben dass die Karte bis zur Initialisierung des Treibers Link hatte und dann nicht mehr. Scheinbar steigt dann der Strombedarf - und den konnte die PicoPSU scheinbar nicht mehr bringen. Im Log gab es dann bei der Initialisierung den Fehlercode -5 und eine Meldung dass der Power Mode nicht gewechselt werden konnte, was mich zwar stutzig gemacht hat, ich zu dem Zeitpunkt aber nicht interpretieren konnte. Jetzt ist mir klar, dass es an der Stromversorgung lag.

Übrigens hatte ich die 20-polige PicoPSU eingesteckt und mir gedacht, dass es vielleicht an den fehlenden 4 Pins oder an der Versorgung von nur 4 Pins auf EATX lag - beides habe ich mit einem "großen" Netzteil versucht nachvollziehen. An den nicht belegten Pins lag es nicht - es war also tatsächlich die Spannung vermutlich auf der 3,3 oder 5 V Schiene, weil das externe Netzteil auf 12 V genügend Power liefern sollte.

Falls jemand also ähnlich seltsame Probleme hat... Stromversorgung checken Ich bin jetzt wieder ein Stück schlauer!

 

[ph0x]

Dass es dann so zuverlässig die Netzwerkkarte getroffen hat, wundert mich trotzdem ein wenig. Aber ja, zu wenig Strom ist immer ungünstig. Und richtig, ob 4, 20 oder 24 Pins, macht keinen Unterschied, wenn die Leistung passt.

 

[antimon]

Ja das hat mich auch gewundert. Aber gut, 10 GBit-Karten brauchen halt deutlich mehr Strom. Dass der Rest des Systems nicht betroffen war, ist komisch, aber gut. Ich bin jedenfalls froh, den Fehler gefunden zu haben - danke noch mal an dieser Stelle für Eure Unterstützung!
Jetzt muss ich nur noch ein leises Netzteil finden oder eine stärkere PicoPSU, dann sollte alles passen.