10G Netzwerkkarte wird nicht mehr erkannt - Probleme mit Netzwerk

S

SUNMorph

New Member
Nov 26, 2023
8
0
1
Hallo zusammen,

zuerst möchte ich einmal Hallo sagen und bin sehr dankbar für das Forum.

Ich bin eher unerfahren was Proxmox/Linux/Debian und seine Befehlsstruktur angeht.

Trotzdem hatte ich einen gut funktionierenden Cluster bis vor ein paar Tagen. Leider macht nun einer meiner 3 Nodes Probleme.

ich habe drei identische Systeme.

HP Microserver 10 GEN 10 Plus
Zusätzliche 10G Netzwerkkarte Intel X520 G2

Folgende Netzwerkkonfiguration habe ich auf allen 3 Systemen.

Code: 
auto lo
iface lo inet loopback

auto eno4
iface eno4 inet manual

auto eno1
iface eno1 inet manual

auto eno2
iface eno2 inet manual

auto eno3
iface eno3 inet manual

auto ens1f0
iface ens1f0 inet manual

auto ens1f1
iface ens1f1 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves eno1 eno2
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4
#Bond - 1G LCAP - A

auto bond1
iface bond1 inet manual
        bond-slaves eno3 eno4
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4
#Bond - 1G LCAP - B

auto bond10
iface bond10 inet manual
        bond-slaves bond0 ens1f0
        bond-miimon 100
        bond-mode active-backup
        bond-primary ens1f0
#Bond - 10G Failover - A

auto bond11
iface bond11 inet manual
        bond-slaves bond1 ens1f1
        bond-miimon 100
        bond-mode active-backup
        bond-primary ens1f1
#Bond - 10G Failover - B

auto vmbr0
iface vmbr0 inet manual
        bridge-ports bond10
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
#BR - VM Network

auto vmbr005
iface vmbr005 inet static
        address 192.168.5.111/24
        gateway 192.168.5.1
        bridge-ports vlan005
        bridge-stp off
        bridge-fd 0
#BR - Management

auto vmbr100
iface vmbr100 inet static
        address 10.10.100.111/24
        bridge-ports vlan100
        bridge-stp off
        bridge-fd 0
#BR - Storage

auto vlan005
iface vlan005 inet manual
        vlan-raw-device bond0
#VLan - Mgmt

auto vlan100
iface vlan100 inet manual
        vlan-raw-device bond10
#VLan- Storage

Node 3 wäre nicht erreichbar wenn ich nicht von Bond0 auf eno1 beim VLan5 (Managment) gewechselt wäre.

So sieht die Netzwerksektion im Proxmox GUI in einem funktionierendem Node aus

Network Node A.jpg

So sieht die GUI aus beim nicht funktionierendem Node aus

Network Node c.jpg

Die 10G Netzwerkkarte wird erkannt beim Befehl.


lspci -nnk | grep -i Ethernet -A2

Code: 
root@pven01:~# lspci -nnk | grep -i Ethernet -A2

02:00.0 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 1
        Kernel driver in use: igb
--
02:00.1 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 2
        Kernel driver in use: igb
--
02:00.2 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 3
        Kernel driver in use: igb
--
02:00.3 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 4
        Kernel driver in use: igb
--
07:00.0 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
        Subsystem: Intel Corporation Ethernet Server Adapter X520-2 [8086:000c]
        Kernel driver in use: ixgbe
        Kernel modules: ixgbe
07:00.1 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
        Subsystem: Intel Corporation Ethernet Server Adapter X520-2 [8086:000c]
        Kernel driver in use: ixgbe
        Kernel modules: ixgbe

Code: 
root@pven03:~#  lspci -nnk | grep -i Ethernet -A2
02:00.0 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 1
        Kernel driver in use: igb
--
02:00.1 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 2
        Kernel driver in use: igb
--
02:00.2 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 3
        Kernel driver in use: igb
--
02:00.3 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
        DeviceName: Embedded LOM 1 Port 4
        Kernel driver in use: igb
--
07:00.0 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
        Subsystem: Intel Corporation Ethernet Server Adapter X520-2 [8086:000c]
        Kernel modules: ixgbe
07:00.1 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
        Subsystem: Intel Corporation Ethernet Server Adapter X520-2 [8086:000c]
        Kernel modules: ixgbe

So wies aussieht wird beim Node 3 der Treiber nicht geladen.

Zum Schluss noch der Status des Netzwerkes beim Node 3

Code: 
systemctl status networking
● networking.service - Network initialization
     Loaded: loaded (/lib/systemd/system/networking.service; enabled; preset: enabled)
     Active: active (exited) since Wed 2024-07-03 11:07:35 CEST; 8s ago
       Docs: man:interfaces(5)
             man:ifup(8)
             man:ifdown(8)
    Process: 6555 ExecStart=/usr/share/ifupdown2/sbin/start-networking start (code=exited, status=0/SUCCESS)
   Main PID: 6555 (code=exited, status=0/SUCCESS)
        CPU: 1.088s

Jul 03 11:07:34 pven03 /usr/sbin/ifup[6572]: error: vmbr100: bridge port vlan100 does not exist
Jul 03 11:07:34 pven03 networking[6572]: warning: vmbr100: apply bridge ports settings: bridge configuration failed (missing ports)
Jul 03 11:07:34 pven03 /usr/sbin/ifup[6572]: warning: vmbr100: apply bridge ports settings: bridge configuration failed (missing ports)
Jul 03 11:07:34 pven03 networking[6572]: error: ifname ens1f1 not present in cache
Jul 03 11:07:34 pven03 /usr/sbin/ifup[6572]: error: ifname ens1f1 not present in cache
Jul 03 11:07:34 pven03 networking[6572]: error: rawdevice bond11 not present
Jul 03 11:07:34 pven03 /usr/sbin/ifup[6572]: error: rawdevice bond11 not present
Jul 03 11:07:34 pven03 networking[6572]: error: >>> Full logs available in: /var/log/ifupdown2/network_config_ifupdown2_1593541_Jul-03-2024_11:07:33.570096 <<<
Jul 03 11:07:34 pven03 /usr/sbin/ifup[6572]: >>> Full logs available in: /var/log/ifupdown2/network_config_ifupdown2_1593541_Jul-03-2024_11:07:33.570096 <<<
Jul 03 11:07:35 pven03 systemd[1]: Finished networking.service - Network initialization.

Ich bin über jede Hilfe und/oder Tipp dankbar damit ich meinen Node3 wieder zum laufen bringe.

Danke und LG




 
Code: 
root@pven03:~# dmesg | grep ixgbe
[    1.301370] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
[    1.301372] ixgbe: Copyright (c) 1999-2016 Intel Corporation.
[    1.301992] ixgbe 0000:07:00.0: enabling device (0140 -> 0142)
[    1.321655] ixgbe 0000:07:00.0: failed to load because an unsupported SFP+ or QSFP module type was detected.
[    1.321657] ixgbe 0000:07:00.0: Reload the driver after installing a supported module.
[    1.322026] ixgbe: probe of 0000:07:00.0 failed with error -95
[    1.322053] ixgbe 0000:07:00.1: enabling device (0140 -> 0142)
[    1.349745] ixgbe 0000:07:00.1: failed to load because an unsupported SFP+ or QSFP module type was detected.
[    1.349747] ixgbe 0000:07:00.1: Reload the driver after installing a supported module.
[    1.350096] ixgbe: probe of 0000:07:00.1 failed with error -95
[  236.117861] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
[  236.117863] ixgbe: Copyright (c) 1999-2016 Intel Corporation.
[  236.137173] ixgbe 0000:07:00.0: failed to load because an unsupported SFP+ or QSFP module type was detected.
[  236.137175] ixgbe 0000:07:00.0: Reload the driver after installing a supported module.
[  236.137259] ixgbe: probe of 0000:07:00.0 failed with error -95
[  236.156265] ixgbe 0000:07:00.1: failed to load because an unsupported SFP+ or QSFP module type was detected.
[  236.156267] ixgbe 0000:07:00.1: Reload the driver after installing a supported module.
[  236.156342] ixgbe: probe of 0000:07:00.1 failed with error -95
 
Den Artikel habe ich leider schon gelesen und ausprobiert.

Im log oben, siehst du am Zeitstempel wo ich dies durchgeführt habe.

Leider erfolglos.
 
Hmm. Modul hast zuerst mit rmmod entladen?
Ansonsten kannst noch probieren die Option in ein Configfile zu schreiben:

echo "options ixgbe allow_unsupported_sfp=1" > /etc/modprobe.d/ixgbe.conf
 
Danke für den Tipp, leider das gleiche Ergebniss nach reboot.

Code: 
root@pven03:~# dmesg | grep ixgbe
[    1.268091] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
[    1.268093] ixgbe: Copyright (c) 1999-2016 Intel Corporation.
[    1.268161] ixgbe 0000:07:00.0: enabling device (0140 -> 0142)
[    1.287625] ixgbe 0000:07:00.0: failed to load because an unsupported SFP+ or QSFP module type was detected.
[    1.287627] ixgbe 0000:07:00.0: Reload the driver after installing a supported module.
[    1.300262] ixgbe: probe of 0000:07:00.0 failed with error -95
[    1.300491] ixgbe 0000:07:00.1: enabling device (0140 -> 0142)
[    1.319590] ixgbe 0000:07:00.1: failed to load because an unsupported SFP+ or QSFP module type was detected.
[    1.319592] ixgbe 0000:07:00.1: Reload the driver after installing a supported module.
[    1.319710] ixgbe: probe of 0000:07:00.1 failed with error -95
 
Sorry, dann bin ich leider auch ueberfragt. Eventuell hilft dieser Thread noch weiter: https://forum.proxmox.com/threads/s...esnt-work-with-proxmox-kernel-5-15-30.107988/
Da gibt es noch Tipps mit Aus- Einstecken... Schlussendlich wars dann aber ein DAC-Kabel. Kann also gut sein, dass da noch andere Komponenten involviert sind. Hast Du ueber DAC oder GBIC verbunden?
Hast Du die Moeglichkeit Komponenten "uebers Kreuz" auszutesten und so Hardware-Defekts auszuschliessen?
 
Danke für die Hilfe.

Habe DAC Kabel im Einsatz, habe diese schon getauscht/getestet.

Werde als nächstes die Netzwerkkarten untereinander tauschen/testen.

LG
 
Hi,

ich denke mal das wirst du so auch nicht gelöst bekommen, da Debian generell diese Netzwerkkarte nicht unterstützt, bzw. der Hersteller selber schon angibt das dort kein Support/Unterstützung garantiert ist.

https://www.intel.de/content/www/de/de/support/articles/000025890/ethernet-products.html
"X520-DA2" musst du dort mal nach suchen.

Die klassische Empfehlung, eine Supported Netzwerkkarte einbauen.


Alternativ würde ich gerne wissen was du für Komponenten verbaut hast. Kenne noch das Phänomen das, wenn zu viele PCI Komponenten angeschlossen teilweise starke Schwankungen entstehen, z.B. hatte ich mal den Fall das einfach NVMe Plattform weg waren und dann wieder gekommen sind oder einfach aussetzer hatten.

Beste Grüße
Daniel
 
SUNMorph said:
Danke für den Tipp, leider das gleiche Ergebniss nach reboot.

Code: 
root@pven03:~# dmesg | grep ixgbe
[    1.268091] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
[    1.268093] ixgbe: Copyright (c) 1999-2016 Intel Corporation.
[    1.268161] ixgbe 0000:07:00.0: enabling device (0140 -> 0142)
[    1.287625] ixgbe 0000:07:00.0: failed to load because an unsupported SFP+ or QSFP module type was detected.
[    1.287627] ixgbe 0000:07:00.0: Reload the driver after installing a supported module.
[    1.300262] ixgbe: probe of 0000:07:00.0 failed with error -95
[    1.300491] ixgbe 0000:07:00.1: enabling device (0140 -> 0142)
[    1.319590] ixgbe 0000:07:00.1: failed to load because an unsupported SFP+ or QSFP module type was detected.
[    1.319592] ixgbe 0000:07:00.1: Reload the driver after installing a supported module.
[    1.319710] ixgbe: probe of 0000:07:00.1 failed with error -95
Click to expand...

das mit dem unsupported module hatte ich auch schon, ebenfalls mit der x520.

folgender artikel könnte dir evtl weiterhelfen.

https://www.serveradminz.com/blog/unsupported-sfp-linux/

damit sagst du dem treiber, das er auch unsupportete module/kabel akzeptieren soll.
hat zumindest bei mir geklappt.
 
Vielen Dank für eure Tipps und Hilfe.

Ich habe jetzt nochmals die DAC Kabel untereinander getauscht.

Fragt mich nicht warum, mit den DAC Kabel vom Node1 habe ich bei Node3 keine Probleme mehr und die nicht funktionierenden DAC Kabel von Node3 funktionier bei Node1.

Wenn die X520 nicht mehr supported werden, welchen Ersatz schlägt ihr denn vor, der nicht zu teuer kommt für den Home/Hobby/Bereich.

Ich habe halt leider in den HP Microserver nur einen PCI Slot frei.

Nochmals Danke und LG
 
wenns nach der oben genannten liste ginge wäre keine einzige intel karte von debian 12 supported.
das ist natürlich unsinn.
die webseite von intel ist einfach nur beschissen gewartet.

solange der ixgbe treiber im kernel ist oder auch als dkms modul verfügbar ist, solange wird die karte auch laufen.
wenn eine karte nicht mehr unterstützt wird, steht das normalerweise in den entsprechenden releasenotes des kernels.

wie gesagt teste mal den parameter im von mir verlinkten artikel.
wenn ich den nicht verwende, funktionieren bei mir nur intel grandete kabel/module.
mit dem parameter frisst die karte so ziemlich alles.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back