Ein Netzwerkinterface kommt beim Start nicht hoch

beisser

Renowned Member
Feb 21, 2023
468
270
68
Moin Leute,

ich könnte etwas Hilfestellung gebrauchen.
Eins meiner Nodes hat zwei Netzwerkinterfaces.
Eine I226v, die Problemlos funktioniert und beim Start auch automatisch UP kommt und eine X520/82599ES (angebunden via thunderbolt), die bei Start nicht automatisch UP kommt und ein systemctl restart networking benötigt.
Nach dem service-restart ist das interface allerdings normal online und kann verwendet werden.

hier noch ein paar infos:

Code:
root@pve3:~# pveversion -v
proxmox-ve: 9.1.0 (running kernel: 7.0.0-2-pve)
pve-manager: 9.1.9 (running version: 9.1.9/ee7bad0a3d1546c9)
proxmox-kernel-helper: 9.0.4
proxmox-kernel-7.0: 7.0.0-2
proxmox-kernel-7.0.0-2-pve-signed: 7.0.0-2
proxmox-kernel-6.17: 6.17.13-3
proxmox-kernel-6.17.13-3-pve-signed: 6.17.13-3
proxmox-kernel-6.17.13-2-pve-signed: 6.17.13-2
proxmox-kernel-6.17.13-1-pve-signed: 6.17.13-1
proxmox-kernel-6.17.9-1-pve-signed: 6.17.9-1
proxmox-kernel-6.17.4-2-pve-signed: 6.17.4-2
proxmox-kernel-6.14: 6.14.11-6
proxmox-kernel-6.14.11-6-pve-signed: 6.14.11-6
proxmox-kernel-6.14.11-5-pve-signed: 6.14.11-5
proxmox-kernel-6.14.8-2-pve-signed: 6.14.8-2
ceph-fuse: 19.2.3-pve1
corosync: 3.1.10-pve2
criu: 4.1.1-1
frr-pythontools: 10.4.1-1+pve1
ifupdown2: 3.3.0-1+pmx12
intel-microcode: 3.20251111.1~deb13u1
ksm-control-daemon: 1.5-1
libjs-extjs: 7.0.0-5
libproxmox-acme-perl: 1.7.1
libproxmox-backup-qemu0: 2.0.2
libproxmox-rs-perl: 0.4.1
libpve-access-control: 9.0.7
libpve-apiclient-perl: 3.4.2
libpve-cluster-api-perl: 9.1.2
libpve-cluster-perl: 9.1.2
libpve-common-perl: 9.1.11
libpve-guest-common-perl: 6.0.2
libpve-http-server-perl: 6.0.5
libpve-network-perl: 1.3.0
libpve-notify-perl: 9.1.2
libpve-rs-perl: 0.13.0
libpve-storage-perl: 9.1.2
libspice-server1: 0.15.2-1+b1
lvm2: 2.03.31-2+pmx1
lxc-pve: 6.0.5-4
lxcfs: 6.0.4-pve1
novnc-pve: 1.6.0-4
proxmox-backup-client: 4.1.8-1
proxmox-backup-file-restore: 4.1.8-1
proxmox-backup-restore-image: 1.0.0
proxmox-firewall: 1.2.2
proxmox-kernel-helper: 9.0.4
proxmox-mail-forward: 1.0.2
proxmox-mini-journalreader: 1.6
proxmox-offline-mirror-helper: 0.7.3
proxmox-widget-toolkit: 5.1.9
pve-cluster: 9.1.2
pve-container: 6.1.4
pve-docs: 9.1.2
pve-edk2-firmware: 4.2025.05-2
pve-esxi-import-tools: 1.0.1
pve-firewall: 6.0.4
pve-firmware: 3.18-3
pve-ha-manager: 5.2.0
pve-i18n: 3.7.0
pve-qemu-kvm: 10.1.2-7
pve-xtermjs: 5.5.0-3
qemu-server: 9.1.8
smartmontools: 7.4-pve1
spiceterm: 3.4.2
swtpm: 0.8.0+pve3
vncterm: 1.9.2
zfsutils-linux: 2.4.1-pve1

Code:
auto lo
iface lo inet loopback

iface enx803f5dfdb9b2 inet manual

iface enp85s0 inet manual

iface ens1f0 inet manual

iface ens1f1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.0.230/24
        gateway 192.168.0.252
        bridge-ports ens1f0
        bridge-stp off
        bridge-fd 0

iface wlp86s0f0 inet manual

auto vmbr1
iface vmbr1 inet static
        address 192.168.1.230/24
        bridge-ports enp85s0
        bridge-stp off
        bridge-fd 0

source /etc/network/interfaces.d/*

vmbr0 ist hier das Hauptnetz (mit der X520) und vmbr1 ein zweiter Corosync-Ring der gleichzeitig als Bridge für die WAN-Verbindung meiner virtuellen OPNsense fungiert.

Die grundsätzliche Konfig muss eigentlich passen, da nach einem service-restart alles funktioniert.
Ich würde nur gern rausfinden, warum der Service-Restart überhaupt notwendig ist.

Die Karte hat übrigens schonmal einwandfrei funktioniert, allerdings ist das schon ein paar Kernelversionen/Updates her.
Ich reboote den Node nicht bei jeder gelegenheit, daher habe ich das erst jetzt gemerkt, dass das Interface nicht automatisch hochkommt.
 
hab noch ein bisschen in den logs gegraben und folgendes im journal gefunden:

Code:
-- Boot 942582e6ce1b4ebe863b1068b5402d8c --
Apr 23 22:53:49 pve3 kernel: ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
Apr 23 22:53:49 pve3 kernel: ixgbe: Copyright (c) 1999-2016 Intel Corporation.
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: 8.000 Gb/s available PCIe bandwidth, limited by 2.5 GT/s PCIe x4 link at 0000:00:07.2 (capable>
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: MAC: 2, PHY: 14, SFP+: 3, PBA No: FFFFFF-0FF
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: 00:1b:21:ba:c5:c3
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: Intel(R) 10 Gigabit Network Connection
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: Firmware logging not supported
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.1: Adapter removed
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.1: HW Init failed: -5
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.1: probe with driver ixgbe failed with error -5
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: Adapter removed
Apr 23 22:53:49 pve3 kernel: ixgbe 0000:2d:00.0: complete
Apr 23 22:53:50 pve3 kernel: ixgbe 0000:2d:00.0: enabling device (0000 -> 0002)
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0: 8.000 Gb/s available PCIe bandwidth, limited by 2.5 GT/s PCIe x4 link at 0000:00:07.2 (capable>
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0: MAC: 2, PHY: 14, SFP+: 3, PBA No: FFFFFF-0FF
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0: 00:1b:21:ba:c5:c3
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0: Intel(R) 10 Gigabit Network Connection
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0: Firmware logging not supported
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.1: enabling device (0000 -> 0002)
Apr 23 22:53:51 pve3 kernel: ixgbe 0000:2d:00.0 ens1f0: renamed from eth0
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1: 8.000 Gb/s available PCIe bandwidth, limited by 2.5 GT/s PCIe x4 link at 0000:00:07.2 (capable>
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1: MAC: 2, PHY: 1, PBA No: FFFFFF-0FF
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1: 00:1b:21:ba:c5:c4
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1: Intel(R) 10 Gigabit Network Connection
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1: Firmware logging not supported
Apr 23 22:53:52 pve3 kernel: ixgbe 0000:2d:00.1 ens1f1: renamed from eth0
Apr 23 22:54:18 pve3 kernel: ixgbe 0000:2d:00.0 ens1f0: entered allmulticast mode
Apr 23 22:54:18 pve3 kernel: ixgbe 0000:2d:00.0 ens1f0: entered promiscuous mode
Apr 23 22:54:18 pve3 kernel: ixgbe 0000:2d:00.0: registered PHC device on ens1f0
Apr 23 22:54:18 pve3 kernel: ixgbe 0000:2d:00.0 ens1f0: detected SFP+: 3
Apr 23 22:54:18 pve3 kernel: ixgbe 0000:2d:00.0 ens1f0: NIC Link is Up 10 Gbps, Flow Control: RX/TX

ganz am ende, wo er um 22:54 hochkommt ist der manuelle service-restart.

dmesg gibt mir folgendes:

Code:
root@pve3:~# dmesg|grep ixgbe
[    1.505258] ixgbe: Intel(R) 10 Gigabit PCI Express Network Driver
[    1.505260] ixgbe: Copyright (c) 1999-2016 Intel Corporation.
[    1.687326] ixgbe 0000:2d:00.0: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
[    1.687629] ixgbe 0000:2d:00.0: 8.000 Gb/s available PCIe bandwidth, limited by 2.5 GT/s PCIe x4 link at 0000:00:07.2 (capable of 32.000 Gb/s with 5.0 GT/s PCIe x8 link)
[    1.687713] ixgbe 0000:2d:00.0: MAC: 2, PHY: 14, SFP+: 3, PBA No: FFFFFF-0FF
[    1.687715] ixgbe 0000:2d:00.0: 00:1b:21:ba:c5:c3
[    1.689003] ixgbe 0000:2d:00.0: Intel(R) 10 Gigabit Network Connection
[    1.689089] ixgbe 0000:2d:00.0: Firmware logging not supported
[    1.751985] ixgbe 0000:2d:00.1: Adapter removed
[   34.020641] ixgbe 0000:2d:00.1: HW Init failed: -5
[   34.020774] ixgbe 0000:2d:00.1: probe with driver ixgbe failed with error -5
[   34.051618] ixgbe 0000:2d:00.0: Adapter removed
[   34.051628] ixgbe 0000:2d:00.0: complete
[   37.487842] ixgbe 0000:2d:00.0: enabling device (0000 -> 0002)
[   37.676194] ixgbe 0000:2d:00.0: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
[   37.676510] ixgbe 0000:2d:00.0: 8.000 Gb/s available PCIe bandwidth, limited by 2.5 GT/s PCIe x4 link at 0000:00:07.2 (capable of 32.000 Gb/s with 5.0 GT/s PCIe x8 link)
[   37.676599] ixgbe 0000:2d:00.0: MAC: 2, PHY: 14, SFP+: 3, PBA No: FFFFFF-0FF
[   37.676602] ixgbe 0000:2d:00.0: 00:1b:21:ba:c5:c3
[   37.677967] ixgbe 0000:2d:00.0: Intel(R) 10 Gigabit Network Connection
[   37.678059] ixgbe 0000:2d:00.0: Firmware logging not supported
[   37.678202] ixgbe 0000:2d:00.1: enabling device (0000 -> 0002)
[   37.685917] ixgbe 0000:2d:00.0 ens1f0: renamed from eth0
[   38.832227] ixgbe 0000:2d:00.1: Multiqueue Enabled: Rx Queue count = 16, Tx Queue count = 16 XDP Queue count = 0
[   38.832536] ixgbe 0000:2d:00.1: 8.000 Gb/s available PCIe bandwidth, limited by 2.5 GT/s PCIe x4 link at 0000:00:07.2 (capable of 32.000 Gb/s with 5.0 GT/s PCIe x8 link)
[   38.832622] ixgbe 0000:2d:00.1: MAC: 2, PHY: 1, PBA No: FFFFFF-0FF
[   38.832624] ixgbe 0000:2d:00.1: 00:1b:21:ba:c5:c4
[   38.833961] ixgbe 0000:2d:00.1: Intel(R) 10 Gigabit Network Connection
[   38.834018] ixgbe 0000:2d:00.1: Firmware logging not supported
[   38.838834] ixgbe 0000:2d:00.1 ens1f1: renamed from eth0
[   65.124658] ixgbe 0000:2d:00.0 ens1f0: entered allmulticast mode
[   65.124708] ixgbe 0000:2d:00.0 ens1f0: entered promiscuous mode
[   65.197624] ixgbe 0000:2d:00.0: registered PHC device on ens1f0
[   65.373022] ixgbe 0000:2d:00.0 ens1f0: detected SFP+: 3
[   65.610922] ixgbe 0000:2d:00.0 ens1f0: NIC Link is Up 10 Gbps, Flow Control: RX/TX

ganz am ende wieder der manuelle service-restart
 
noch ein weitere info: getestet habe ich das jetzt mit kernel 7.0.0-2 und 6.17.13-3.
das verhalten ist das gleiche.

ich werde mal einen älteren kernel pinnen und sehen ob sich was ändert.
 
mit kernel 6.17.9-1-pve kommt das interface problemlos beim booten hoch.

das heisst für mich, dass meine settings und auch die hardware ok sind und irgendwas in den neueren kerneln anders ist im bezug auf thunderbolt oder die x520.

ich werde jetzt mal alle kernel zwischen 6.17.9-1 und 6.17.13-3 testen um zu sehen wann genau sich was geändert hat.
 
Ich hatte sowas schon mal nach Kernelupdate, weil die Firmware auf den NICs zu alt war. Jetzt schaue ich auch immer vor updates ob es neuere Firmware gibt und aktualisiere die immer sofort mit. Seitdem hatte ich solche Probleme nicht mehr.
 
ok, habs eingegrenzt. zwischen 6.17.9-1 und 6.17.13-1 gabs eine änderung, die das interface daran hindert automatisch hoch zu kommen.
das mit der firmware kann gut sein, allerdings finde ich auch nichts offizielles bzgl firmware/nvm-update.
 
hab jetzt einen workaround eingerichtet indem ich per cronjob den service restarte:

crontab -e und dann folgendes einfügen:

Code:
@reboot systemctl restart networking

ist natürlich nicht das, was man will, aber es funktioniert.