Heimserver: Neuer NIC - kein Netzzugang für VMs

[mnih]

Hallo zusammen,

Edit: In der Hoffnung, ein mehr Hilfe zu erhalten, habe ich ein neues Thema im englischsprachigen Forumsbereich aufgemacht: https://forum.proxmox.com/threads/new-network-adapter-bridge-not-switching.84063/ bitte nach Möglichkeit dort antworten. Danke!

ich habe mir für meinen Heim-Server einen neuen NIC gekauft. Nachdem ich diesen eingebaut und die Bridge umgestellt habe, ist der Host zwar erreichbar, der traffic zwischen VMs und LAN ist aber durch irgend etwas unterbunden.

Mein Setup sieht wie folgt aus: 1 Netz 192.168.1.0/24, Proxmox ist .50, die VMs ab .51

Weder kann ich in den VMs (per console connected) bspw. den Router (.1) aufrufen, noch von außen die VMs pingen.

/etc/network/interfaces alt:

auto lo
iface lo inet loopback

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
    address 192.168.1.50
    netmask 255.255.255.0
    gateway 192.168.1.1
    bridge_ports eno1
    bridge_stp off
    bridge_fd 0

iface eno2 inet manual

/etc/network/interfaces neu:

auto lo
iface lo inet loopback

iface enp1s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.1.50
        netmask 255.255.255.0
        gateway 192.168.1.1
        bridge-ports enp1s0
        bridge-stp off
        bridge-fd 0

iface eno1 inet manual

iface eno2 inet manual

enp1s0 ist das neue interface. Die Bridge funktioniert auch soweit, ich kann den proxmox host unter der ip .50 erreichen. Nur wie gesagt eben keine der VMs.

Was muss ich noch ändern, dass die VMs wieder erreichbar sind?

Die Firewall habe ich probeweise deaktiviert, diese scheint aber generell inaktiv zu sein (im Heimnetz auch kein Problem). Über schnelle Hilfe wäre ich überaus dankbar.

Edit: output von systemctl status networking.service:

● networking.service - Network initialization
   Loaded: loaded (/lib/systemd/system/networking.service; enabled; vendor preset: enabled)
   Active: active (exited) since Wed 2021-02-10 23:42:46 CET; 1min 29s ago
     Docs: man:interfaces(5)
           man:ifup(8)
           man:ifdown(8)
  Process: 22497 ExecStart=/usr/share/ifupdown2/sbin/start-networking start (code=exited, status=0/SUCCESS)
Main PID: 22497 (code=exited, status=0/SUCCESS)

Feb 10 23:42:45 vas systemd[1]: Starting Network initialization...
Feb 10 23:42:45 vas networking[22497]: networking: Configuring network interfaces
Feb 10 23:42:46 vas systemd[1]: Started Network initialization.

Ich hatte während der Umstellung auch noch ifupdown2 installiert, da mir das von der GUI vorgeschlagen wurde. Vielleicht liegt es auch daran...?

Edit2:

Irgendwas ist sehr seltsam hier. Sobald ich die Bridge auf eno1 umstelle, funktioniert alles wieder wie gehabt. Host und VMs erreichbar, auch von anderen Netzwerkgeräten. Stelle ich die Bridge wieder auf enp1s0, ist tote Hose. Der Host selbst ist aber in beiden Konfigurationen von außen als auch von den VMs aus erreichbar. Nur eben kein Routing von und zu den VMs.

Wenn ich die bridge einmal auf enp1s0 geändert habe, muss ich proxmox neu starten, um wieder auf eno1 zu gehen, bei "apply configuration" bekomme ich die Fehlermeldung:

vmbr0 : warning: vmbr0: setting bridge mac address: cmd '/sbin/bridge fdb replace 00:00:00:00:00:00 dev vmbr0 self' failed: returned 255 (RTNETLINK answers: Invalid argument

Ob es damit zusammen hängt?
Könnte die geänderte MAC-Adresse der Bridge irgendwo ein Problem machen? Die VMs haben alle die Standard-Einstellung (Firewall -> Options: Firewall: no)

Die neue Karte ist eine 2.5Gb/s Ethernet Karte von QNAP (Intel I225-LM Chip). Die alte Karte ist onboard auf dem Supermicro X11-Board.

mehr debug output:

Spoiler

lspci -v beider Karten (die erste ist die neue):

01:00.0 Ethernet controller: Intel Corporation Device 15f2 (rev 03)
        Subsystem: QNAP Systems, Inc. Device c001
        Flags: bus master, fast devsel, latency 0, IRQ 16
        Memory at 91200000 (32-bit, non-prefetchable) [size=1M]
        Memory at 91300000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 91100000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number [...]
        Capabilities: [1c0] Latency Tolerance Reporting
        Capabilities: [1f0] Precision Time Measurement
        Capabilities: [1e0] L1 PM Substates
        Kernel driver in use: igc
        Kernel modules: igc

03:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
        Subsystem: Super Micro Computer Inc I210 Gigabit Network Connection
        Flags: bus master, fast devsel, latency 0, IRQ 16
        Memory at 91500000 (32-bit, non-prefetchable) [size=512K]
        I/O ports at 5000 [size=32]
        Memory at 91580000 (32-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number [...]
        Capabilities: [1a0] Transaction Processing Hints
        Kernel driver in use: igb
        Kernel modules: igb

ethtool:

Settings for eno1:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supported pause frame use: Symmetric
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        MDI-X: off (auto)
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: yes

Settings for enp1s0:
        Supported ports: [ ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 2500Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        MDI-X: off (auto)
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: yes

 

[mnih]

Guten morgen,

da das Thema sehr speziell ist und vermutlich auch niemand Lust hat sich da in seiner Freizeit tiefere hineinzuwurschteln mal eine andere Frage: Kann ich davon ausgehen, dass eine Neu-Installation mit Auswahl von enp1s0 als primäres Netzwerkinterface das Problem beheben sollte?

 

[Dunuin]

Du könntest mal versuchen Hardware Offloading für die NIC zu deaktivieren. Das kann öfter mal Probleme bei Intel NICs machen. VMs können ja kein Hardware Offloading nutzen.

 

[mnih]

Danke für den Tipp. Ich habe hardware offloading wie folgt in den bridge-settings deaktiviert:



leider hat sich nichts verändert.

(ethernet-pause-tx habe ich testweise eingefügt)

dmesg output nachdem einmal mit enp0s1 gebridged wurde:

2.5Gb/s NIC:


1Gb/s NIC:

 

[mnih]

habe proxmox neu installiert, problem tritt genau so auf. liegt wohl am intel i225 netzwerk-adapter. werde ihn zurückschicken und einen RTL8125 nehmen...

Edit: RTL8125 funktioniert, braucht im aktuellen 5.4er PVE Kernel aber auch Handarbeit.