Probleme mit Dual NIC in VM

[holgerba]

Hallo zusammen. Habe folgendes Problem:
Ich habe in meinem Rechner (ASRock mit i5, 8.Gen) eine Dual Ethernet PCI-E Karte von DeLock. Diese hat 2x RTL8169 Chipsatz verbaut. Ich kann die Karte ohne Probleme an die virtuelle Maschine weiter reichen (Alle vorherigen Einstellungen zu grub etc. wurden bereits gemacht und die beiden erhalten auch unterschiedliche IOMMU Gruppen) und in der VM werden auch zwei Netzwerkkarten erkannt. Der Status der LAN Ports ist bei beiden Anschlüssen "Link UP" und auch die LEDs blinken munter an der Karte. Jedoch ist jegliche Kommunikation nicht möglich. Weder DHCP noch mit statischer IP. Das ganze Problem beschränkt sich jedoch nur auf eine VM mit Linux Basis, wie etwa ipfire oder Mint. Binde ich die PCI Karte in eine Windows 10 VM ein, funktioniert sie ohne Probleme und eine Kommunikation ist möglich. In den VMs wurde auch als Maschinentyp q35 ausgewählt und PCI-Express ausgewählt in der PCI Config. Ich bin im Moment etwas ratlos und wäre für einen Tipp dankbar.

 

[Stoiko Ivanov]

Jedoch ist jegliche Kommunikation nicht möglich. Weder DHCP noch mit statischer IP. Das ganze Problem beschränkt sich jedoch nur auf eine VM mit Linux Basis, wie etwa ipfire oder Mint.

* was sagt denn das journal/log in der VM so? - vielleicht gibt es da meldungen warum die NIC nicht funktioniert
* was zeigt lspci -nnk in der VM an?
* was zeigt ip -detail link in der VM an?
* was zeigt ethtool <nicname> in der VM an?

Ich hoffe das hilft mal weiter

 

[holgerba]

Im VM Log stehen keine Fehler was auf die PCI Karte schliessen lässt

lspci -nnk
root@pmx30:~# lspci -nnk 00:00.0 Host bridge [0600]: Intel Corporation 82G33/G31/P35/P31 Express DRAM Controller [8086:29c0] Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] 00:01.0 VGA compatible controller [0300]: Device [1234:1111] (rev 02) Subsystem: Red Hat, Inc. Device [1af4:1100] Kernel driver in use: bochs-drm Kernel modules: bochs_drm 00:1a.0 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #4 [8086:2937] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1a.1 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #5 [8086:2938] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1a.2 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #6 [8086:2939] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1a.7 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB2 EHCI Controller #2 [8086:293c] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: ehci-pci Kernel modules: ehci_pci 00:1b.0 Audio device [0403]: Intel Corporation 82801I (ICH9 Family) HD Audio Controller [8086:293e] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: snd_hda_intel Kernel modules: snd_hda_intel 00:1c.0 PCI bridge [0604]: Red Hat, Inc. QEMU PCIe Root port [1b36:000c] Kernel driver in use: pcieport 00:1c.1 PCI bridge [0604]: Red Hat, Inc. QEMU PCIe Root port [1b36:000c] Kernel driver in use: pcieport 00:1c.2 PCI bridge [0604]: Red Hat, Inc. QEMU PCIe Root port [1b36:000c] Kernel driver in use: pcieport 00:1c.3 PCI bridge [0604]: Red Hat, Inc. QEMU PCIe Root port [1b36:000c] Kernel driver in use: pcieport 00:1d.0 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #1 [8086:2934] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.1 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #2 [8086:2935] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.2 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #3 [8086:2936] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.7 USB controller [0c03]: Intel Corporation 82801I (ICH9 Family) USB2 EHCI Controller #1 [8086:293a] (rev 03) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: ehci-pci Kernel modules: ehci_pci 00:1e.0 PCI bridge [0604]: Intel Corporation 82801 PCI Bridge [8086:244e] (rev 92) 00:1f.0 ISA bridge [0601]: Intel Corporation 82801IB (ICH9) LPC Interface Controller [8086:2918] (rev 02) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: lpc_ich Kernel modules: lpc_ich 00:1f.2 SATA controller [0106]: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA Controller [AHCI mode] [8086:2922] (rev 02) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: ahci Kernel modules: ahci 00:1f.3 SMBus [0c05]: Intel Corporation 82801I (ICH9 Family) SMBus Controller [8086:2930] (rev 02) Subsystem: Red Hat, Inc. QEMU Virtual Machine [1af4:1100] Kernel driver in use: i801_smbus Kernel modules: i2c_i801 01:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 07) Subsystem: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:0123] Kernel driver in use: r8168 Kernel modules: r8168 02:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 07) Subsystem: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:0123] Kernel driver in use: r8168 Kernel modules: r8168 05:01.0 PCI bridge [0604]: Red Hat, Inc. QEMU PCI-PCI bridge [1b36:0001] 05:02.0 PCI bridge [0604]: Red Hat, Inc. QEMU PCI-PCI bridge [1b36:0001] 05:03.0 PCI bridge [0604]: Red Hat, Inc. QEMU PCI-PCI bridge [1b36:0001] 05:04.0 PCI bridge [0604]: Red Hat, Inc. QEMU PCI-PCI bridge [1b36:0001] 06:03.0 Unclassified device [00ff]: Red Hat, Inc. Virtio memory balloon [1af4:1002] Subsystem: Red Hat, Inc. Virtio memory balloon [1af4:0005] Kernel driver in use: virtio-pci Kernel modules: virtio_pci 06:05.0 SCSI storage controller [0100]: Red Hat, Inc. Virtio SCSI [1af4:1004] Subsystem: Red Hat, Inc. Virtio SCSI [1af4:0008] Kernel driver in use: virtio-pci Kernel modules: virtio_pci 06:12.0 Ethernet controller [0200]: Red Hat, Inc. Virtio network device [1af4:1000] Subsystem: Red Hat, Inc. Virtio network device [1af4:0001] Kernel driver in use: virtio-pci Kernel modules: virtio_pci root@pmx30:~#

ip -detail link
root@pmx30:~# ip -detail link 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000 link/ether 00:13:3b:10:17:c0 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 60 maxmtu 9194 addrgenmode none numtxqueues 1 numrxqueues 1 gso_max_size 64000 gso_max_segs 64 altname enp1s0 3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000 link/ether 2e:7c:00:ba:00:1e brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 addrgenmode none numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 altname enp6s18 4: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000 link/ether 00:13:3b:10:17:c1 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 60 maxmtu 9194 addrgenmode none numtxqueues 1 numrxqueues 1 gso_max_size 64000 gso_max_segs 64 altname enp2s0

ethtool eth0 und eth2
root@pmx30:~# ethtool eth0 Settings for eth0: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Supported pause frame use: Symmetric Receive-only Supports auto-negotiation: Yes Supported FEC modes: Not reported Advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Advertised pause frame use: Symmetric Receive-only Advertised auto-negotiation: Yes Advertised FEC modes: Not reported Link partner advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Link partner advertised pause frame use: Symmetric Link partner advertised auto-negotiation: Yes Link partner advertised FEC modes: Not reported Speed: 1000Mb/s Duplex: Full Auto-negotiation: on Port: Twisted Pair PHYAD: 0 Transceiver: internal MDI-X: Unknown Supports Wake-on: pumbg Wake-on: g Current message level: 0x00000033 (51) drv probe ifdown ifup Link detected: yes root@pmx30:~# ethtool eth2 Settings for eth2: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Supported pause frame use: Symmetric Receive-only Supports auto-negotiation: Yes Supported FEC modes: Not reported Advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Advertised pause frame use: Symmetric Receive-only Advertised auto-negotiation: Yes Advertised FEC modes: Not reported Link partner advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full Link partner advertised pause frame use: Symmetric Link partner advertised auto-negotiation: Yes Link partner advertised FEC modes: Not reported Speed: 100Mb/s Duplex: Full Auto-negotiation: on Port: Twisted Pair PHYAD: 0 Transceiver: internal MDI-X: Unknown Supports Wake-on: pumbg Wake-on: g Current message level: 0x00000033 (51) drv probe ifdown ifup Link detected: yes

Es geht um eth0 und eth2. eth1 funktioniert ja. Ist auch die vmbr0.

 

[Stoiko Ivanov]

Kernel driver in use: r8168

warum wird hier r8168 (soweit ich weiß ein out-of-tree Treiber) im Gast verwendet?
funktioniert es mit dem in-tree r8169?

(Ich hatte (vor recht langer zeit) auch so einiges an Problemen mit realtek NICs - irgendwann hat es mit dem in-tree Treiber recht gut funktioniert (danach ist die NIC selbst defekt gewesen und ich bin auf eine Intel NIC umgestiegen - danach hatte ich keine Probleme mehr)

ansonsten sieht alles soweit aus als sollte es funktionieren - ich würde vielleicht noch auf der Gegenseite der NIC mit tcpdump nachschauen ob Pakete ankommen (wenn über die NIC z.B. gepingt wird)

hoffe das hilft

 

[holgerba]

Habe auf den r8169 zurück gewechselt. Hat aber keine Verbesserung gebracht. Wenn ich ein tcpdump auf den beiden Schnittstellen laufen lasse wird auch jede Menge Datenverkehr angezeigt aber ich kann keine bidirektionale Kommunikation aufbauen und wie bereits erwähnt läuft die Karte ja ohne Probleme in einer Win10 VM. Also kann man einen Defekt ausschliessen. Auch im Host läuft diese Karte nicht.

 

[holgerba]

Hallo nochmal. Habe jetzt die Karte zu einer Intel I350 getauscht. Diese läuft ohne Probleme mit allen 4 Ports. Trotzdem danke für die Tipps.