[SOLVED] NIC passtrough in KVM -> System friert ein

[BeNe]

Hallo Zusammen,

ich benötige etwas Hilfe. Habe mir einen PC zusammengebaut der als Server fungiert.
Leider ist das System alles andere als Stabil. Habe den PC Bauvorschlag aus dem C't Magazin als Basis genommen. Die Hardware kann daher nicht so verkehrt sein im Zusammenspiel.

Mein verdacht liegt bei der zusätzlichen dual Netzwerkkarte welche ich per PCI Passtrough in eine KVM weiterreiche in der OPNsense als Firewall läuft. Das System läuft ein paar Stunden oder mal einen Tag lang, dann friert alles ein. Kein Ping, keine Console und Tasteneingaben am Gerät selber mehr möglich. Es steht auch nichts in den Logs dazu in den Logs ausser "^@^@^@^@^@^@^@^@^@^@^@^@". Muss den Netzschalter umlegen. Abgesehen davon, funktioniert die OPNsene KVM ansonsten ohne Probleme mit allen Funktionen.

Habe die KVM mit der passtrough NIC zum testen abgeschaltet und der PC läuft nun schon den zweiten Tag durch! Gehe also von aus, das hier mein Problem liegt.

Was gibt es denn für Möglichkeiten das Problem einzugrenzen ?
Oder gibt es bekannte dual Intel NIC's welche bei Passtrough keine Probleme machen ?

Infos zum System:

Hardware:
Prozessor: Intel Core i5 9600K 6x 3.70GHz
Motherboard: MSI MPG Z390 GAMING PLUS Intel Z390
Arbeitsspeicher: 64GB RAM Crucial CT16G4DFD8266
SSD: 1000GB Samsung 860 Evo 2.5
Netzteil: 600 Watt be quiet! PURE POWER 11
Netzwerkkarte: Delock PCIe x1 Gigabit LAN 2x RJ45 +Low Profile i82576

Proxmox Version 5.4-6
root@pve01:~# uname -a
Linux pve01 4.15.18-15-pve #1 SMP PVE 4.15.18-40 (Tue, 21 May 2019 17:43:20 +0200) x86_64 GNU/Linux

IOMMU aktiviert:
-> GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

root@pve01:/etc/default# cat /etc/modules
# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

root@pve01:/etc/default# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/7/devices/0000:00:1b.0
/sys/kernel/iommu_groups/5/devices/0000:00:16.0
/sys/kernel/iommu_groups/13/devices/0000:03:00.1
/sys/kernel/iommu_groups/3/devices/0000:00:12.0
/sys/kernel/iommu_groups/11/devices/0000:01:00.0
/sys/kernel/iommu_groups/1/devices/0000:00:02.0
/sys/kernel/iommu_groups/8/devices/0000:00:1c.0
/sys/kernel/iommu_groups/6/devices/0000:00:17.0
/sys/kernel/iommu_groups/4/devices/0000:00:14.2
/sys/kernel/iommu_groups/4/devices/0000:00:14.0
/sys/kernel/iommu_groups/12/devices/0000:03:00.0
/sys/kernel/iommu_groups/2/devices/0000:00:08.0
/sys/kernel/iommu_groups/10/devices/0000:00:1f.0
/sys/kernel/iommu_groups/10/devices/0000:00:1f.5
/sys/kernel/iommu_groups/10/devices/0000:00:1f.6
/sys/kernel/iommu_groups/10/devices/0000:00:1f.4
/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/9/devices/0000:00:1c.5
root@pve01:/etc/default# lspci
00:00.0 Host bridge: Intel Corporation Device 3ec2 (rev 0a)
00:02.0 VGA compatible controller: Intel Corporation Device 3e98
00:08.0 System peripheral: Intel Corporation Skylake Gaussian Mixture Model
00:12.0 Signal processing controller: Intel Corporation Device a379 (rev 10)
00:14.0 USB controller: Intel Corporation Device a36d (rev 10)
00:14.2 RAM memory: Intel Corporation Device a36f (rev 10)
00:16.0 Communication controller: Intel Corporation Device a360 (rev 10)
00:17.0 SATA controller: Intel Corporation Device a352 (rev 10)
00:1b.0 PCI bridge: Intel Corporation Device a340 (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a338 (rev f0)
00:1c.5 PCI bridge: Intel Corporation Device a33d (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a305 (rev 10)
00:1f.4 SMBus: Intel Corporation Device a323 (rev 10)
00:1f.5 Serial bus controller [0c80]: Intel Corporation Device a324 (rev 10)
00:1f.6 Ethernet controller: Intel Corporation Device 15bc (rev 10)
01:00.0 Non-Volatile memory controller: Micron/Crucial Technology Device 2263 (rev 03)
03:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
03:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

Config der KVM:

root@pve01:/etc/pve/qemu-server# cat 128.conf 
bootdisk: virtio0
cores: 4
cpu: host
hostpci0: 03:00.1
hostpci1: 03:00.0
ide2: none,media=cdrom
memory: 8192
name: OPNsense
numa: 0
ostype: other
scsihw: virtio-scsi-pci
smbios1: uuid=8a058397-cd29-4f97-8ed6-2848e63f531e
sockets: 1
startup: order=1
virtio0: data2:vm-128-disk-0,size=72G
vmgenid: ea4a75d2-c550-4dc2-95d1-6a631e514f72

Gehostete VM's
2 x KVM (OPNsense und FreeNAS)
12 x LCX Container

Bin für jeden Tipp sehr dankbar!
Grüße,
BeNe

 

[wolfgang]

Bei so was immer schauen ob es Updates für das Bios gibt.
Vielleicht gibt es auch updates bei der NIC.

Wenn der Kernel Probleme macht siehst du was im Syslog.

 

[BeNe]

Danke für den Tipp mit dem Kernel und Syslog. Das Argument hat dann beim Hersteller gezogen, dass es kein Softwarefehler ist.
Scheint so als ob das Motherboard defekt war.

Thema ist damit (hoffentlich) erledigt!