Hallo liebe Forengemeinde,
leider beschäftigt mich das Problem meines Homelabs mit dem Durchreichen der PCI Karten in Proxmox schon seit 3 Tagen.
Lese sämtliche Beiträge hier im Forum und auch anderwertig und konnte aber noch keinen Lösungsansatz finden.
Daher eine bitte an euch um mir weiter zu helfen.
https://www.thomas-krenn.com/de/wiki/Proxmox_PCIe_Passthrough_aktivieren
https://pve.proxmox.com/wiki/PCI(e)_Passthrough
Mein System ist ein AMD - Ryzen 5 3600 Prozessor, ein Asrock - X570M Pro4 Mainboard;
Im Bios wurde IOMMU aktiviert.
Hinzugefügt aus dem Beispiel bei einem AMD System: GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
Aktualisieren Sie anschließend mit update-grub die Grub Konfiguration:
update-grub
Bearbeiten Sie die Datei /etc/modules als root Benutzer mit Schreibrechten:
root@pve:~# vi /etc/modules
Ergänzen Sie die Kernel Module und speichern Sie die Datei ab:
# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
Initramfs aktualisieren
Als letzten Schritt aktualisieren Sie noch das Initramfs:
root@pve:~# update-initramfs -u -k all
[ 0.591303] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
[ 0.594631] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
[ 0.594631] pci 0000:00:00.2: AMD-Vi: Extended features (0x58f77ef22294ade):
[ 0.594635] AMD-Vi: Interrupt remapping enabled
[ 0.594635] AMD-Vi: Virtual APIC enabled
[ 0.594635] AMD-Vi: X2APIC enabled
[ 0.594785] AMD-Vi: Lazy IO/TLB flushing enabled
[ 0.595983] perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).
root@pve:~#
root@pve:~# lsmod | grep vfio
vfio_pci 53248 0
vfio_virqfd 16384 1 vfio_pci
irqbypass 16384 2 vfio_pci,kvm
vfio_iommu_type1 32768 0
vfio 32768 2 vfio_iommu_type1,vfio_pci
Ausführliche Ausgabe des lspci -v Kommandos für mehr Details:
root@pve:~# lspci -s 04:00.0 -v
04:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
Subsystem: ASRock Incorporation I211 Gigabit Network Connection
Flags: bus master, fast devsel, latency 0, IRQ 38
Memory at fc900000 (32-bit, non-prefetchable) [size=128K]
I/O ports at e000
Memory at fc920000 (32-bit, non-prefetchable) [size=16K]
Capabilities: [40] Power Management version 3
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
Capabilities: [a0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 70-85-c2-ff-ff-fc-82-34
Capabilities: [1a0] Transaction Processing Hints
Kernel driver in use: igb
Kernel modules: igb
Ausführliche Ausgabe des lspci -v Kommandos für mehr Details:
root@pve:~# lspci -s 03:00.0 -v
03:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
Subsystem: Intel Corporation PRO/1000 PT Dual Port Server Adapter
Flags: bus master, fast devsel, latency 0, IRQ 40
Memory at fcaa0000 (32-bit, non-prefetchable) [size=128K]
Memory at fca80000 (32-bit, non-prefetchable) [size=128K]
I/O ports at f020
Expansion ROM at fca60000 [disabled] [size=128K]
Capabilities: [c8] Power Management version 2
Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
Capabilities: [e0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 00-15-17-ff-ff-80-b5-0e
Kernel driver in use: e1000e
Kernel modules: e1000e
Ausführliche Ausgabe des lspci -v Kommandos für mehr Details:
root@pve:~# lspci -s 03:00.1 -v
03:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
Subsystem: Intel Corporation PRO/1000 PT Dual Port Server Adapter
Flags: bus master, fast devsel, latency 0, IRQ 101
Memory at fca40000 (32-bit, non-prefetchable) [size=128K]
Memory at fca20000 (32-bit, non-prefetchable) [size=128K]
I/O ports at f000
Expansion ROM at fca00000 [disabled] [size=128K]
Capabilities: [c8] Power Management version 2
Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
Capabilities: [e0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 00-15-17-ff-ff-80-b5-0e
Kernel driver in use: e1000e
Kernel modules: e1000e
Mit dem Befehl ethtool enp4s0 command not found, ebsenso mit NIC's enp3s0f1 und enp3s0f0
Installation des ethtool mit apt install ethtool -command not found
1, angefügtes pdf mit Fehlermeldung
2, angefügtes pdf mit den Netzwerkarten ( 03.00.00 + 03:00.01 ist eine eigene Pci Karte) die 04:00.0 - Asrock - X570M Pro4 Mainboard
Ich bin mit meinem Latein schon am Ende, falls ihr noch etwaige Auflistungen benötigt einfach melden!
Danke im Voraus
Franz
leider beschäftigt mich das Problem meines Homelabs mit dem Durchreichen der PCI Karten in Proxmox schon seit 3 Tagen.
Lese sämtliche Beiträge hier im Forum und auch anderwertig und konnte aber noch keinen Lösungsansatz finden.
Daher eine bitte an euch um mir weiter zu helfen.
https://www.thomas-krenn.com/de/wiki/Proxmox_PCIe_Passthrough_aktivieren
https://pve.proxmox.com/wiki/PCI(e)_Passthrough
Mein System ist ein AMD - Ryzen 5 3600 Prozessor, ein Asrock - X570M Pro4 Mainboard;
Im Bios wurde IOMMU aktiviert.
Hinzugefügt aus dem Beispiel bei einem AMD System: GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
Aktualisieren Sie anschließend mit update-grub die Grub Konfiguration:
update-grub
Kernel Module ergänzen
Bearbeiten Sie die Datei /etc/modules als root Benutzer mit Schreibrechten:
root@pve:~# vi /etc/modules
Ergänzen Sie die Kernel Module und speichern Sie die Datei ab:
# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
Initramfs aktualisieren
Als letzten Schritt aktualisieren Sie noch das Initramfs:
root@pve:~# update-initramfs -u -k all
Neustart durchgeführt
root@pve:~# dmesg |grep -e DMAR -e IOMMU -e AMD-Vi[ 0.591303] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
[ 0.594631] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
[ 0.594631] pci 0000:00:00.2: AMD-Vi: Extended features (0x58f77ef22294ade):
[ 0.594635] AMD-Vi: Interrupt remapping enabled
[ 0.594635] AMD-Vi: Virtual APIC enabled
[ 0.594635] AMD-Vi: X2APIC enabled
[ 0.594785] AMD-Vi: Lazy IO/TLB flushing enabled
[ 0.595983] perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).
root@pve:~#
root@pve:~# lsmod | grep vfio
vfio_pci 53248 0
vfio_virqfd 16384 1 vfio_pci
irqbypass 16384 2 vfio_pci,kvm
vfio_iommu_type1 32768 0
vfio 32768 2 vfio_iommu_type1,vfio_pci
Ausführliche Ausgabe des lspci -v Kommandos für mehr Details:
root@pve:~# lspci -s 04:00.0 -v
04:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
Subsystem: ASRock Incorporation I211 Gigabit Network Connection
Flags: bus master, fast devsel, latency 0, IRQ 38
Memory at fc900000 (32-bit, non-prefetchable) [size=128K]
I/O ports at e000
Memory at fc920000 (32-bit, non-prefetchable) [size=16K]
Capabilities: [40] Power Management version 3
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
Capabilities: [a0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 70-85-c2-ff-ff-fc-82-34
Capabilities: [1a0] Transaction Processing Hints
Kernel driver in use: igb
Kernel modules: igb
Ausführliche Ausgabe des lspci -v Kommandos für mehr Details:
root@pve:~# lspci -s 03:00.0 -v
03:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
Subsystem: Intel Corporation PRO/1000 PT Dual Port Server Adapter
Flags: bus master, fast devsel, latency 0, IRQ 40
Memory at fcaa0000 (32-bit, non-prefetchable) [size=128K]
Memory at fca80000 (32-bit, non-prefetchable) [size=128K]
I/O ports at f020
Expansion ROM at fca60000 [disabled] [size=128K]
Capabilities: [c8] Power Management version 2
Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
Capabilities: [e0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 00-15-17-ff-ff-80-b5-0e
Kernel driver in use: e1000e
Kernel modules: e1000e
Ausführliche Ausgabe des lspci -v Kommandos für mehr Details:
root@pve:~# lspci -s 03:00.1 -v
03:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
Subsystem: Intel Corporation PRO/1000 PT Dual Port Server Adapter
Flags: bus master, fast devsel, latency 0, IRQ 101
Memory at fca40000 (32-bit, non-prefetchable) [size=128K]
Memory at fca20000 (32-bit, non-prefetchable) [size=128K]
I/O ports at f000
Expansion ROM at fca00000 [disabled] [size=128K]
Capabilities: [c8] Power Management version 2
Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
Capabilities: [e0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Device Serial Number 00-15-17-ff-ff-80-b5-0e
Kernel driver in use: e1000e
Kernel modules: e1000e
Funktion prüfen
Eine Funktionsprüfung zeigt, ob die Netzwerkkarte auch korrekt funktioniertMit dem Befehl ethtool enp4s0 command not found, ebsenso mit NIC's enp3s0f1 und enp3s0f0
Installation des ethtool mit apt install ethtool -command not found
PCI Device zur VM hinzufügen
Wechseln Sie zur Sektion Hardware der VM Konfiguration im Proxmox Webinterface und befolgen Sie nun den Schritten in den abgebildeten Screenshots.1, angefügtes pdf mit Fehlermeldung
2, angefügtes pdf mit den Netzwerkarten ( 03.00.00 + 03:00.01 ist eine eigene Pci Karte) die 04:00.0 - Asrock - X570M Pro4 Mainboard
Ich bin mit meinem Latein schon am Ende, falls ihr noch etwaige Auflistungen benötigt einfach melden!
Danke im Voraus
Franz
