[SOLVED] PCI(e) Passthrough funktioniert nicht

[ShinigamiLY]

Ich habe vor geraumer Zeit 2x H240 gekauft.

Eines davon würde ich gerne an eine VM durchreichen, jedoch erhalte ich ständig die Fehlermeldung:

kvm: -device vfio-pci,host=0000:07:00.0,id=hostpci0,bus=pci.0,addr=0x10,rombar=0: vfio 0000:07:00.0: failed to setup container for group 33: Failed to set iommu for container: Operation not permitted
TASK ERROR: start failed: QEMU exited with code 1

Ich bin den Guides durchgegangen wie: PCI(e)_Passthrough - Proxmox ; PCI_passthrough_via_OVMF ;und vieles mehr.

Sowohl --> allow_unsafe_interrupts=1 als auch options vfio-pci ids=103c:3239 hat nicht geholfen.

lspci -nnk | grep -i array

02:00.0 RAID bus controller [0104]: Hewlett-Packard Company Smart Array Gen8 Controllers [103c:323b] (rev 01)
07:00.0 Serial Attached SCSI controller [0107]: Hewlett-Packard Company Smart Array Gen9 Controllers [103c:3239] (rev 01)
0a:00.0 Serial Attached SCSI controller [0107]: Hewlett-Packard Company Smart Array Gen9 Controllers [103c:3239] (rev 01)

Sie befinden sich ausserdem auch in unterschiedliche Gruppen

find /sys/kernel/iommu_groups/ -type l | grep -i 07:
/sys/kernel/iommu_groups/33/devices/0000:07:00.0
find /sys/kernel/iommu_groups/ -type l | grep -i 0a:
/sys/kernel/iommu_groups/34/devices/0000:0a:00.0

Sicherheitshalber habe ich mal den USB Controller weitergereicht und das hatte funktioniert. Wieso krieg ich also den Controller nicht geblacklistet und nicht durchgereicht?

Mit blacklist hpsa werden jedenfalls beide Controller dann nicht mehr geladen. Wie kriege ich sie nun getrennt, damit ich nur den einen Controller mit der ID: 07:00.0 nicht geladen bekomme?

Kann mir da bitte jemand helfen

Zusatzinfos:

07:00.0 Serial Attached SCSI controller: Hewlett-Packard Company Smart Array Gen9 Controllers (rev 01)
        Subsystem: Hewlett-Packard Company H240
        Physical Slot: 2
        Flags: bus master, fast devsel, latency 0, IRQ 105, NUMA node 0
        Memory at fbd00000 (64-bit, non-prefetchable) [size=1M]
        Memory at fbcf0000 (64-bit, non-prefetchable) [size=1K]
        I/O ports at 6000 [size=256]
        [virtual] Expansion ROM at fbc00000 [disabled] [size=512K]
        Capabilities: [80] Power Management version 3
        Capabilities: [90] MSI: Enable- Count=1/32 Maskable- 64bit+
        Capabilities: [b0] MSI-X: Enable+ Count=64 Masked-
        Capabilities: [c0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [300] #19
        Kernel driver in use: hpsa
        Kernel modules: hpsa

0a:00.0 Serial Attached SCSI controller: Hewlett-Packard Company Smart Array Gen9 Controllers (rev 01)
        Subsystem: Hewlett-Packard Company H240
        Physical Slot: 3
        Flags: bus master, fast devsel, latency 0, IRQ 16, NUMA node 0
        Memory at fbf00000 (64-bit, non-prefetchable) [size=1M]
        Memory at fbef0000 (64-bit, non-prefetchable) [size=1K]
        I/O ports at 7000 [size=256]
        [virtual] Expansion ROM at fbe00000 [disabled] [size=512K]
        Capabilities: [80] Power Management version 3
        Capabilities: [90] MSI: Enable- Count=1/32 Maskable- 64bit+
        Capabilities: [b0] MSI-X: Enable+ Count=64 Masked-
        Capabilities: [c0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [300] #19
        Kernel driver in use: hpsa
        Kernel modules: hpsa

nano /etc/modprobe.d/pve-blacklist.conf

 

[ShinigamiLY]

Was ich sonst noch versucht habe...

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=103c:3239 vfio-pci.ids=103c:3239 vfio_iommu_type1.allow_unsafe_interrupts=1 nofb video=vesafb:off,efifb:off"

echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf
options vfio-pci ids=103c:3239 > /etc/modprobe.d/vfio.conf
echo 'vfio-pci' > /etc/modules-load.d/vfio-pci.conf

Keine Chance...
Ach und ja... hab update-grub & update-initramfs -u -k all ausgeführt

Wenn ich die VM starte verschwinden die Festplatten aus Proxmox, können jedoch dennoch nicht durchgereicht werden und erhalte die Fehlermeldung.

Ich sehe nur noch die Möglichkeit per blacklist. Leider wird der hpsa auch für meine Boot Partitionen verwenden. Somit müsste ich lediglich den Blacklist für die 07:00.0 machen. Wie krieg ich das hin?
So sieht es nach all den Versuchen aus. vfio-pci und trotzdem kann ich es nicht anbinden.

07:00.0 Serial Attached SCSI controller: Hewlett-Packard Company Smart Array Gen9 Controllers (rev 01)
        Subsystem: Hewlett-Packard Company H240
        Physical Slot: 2
        Flags: bus master, fast devsel, latency 0, IRQ 3, NUMA node 0
        Memory at fbd00000 (64-bit, non-prefetchable) [size=1M]
        Memory at fbcf0000 (64-bit, non-prefetchable) [size=1K]
        I/O ports at 6000 [size=256]
        [virtual] Expansion ROM at fbc00000 [disabled] [size=512K]
        Capabilities: [80] Power Management version 3
        Capabilities: [90] MSI: Enable- Count=1/32 Maskable- 64bit+
        Capabilities: [b0] MSI-X: Enable- Count=64 Masked-
        Capabilities: [c0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [300] #19
        Kernel driver in use: vfio-pci
        Kernel modules: hpsa

 

[ShinigamiLY]

Nunja... hab mir nun gescheite Controller geholt und dennoch erhalte ich dieselbe Meldung.
failed to setup container for group 33: Failed to set iommu for container: Operation not permitted
Scheinbar kann mir aber wohl doch niemand helfen.

 

[dcsapak]

kannst du mal den kompletten output von 'dmesg' posten nachdem du versucht hast die vm zu starten?

 

[ShinigamiLY]

kannst du mal den kompletten output von 'dmesg' posten nachdem du versucht hast die vm zu starten?

Vielen Dank für die Antwort.
Ich habe mal einen gescheiten Beitrag im englischen Forum gemacht. Da findest Du auch den kompletten dmesg output.

https://forum.proxmox.com/threads/frustrated-lsi-sas-passthrough-is-not-working.92086/