PCIe Passthrough SATA Controller funktioniert nicht - Call Trace

[schnuggo]

Hallo zusammen,

da ich aktuell nicht mehr weiter weiß, brauche ich mal eure Hilfe.

Aktuell habe ich ein Supermicro X11SCH-F auf welchem ich nun mal Proxmox installiert habe. Proxmox 8 somit up to date. Kernel 6.5.11-7-pve
Da ich gerne eine VM als NAS betreiben möchte, OS sei erst mal dahin gestellt, wird aber vermutlich TrueNAS Scale werden, habe ich vor, den Onboard SATA Controller per Pasthrough an die VM zu reichen.

Habe mich durch die normalen Guides gelesen und das Passthrough eingerichtet.

Spoiler: cat /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

Spoiler: cat /proc/cmdline

BOOT_IMAGE=/vmlinuz-6.5.11-7-pve root=ZFS=/ROOT/pve-1 ro root=ZFS=rpool/ROOT/pve-1 boot=zfs quiet intel_iommu=on

Spoiler: dmesg | grep -e DMAR -e IOMMU

[ 0.007516] ACPI: DMAR 0x00000000795BBC00 0000A8 (v01 INTEL EDK2 00000002 01000013)
[ 0.007551] ACPI: Reserving DMAR table memory at [mem 0x795bbc00-0x795bbca7]
[ 0.051328] DMAR: IOMMU enabled
[ 0.147078] DMAR: Host address width 39
[ 0.147079] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[ 0.147084] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e
[ 0.147086] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[ 0.147089] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[ 0.147090] DMAR: RMRR base: 0x00000079f1a000 end: 0x0000007a163fff
[ 0.147092] DMAR: RMRR base: 0x0000007d000000 end: 0x0000007f7fffff
[ 0.147093] DMAR-IR: IOAPIC id 2 under DRHD base 0xfed91000 IOMMU 1
[ 0.147094] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[ 0.147095] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[ 0.147096] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[ 0.150237] DMAR-IR: Enabled IRQ remapping in xapic mode
[ 0.501075] DMAR: No ATSR found
[ 0.501076] DMAR: No SATC found
[ 0.501077] DMAR: IOMMU feature fl1gp_support inconsistent
[ 0.501078] DMAR: IOMMU feature pgsel_inv inconsistent
[ 0.501079] DMAR: IOMMU feature nwfs inconsistent
[ 0.501080] DMAR: IOMMU feature pasid inconsistent
[ 0.501081] DMAR: IOMMU feature eafs inconsistent
[ 0.501081] DMAR: IOMMU feature prs inconsistent
[ 0.501082] DMAR: IOMMU feature nest inconsistent
[ 0.501082] DMAR: IOMMU feature mts inconsistent
[ 0.501083] DMAR: IOMMU feature sc_support inconsistent
[ 0.501084] DMAR: IOMMU feature dev_iotlb_support inconsistent
[ 0.501085] DMAR: dmar0: Using Queued invalidation
[ 0.501087] DMAR: dmar1: Using Queued invalidation
[ 0.503816] DMAR: Intel(R) Virtualization Technology for Directed I/O

Spoiler: dmesg | grep 'remapping'

[ 0.150237] DMAR-IR: Enabled IRQ remapping in xapic mode
[ 0.150238] x2apic: IRQ remapping doesn't support X2APIC mode

Sieht bis hier her soweit alles sauber aus.

Da mein SATA Onboard Controller eine eigene IOMMU Gruppe besitzt, sollte das doch normalerweise problemlos funktionieren.

Habe diesen nun als RAW Device ausgewählt.

Wenn ich nun die VM starte, läuft ein Prozess an, der aber ins unendliche läuft.
Also VM startet nicht, Task dreht und dreht und dreht.



Habe schon alles mögliche versucht, Ballooning ist ausgeschaltet für die VM. Habe beim Passthrough schon mit und ohne ROMBar. Mit und ohne "All Functions".

Im journalctl finde ich folgendes:

Spoiler: journalctl -b 0

Jan 25 23:00:55 homelab kernel: INFO: task task UPID:homel:7901 blocked for more than 120 seconds.
Jan 25 23:00:55 homelab kernel: Tainted: P O 6.5.11-7-pve #1
Jan 25 23:00:55 homelab kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jan 25 23:00:55 homelab kernel: task:task UPID:homel state stack:0 pid:7901 ppid:1815 flags:0x00004002
Jan 25 23:00:55 homelab kernel: Call Trace:
Jan 25 23:00:55 homelab kernel: <TASK>
Jan 25 23:00:55 homelab kernel: __schedule+0x3fd/0x1450
Jan 25 23:00:55 homelab kernel: ? kernfs_put.part.0+0xa7/0x180
Jan 25 23:00:55 homelab kernel: schedule+0x63/0x110
Jan 25 23:00:55 homelab kernel: __pm_runtime_barrier+0xa0/0x170
Jan 25 23:00:55 homelab kernel: ? __pfx_autoremove_wake_function+0x10/0x10
Jan 25 23:00:55 homelab kernel: __pm_runtime_disable+0xee/0x170
Jan 25 23:00:55 homelab kernel: pm_runtime_remove+0x16/0x90
Jan 25 23:00:55 homelab kernel: device_pm_remove+0x84/0xf0
Jan 25 23:00:55 homelab kernel: device_del+0x169/0x3e0
Jan 25 23:00:55 homelab kernel: ata_tport_delete+0x2d/0x50
Jan 25 23:00:55 homelab kernel: ata_port_detach+0x24a/0x320
Jan 25 23:00:55 homelab kernel: ata_pci_remove_one+0x4a/0x70
Jan 25 23:00:55 homelab kernel: ahci_remove_one+0x31/0x50 [ahci]
Jan 25 23:00:55 homelab kernel: pci_device_remove+0x36/0xb0
Jan 25 23:00:55 homelab kernel: device_remove+0x40/0x80
Jan 25 23:00:55 homelab kernel: device_release_driver_internal+0x20b/0x270
Jan 25 23:00:55 homelab kernel: ? bus_find_device+0xb8/0xf0
Jan 25 23:00:55 homelab kernel: device_driver_detach+0x14/0x20
Jan 25 23:00:55 homelab kernel: unbind_store+0xac/0xc0
Jan 25 23:00:55 homelab kernel: drv_attr_store+0x21/0x50
Jan 25 23:00:55 homelab kernel: sysfs_kf_write+0x3b/0x60
Jan 25 23:00:55 homelab kernel: kernfs_fop_write_iter+0x130/0x210
Jan 25 23:00:55 homelab kernel: vfs_write+0x251/0x440
Jan 25 23:00:55 homelab kernel: ksys_write+0x73/0x100
Jan 25 23:00:55 homelab kernel: __x64_sys_write+0x19/0x30
Jan 25 23:00:55 homelab kernel: do_syscall_64+0x58/0x90
Jan 25 23:00:55 homelab kernel: ? syscall_exit_to_user_mode+0x37/0x60
Jan 25 23:00:55 homelab kernel: ? do_syscall_64+0x67/0x90
Jan 25 23:00:55 homelab kernel: ? syscall_exit_to_user_mode+0x37/0x60
Jan 25 23:00:55 homelab kernel: ? do_syscall_64+0x67/0x90
Jan 25 23:00:55 homelab kernel: ? irqentry_exit_to_user_mode+0x17/0x20
Jan 25 23:00:55 homelab kernel: ? irqentry_exit+0x43/0x50
Jan 25 23:00:55 homelab kernel: ? exc_page_fault+0x94/0x1b0
Jan 25 23:00:55 homelab kernel: entry_SYSCALL_64_after_hwframe+0x6e/0xd8
Jan 25 23:00:55 homelab kernel: RIP: 0033:0x7f61727ec140
Jan 25 23:00:55 homelab kernel: RSP: 002b:00007ffe3b42cab8 EFLAGS: 00000202 ORIG_RAX: 0000000000000001
Jan 25 23:00:55 homelab kernel: RAX: ffffffffffffffda RBX: 000055dafc6032a0 RCX: 00007f61727ec140
Jan 25 23:00:55 homelab kernel: RDX: 000000000000000c RSI: 000055db045502e0 RDI: 000000000000000c
Jan 25 23:00:55 homelab kernel: RBP: 000055db045502e0 R08: 0000000000000000 R09: 000055db0451cbb0
Jan 25 23:00:55 homelab kernel: R10: 000055db010fd478 R11: 0000000000000202 R12: 000000000000000c
Jan 25 23:00:55 homelab kernel: R13: 000055dafc6032a0 R14: 000000000000000c R15: 000055db0454fe70
Jan 25 23:00:55 homelab kernel: </TASK>

Zu guter letzt habe ich dann noch einen ASM1166 ausgekramt, bei dem ist das Problem das selbe. Hängt also mal generell nicht mit dem Onboard Controller zusammen.

Kann mir hierzu jemand weiterhelfen, bin so langsam wirklich am verzweifeln.