system crash with truenas passed through HBA running along with windows with pssed through gpu

[MZero]

Hi All ,
I have been trying to figure this out in the passed weeks by troubleshooting and trying all the possible solution here people facing with no luck , right now the source of the crash identified after multiple tries and reached the point to try to have help and submit it here .

I have the following setup ruining PVE 8 , last time I used proxmox was on version 5 and did not face this issue before with same configs .moreover , both GPU & HBA are not in same iommu groups . when I remove the HBA from truenas vm it boot and runs with no issues along with windows vm with passe through VM .

Motherboard : ASRock > X399 Taichi
CPU : Threadripper 1950x
windows GPU : NVIDIA 1660
HBA SAS2008

I have followed many guides on reedit and as well the wiki to passthrough and identefy the issues .even changed the machine cpu config etc.. long story short haven't figured out how to make them work both in PVE 8 .

Here are some of the data might needed , if missing something please let me know . thanks .

just to note ruining dmesg | grep -e DMAR -e IOMMU show no output although able to pass-through the gpu and wroking fine .


/proc/cmdline

BOOT_IMAGE=/boot/vmlinuz-6.2.16-5-pve root=/dev/mapper/pve-root ro quiet iommu=pt initcall_blacklist=sysfb_init

journalctl -k -g DMAR -g IOMMU

kernel: pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
kernel: pci 0000:40:00.2: AMD-Vi: IOMMU performance counters supported
kernel: pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
kernel: pci 0000:40:00.2: AMD-Vi: Found IOMMU cap 0x40
kernel: perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).
kernel: perf/amd_iommu: Detected AMD IOMMU #1 (2 banks, 4 counters/bank).

journalctl -k -g 'remapping'

kernel: AMD-Vi: Interrupt remapping enabled

/etc/modprobe.d/vfio.conf

options vfio-pci ids=10de:21c4,10de:1aeb disable_vga=1
options vfio-pci ids=1000:0072
softdep mpt3sas pre: vfio-pci

/etc/modules

# at boot time, one per line. Lines beginning with "#" are ignored.
# Parameters can be specified after the module name.

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

/etc/modprobe.d/blacklist.conf

blacklist nouveau
blacklist nvidia*
blacklist radeon

win VM

cat /etc/pve/qemu-server/101.conf
agent: 1
bios: ovmf
boot: order=ide2;scsi0
cores: 12
cpu: host,hidden=1,flags=+pcid
efidisk0: StorageThin1:vm-101-disk-0,efitype=4m,pre-enrolled-keys=1,size=4M
hostpci0: 0000:42:00,pcie=1
ide2: none,media=cdrom
machine: pc-q35-6.2
memory: 16430
meta: creation-qemu=8.0.2,ctime=1690982257
name: WIN-Gaming01
net0: virtio=1EC:E4:FA:B6:AC,bridge=vmbr1,firewall=1,tag=200
numa: 0
ostype: win11
scsi0: StorageThin1:vm-101-disk-1,iothread=1,size=512G
scsihw: virtio-scsi-single
smbios1: uuid=519e853a-4ed1-4680-9163-96cd9d6a5b0e
sockets: 1
tpmstate0: StorageThin1:vm-101-disk-2,size=4M,version=v2.0
usb0: host=046d:c228,usb3=1
usb1: host=1532:001f,usb3=1
vga: none
vmgenid: 7a33b896-1eca-48ff-bff2-a79a11d9a099

NAS VM

cat /etc/pve/qemu-server/100.conf
boot: order=scsi0
cores: 4
cpu: host,flags=+pcid
hostpci0: 0000:08:00.0,rombar=0
machine: q35
memory: 16000
meta: creation-qemu=8.0.2,ctime=1690739256
name: VBSD-NAS
net0: virtio=AA:5B:6C:9D:85:A2,bridge=vmbr1,firewall=1
numa: 0
ostype: other
scsi0: local-lvm:vm-100-disk-0,iothread=1,size=20G
scsihw: virtio-scsi-single
smbios1: uuid=b63d816f-4dd0-4391-be88-260d6fe043b3
sockets: 1
startup: order=1
vmgenid: 203ae2cd-00d0-4cc5-b879-beb58dfd9b44

 

[MZero]

iommu group

class │ device │ id │ iommugroup │ vendor │ device_name
╞══════════╪════════╪══════════════╪════════════╪════════╪════════════════════════════════════════════════════════════════════════
│ 0x010601 │ 0x43b6 │ 0000:01:00.1 │ 14 │ 0x1022 │ X399 Series Chipset SATA Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x010601 │ 0x7901 │ 0000:0b:00.2 │ 21 │ 0x1022 │ FCH SATA Controller [AHCI mode]
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x010601 │ 0x7901 │ 0000:44:00.2 │ 39 │ 0x1022 │ FCH SATA Controller [AHCI mode]
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x010700 │ 0x0072 │ 0000:08:00.0 │ 15 │ 0x1000 │ SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x010802 │ 0xa808 │ 0000:41:00.0 │ 33 │ 0x144d │ NVMe SSD Controller SM981/PM981/PM983
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x020000 │ 0x1539 │ 0000:04:00.0 │ 14 │ 0x8086 │ I211 Gigabit Network Connection
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x020000 │ 0x1539 │ 0000:06:00.0 │ 14 │ 0x8086 │ I211 Gigabit Network Connection
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x020000 │ 0x10c9 │ 0000:07:00.0 │ 14 │ 0x8086 │ 82576 Gigabit Network Connection
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x020000 │ 0x10c9 │ 0000:07:00.1 │ 14 │ 0x8086 │ 82576 Gigabit Network Connection
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x028000 │ 0x24fb │ 0000:05:00.0 │ 14 │ 0x8086 │ Dual Band Wireless-AC 3168NGW [Stone Peak]
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x030000 │ 0x128b │ 0000:09:00.0 │ 16 │ 0x10de │ GK208B [GeForce GT 710]
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x030000 │ 0x21c4 │ 0000:42:00.0 │ 34 │ 0x10de │ TU116 [GeForce GTX 1660 SUPER]
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x040300 │ 0x0e0f │ 0000:09:00.1 │ 16 │ 0x10de │ GK208 HDMI/DP Audio Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x040300 │ 0x1457 │ 0000:0b:00.3 │ 22 │ 0x1022 │ Family 17h (Models 00h-0fh) HD Audio Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x040300 │ 0x1aeb │ 0000:42:00.1 │ 34 │ 0x10de │ TU116 High Definition Audio Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1450 │ 0000:00:00.0 │ -1 │ 0x1022 │ Family 17h (Models 00h-0fh) Root Complex
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:00:01.0 │ 0 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:00:02.0 │ 3 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:00:03.0 │ 4 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:00:04.0 │ 6 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:00:07.0 │ 7 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:00:08.0 │ 9 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1460 │ 0000:00:18.0 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1461 │ 0000:00:18.1 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1462 │ 0000:00:18.2 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1463 │ 0000:00:18.3 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1464 │ 0000:00:18.4 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1465 │ 0000:00:18.5 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1466 │ 0000:00:18.6 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1467 │ 0000:00:18.7 │ 12 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1460 │ 0000:00:19.0 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1461 │ 0000:00:19.1 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│

 

[MZero]

0x060000 │ 0x1462 │ 0000:00:19.2 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1463 │ 0000:00:19.3 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1464 │ 0000:00:19.4 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1465 │ 0000:00:19.5 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1466 │ 0000:00:19.6 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1467 │ 0000:00:19.7 │ 13 │ 0x1022 │ Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1450 │ 0000:40:00.0 │ -1 │ 0x1022 │ Family 17h (Models 00h-0fh) Root Complex
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:40:01.0 │ 23 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:40:02.0 │ 25 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:40:03.0 │ 26 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:40:04.0 │ 28 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:40:07.0 │ 29 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060000 │ 0x1452 │ 0000:40:08.0 │ 31 │ 0x1022 │ Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060100 │ 0x790e │ 0000:00:14.3 │ 11 │ 0x1022 │ FCH LPC Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1453 │ 0000:00:01.1 │ 1 │ 0x1022 │ Family 17h (Models 00h-0fh) PCIe GPP Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1453 │ 0000:00:01.3 │ 2 │ 0x1022 │ Family 17h (Models 00h-0fh) PCIe GPP Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1453 │ 0000:00:03.1 │ 5 │ 0x1022 │ Family 17h (Models 00h-0fh) PCIe GPP Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1454 │ 0000:00:07.1 │ 8 │ 0x1022 │ Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1454 │ 0000:00:08.1 │ 10 │ 0x1022 │ Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x43b1 │ 0000:01:00.2 │ 14 │ 0x1022 │ X399 Series Chipset PCIe Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x43b4 │ 0000:02:00.0 │ 14 │ 0x1022 │ 300 Series Chipset PCIe Port
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x43b4 │ 0000:02:04.0 │ 14 │ 0x1022 │ 300 Series Chipset PCIe Port
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x43b4 │ 0000:02:05.0 │ 14 │ 0x1022 │ 300 Series Chipset PCIe Port
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x43b4 │ 0000:02:06.0 │ 14 │ 0x1022 │ 300 Series Chipset PCIe Port
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x43b4 │ 0000:02:07.0 │ 14 │ 0x1022 │ 300 Series Chipset PCIe Port
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1453 │ 0000:40:01.2 │ 24 │ 0x1022 │ Family 17h (Models 00h-0fh) PCIe GPP Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1453 │ 0000:40:03.1 │ 27 │ 0x1022 │ Family 17h (Models 00h-0fh) PCIe GPP Bridge
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1454 │ 0000:40:07.1 │ 30 │ 0x1022 │ Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x060400 │ 0x1454 │ 0000:40:08.1 │ 32 │ 0x1022 │ Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x080600 │ 0x1451 │ 0000:00:00.2 │ -1 │ 0x1022 │ Family 17h (Models 00h-0fh) I/O Memory Management Unit
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x080600 │ 0x1451 │ 0000:40:00.2 │ -1 │ 0x1022 │ Family 17h (Models 00h-0fh) I/O Memory Management Unit
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x0c0330 │ 0x43ba │ 0000:01:00.0 │ 14 │ 0x1022 │ X399 Series Chipset USB 3.1 xHCI Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x0c0330 │ 0x145c │ 0000:0a:00.3 │ 19 │ 0x1022 │ Family 17h (Models 00h-0fh) USB 3.0 Host Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x0c0330 │ 0x1aec │ 0000:42:00.2 │ 34 │ 0x10de │ TU116 USB 3.1 Host Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x0c0330 │ 0x145c │ 0000:43:00.3 │ 37 │ 0x1022 │ Family 17h (Models 00h-0fh) USB 3.0 Host Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x0c0500 │ 0x790b │ 0000:00:14.0 │ 11 │ 0x1022 │ FCH SMBus Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x0c8000 │ 0x1aed │ 0000:42:00.3 │ 34 │ 0x10de │ TU116 USB Type-C UCSI Controller
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x108000 │ 0x1456 │ 0000:0a:00.2 │ 18 │ 0x1022 │ Family 17h (Models 00h-0fh) Platform Security Processor (PSP) 3.0 Devic
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x108000 │ 0x1456 │ 0000:43:00.2 │ 36 │ 0x1022 │ Family 17h (Models 00h-0fh) Platform Security Processor (PSP) 3.0 Devic
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x130000 │ 0x145a │ 0000:0a:00.0 │ 17 │ 0x1022 │ Zeppelin/Raven/Raven2 PCIe Dummy Function
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x130000 │ 0x1455 │ 0000:0b:00.0 │ 20 │ 0x1022 │ Zeppelin/Renoir PCIe Dummy Function
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x130000 │ 0x145a │ 0000:43:00.0 │ 35 │ 0x1022 │ Zeppelin/Raven/Raven2 PCIe Dummy Function
├──────────┼────────┼──────────────┼────────────┼────────┼────────────────────────────────────────────────────────────────────────
│ 0x130000 │ 0x1455 │ 0000:44:00.0 │ 38 │ 0x1022 │ Zeppelin/Renoir PCIe Dummy Function
└──────────┴────────┴──────────────┴────────────┴────────┴────────────────────────────────────────────────────────────────────────

 

[MZero]

here the journalctl log its too long , so i cut the middle

 

[MZero]

Update : issue resolved with most ridiculous root cause , was focusing on the pass trough & groups while did not see that the total allocated ram for both VMs exceeding the host ram

while if the hba is removed ram is less due to the zfs disks are not active and controlled by trueNas . now I need to resolve the windows VM ram reporting to pve although the agent installed

 

[Dunuin]

When using PCI passthorugh the VM will always consume the full RAM you assign to it at all times. So its not because ZFS is not active. Have a 32GB RAM Win VM and passthrough a USB controller with nothing attached to it, the VM will always consume the full 32GB RAM, no matter what, even if windows is only needing 4GB. Without the passthough the VM would start with the 4GB Win needs and will grow over time depending on how much RAM Win needs to operate.
And overprovisioning RAM isn't a good idea anyway, if you care about performance or stability.