Read Only

eagle75 · Dec 9, 2023

Hi,

I have installed Proxmox 8.1.3 and then created a VM to install TrueNas Scale on. The system seems fine but I can't see my 2 SATA hard drives that are RAID, but the BIOS sees them and you can see in the logs proxmox sees them. I enabled IOMMU on the system and then added the PCI SATA RAID controller and then when I go to start the VM it fails stating Unable to read Tail (got 0 bytes). and then my system starts throwing out all these errors about IO etc.

Any ideas?

Dunuin · Dec 9, 2023

You shouldn`t use raid controllers with ZFS.
Your PVE disks can't be on the same controller you are trying to passthrough.
And did you verify that your raid controller is the only device in its IoMMU group?

esi_y · Dec 9, 2023

Dunuin said:
You shouldn`t use raid controllers with ZFS.

@eagle75 see also: https://openzfs.github.io/openzfs-d...uning/Hardware.html#hardware-raid-controllers

eagle75 · Dec 9, 2023

Dunuin said:
You shouldn`t use raid controllers with ZFS.
Your PVE disks can't be on the same controller you are trying to passthrough.
And did you verify that your raid controller is the only device in its IoMMU group?

Ok but even if I don’t add the Raid controller I do t see my disks in the truenas vm but they are showing in my bios etc

Dunuin · Dec 9, 2023

eagle75 said:
Ok but even if I don’t add the Raid controller I do t see my disks in the truenas vm but they are showing in my bios etc

VMs can't access any physical hardware unless you use PCI passthrough. So without PCI passthrough no VM will be able to see any real disks.

eagle75 · Dec 9, 2023

Dunuin said:
You shouldn`t use raid controllers with ZFS.
Your PVE disks can't be on the same controller you are trying to passthrough.
And did you verify that your raid controller is the only device in its IoMMU group?

How would one go about confirming the raid controller is the only device in its IoMMU group?

Dunuin · Dec 9, 2023

See the Manual: https://pve.proxmox.com/wiki/PCI_Passthrough#Verify_IOMMU_isolation

eagle75 · Dec 9, 2023

I checked my bios and the drives are not in RAID...the controller is a SATA controller [RAID MODE]. I ran the commands from the manual and this is what I get: The group of the SATA controller is 5 and thats the only group listed once so there is only one group.

class │ device │ id │ iommugroup │ vendor │ device_name │ mdev │ subsystem_device │ subsystem_device_name │ subsystem
╞══════════╪════════╪══════════════╪════════════╪════════╪═════════════════════════════════════════════════════════════════════════════════════════╪══════╪══════════════════╪═════════════════════════╪══════════
│ 0x010400 │ 0x2822 │ 0000:00:17.0 │ 5 │ 0x8086 │ SATA Controller [RAID mode] │ │ 0xb005 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x020000 │ 0x8168 │ 0000:06:00.0 │ 17 │ 0x10ec │ RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller │ │ 0xe000 │ Onboard Ethernet │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x030000 │ 0x3e91 │ 0000:00:02.0 │ 0 │ 0x8086 │ CoffeeLake-S GT2 [UHD Graphics 630] │ │ 0xd000 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x040300 │ 0xa2f0 │ 0000:00:1f.3 │ 16 │ 0x8086 │ 200 Series PCH HD Audio │ │ 0xa182 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x058000 │ 0xa2a1 │ 0000:00:1f.2 │ 16 │ 0x8086 │ 200 Series/Z370 Chipset Family Power Management Controller │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060000 │ 0x3e1f │ 0000:00:00.0 │ 1 │ 0x8086 │ 8th Gen Core 4-core Desktop Processor Host Bridge/DRAM Registers [Coffee Lake S] │ │ 0x5000 │ Z370 AORUS Gaming K3-CF │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060100 │ 0xa2c9 │ 0000:00:1f.0 │ 16 │ 0x8086 │ Z370 Chipset LPC/eSPI Controller │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa2e7 │ 0000:00:1b.0 │ 6 │ 0x8086 │ 200 Series PCH PCI Express Root Port #17 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa2e9 │ 0000:00:1b.2 │ 7 │ 0x8086 │ 200 Series PCH PCI Express Root Port #19 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa2eb │ 0000:00:1b.4 │ 8 │ 0x8086 │ 200 Series PCH PCI Express Root Port #21 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa290 │ 0000:00:1c.0 │ 9 │ 0x8086 │ 200 Series PCH PCI Express Root Port #1 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa293 │ 0000:00:1c.3 │ 10 │ 0x8086 │ 200 Series PCH PCI Express Root Port #4 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa294 │ 0000:00:1c.4 │ 11 │ 0x8086 │ 200 Series PCH PCI Express Root Port #5 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa295 │ 0000:00:1c.5 │ 12 │ 0x8086 │ 200 Series PCH PCI Express Root Port #6 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa296 │ 0000:00:1c.6 │ 13 │ 0x8086 │ 200 Series PCH PCI Express Root Port #7 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa297 │ 0000:00:1c.7 │ 14 │ 0x8086 │ 200 Series PCH PCI Express Root Port #8 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa298 │ 0000:00:1d.0 │ 15 │ 0x8086 │ 200 Series PCH PCI Express Root Port #9 │ │ 0x5001 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x078000 │ 0xa2ba │ 0000:00:16.0 │ 4 │ 0x8086 │ 200 Series PCH CSME HECI #1 │ │ 0x1c3a │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x088000 │ 0x1911 │ 0000:00:08.0 │ 2 │ 0x8086 │ Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model │ │ 0x5000 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x0c0330 │ 0xa2af │ 0000:00:14.0 │ 3 │ 0x8086 │ 200 Series/Z370 Chipset Family USB 3.0 xHCI Controller │ │ 0x5007 │ │ 0x1458
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x0c0500 │ 0xa2a3 │ 0000:00:1f.4 │ 16 │ 0x8086 │ 200 Series/Z370 Chipset Family SMBus Controller │ │ 0x5001 │ │ 0x1458
└──────────┴────────┴──────────────┴────────────┴────────┴─────────────────────────────────────────────────────────────────────────────────────────┴──────┴──────────────────┴─────────────────────────┴──────────
root@pve:~#

Dunuin · Dec 9, 2023

Put your output between CODE-tags or it's unreadable.

eagle75 · Dec 9, 2023

Code:

class    │ device │ id           │ iommugroup │ vendor │ device_name                                                                             │ mdev │ subsystem_device │ subsystem_device_name   │ subsystem
╞══════════╪════════╪══════════════╪════════════╪════════╪═════════════════════════════════════════════════════════════════════════════════════════╪══════╪══════════════════╪═════════════════════════╪══════════
│ 0x010400 │ 0x2822 │ 0000:00:17.0 │          5 │ 0x8086 │ SATA Controller [RAID mode]                                                             │      │ 0xb005           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x020000 │ 0x8168 │ 0000:06:00.0 │         17 │ 0x10ec │ RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller                               │      │ 0xe000           │ Onboard Ethernet        │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x030000 │ 0x3e91 │ 0000:00:02.0 │          0 │ 0x8086 │ CoffeeLake-S GT2 [UHD Graphics 630]                                                     │      │ 0xd000           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x040300 │ 0xa2f0 │ 0000:00:1f.3 │         16 │ 0x8086 │ 200 Series PCH HD Audio                                                                 │      │ 0xa182           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x058000 │ 0xa2a1 │ 0000:00:1f.2 │         16 │ 0x8086 │ 200 Series/Z370 Chipset Family Power Management Controller                              │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060000 │ 0x3e1f │ 0000:00:00.0 │          1 │ 0x8086 │ 8th Gen Core 4-core Desktop Processor Host Bridge/DRAM Registers [Coffee Lake S]        │      │ 0x5000           │ Z370 AORUS Gaming K3-CF │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060100 │ 0xa2c9 │ 0000:00:1f.0 │         16 │ 0x8086 │ Z370 Chipset LPC/eSPI Controller                                                        │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa2e7 │ 0000:00:1b.0 │          6 │ 0x8086 │ 200 Series PCH PCI Express Root Port #17                                                │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa2e9 │ 0000:00:1b.2 │          7 │ 0x8086 │ 200 Series PCH PCI Express Root Port #19                                                │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa2eb │ 0000:00:1b.4 │          8 │ 0x8086 │ 200 Series PCH PCI Express Root Port #21                                                │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa290 │ 0000:00:1c.0 │          9 │ 0x8086 │ 200 Series PCH PCI Express Root Port #1                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa293 │ 0000:00:1c.3 │         10 │ 0x8086 │ 200 Series PCH PCI Express Root Port #4                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa294 │ 0000:00:1c.4 │         11 │ 0x8086 │ 200 Series PCH PCI Express Root Port #5                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa295 │ 0000:00:1c.5 │         12 │ 0x8086 │ 200 Series PCH PCI Express Root Port #6                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa296 │ 0000:00:1c.6 │         13 │ 0x8086 │ 200 Series PCH PCI Express Root Port #7                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa297 │ 0000:00:1c.7 │         14 │ 0x8086 │ 200 Series PCH PCI Express Root Port #8                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x060400 │ 0xa298 │ 0000:00:1d.0 │         15 │ 0x8086 │ 200 Series PCH PCI Express Root Port #9                                                 │      │ 0x5001           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x078000 │ 0xa2ba │ 0000:00:16.0 │          4 │ 0x8086 │ 200 Series PCH CSME HECI #1                                                             │      │ 0x1c3a           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x088000 │ 0x1911 │ 0000:00:08.0 │          2 │ 0x8086 │ Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model │      │ 0x5000           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x0c0330 │ 0xa2af │ 0000:00:14.0 │          3 │ 0x8086 │ 200 Series/Z370 Chipset Family USB 3.0 xHCI Controller                                  │      │ 0x5007           │                         │ 0x1458   
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼─────────────────────────┼──────────
│ 0x0c0500 │ 0xa2a3 │ 0000:00:1f.4 │         16 │ 0x8086 │ 200 Series/Z370 Chipset Family SMBus Controller                                         │      │ 0x5001           │                         │ 0x1458   
└──────────┴────────┴──────────────┴────────────┴────────┴─────────────────────────────────────────────────────────────────────────────────────────┴──────┴──────────────────┴─────────────────────────┴──────────
root@pve:~#

Dunuin · Dec 9, 2023

And you are trying to passthrough "0000:00:17.0"? That would be n its own IOMMU group.
But I can't see any other disk controllers and no NVMe SSDs, so you are probably using the same disk controller for your PVE disks?
Then this won'T work as you can only passthrough the whole controller with all disks attached to it which then all wouldn't be available anymore to the PVe host or any other VMs.

eagle75 · Dec 9, 2023

Dunuin said:
And you are trying to passthrough "0000:00:17.0"? That would be n its own IOMMU group.
But I can't see any other disk controllers and no NVMe SSDs, so you are probably using the same disk controller for your PVE disks?
Then this won'T work as you can only passthrough the whole controller with all disks attached to it which then all wouldn't be available anymore to the PVe host or any other VMs.

That is correct...the only controller is on the motherboard there are no others.

Obednal1 · Dec 9, 2023

This is the HBA I got after reading it recommended by others https://www.ebay.co.uk/itm/304493452768?var=603516600431, hope it helps

Search

Search

Read Only

eagle75

New Member

Dunuin

Distinguished Member

esi_y

Renowned Member

eagle75

New Member

Dunuin

Distinguished Member

eagle75

New Member

Dunuin

Distinguished Member

eagle75

New Member

Dunuin

Distinguished Member

eagle75

New Member

Dunuin

Distinguished Member

eagle75

New Member

Obednal1

New Member

We value your privacy