VM bleibt beim Start hängen wenn HBA per PCI passthrough durchgereicht wird

iPat1982 · Nov 19, 2022

Hallo Zusammen,

ich versuche gerade vergeblich den Supermicro S3008L-L8e HBA 3008 8-Port SAS/SATA 12G an TrueNas durchzureichen. Sobald die VM startet, hängt sie sich auf sobald der HBA durchgereicht werden soll. Ohne den HBA startet die VM problemlos. Wenn ich das durchreichen mit der NIC versuche, klappt es. Irgendwie nur mit dem HBA nicht. Hat hier vielleicht jemand einen Tip?

Im Bios ist VT-d, GNA Device und X2APIC Opt Out auf Enabled.

Die Anleitung Anleitung habe ich durch.

Code:

root@pve1:~# dmesg | grep -e DMAR -e IOMMU
[    0.007518] ACPI: DMAR 0x000000008C629BD0 000070 (v01 INTEL  EDK2     00000002      01000013)
[    0.007553] ACPI: Reserving DMAR table memory at [mem 0x8c629bd0-0x8c629c3f]
[    0.049491] DMAR: IOMMU enabled
[    0.139343] DMAR: Host address width 39
[    0.139344] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.139348] DMAR: dmar0: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.139350] DMAR: RMRR base: 0x0000008cf19000 end: 0x0000008d162fff
[    0.139352] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 0
[    0.139353] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.139354] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.139354] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[    0.142367] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.427450] DMAR: No ATSR found
[    0.427451] DMAR: No SATC found
[    0.427452] DMAR: dmar0: Using Queued invalidation
[    0.428596] DMAR: Intel(R) Virtualization Technology for Directed I/O

Eigentlich sollte es bis hier her passen...

Code:

root@pve1:~# dmesg | grep 'remapping'
[    0.142367] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.142368] x2apic: IRQ remapping doesn't support X2APIC mode


root@pve1:~# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/17/devices/0000:03:00.0
/sys/kernel/iommu_groups/7/devices/0000:00:17.0
/sys/kernel/iommu_groups/15/devices/0000:00:1e.0
/sys/kernel/iommu_groups/5/devices/0000:00:15.1
/sys/kernel/iommu_groups/5/devices/0000:00:15.0
/sys/kernel/iommu_groups/13/devices/0000:00:1c.4
/sys/kernel/iommu_groups/3/devices/0000:00:12.0
/sys/kernel/iommu_groups/21/devices/0000:09:00.0
/sys/kernel/iommu_groups/11/devices/0000:00:1c.0
/sys/kernel/iommu_groups/1/devices/0000:00:01.0
/sys/kernel/iommu_groups/1/devices/0000:01:00.0
/sys/kernel/iommu_groups/18/devices/0000:04:00.0
/sys/kernel/iommu_groups/8/devices/0000:00:1b.0
/sys/kernel/iommu_groups/16/devices/0000:00:1f.0
/sys/kernel/iommu_groups/16/devices/0000:00:1f.5
/sys/kernel/iommu_groups/16/devices/0000:00:1f.4
/sys/kernel/iommu_groups/6/devices/0000:00:16.4
/sys/kernel/iommu_groups/6/devices/0000:00:16.0
/sys/kernel/iommu_groups/6/devices/0000:00:16.1
/sys/kernel/iommu_groups/14/devices/0000:00:1d.0
/sys/kernel/iommu_groups/4/devices/0000:00:14.2
/sys/kernel/iommu_groups/4/devices/0000:00:14.0
/sys/kernel/iommu_groups/12/devices/0000:00:1c.1
/sys/kernel/iommu_groups/2/devices/0000:00:08.0
/sys/kernel/iommu_groups/20/devices/0000:08:00.0
/sys/kernel/iommu_groups/10/devices/0000:00:1b.5
/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/19/devices/0000:07:00.0
/sys/kernel/iommu_groups/19/devices/0000:06:00.0
/sys/kernel/iommu_groups/9/devices/0000:00:1b.4

Muss man noch etwas in der Firmware vom HBA umstellen oder liegt es am i3? Eigentlich sollte das doch klappen.

Vielen lieben Dank,
Gruß Patrick

Neobin · Nov 20, 2022

Bitte mal die vollständige Ausgabe auf dem PVE-Host in Code-Tags posten von:

Bash:

for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU group %s ' "$n"; lspci -nns "${d##*/}"; done

Desweiteren auch die Konfiguration der TrueNAS-VM mit dem HBA: qm config DeineVMID und die vollständige PVE-Version: pveversion -v

Sowie die genaue Modellbezeichnung des Mainboards und der CPU.

Edit: Ebenfalls den vollständigen Task-Log des Starts der TrueNAS-VM mit HBA.

iPat1982 · Nov 20, 2022

Hallo Neobin,

vielen lieben dank für deine Hilfe. Hoffe du kannst mir dabei helfen... Ich bin etwas ratlos dabei.

Die Hardware hatte ich in die Signatur geschrieben, aber wohl nicht gespeichert.... Sorry dafür.

- Supermicro CSE-822T-333LPB 2U
- Supermicro X11SCH-F
- Intel Core i3-9100F
- 2 x 16GB DDR4-2666 CL19 ECC unbuffered Samsung M391A2K43BB1-CTD
- Supermicro S3008L-L8e HBA 3008 8-Port SAS/SATA 12G

- 2 x Samsung PM983 M.2 NVMe PCIe 3.0 x4 22110 SSD 960GB
- 2 x Intel DC S4510 SSD 2,5" 240GB
- 4 x Seagate Ironwolf Pro ST4000NE001 3,5" SATA 4 TB

Aus irgend einem Grund ist die VM jetzt dann nach dem 10ten Versuch gestartet... Warum Weiß ich aber noch nicht... Werde heute Abend noch testen...


root@pve1:~# for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU group %s ' "$n"; lspci -nns "${d##*/}"; done
IOMMU group 0 00:00.0 Host bridge [0600]: Intel Corporation 8th Gen Core 4-core Desktop Processor Host Bridge/DRAM Registers [Coffee Lake S] [8086:3e1f] (rev 08)
IOMMU group 10 00:1b.5 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #22 [8086:a32d] (rev f0)
IOMMU group 11 00:1c.0 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #1 [8086:a338] (rev f0)
IOMMU group 12 00:1c.1 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #2 [8086:a339] (rev f0)
IOMMU group 13 00:1c.4 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #5 [8086:a33c] (rev f0)
IOMMU group 14 00:1d.0 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #9 [8086:a330] (rev f0)
IOMMU group 15 00:1e.0 Communication controller [0780]: Intel Corporation Cannon Lake PCH Serial IO UART Host Controller [8086:a328] (rev 10)
IOMMU group 16 00:1f.0 ISA bridge [0601]: Intel Corporation Cannon Point-LP LPC Controller [8086:a309] (rev 10)
IOMMU group 16 00:1f.4 SMBus [0c05]: Intel Corporation Cannon Lake PCH SMBus Controller [8086:a323] (rev 10)
IOMMU group 16 00:1f.5 Serial bus controller [0c80]: Intel Corporation Cannon Lake PCH SPI Controller [8086:a324] (rev 10)
IOMMU group 17 03:00.0 Ethernet controller [0200]: Intel Corporation I210 Gigabit Network Connection [8086:1533] (rev 03)
IOMMU group 18 04:00.0 Ethernet controller [0200]: Intel Corporation I210 Gigabit Network Connection [8086:1533] (rev 03)
IOMMU group 19 06:00.0 PCI bridge [0604]: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge [1a03:1150] (rev 04)
IOMMU group 19 07:00.0 VGA compatible controller [0300]: ASPEED Technology, Inc. ASPEED Graphics Family [1a03:2000] (rev 41)
IOMMU group 1 00:01.0 PCI bridge [0604]: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) [8086:1901] (rev 08)
IOMMU group 1 01:00.0 Serial Attached SCSI controller [0107]: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 [1000:0097] (rev 02)
IOMMU group 20 08:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 [144d:a808]
IOMMU group 21 09:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 [144d:a808]
IOMMU group 2 00:08.0 System peripheral [0880]: Intel Corporation Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model [8086:1911]
IOMMU group 3 00:12.0 Signal processing controller [1180]: Intel Corporation Cannon Lake PCH Thermal Controller [8086:a379] (rev 10)
IOMMU group 4 00:14.0 USB controller [0c03]: Intel Corporation Cannon Lake PCH USB 3.1 xHCI Host Controller [8086:a36d] (rev 10)
IOMMU group 4 00:14.2 RAM memory [0500]: Intel Corporation Cannon Lake PCH Shared SRAM [8086:a36f] (rev 10)
IOMMU group 5 00:15.0 Serial bus controller [0c80]: Intel Corporation Cannon Lake PCH Serial IO I2C Controller #0 [8086:a368] (rev 10)
IOMMU group 5 00:15.1 Serial bus controller [0c80]: Intel Corporation Cannon Lake PCH Serial IO I2C Controller #1 [8086:a369] (rev 10)
IOMMU group 6 00:16.0 Communication controller [0780]: Intel Corporation Cannon Lake PCH HECI Controller [8086:a360] (rev 10)
IOMMU group 6 00:16.1 Communication controller [0780]: Intel Corporation Device [8086:a361] (rev 10)
IOMMU group 6 00:16.4 Communication controller [0780]: Intel Corporation Cannon Lake PCH HECI Controller #2 [8086:a364] (rev 10)
IOMMU group 7 00:17.0 SATA controller [0106]: Intel Corporation Cannon Lake PCH SATA AHCI Controller [8086:a352] (rev 10)
IOMMU group 8 00:1b.0 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #17 [8086:a340] (rev f0)
IOMMU group 9 00:1b.4 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 [8086:a32c] (rev f0)


root@pve1:~# qm config 100
boot: order=scsi0;net0
cores: 2
hostpci0: 0000:01:00.0
memory: 8192
meta: creation-qemu=6.2.0,ctime=1668802806
name: TrueNasCore01
net0: virtio=FE:7E:06:16:D9:71,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
scsi0: Pool1:vm-100-disk-0,size=32G
scsihw: virtio-scsi-pci
smbios1: uuid=0d81d5db-3cef-4c3f-8a6b-36023fdc4aac
sockets: 1
vmgenid: 1eb79393-b7bf-4659-bf72-8318798cec3b


root@pve1:~# pveversion -v
proxmox-ve: 7.2-1 (running kernel: 5.15.30-2-pve)
pve-manager: 7.2-3 (running version: 7.2-3/c743d6c1)
pve-kernel-helper: 7.2-2
pve-kernel-5.15: 7.2-1
pve-kernel-5.15.30-2-pve: 5.15.30-3
ceph-fuse: 15.2.16-pve1
corosync: 3.1.5-pve2
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve2
libproxmox-acme-perl: 1.4.2
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.1-8
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.1-6
libpve-guest-common-perl: 4.1-2
libpve-http-server-perl: 4.1-1
libpve-storage-perl: 7.2-2
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.12-1
lxcfs: 4.0.12-pve1
novnc-pve: 1.3.0-3
proxmox-backup-client: 2.1.8-1
proxmox-backup-file-restore: 2.1.8-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.4-10
pve-cluster: 7.2-1
pve-container: 4.2-1
pve-docs: 7.2-2
pve-edk2-firmware: 3.20210831-2
pve-firewall: 4.2-5
pve-firmware: 3.4-1
pve-ha-manager: 3.3-4
pve-i18n: 2.7-1
pve-qemu-kvm: 6.2.0-5
pve-xtermjs: 4.16.0-1
qemu-server: 7.2-2
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.7.1~bpo11+1
vncterm: 1.7-1
zfsutils-linux: 2.1.4-pve1

Neobin · Nov 20, 2022

iPat1982 said:
proxmox-ve: 7.2-1 (running kernel: 5.15.30-2-pve) pve-manager: 7.2-3 (running version: 7.2-3/c743d6c1)

Ich würde als erstes mal den PVE-Host aktualisieren. Sollte dieser Host keine Subscription haben: [1]. Danach den Neustart nicht vergessen, damit auch mit dem aktualisierten Kernel gebootet wird.

iPat1982 said:
hostpci0: 0000:01:00.0

Mal ohne ROM-Bar versuchen: Das PCI Device im Hardware-Tab der VM editieren, in dem Pop-up den Advanced-View aktivieren und den Haken bei "ROM-Bar" rausnehmen.

Im Optimalfall sollte die VM für PCIe-Passthrough auch Q35 (und UEFI) sein und dann auch "PCI-Express" für das PCI Device aktiviert sein.
Auch würde ich als OS-Type für die VM "Other" nehmen, da TrueNAS Core kein Linux sondern FreeBSD ist.

[1] https://forum.proxmox.com/threads/im-unable-to-upload-files-to-my-proxmox-server.114541/#post-495356

iPat1982 · Nov 21, 2022

Neobin said:
Ich würde als erstes mal den PVE-Host aktualisieren. Sollte dieser Host keine Subscription haben: [1]. Danach den Neustart nicht vergessen, damit auch mit dem aktualisierten Kernel gebootet wird.

Mal ohne ROM-Bar versuchen: Das PCI Device im Hardware-Tab der VM editieren, in dem Pop-up den Advanced-View aktivieren und den Haken bei "ROM-Bar" rausnehmen.

Im Optimalfall sollte die VM für PCIe-Passthrough auch Q35 (und UEFI) sein und dann auch "PCI-Express" für das PCI Device aktiviert sein.
Auch würde ich als OS-Type für die VM "Other" nehmen, da TrueNAS Core kein Linux sondern FreeBSD ist.

[1] https://forum.proxmox.com/threads/im-unable-to-upload-files-to-my-proxmox-server.114541/#post-495356

Hallo Neobin,

ich habe den Host jetzt mal aktualisiert. Hatte Proxmox neu Installiert und die Subskription hat daher gemeckert

Musste erst sehen wie ich das in den Griff bekomme.

Ich habe es jetzt mal ohne ROM-Bar versucht und als "Other" mit UEFI. Geklappt hat es aber trotzdem nicht. Beim Installieren zeigt er die Platten vom HBA an, den Neustart schafft das System dann nicht.

Ich habe die Ausgabe mit den neuen Einstellungen mal angehängt. Leider scheitert es dabei schon beim laden des UEFI QEMU

Vielen lieben dank,
Patrick


root@pve1:~# for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU group %s ' "$n"; lspci -nns "${d##*/}"; done
IOMMU group 0 00:00.0 Host bridge [0600]: Intel Corporation 8th Gen Core 4-core Desktop Processor Host Bridge/DRAM Registers [Coffee Lake S] [8086:3e1f] (rev 08)
IOMMU group 10 00:1b.5 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #22 [8086:a32d] (rev f0)
IOMMU group 11 00:1c.0 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #1 [8086:a338] (rev f0)
IOMMU group 12 00:1c.1 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #2 [8086:a339] (rev f0)
IOMMU group 13 00:1c.4 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #5 [8086:a33c] (rev f0)
IOMMU group 14 00:1d.0 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #9 [8086:a330] (rev f0)
IOMMU group 15 00:1e.0 Communication controller [0780]: Intel Corporation Cannon Lake PCH Serial IO UART Host Controller [8086:a328] (rev 10)
IOMMU group 16 00:1f.0 ISA bridge [0601]: Intel Corporation Cannon Point-LP LPC Controller [8086:a309] (rev 10)
IOMMU group 16 00:1f.4 SMBus [0c05]: Intel Corporation Cannon Lake PCH SMBus Controller [8086:a323] (rev 10)
IOMMU group 16 00:1f.5 Serial bus controller [0c80]: Intel Corporation Cannon Lake PCH SPI Controller [8086:a324] (rev 10)
IOMMU group 17 03:00.0 Ethernet controller [0200]: Intel Corporation I210 Gigabit Network Connection [8086:1533] (rev 03)
IOMMU group 18 04:00.0 Ethernet controller [0200]: Intel Corporation I210 Gigabit Network Connection [8086:1533] (rev 03)
IOMMU group 19 06:00.0 PCI bridge [0604]: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge [1a03:1150] (rev 04)
IOMMU group 19 07:00.0 VGA compatible controller [0300]: ASPEED Technology, Inc. ASPEED Graphics Family [1a03:2000] (rev 41)
IOMMU group 1 00:01.0 PCI bridge [0604]: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) [8086:1901] (rev 08)
IOMMU group 1 01:00.0 Serial Attached SCSI controller [0107]: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 [1000:0097] (rev 02)
IOMMU group 20 08:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 [144d:a808]
IOMMU group 21 09:00.0 Non-Volatile memory controller [0108]: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 [144d:a808]
IOMMU group 2 00:08.0 System peripheral [0880]: Intel Corporation Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model [8086:1911]
IOMMU group 3 00:12.0 Signal processing controller [1180]: Intel Corporation Cannon Lake PCH Thermal Controller [8086:a379] (rev 10)
IOMMU group 4 00:14.0 USB controller [0c03]: Intel Corporation Cannon Lake PCH USB 3.1 xHCI Host Controller [8086:a36d] (rev 10)
IOMMU group 4 00:14.2 RAM memory [0500]: Intel Corporation Cannon Lake PCH Shared SRAM [8086:a36f] (rev 10)
IOMMU group 5 00:15.0 Serial bus controller [0c80]: Intel Corporation Cannon Lake PCH Serial IO I2C Controller #0 [8086:a368] (rev 10)
IOMMU group 5 00:15.1 Serial bus controller [0c80]: Intel Corporation Cannon Lake PCH Serial IO I2C Controller #1 [8086:a369] (rev 10)
IOMMU group 6 00:16.0 Communication controller [0780]: Intel Corporation Cannon Lake PCH HECI Controller [8086:a360] (rev 10)
IOMMU group 6 00:16.1 Communication controller [0780]: Intel Corporation Device [8086:a361] (rev 10)
IOMMU group 6 00:16.4 Communication controller [0780]: Intel Corporation Cannon Lake PCH HECI Controller #2 [8086:a364] (rev 10)
IOMMU group 7 00:17.0 SATA controller [0106]: Intel Corporation Cannon Lake PCH SATA AHCI Controller [8086:a352] (rev 10)
IOMMU group 8 00:1b.0 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #17 [8086:a340] (rev f0)
IOMMU group 9 00:1b.4 PCI bridge [0604]: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 [8086:a32c] (rev f0)
root@pve1:~#


root@pve1:~# qm config 103
bios: ovmf
boot: order=ide0;ide2;net0
cores: 2
efidisk0: Pool1:vm-103-disk-0,efitype=4m,pre-enrolled-keys=1,size=1M
hostpci0: 0000:01:00.0,rombar=0
ide0: Pool1:vm-103-disk-1,size=32G
ide2: local:iso/TrueNAS-13.0-U3.iso,media=cdrom,size=1017552K
machine: q35
memory: 8192
meta: creation-qemu=7.0.0,ctime=1669040963
name: Neobin01
net0: e1000=52:E1:FD:59:81:51,bridge=vmbr0,firewall=1
numa: 0
ostype: other
scsihw: virtio-scsi-pci
smbios1: uuid=b6dc172c-b864-4e22-88c3-782607f7fbca
sockets: 1
vmgenid: a6046a49-960f-4a92-9cfa-31d11b8ad2c5


root@pve1:~# pveversion -v
proxmox-ve: 7.2-1 (running kernel: 5.15.64-1-pve)
pve-manager: 7.2-11 (running version: 7.2-11/b76d3178)
pve-kernel-5.15: 7.2-13
pve-kernel-helper: 7.2-13
pve-kernel-5.15.64-1-pve: 5.15.64-1
pve-kernel-5.15.30-2-pve: 5.15.30-3
ceph-fuse: 15.2.16-pve1
corosync: 3.1.5-pve2
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve1
libproxmox-acme-perl: 1.4.2
libproxmox-backup-qemu0: 1.3.1-1
libpve-access-control: 7.2-4
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.2-3
libpve-guest-common-perl: 4.1-4
libpve-http-server-perl: 4.1-4
libpve-storage-perl: 7.2-10
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 5.0.0-3
lxcfs: 4.0.12-pve1
novnc-pve: 1.3.0-3
proxmox-backup-client: 2.2.7-1
proxmox-backup-file-restore: 2.2.7-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.5.1
pve-cluster: 7.2-2
pve-container: 4.2-3
pve-docs: 7.2-2
pve-edk2-firmware: 3.20220526-1
pve-firewall: 4.2-6
pve-firmware: 3.5-6
pve-ha-manager: 3.4.0
pve-i18n: 2.7-2
pve-qemu-kvm: 7.0.0-4
pve-xtermjs: 4.16.0-1
qemu-server: 7.2-4
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.7.1~bpo11+1
vncterm: 1.7-1
zfsutils-linux: 2.1.6-pve1
root@pve1:~#

Neobin · Nov 22, 2022

Mal Secure Boot deaktivieren: Beim Start der VM in der Konsole direkt ESC (mehrfach) drücken, um ins "UEFI"/OVMF zu kommen. Dort dann (aus dem Gedächtnis): "Device Manager" -> "Secure Boot Configuration" -> "Attempt Secure Boot" -> das "X" rausnehmen.

Sollte das bei der bestehenden VM nicht helfen, würde ich nochmal mit einer komplett Frischen neu anfangen. (Weil ja schon mit aktiviertem Secure Boot installiert wurde.)
Deine letzte VM-Config passt soweit; nur würde ich die vDisk auf SCSI statt IDE und die Netzwerkkarte auf VirtIO statt E1000 stellen.

Neue VM wie besprochen erstellen
HBA noch nicht hinzufügen
VM starten
Secure Boot deaktivieren
TrueNAS installieren
TrueNAS booten und auf Funktion prüfen
TrueNAS/VM herunterfahren
Backup/Snapshot der VM erstellen
HBA hinzufügen und "PCI-Express" unter "Advanced" aktivieren (ggf. mit und ohne "ROM-Bar" versuchen)
VM starten

Den HBA hast du an: vfio-pci gebunden und/oder den Treiber geblacklisted?: [1]
Wie ist die Ausgabe auf dem PVE-Host von: lspci -nnk -s 01:00 direkt nach einem Neustart des PVE-Hosts und bevor die TrueNAS-VM mit dem HBA gestartet wurde?
Und wie ist die Ausgabe des gleichen Befehls nachdem die TrueNAS-VM mit dem HBA gestartet wurde?

[1] https://pve.proxmox.com/wiki/PCI(e)_Passthrough#_host_device_passthrough

iPat1982 · Nov 22, 2022

Mal Secure Boot deaktivieren: Beim Start der VM in der Konsole direkt ESC (mehrfach) drücken, um ins "UEFI"/OVMF zu kommen. Dort dann (aus dem Gedächtnis): "Device Manager" -> "Secure Boot Configuration" -> "Attempt Secure Boot" -> das "X" rausnehmen.

Dein Gedächtnis hat sehr gut funktioniert. Ohne Secure Boot startet die VM ohne Probleme. Dabei ist es dann egal ob mit oder ohne "ROM-Bar". Auch wenn ich eine neue VM anlege mit SCSI und VirtIO klappt es... Das einzige was sich geändert hat, war meine Bootreihenfolge. Beim Neustart von Proxmox hat er mir eine TrueNas Platte angezeigt, von der er nicht starten konnte.

Den HBA habe ich nicht an: vfio-pci gebunden und auch nicht geblacklisted. Die Ausgabe von lspci -nnk -s 01:00 ändert sich bei mir tatsächlich von

Kernel driver in use: mpt3sas
Kernel modules: mpt3sas

in

Kernel driver in use: vfio-pci
Kernel modules: mpt3sas

Also hier muss ich noch einmal Hand anlegen. Das hatte ich bisher echt überlesen...

Gibt es eigentlich eine Möglichkeit den Startvorgang einer VM in Nachhinein anzusehen? Ich glaube bei TrueNAS Core kommt beim Startvorgang ein Fehler. Er ist aber sehr schnell weg. Super währe es wenn ich mir das ganze nach dem Start ansehen könnte.

Da dies mein erster Versuch mit Proxmox ist, bin ich in diesem Bereich nicht besonders fit und schaue mir das gerade erst an. Aktuell probiere ich aus ob ich TrueNAS Core mit VMs, TrueNas Scale mit VMs oder Proxmox mit TrueNAS Core als VM laufen lassen werde. Aktuell geht eine leichte Tendenz dazu eventuell einen Proxmox und ein TrueNAS Core separat zu betreiben... Gibt es eigentlich für Proxmox eine separate Kompatibilitätsliste oder einen Bauvorschlag für einen Sparsamen Server?

Für den ersten Moment hast du mir unglaublich viel weiter geholfen. Da morgen das Rack geliefert werden soll, komme ich morgen wohl nicht dazu etwas zu probieren. Abgesehen davon werde ich wohl die Doku von Proxmox noch genauer lesen. Auf viele Dinge hätte ich selbst kommen können. Vielen lieben dank für deine Hilfe. Sollten noch fragen sein, versuche ich es hier wieder...

Neobin · Nov 23, 2022

Freut mich zu hören, dass es nun funktioniert.

iPat1982 said:
Gibt es eigentlich eine Möglichkeit den Startvorgang einer VM in Nachhinein anzusehen? Ich glaube bei TrueNAS Core kommt beim Startvorgang ein Fehler. Er ist aber sehr schnell weg. Super währe es wenn ich mir das ganze nach dem Start ansehen könnte.

Innerhalb der VM müsstest du schauen, wie es für das jeweilige Betriebssystem funktioniert bzw. wo die Logs gespeichert werden.
Müsste bei FreeBSD auch das Verzeichnis: /var/log/ sein. Mal schauen ob bei: dmesg -a das Gesuchte dabei ist.

iPat1982 said:
Gibt es eigentlich für Proxmox eine separate Kompatibilitätsliste oder einen Bauvorschlag für einen Sparsamen Server?

Proxmox-Produkte basieren auf Debian (Linux) mit einem angepassten/erweiterten Ubuntu-Kernel. Daran kann man sich bei der Hardwareauswahl orientieren.
Eine vollständige Kompatibilitätsliste würde wohl "etwas" groß werden.

Search

Search

VM bleibt beim Start hängen wenn HBA per PCI passthrough durchgereicht wird

iPat1982

New Member

Neobin

Famous Member

iPat1982

New Member

Neobin

Famous Member

iPat1982

New Member

Neobin

Famous Member

iPat1982

New Member

Neobin

Famous Member