[SOLVED] Kein IOMMU trotz boot flag

[User5665]

ah ok hier sieht man den fehler:



das system bootet mit zfs auf uefi, da wird nicht via grub sonder systemd-boot gebootet

hier muss man die kernel cmdline anders anpassen
siehe: https://pve.proxmox.com/wiki/PCI(e)_Passthrough#_general_requirements
(linkt unter anderem auf) https://pve.proxmox.com/wiki/Host_Bootloader#sysboot_edit_kernel_cmdline

Hallo dcsapak,

ich versuche gerade IOMMU auf meinem HPE ProLiant DL380 gen9 zu aktivieren (mit CPU E5-2650v3, die definitiv IOMMU unterstützt).
Obwohl ich alle Schritte so wie in der PVE Wiki befolge, ist mein Output des Befehls: "dmesg | grep -e DMAR -e IOMMU"

root@proliant:~# dmesg | grep -e DMAR -e IOMMU
[    0.000000] ACPI: DMAR 0x000000007B7FD000 000294 (v01 HP     ProLiant 00000001 HP   00000001)
[    0.000000] ACPI: Reserving DMAR table memory at [mem 0x7b7fd000-0x7b7fd293]
[    0.000000] DMAR: Host address width 46
[    0.000000] DMAR: DRHD base: 0x000000fbffc000 flags: 0x0
[    0.000000] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap d2078c106f0466 ecap f020df
[    0.000000] DMAR: DRHD base: 0x000000c7ffc000 flags: 0x1
[    0.000000] DMAR: dmar1: reg_base_addr c7ffc000 ver 1:0 cap d2078c106f0466 ecap f020df
[    0.000000] DMAR: RMRR base: 0x00000079174000 end: 0x00000079176fff
[    0.000000] DMAR: RMRR base: 0x000000791f4000 end: 0x000000791f7fff
[    0.000000] DMAR: RMRR base: 0x000000791de000 end: 0x000000791f3fff
[    0.000000] DMAR: RMRR base: 0x000000791cb000 end: 0x000000791dbfff
[    0.000000] DMAR: RMRR base: 0x000000791dc000 end: 0x000000791ddfff
[    0.000000] DMAR-IR: IOAPIC id 10 under DRHD base  0xfbffc000 IOMMU 0
[    0.000000] DMAR-IR: IOAPIC id 8 under DRHD base  0xc7ffc000 IOMMU 1
[    0.000000] DMAR-IR: IOAPIC id 9 under DRHD base  0xc7ffc000 IOMMU 1
[    0.000000] DMAR-IR: HPET id 0 under DRHD base 0xc7ffc000
[    0.000000] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.000000] DMAR-IR: Enabled IRQ remapping in x2apic mode
root@proliant:~#

mir sagt dieser Output aber leider nichts... außer, dass die Aktivierung von IOMMU nicht funktioniert hat (dasselbe sagt das Proxmox Interface wenn ich versuche, eine PCI Hardware an eine VM zu hängen).

Ich bin auf deinen Tipp gestoßen, zu schauen ob in "nano /proc/cmdline" auch steht, dass das System via systemd-boot und nicht via grub bootet. In der Datei /proc/cmdline steht bei mir ebenfalls:

initrd=\EFI\proxmox\5.13.19-2-pve\initrd.img-5.13.19-2-pve #root=ZFS=rpool/ROOT/pve-1 boot=zfs

Ich habe aber auch wie in der Wiki beschrieben "/etc/kernel/cmdline" mit

root=ZFS=rpool/ROOT/pve-1 boot=zfs quiet intel_iommu=on

um "intel_iommu=on" erweitert und mit dem Befehl "pve-efiboot-tool refresh" die Änderungen übernommen.
Interessanterweise, wenn ich aber den Befehl "cat /proc/cmdline" abschicke, kommt zurück:

initrd=\EFI\proxmox\5.13.19-2-pve\initrd.img-5.13.19-2-pve #root=ZFS=rpool/ROOT/pve-1 boot=zfs

als wäre die Änderung garnicht übernommen worden?

Fällt dir ein, was das Problem sein kann?
Ich bin um jede Hilfe dankbar.

 

[Stoiko Ivanov]

als wäre die Änderung garnicht übernommen worden?

Fällt dir ein, was das Problem sein kann?

a) wurde das system nach `pve-efiboot-tool refresh` rebooted? (p.s. `proxmox-boot-tool` statt `pve-efiboot-tool` verwenden (ist aber derzeit ohnehin ein symlink)

falls ja könnte ich mir noch vorstellen, dass das system von einer efi partition bootet die nicht in /etc/kernel/proxmox-boot-uuids eingetragen ist?
(vielleicht wurde ja mal von einem USB-stick gebootet?)

jedenfalls würde da das output von:
* `proxmox-boot-tool refresh`
* `lsblk` (vielleicht sehen wir ja welche partition für die ESP noch in frage kommt)
helfen
(und auch im BIOS des Systems überprüfen von was genau gebootet wird)

 

[User5665]

a) wurde das system nach `pve-efiboot-tool refresh` rebooted? (p.s. `proxmox-boot-tool` statt `pve-efiboot-tool` verwenden (ist aber derzeit ohnehin ein symlink)

falls ja könnte ich mir noch vorstellen, dass das system von einer efi partition bootet die nicht in /etc/kernel/proxmox-boot-uuids eingetragen ist?
(vielleicht wurde ja mal von einem USB-stick gebootet?)

jedenfalls würde da das output von:
* `proxmox-boot-tool refresh`
* `lsblk` (vielleicht sehen wir ja welche partition für die ESP noch in frage kommt)
helfen
(und auch im BIOS des Systems überprüfen von was genau gebootet wird)

Hi Stoiko, danke, dass du mir versuchst, zu helfen:

zu a) das System wurde nach pve-efiboot-tool refresh gebootet, ja.

Es sind einige Partitionen meines Wissens nach auf dem System vorhanden. Ich kann es nicht ausschließen, dass das System von einer EFI Partition bootet auf die nicht /etc/kernel/proxmox-boot-uuids eingetragen ist. Hier reicht aber leider mein Wissen nicht, um das abschließend zu klären. Wie könnte ich vorgehen?

Output von "proxmox-boot-tool refresh":

root@proliant:~# pve-efiboot-tool refresh
Running hook script 'proxmox-auto-removal'..
Running hook script 'zz-proxmox-boot'..
Re-executing '/etc/kernel/postinst.d/zz-proxmox-boot' in new private mount namespace..
Copying and configuring kernels on /dev/disk/by-uuid/9EBB-2A56
        Copying kernel and creating boot-entry for 5.13.19-2-pve
Copying and configuring kernels on /dev/disk/by-uuid/9EC3-4F7B
        Copying kernel and creating boot-entry for 5.13.19-2-pve
root@proliant:~# nano /etc/kernel/proxmox-boot-uuids
root@proliant:~#

Output von "lsblk":

root@proliant:~# lsblk
NAME     MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda        8:0    0 476.9G  0 disk
├─sda1     8:1    0  1007K  0 part
├─sda2     8:2    0   512M  0 part
└─sda3     8:3    0 476.4G  0 part
sdb        8:16   0 476.9G  0 disk
├─sdb1     8:17   0  1007K  0 part
├─sdb2     8:18   0   512M  0 part
└─sdb3     8:19   0 476.4G  0 part
sdc        8:32   0 476.9G  0 disk
├─sdc1     8:33   0 476.9G  0 part
└─sdc9     8:41   0     8M  0 part
sdd        8:48   0 476.9G  0 disk
├─sdd1     8:49   0 476.9G  0 part
└─sdd9     8:57   0     8M  0 part
sde        8:64   0 476.9G  0 disk
├─sde1     8:65   0 476.9G  0 part
└─sde9     8:73   0     8M  0 part
sdf        8:80   0 476.9G  0 disk
├─sdf1     8:81   0 476.9G  0 part
└─sdf9     8:89   0     8M  0 part
sdg        8:96   0 476.9G  0 disk
├─sdg1     8:97   0 476.9G  0 part
└─sdg9     8:105  0     8M  0 part
sdh        8:112  0     1G  0 disk
sdi        8:128  1   7.3G  0 disk
├─sdi1     8:129  1     4M  0 part
├─sdi5     8:133  1   250M  0 part
├─sdi6     8:134  1   250M  0 part
├─sdi7     8:135  1   110M  0 part
├─sdi8     8:136  1   286M  0 part
└─sdi9     8:137  1   2.5G  0 part
sr0       11:0    1  1024M  0 rom 
zd96     230:96   0    20G  0 disk
├─zd96p1 230:97   0     1M  0 part
├─zd96p2 230:98   0   1.8G  0 part
└─zd96p3 230:99   0  18.2G  0 part
root@proliant:~#

Output von "nano /etc/kernel/proxmox-boot-uuids":

9EBB-2A56
9EC3-4F7B

Im Anhang ein Bild aus der BIOS, wie die Boot Order gesetzt ist (Proxmox steht als erster Eintrag) und der Start-Screen, in dem man auch sieht das Boot-Mode UEFI ist.

Vielen Dank

 

[User5665]

Vielleicht hier noch zwei Screenshots aus der BIOS Konfiguration, an denen man sieht, dass ich Intel VT-d in den Virtualisierungseinstellungen aktiviert habe. Mehr Einstellungen zu IOMMU habe ich in meiner BIOS nicht gefunden...

 

[User5665]

Hallo Stoiko,

ich meine es gelöst zu haben! Danke auch der Hilfe von leestaken.

Der Link zum anderen Thread ist hier (ganz hinten): https://forum.proxmox.com/threads/i...fter-following-guide.93756/page-2#post-466710

Nochmals vielen Dank für deine Hilfe! Wirklich!

 

[Stoiko Ivanov]

Hallo Stoiko,

ich meine es gelöst zu haben! Danke auch der Hilfe von leestaken.

Danke für die Rückmeldung - ich hatte den Thread auch vorher gerade gesehen

Freut mich, dass die Lösung gefunden wurde!