Nvidia GT710 duchreichen.

[Proximoxi20]

Hallo Proxmox Freude,

ich brauche wieder mal Eure Unterstürzung.
Zeit gestern versuche ich meine Nvidia Grafikkarte Für duschreichen an einer VM vorzubereiten.
Leider klappt das bei meinem System nicht so wie es soll.

Ich benutze Proxmox VE 6.2-4 am Asus P7F-M Mainboard mit 32GB RAM.
An einem PCIE2 Steckplatz habe ich ASUS GeForce GT710 2 GB GT710-SL-2GD5 Grafikkarte eingebaut.

Vor dem Einbau habe ich:
1. Im BIOS VT-d aktiviert.
2. /etc/default/grub geändert mit:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on video=efifbff"
3. /etc/modules geändert mit:
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
4. blacklist:
echo "blacklist radeon" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidia" >> /etc/modprobe.d/blacklist.conf
5. eingegeben:
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf
echo "options kvm ignore_msrs=1 report_ignored_msrs=0" > /etc/modprobe.d/kvm.conf

Danach Server runtergefahren. Karte eingebaut und wider hoch.
Am Bildschirm der an der onBoard Grafik-Karte angeschlossen ist siehe ich nach dem Start ganz normall:

„Wilkomme to the…
http:…
proxmox login:

Und ich kann mich über angeschlossene Tastatur als root anmelden.
Sieht erstmall alles ganz normal aus.

Aber ich kann mich nicht über die http://... Adresse mit meinem Server verbinden. Fehler: Server nicht gefunden.
Wen ich die Karte ausbaue geht alles wieder und ich kann mich über die Webadesse verbinden.

Was ich versucht habe:
Über angeschlossen Tastatur:
lspci -v
und die Karte wird gesehen (Sehe Bild).

Ich habe kein Plan wiso funktioniert die Weboberfläche nicht und wie ich den Fehler finden und beheben soll.
Bitte hilft mir.

Gruß an alle und schönen Abend noch.

 

[dcsapak]

vermutlich hat sich durch das einbauen der karte die adresse der netzwerkkarte geändert und dadurch der name, die netzwerk konfiguration aber nicht.
zb von ens18 -> ens19
am besten nach dem einbauen mal 'ip l' aufrufen und vergleichen was in der /etc/network/interfaces steht

 

[Proximoxi20]

danke Dominik. Du hast Recht es ist vermutlich so. Hier mein Ergebnis:

vor dem Einbau:
/etc/network/interfaces

auto lo
iface lo inet loopback

iface enp4s0 inet manual

iface enp5s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.158.110/24
        gateway 192.168.158.1
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp5s0
        bridge-stp off
        bridge-fd 0

Ausgabe ip l:

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: enp4s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:27:55 brd ff:ff:ff:ff:ff:ff
3: enp5s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr1 state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:26:ca brd ff:ff:ff:ff:ff:ff
4: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:27:55 brd ff:ff:ff:ff:ff:ff
5: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:26:ca brd ff:ff:ff:ff:ff:ff
6: veth133i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr133i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:73:51:2b:67:51 brd ff:ff:ff:ff:ff:ff link-netnsid 0
7: fwbr133i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 62:5b:52:ae:4b:d8 brd ff:ff:ff:ff:ff:ff
8: fwpr133p0@fwln133i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 1a:75:2a:6a:08:72 brd ff:ff:ff:ff:ff:ff
9: fwln133i0@fwpr133p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr133i0 state UP mode DEFAULT group default qlen 1000
    link/ether 62:5b:52:ae:4b:d8 brd ff:ff:ff:ff:ff:ff
10: veth139i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr139i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:c7:45:7b:ca:0e brd ff:ff:ff:ff:ff:ff link-netnsid 1
11: fwbr139i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether ce:5f:5a:fe:6f:18 brd ff:ff:ff:ff:ff:ff
12: fwpr139p0@fwln139i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 5a:d0:ca:d7:6a:f7 brd ff:ff:ff:ff:ff:ff
13: fwln139i0@fwpr139p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr139i0 state UP mode DEFAULT group default qlen 1000
    link/ether ce:5f:5a:fe:6f:18 brd ff:ff:ff:ff:ff:ff
18: veth104i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr104i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:8d:41:25:64:63 brd ff:ff:ff:ff:ff:ff link-netnsid 3
19: fwbr104i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether ca:06:26:42:0e:cf brd ff:ff:ff:ff:ff:ff
20: fwpr104p0@fwln104i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 22:7b:58:e8:35:58 brd ff:ff:ff:ff:ff:ff
21: fwln104i0@fwpr104p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr104i0 state UP mode DEFAULT group default qlen 1000
    link/ether ca:06:26:42:0e:cf brd ff:ff:ff:ff:ff:ff
22: veth111i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr111i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:66:13:6f:f6:c5 brd ff:ff:ff:ff:ff:ff link-netnsid 4
23: fwbr111i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 7e:01:a4:66:51:e7 brd ff:ff:ff:ff:ff:ff
24: fwpr111p0@fwln111i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether c6:cc:3d:f6:f0:4e brd ff:ff:ff:ff:ff:ff
25: fwln111i0@fwpr111p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr111i0 state UP mode DEFAULT group default qlen 1000
    link/ether 7e:01:a4:66:51:e7 brd ff:ff:ff:ff:ff:ff
26: veth102i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr102i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:f9:a9:05:a4:e2 brd ff:ff:ff:ff:ff:ff link-netnsid 5
27: fwbr102i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 9e:ac:c8:59:24:e0 brd ff:ff:ff:ff:ff:ff
28: fwpr102p0@fwln102i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 66:3a:da:34:0b:e2 brd ff:ff:ff:ff:ff:ff
29: fwln102i0@fwpr102p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr102i0 state UP mode DEFAULT group default qlen 1000
    link/ether 9e:ac:c8:59:24:e0 brd ff:ff:ff:ff:ff:ff
30: veth115i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr115i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:2a:96:43:f7:6e brd ff:ff:ff:ff:ff:ff link-netnsid 6
31: fwbr115i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 9a:43:67:64:35:25 brd ff:ff:ff:ff:ff:ff
32: fwpr115p0@fwln115i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 5e:d0:57:7a:f6:1a brd ff:ff:ff:ff:ff:ff
33: fwln115i0@fwpr115p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr115i0 state UP mode DEFAULT group default qlen 1000
    link/ether 9a:43:67:64:35:25 brd ff:ff:ff:ff:ff:ff
46: veth106i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr106i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:cf:92:c9:ef:9d brd ff:ff:ff:ff:ff:ff link-netnsid 7
47: fwbr106i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether c2:e2:4f:6a:fe:01 brd ff:ff:ff:ff:ff:ff
48: fwpr106p0@fwln106i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether de:38:67:9e:85:ac brd ff:ff:ff:ff:ff:ff
49: fwln106i0@fwpr106p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr106i0 state UP mode DEFAULT group default qlen 1000
    link/ether c2:e2:4f:6a:fe:01 brd ff:ff:ff:ff:ff:ff
50: veth101i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr101i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:2e:3d:d8:ea:2a brd ff:ff:ff:ff:ff:ff link-netnsid 2
51: fwbr101i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether c6:10:68:af:30:6d brd ff:ff:ff:ff:ff:ff
52: fwpr101p0@fwln101i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 56:3a:00:de:f1:9b brd ff:ff:ff:ff:ff:ff
53: fwln101i0@fwpr101p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr101i0 state UP mode DEFAULT group default qlen 1000
    link/ether c6:10:68:af:30:6d brd ff:ff:ff:ff:ff:ff
58: tap105i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr105i0 state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether c2:5c:26:b6:29:36 brd ff:ff:ff:ff:ff:ff
59: fwbr105i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether c6:c4:e3:eb:a3:37 brd ff:ff:ff:ff:ff:ff
60: fwpr105p0@fwln105i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 76:d4:73:af:11:1b brd ff:ff:ff:ff:ff:ff
61: fwln105i0@fwpr105p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr105i0 state UP mode DEFAULT group default qlen 1000
    link/ether c6:c4:e3:eb:a3:37 brd ff:ff:ff:ff:ff:ff
70: veth107i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr107i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:1a:26:2b:b0:69 brd ff:ff:ff:ff:ff:ff link-netnsid 8
71: fwbr107i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether de:53:89:b7:3a:be brd ff:ff:ff:ff:ff:ff
72: fwpr107p0@fwln107i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 86:65:04:08:70:be brd ff:ff:ff:ff:ff:ff
73: fwln107i0@fwpr107p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr107i0 state UP mode DEFAULT group default qlen 1000
    link/ether de:53:89:b7:3a:be brd ff:ff:ff:ff:ff:ff

Nach dem Einbau:
/etc/network/interfaces -hat sich nicht verändert.

Ausgabe ip l (sehe Bild)

Das bedeutet enp4s0 und enp5s0 sind jetzt enp5s0 enp6s0 ist das Richtig?
Was kann ich machen, dass die Konfiguration nicht verschoben wird?
Und wiso sind nach dem Einbau nur 21 und nicht 73?
Wie koome ich am besten weiter?

Ich möchte nicht unbedingt die /etc/network/interfaces ändern sonst kann ich mein System vielleicht komplett zerschießen.

Danke im Voraus.

 

[dcsapak]

Das bedeutet enp4s0 und enp5s0 sind jetzt enp5s0 enp6s0 ist das Richtig?

genau

Was kann ich machen, dass die Konfiguration nicht verschoben wird?

wie die geräte enumeriert werden (port/slot/etc) bestimmt das mainboard
man könnte custom udev regeln erstellen die bestimmten nics, bestimmte namen geben (zb hier eklärt https://wiki.debian.org/NetworkInterfaceNames)

Und wiso sind nach dem Einbau nur 21 und nicht 73?

verstehe ich nicht? was ist 21 und 73 ?

Wie koome ich am besten weiter?

Ich möchte nicht unbedingt die /etc/network/interfaces ändern sonst kann ich mein System vielleicht komplett zerschießen.

ist aber der einfachste und effektivste weg, in der config an allen stellen enp5s0 durch enp6s0 ersetzen und danach enp4s0 durch enp5s0, rebooten, fertig
danach testen, vllt hat sich enp4s0 auch in enp6s0 umbenannt, kann man aber am besten festellen in dem man was ansteckt und den output von 'ip link' ansieht (state UP, LOWER_UP vs DOWN oder nichts)

 

[Proximoxi20]

Jaaaaa, es geht, du bist klasse Dominik. Dank dir kann ich wieder ruhiger schlafen.
Nach der änderung konnte ich mein Webinterface sofort erreichen.
Ausgabe 'ip link'

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: enp5s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:27:55 brd ff:ff:ff:ff:ff:ff
3: enp6s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr1 state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:26:ca brd ff:ff:ff:ff:ff:ff
4: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:27:55 brd ff:ff:ff:ff:ff:ff
5: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether bc:ae:c5:29:26:ca brd ff:ff:ff:ff:ff:ff
6: veth111i0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr111i0 state UP mode DEFAULT group default qlen 1000
    link/ether fe:b5:92:cb:74:e4 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    .
    .
    .

Alle meine Container und VMs laufen wieder.
Noch einmal, vielen DANK.
Jetzt kann ich weiter basteln.

 

[Proximoxi20]

allerdings durchreichen kann ich noch garnichts.
Beim Vorbereitung zur Installation der VM (Ubuntu 20.04) habe ich PCI Gerät hinzugefügt.
Das klappt noch alles. Die Karte wird gesehen als NVIDIA Gerät.



Allerdings wenn ich die VM starten will um Installation durchzuführen bekomme ich Fehlermeldung und sie startet nicht.

kvm: -device vfio-pci,host=0000:01:00.0,id=hostpci0,bus=pci.0,addr=0x10: vfio 0000:01:00.0: failed to setup container for group 13: Failed to set iommu for container: Operation not permitted TASK ERROR: start failed: QEMU exited with code 1

Beim: „dmesg | grep -e DMAR -e IOMMU“
bekome ich:

[    0.000000] ACPI: DMAR 0x00000000BF78E0C0 000090 (v01 AMI    OEMDMAR  00000001 MSFT 00000097)
[    0.000000] DMAR: IOMMU enabled
[    0.000000] DMAR: Host address width 36
[    0.000000] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.000000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c90780106f0462 ecap f020e3
[    0.000000] DMAR: RMRR base: 0x000000000e4000 end: 0x000000000e7fff
[    0.000000] DMAR: RMRR base: 0x000000bf7ec000 end: 0x000000bf7fffff
[    0.913755] DMAR: No ATSR found
[    0.913865] DMAR: dmar0: Using Queued invalidation
[    0.918319] DMAR: Intel(R) Virtualization Technology for Directed I/O
[ 5931.576665] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 6130.117817] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 7015.721739] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 7459.772618] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform

Beim: 'lsmod | grep vfio' keine Anzeige.


lspci:

00:00.0 Host bridge: Intel Corporation Core Processor DMI (rev 11)
00:03.0 PCI bridge: Intel Corporation Core Processor PCI Express Root Port 1 (rev 11)
00:08.0 System peripheral: Intel Corporation Core Processor System Management Registers (rev 11)
00:08.1 System peripheral: Intel Corporation Core Processor Semaphore and Scratchpad Registers (rev 11)
00:08.2 System peripheral: Intel Corporation Core Processor System Control and Status Registers (rev 11)
00:08.3 System peripheral: Intel Corporation Core Processor Miscellaneous Registers (rev 11)
00:10.0 System peripheral: Intel Corporation Core Processor QPI Link (rev 11)
00:10.1 System peripheral: Intel Corporation Core Processor QPI Routing and Protocol Registers (rev 11)
00:1a.0 USB controller: Intel Corporation 5 Series/3400 Series Chipset USB2 Enhanced Host Controller (rev 05)
00:1c.0 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 1 (rev 05)
00:1c.4 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 5 (rev 05)
00:1c.5 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 6 (rev 05)
00:1c.6 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 7 (rev 05)
00:1c.7 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 8 (rev 05)
00:1d.0 USB controller: Intel Corporation 5 Series/3400 Series Chipset USB2 Enhanced Host Controller (rev 05)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev a5)
00:1f.0 ISA bridge: Intel Corporation 3420 Chipset LPC Interface Controller (rev 05)
00:1f.2 SATA controller: Intel Corporation 5 Series/3400 Series Chipset 6 port SATA AHCI Controller (rev 05)
00:1f.3 SMBus: Intel Corporation 5 Series/3400 Series Chipset SMBus Controller (rev 05)
01:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1)
01:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (rev a1)
05:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
06:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
07:02.0 Mass storage controller: Promise Technology, Inc. PDC40775 (SATA 300 TX2plus) (rev 02)
07:05.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 10)
ff:00.0 Host bridge: Intel Corporation Core Processor QuickPath Architecture Generic Non-Core Registers (rev 04)
ff:00.1 Host bridge: Intel Corporation Core Processor QuickPath Architecture System Address Decoder (rev 04)
ff:02.0 Host bridge: Intel Corporation Core Processor QPI Link 0 (rev 04)
ff:02.1 Host bridge: Intel Corporation Core Processor QPI Physical 0 (rev 04)
ff:03.0 Host bridge: Intel Corporation Core Processor Integrated Memory Controller (rev 04)
ff:03.1 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Target Address Decoder (rev 04)
ff:03.2 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Test Registers (rev 04)
ff:03.4 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Test Registers (rev 04)
ff:04.0 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 0 Control Registers (rev 04)
ff:04.1 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 0 Address Registers (rev 04)
ff:04.2 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 0 Rank Registers (rev 04)
ff:04.3 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 0 Thermal Control Registers (rev 04)
ff:05.0 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 1 Control Registers (rev 04)
ff:05.1 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 1 Address Registers (rev 04)
ff:05.2 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 1 Rank Registers (rev 04)
ff:05.3 Host bridge: Intel Corporation Core Processor Integrated Memory Controller Channel 1 Thermal Control Registers (rev 04)

Wie komme ich jetzt weiter?

 

[Dunuin]

"vfio_iommu_type1_attach_group: No interrupt remapping support. Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform"

Klingt für mich als ob VT-d nicht aktiviert ist. Oder hast du vielleicht nur VT-x? Eines von beidem konnte kein Interrupt Remapping.

 

[Proximoxi20]

VT-d ist definitiv aktiviert. Habe ich soeben nochmal nachgeschaut.
Was kann ich noch machen?

 

[Proximoxi20]

ich bin langsam am verzweifeln.
Jetzt in den letzten 2 Tagen habe ich noch einmal alles durchgelesen und vorlegendes kontrolliert und ausprobiert.

1. Grub

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

2. /etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

3. dmesg | grep ecap
[ 0.000000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c90780106f0462 ecap f020e3

4. /etc/modprobe.d/iommu_unsafe_interrupts.conf

options vfio_iommu_type1 allow_unsafe_interrupts=1

5. /etc/modprobe.d/blacklist.conf

blacklist radeon
blacklist nouveau
blacklist nvidia

6. find /sys/kernel/iommu_groups/ -type l

….
/sys/kernel/iommu_groups/13/devices/0000:01:00.0
/sys/kernel/iommu_groups/13/devices/0000:01:00.1
….

7. lspci -n -s 01:00

01:00.0 0300: 10de:128b (rev a1)
01:00.1 0403: 10de:0e0f (rev a1)

8. /etc/modprobe.d/vfio.conf

options vfio-pci ids=10de:128b,10de:0e0f disable_vga=1

9. /etc/modprobe.d/kvm.conf

options kvm ignore_msrs=1 report_ignored_msrs=0

10. dmesg | grep -e DMAR -e IOMMU

[    0.000000] ACPI: DMAR 0x00000000BF78E0C0 000090 (v01 AMI    OEMDMAR  00000001 MSFT 00000097)
[    0.000000] DMAR: IOMMU enabled
[    0.000000] DMAR: Host address width 36
[    0.000000] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.000000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c90780106f0462 ecap f020e3
[    0.000000] DMAR: RMRR base: 0x000000000e4000 end: 0x000000000e7fff
[    0.000000] DMAR: RMRR base: 0x000000bf7ec000 end: 0x000000bf7fffff
[    0.917327] DMAR: No ATSR found
[    0.917435] DMAR: dmar0: Using Queued invalidation
[    0.921877] DMAR: Intel(R) Virtualization Technology for Directed I/O

11. dmesg | grep 'remapping'
ohne Antwort.

12. Danach in der Ubuntu VM eingetragen.
machine: q35
hostpci0: 01:00,pcie=1,x-vga=on

13. VM startet nicht. Fehler:

kvm: -device vfio-pci,host=0000:01:00.0,id=hostpci0.0,bus=ich9-pcie-port-1,addr=0x0.0,x-vga=on,multifunction=on: vfio 0000:01:00.0: failed to setup container for group 13: Failed to set iommu for container: Operation not permitted
TASK ERROR: start failed: QEMU exited with code 1

14. Danach dmesg | grep -e DMAR -e IOMMU

[    0.000000] ACPI: DMAR 0x00000000BF78E0C0 000090 (v01 AMI    OEMDMAR  00000001 MSFT 00000097)
[    0.000000] DMAR: IOMMU enabled
[    0.000000] DMAR: Host address width 36
[    0.000000] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.000000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c90780106f0462 ecap f020e3
[    0.000000] DMAR: RMRR base: 0x000000000e4000 end: 0x000000000e7fff
[    0.000000] DMAR: RMRR base: 0x000000bf7ec000 end: 0x000000bf7fffff
[    0.917327] DMAR: No ATSR found
[    0.917435] DMAR: dmar0: Using Queued invalidation
[    0.921877] DMAR: Intel(R) Virtualization Technology for Directed I/O
[  359.401148] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform

15. dmesg | grep 'remapping'

[  359.401148] vfio_iommu_type1_attach_group: No interrupt remapping support. Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform

Kann jemand nachvollziehen was her schief lauft?

Wenn ich in der VM die PCI Konfiguration mehrmals verändere dann habe ich auch mehr Fehler:
dmesg | grep -e DMAR -e IOMMU

[    0.000000] ACPI: DMAR 0x00000000BF78E0C0 000090 (v01 AMI    OEMDMAR  00000001 MSFT 00000097)
[    0.000000] DMAR: IOMMU enabled
[    0.000000] DMAR: Host address width 36
[    0.000000] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.000000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c90780106f0462 ecap f020e3
[    0.000000] DMAR: RMRR base: 0x000000000e4000 end: 0x000000000e7fff
[    0.000000] DMAR: RMRR base: 0x000000bf7ec000 end: 0x000000bf7fffff
[    0.917327] DMAR: No ATSR found
[    0.917435] DMAR: dmar0: Using Queued invalidation
[    0.921877] DMAR: Intel(R) Virtualization Technology for Directed I/O
[  359.401148] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[  566.561674] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[  821.860907] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[  852.540326] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 1732.466070] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 1744.919748] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 1758.297135] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 1769.645109] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
[ 1780.628812] vfio_iommu_type1_attach_group: No interrupt remapping support.  Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform

Ich komme wirklich nicht mehr weiter!
Kann mir Bitte jemand von Euch weiter helfen? Was kann ich noch versuchen?

Danke im Voraus
Gruss und schönen Restsonntag.

 

[dcsapak]

4. /etc/modprobe.d/iommu_unsafe_interrupts.conf

options vfio_iommu_type1 allow_unsafe_interrupts=1

siehe, https://forum.proxmox.com/threads/i...nabled-still-error-message.67341/#post-302299
das muss man in der kernel commandline hinzufügen

 

[Proximoxi20]

danke für deine Hilfe.

Nch dem ich die '/etc/default/grub' geändert habe zum:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on vfio_iommu_type1 allow_unsafe_interrupts=1"

hat sich meine 'dmesg | grep -e DMAR -e IOMMU' auch geändert. Jetzt bekomme ich:

[    0.000000] ACPI: DMAR 0x00000000BF78E0C0 000090 (v01 AMI    OEMDMAR  00000001 MSFT 00000097)
[    0.000000] DMAR: IOMMU enabled
[    0.000000] DMAR: Host address width 36
[    0.000000] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.000000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c90780106f0462 ecap f020e3
[    0.000000] DMAR: RMRR base: 0x000000000e4000 end: 0x000000000e7fff
[    0.000000] DMAR: RMRR base: 0x000000bf7ec000 end: 0x000000bf7fffff
[    0.914029] DMAR: No ATSR found
[    0.914141] DMAR: dmar0: Using Queued invalidation
[    0.918593] DMAR: Intel(R) Virtualization Technology for Directed I/O

Das sieht schon viel versprechend aus.
Allerdings VM startet immer noch nicht. Gleicher Fehler:

kvm: -device vfio-pci,host=0000:01:00.0,id=hostpci0.0,bus=ich9-pcie-port-1,addr=0x0.0,x-vga=on,multifunction=on: vfio 0000:01:00.0: failed to setup container for group 13: Failed to set iommu for container: Operation not permitted
TASK ERROR: start failed: QEMU exited with code 1

Es ist bestimmt nur noch Kleinigkeit die ich machen muss. Aber was???

P.S.
bei mir: cat /sys/module/vfio_iommu_type1/parameters/allow_unsafe_interrupts
Antwort: N

 

[Proximoxi20]

Sorry, Es geht.
Mein Fehler. Ich habe es falsch eingetragen. 'vfio_iommu_type1.allow_unsafe_interrupts=1' in der commandline ist Richtig.
Jetzt startet meine VM.
Danke noch mal Dominik. Deine Hilfe ist Gold wert.