Connect X 3 | PMG3000 - SFP schaltet sich ab

nibbs · Friday at 14:19

Hallo allerseits,
ich versuche seit mehreren Tagen, eine OPNsense VM aufzusetzen, scheitere aber an der Inbetriebnahme des Zyxel Glasfasermodems.

PVE 8.3.2
Lenovo m920x
Connect X 3 (HP branded, flashed to Mellanox firmware)
Andere SFP (10G RJ45) Module funktionieren in der Karte problemlos und auf anhieb.
In einer Intel X520 DA2 wird das SFP nie erkannt/aktiviert
Linux bridge für beide Ports angelegt welche separat als Network Device an die VM durchgereicht werden sollen
Das beschriebene Problem tritt auch ohne die Bridge / Zuordnung auf
Zyxel PMG3000-D20B (firmware V1.00(ABVJ.1)b1e -> kein SSH)
In anderen SFP-Ports funktioniert das Modul ohne Probleme und ich kann auch auf das Web-GUI zugreifen (Mikrotik CRS304 sowie TP-Link MC220L).

Mein Problem ist, dass in der Connect X 3 das SFP-Modul nach dem Booten aktiviert wird, die LED auf der NIC leuchtet und blinkt und dann wieder ausgeht. Dies ist unabhängig davon, ob die OPNsense VM gebootet wird oder nicht.

Code:

root@pvem920x-1:~# ethtool enp1s0d1
Settings for enp1s0d1:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseX/Full
                                10000baseCR/Full
                                10000baseSR/Full
        Supported pause frame use: Symmetric Receive-only
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseX/Full
                                10000baseCR/Full
                                10000baseSR/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Auto-negotiation: off
        Port: FIBRE
        PHYAD: 0
        Transceiver: internal
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000014 (20)
                               link ifdown
        Link detected: yes

Nach ca 30 bis 60 Sekunden erlischt die LED und das SFP ist nicht mehr ansprechbar:

Code:

root@pvem920x-1:~# ethtool enp1s0d1
Settings for enp1s0d1:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseX/Full
                                10000baseCR/Full
                                10000baseSR/Full
        Supported pause frame use: Symmetric Receive-only
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseX/Full
                                10000baseCR/Full
                                10000baseSR/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: Unknown!
        Duplex: Unknown! (255)
        Auto-negotiation: off
        Port: FIBRE
        PHYAD: 0
        Transceiver: internal
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000014 (20)
                               link ifdown
        Link detected: no

Ich bin hier in einer Sackgasse, insbesondere, da die Komponenten meiner Kenntnis nach eigentlich gut harmonieren sollten und sich bewährt haben.

Kann mir bitte jemand sagen, in welche Richtung ich noch weiter testen soll?

Lord_Neksus · Friday at 19:12

verstehe ich das richtig? du hast proxmox mit einer opnsense vm als netzwerkgerät aus dem opnsense eine bridge zu gewiesen und in der bridge hängt die mellanox? daran angeschlossen über einen sfp+ zu rj45 adapter ein passendes kabel an das modem? und diese verbindung ist das wan?

nibbs · Friday at 20:54

Hi, auf dem Lenovo m920 ist proxmox installiert. PVE bindet die beiden SFP-Ports der NIC als enp1s0 und enp1s0d1 ein, welche je einer Bridge (mlx_0 und mlx_1) zugeordnet sind. Diese beiden Bridges sind einer OPNsense VM-Installation zugewiesen und die VM sieht diese beiden Ports als vtnet0 und vtnet1.

Das Problem tritt unter proxmox auf, auch ohne Zuordnung von mlx_0 und und mlx_1 zur VM. In anderen Geräten (Switch und Medienwandler) ist das SFP-Modul dauerhaft aktiv und wird nicht deaktiviert.

Lord_Neksus · Friday at 21:35

Was sagen denn die logs wurde die nic korrekt geladen? ich würde die karte allerdings direkt an die opnsense durchreichen. wan über eine bridge kann unsicher sein und das erzeugt nur overhead. stattdessen ist es klüger wenn opnsense direkt auf die karte zugreift eventuell löst sich im Zuge dessen auch gleich dein Problem

nibbs · Friday at 21:43

Die Logs müsste ich noch Mal anschauen. Da andere SFP-Module funktionieren, gehe ich aber davon aus, dass die NIC fehlerfrei erkannt wurde.
Die NIC einzubinden funktioniert bei diesen Karten leider nicht, die Empfehlung ist, dies mit Bridges zu umgehen. Damit funktionieren auch daran angeschlossene SFP-Module sowohl in pve als auch in der VM.

Lord_Neksus · Friday at 21:49

Klär mich mal bitte auf, warum kann man die connect x3 nicht durchreichen?

Das geht ja an sich mit absolut jedem pcie device

nibbs · Friday at 22:06

Es kommt dieser Fehler

Code:

kvm: -device vfio-pci,host=0000:01:00.0,id=hostpci0,bus=ich9-pcie-port-1,addr=0x0: vfio 0000:01:00.0: Failed to set up TRIGGER eventfd signaling for interrupt INTX-0: VFIO_DEVICE_SET_IRQS failure: Device or resource busy
TASK ERROR: start failed: QEMU exited with code 1

Lord_Neksus · Friday at 22:15

was sagen denn diese befehle?

lspci -v
dmesg | grep IOMMU
cat /proc/cmdline
cat /etc/modprobe.d/vfio.conf

nibbs · Friday at 22:20

Code:

root@pvem920x-1:~# lspci -v
00:00.0 Host bridge: Intel Corporation 8th Gen Core Processor Host Bridge/DRAM Registers (rev 07)
        DeviceName: Onboard - Other
        Subsystem: Lenovo 8th Gen Core Processor Host Bridge/DRAM Registers
        Flags: bus master, fast devsel, latency 0, IOMMU group 1
        Capabilities: [e0] Vendor Specific Information: Len=10 <?>
        Kernel driver in use: skl_uncore
        Kernel modules: ie31200_edac

00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 07) (prog-if 00 [Normal decode])
        Subsystem: Lenovo 6th-10th Gen Core Processor PCIe Controller (x16)
        Flags: bus master, fast devsel, latency 0, IRQ 122, IOMMU group 2
        Bus: primary=00, secondary=01, subordinate=01, sec-latency=0
        I/O behind bridge: [disabled] [16-bit]
        Memory behind bridge: cc100000-cc2fffff [size=2M] [32-bit]
        Prefetchable memory behind bridge: cc800000-d0ffffff [size=72M] [32-bit]
        Capabilities: [88] Subsystem: Lenovo 6th-10th Gen Core Processor PCIe Controller (x16)
        Capabilities: [80] Power Management version 3
        Capabilities: [90] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [a0] Express Root Port (Slot+), MSI 00
        Capabilities: [100] Virtual Channel
        Capabilities: [140] Root Complex Link
        Capabilities: [d94] Secondary PCI Express
        Kernel driver in use: pcieport

00:02.0 VGA compatible controller: Intel Corporation CoffeeLake-S GT2 [UHD Graphics 630] (prog-if 00 [VGA controller])
        DeviceName: Onboard - Video
        Subsystem: Lenovo CoffeeLake-S GT2 [UHD Graphics 630]
        Flags: bus master, fast devsel, latency 0, IRQ 148, IOMMU group 0
        Memory at cb000000 (64-bit, non-prefetchable) [size=16M]
        Memory at 40000000 (64-bit, prefetchable) [size=256M]
        I/O ports at 3000 [size=64]
        Expansion ROM at 000c0000 [virtual] [disabled] [size=128K]
        Capabilities: [40] Vendor Specific Information: Len=0c <?>
        Capabilities: [70] Express Root Complex Integrated Endpoint, MSI 00
        Capabilities: [ac] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [d0] Power Management version 2
        Capabilities: [100] Process Address Space ID (PASID)
        Capabilities: [200] Address Translation Service (ATS)
        Capabilities: [300] Page Request Interface (PRI)
        Kernel driver in use: i915
        Kernel modules: i915

00:08.0 System peripheral: Intel Corporation Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model
        DeviceName: Onboard - Other
        Subsystem: Lenovo Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model
        Flags: fast devsel, IRQ 255, IOMMU group 3
        Memory at cc43a000 (64-bit, non-prefetchable) [disabled] [size=4K]
        Capabilities: [90] MSI: Enable- Count=1/1 Maskable- 64bit-
        Capabilities: [dc] Power Management version 2
        Capabilities: [f0] PCI Advanced Features

00:14.0 USB controller: Intel Corporation Cannon Lake PCH USB 3.1 xHCI Host Controller (rev 10) (prog-if 30 [XHCI])
        DeviceName: Onboard - Other
        Subsystem: Lenovo Cannon Lake PCH USB 3.1 xHCI Host Controller
        Flags: bus master, medium devsel, latency 0, IRQ 127, IOMMU group 4
        Memory at cc420000 (64-bit, non-prefetchable) [size=64K]
        Capabilities: [70] Power Management version 2
        Capabilities: [80] MSI: Enable+ Count=8/8 Maskable- 64bit+
        Capabilities: [90] Vendor Specific Information: Len=14 <?>
        Kernel driver in use: xhci_hcd
        Kernel modules: xhci_pci

00:14.2 RAM memory: Intel Corporation Cannon Lake PCH Shared SRAM (rev 10)
        DeviceName: Onboard - Other
        Subsystem: Lenovo Cannon Lake PCH Shared SRAM
        Flags: fast devsel, IOMMU group 4
        Memory at cc434000 (64-bit, non-prefetchable) [disabled] [size=8K]
        Memory at cc439000 (64-bit, non-prefetchable) [disabled] [size=4K]
        Capabilities: [80] Power Management version 3

00:16.0 Communication controller: Intel Corporation Cannon Lake PCH HECI Controller (rev 10)
        DeviceName: Onboard - Other
        Subsystem: Lenovo Cannon Lake PCH HECI Controller
        Flags: bus master, fast devsel, latency 0, IRQ 147, IOMMU group 5
        Memory at cc438000 (64-bit, non-prefetchable) [size=4K]
        Capabilities: [50] Power Management version 3
        Capabilities: [8c] MSI: Enable+ Count=1/1 Maskable- 64bit+
        Capabilities: [a4] Vendor Specific Information: Len=14 <?>
        Kernel driver in use: mei_me
        Kernel modules: mei_me

00:16.3 Serial controller: Intel Corporation Cannon Lake PCH Active Management Technology - SOL (rev 10) (prog-if 02 [16550])
        DeviceName: Onboard - Other
        Subsystem: Lenovo Cannon Lake PCH Active Management Technology - SOL
        Flags: 66MHz, fast devsel, IRQ 19, IOMMU group 5
        I/O ports at 3060 [size=8]
        Memory at cc437000 (32-bit, non-prefetchable) [size=4K]
        Capabilities: [40] MSI: Enable- Count=1/1 Maskable- 64bit+
        Capabilities: [50] Power Management version 3
        Kernel driver in use: serial

00:1b.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 (rev f0) (prog-if 00 [Normal decode])
        Subsystem: Lenovo Cannon Lake PCH PCI Express Root Port
        Flags: bus master, fast devsel, latency 0, IRQ 123, IOMMU group 6
        Bus: primary=00, secondary=02, subordinate=02, sec-latency=0
        I/O behind bridge: [disabled] [16-bit]
        Memory behind bridge: cc300000-cc3fffff [size=1M] [32-bit]
        Prefetchable memory behind bridge: [disabled] [64-bit]
        Capabilities: [40] Express Root Port (Slot+), MSI 00
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [90] Subsystem: Lenovo Cannon Lake PCH PCI Express Root Port
        Capabilities: [a0] Power Management version 3
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Access Control Services
        Capabilities: [150] Precision Time Measurement
        Capabilities: [200] L1 PM Substates
        Capabilities: [220] Secondary PCI Express
        Capabilities: [250] Downstream Port Containment
        Kernel driver in use: pcieport

00:1d.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #9 (rev f0) (prog-if 00 [Normal decode])
        Subsystem: Lenovo Cannon Lake PCH PCI Express Root Port
        Flags: bus master, fast devsel, latency 0, IRQ 124, IOMMU group 7
        Bus: primary=00, secondary=03, subordinate=6d, sec-latency=0
        I/O behind bridge: 4000-4fff [size=4K] [16-bit]
        Memory behind bridge: 9c000000-ca0fffff [size=737M] [32-bit]
        Prefetchable memory behind bridge: 50000000-99ffffff [size=1184M] [32-bit]
        Capabilities: [40] Express Root Port (Slot+), MSI 00
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [90] Subsystem: Lenovo Cannon Lake PCH PCI Express Root Port
        Capabilities: [a0] Power Management version 3
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Access Control Services
        Capabilities: [150] Precision Time Measurement
        Capabilities: [200] L1 PM Substates
        Capabilities: [220] Secondary PCI Express
        Capabilities: [250] Downstream Port Containment
        Kernel driver in use: pcieport

00:1f.0 ISA bridge: Intel Corporation Q370 Chipset LPC/eSPI Controller (rev 10)
        DeviceName: Onboard - Other
        Subsystem: Lenovo Q370 Chipset LPC/eSPI Controller
        Flags: bus master, fast devsel, latency 0, IOMMU group 8

00:1f.3 Audio device: Intel Corporation Cannon Lake PCH cAVS (rev 10) (prog-if 80)
        DeviceName: Onboard - Sound
        Subsystem: Lenovo Cannon Lake PCH cAVS
        Flags: bus master, fast devsel, latency 32, IRQ 149, IOMMU group 8
        Memory at cc430000 (64-bit, non-prefetchable) [size=16K]
        Memory at cc000000 (64-bit, non-prefetchable) [size=1M]
        Capabilities: [50] Power Management version 3
        Capabilities: [80] Vendor Specific Information: Len=14 <?>
        Capabilities: [60] MSI: Enable+ Count=1/1 Maskable- 64bit+
        Kernel driver in use: snd_hda_intel
        Kernel modules: snd_hda_intel, snd_sof_pci_intel_cnl

00:1f.4 SMBus: Intel Corporation Cannon Lake PCH SMBus Controller (rev 10)
        DeviceName: Onboard - Other
        Subsystem: Lenovo Cannon Lake PCH SMBus Controller
        Flags: medium devsel, IRQ 16, IOMMU group 8
        Memory at cc436000 (64-bit, non-prefetchable) [size=256]
        I/O ports at efa0 [size=32]
        Kernel driver in use: i801_smbus
        Kernel modules: i2c_i801

00:1f.5 Serial bus controller: Intel Corporation Cannon Lake PCH SPI Controller (rev 10)
        DeviceName: Onboard - Other
        Subsystem: Lenovo Cannon Lake PCH SPI Controller
        Flags: fast devsel, IOMMU group 8
        Memory at fe010000 (32-bit, non-prefetchable) [size=4K]
        Kernel driver in use: intel-spi
        Kernel modules: spi_intel_pci

00:1f.6 Ethernet controller: Intel Corporation Ethernet Connection (7) I219-LM (rev 10)
        DeviceName: Onboard - Ethernet
        Subsystem: Lenovo Ethernet Connection (7) I219-LM
        Flags: bus master, fast devsel, latency 0, IRQ 125, IOMMU group 8
        Memory at cc400000 (32-bit, non-prefetchable) [size=128K]
        Capabilities: [c8] Power Management version 3
        Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
        Kernel driver in use: e1000e
        Kernel modules: e1000e

01:00.0 Ethernet controller: Mellanox Technologies MT27520 Family [ConnectX-3 Pro]
        Subsystem: Mellanox Technologies ConnectX-3 Pro 10 GbE Dual Port SFP+ Adapter revision A1
        Flags: fast devsel, IRQ 16, IOMMU group 2
        Memory at cc200000 (64-bit, non-prefetchable) [disabled] [size=1M]
        Memory at cc800000 (64-bit, prefetchable) [disabled] [size=8M]
        Expansion ROM at cc100000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
        Capabilities: [48] Vital Product Data
        Capabilities: [9c] MSI-X: Enable- Count=128 Masked-
        Capabilities: [60] Express Endpoint, MSI 00
        Capabilities: [c0] Vendor Specific Information: Len=18 <?>
        Capabilities: [100] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [148] Device Serial Number 9c-dc-71-03-00-46-4f-e0
        Capabilities: [108] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [154] Advanced Error Reporting
        Capabilities: [18c] Secondary PCI Express
        Kernel driver in use: vfio-pci
        Kernel modules: mlx4_core

02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
        Subsystem: Samsung Electronics Co Ltd SSD 970 EVO
        Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 9
        Memory at cc300000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/32 Maskable- 64bit+
        Capabilities: [70] Express Endpoint, MSI 00
        Capabilities: [b0] MSI-X: Enable+ Count=33 Masked-
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [148] Device Serial Number 00-00-00-00-00-00-00-00
        Capabilities: [158] Power Budgeting <?>
        Capabilities: [168] Secondary PCI Express
        Capabilities: [188] Latency Tolerance Reporting
        Capabilities: [190] L1 PM Substates
        Kernel driver in use: nvme
        Kernel modules: nvme

Code:

root@pvem920x-1:~# dmesg | grep IOMMU
[    0.050403] DMAR: IOMMU enabled
[    0.141384] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 1
[    0.427484] DMAR: IOMMU feature fl1gp_support inconsistent
[    0.427485] DMAR: IOMMU feature pgsel_inv inconsistent
[    0.427486] DMAR: IOMMU feature nwfs inconsistent
[    0.427487] DMAR: IOMMU feature pasid inconsistent
[    0.427488] DMAR: IOMMU feature eafs inconsistent
[    0.427488] DMAR: IOMMU feature prs inconsistent
[    0.427489] DMAR: IOMMU feature nest inconsistent
[    0.427490] DMAR: IOMMU feature mts inconsistent
[    0.427491] DMAR: IOMMU feature sc_support inconsistent
[    0.427492] DMAR: IOMMU feature dev_iotlb_support inconsistent

Code:

root@pvem920x-1:~# cat /proc/cmdline
initrd=\EFI\proxmox\6.8.12-5-pve\initrd.img-6.8.12-5-pve root=ZFS=rpool/ROOT/pve-1 boot=zfs quiet intel_iommu=on iommu=pt

Code:

root@pvem920x-1:~# cat /etc/modprobe.d/vfio.conf
cat: /etc/modprobe.d/vfio.conf: No such file or directory

nibbs · Friday at 22:21

Nachtrag: Eine intel X520 wird einfach durchgereicht, deshalb vermute ich an der Stelle keine Probleme

nibbs · Friday at 22:30

Meiner Meinung nach ist das ein Mellanox spezifisches Verhalten. In der Connect X 3 meines Rechners verhält sich das SFP-GPON-Modul identisch.

Lord_Neksus · Friday at 22:31

Da ist erstmal alles korrekt. komisch das es mit der intel karte funktioniert. Zwei Sachen würden mir noch einfallen:
1. Du könntest mal checken ob iommu die gruppen korrekt zuweist das geht

pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist ""

2. du kannst die mellanox nochmal zusätzlich den vfio treiber aufzwingen dafür musst du zuerst die vendor und device id herrausfinden das geht mit diesem Befehl:
lspci -n -s

Die Ids die du da bekommst tauscht du in diesem Befehl aus:
echo "options vfio-pci ids=1234:1234" > /etc/modprobe.d/vfio.conf

Lord_Neksus · Friday at 22:32

zusätzlich wär auch deine vm confiig interessant

nibbs · Friday at 23:05

Lord_Neksus said:
zusätzlich wär auch deine vm confiig interessant

Code:

root@pvem920x-1:/etc/pve/qemu-server# cat 901.conf
agent: 1,fstrim_cloned_disks=1
bios: ovmf
boot: order=scsi0;ide2
cores: 4
cpu: x86-64-v2-AES
efidisk0: local-zfs:vm-901-disk-0,efitype=4m,pre-enrolled-keys=1,size=1M
hostpci0: 0000:01:00.0,pcie=1
ide2: none,media=cdrom
kvm: 0
machine: q35
memory: 2048
meta: creation-qemu=9.0.2,ctime=1735816878
name: pOPNSense
numa: 0
ostype: l26
scsi0: local:901/vm-901-disk-0.qcow2,iothread=1,size=16G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=c76b1d5d-6da0-4655-8ee2-2477b882b259
sockets: 1
vmgenid: 5ca6207b-ebbf-46af-9600-9f991bc39539

nibbs · Friday at 23:15

Lord_Neksus said:
Da ist erstmal alles korrekt. komisch das es mit der intel karte funktioniert. Zwei Sachen würden mir noch einfallen:
1. Du könntest mal checken ob iommu die gruppen korrekt zuweist das geht

pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist ""

2. du kannst die mellanox nochmal zusätzlich den vfio treiber aufzwingen dafür musst du zuerst die vendor und device id herrausfinden das geht mit diesem Befehl:
lspci -n -s

Die Ids die du da bekommst tauscht du in diesem Befehl aus:
echo "options vfio-pci ids=1234:1234" > /etc/modprobe.d/vfio.conf

Laut der Auswahl beim PCIe pass through in der GUI hat nur die NIC die IOMMU-Gruppe "2".
Ich will nicht die ganze Tabelle reinkopieren, hier der Ausschnitt für die NIC

Code:

 0x020000 │ 0x1007 │ 0000:01:00.0 │          2 │ 0x15b3 │ MT27520 Family [ConnectX-3 Pro]                                                         │      │ 0x000c           │ ConnectX-3 Pro

Der Befehl funktioniert nicht:

Code:

root@pvem920x-1:~# pvesh get /nodes/pvem920x-1/hardware/pci --pci-class-blacklist"" Option pci-class-blacklist requires an argument 400 unable to parse option pvesh get <api_path> [OPTIONS] [FORMAT_OPTIONS]

Meinst du das, oder eine andere Stelle?

Der Befehl hat nicht geklappt, bei -s fehlen noch Argumente. Mit
Code:
```
lspci -n
```
bekomme ich eine Liste mit mehreren Devices und habe intuitiv
Code:
```
01:00.0 0200: 15b3:1007
```
verwendet. Mit
Code:
```
echo "options vfio-pci ids=15b3:1007" > /etc/modprobe.d/vfio.conf
```
bleibt der Fehler (nach einem Reboot) bestehen.

Vielen Dank für deine Unterstützung und dass du nicht aufgibst.

Lord_Neksus · Friday at 23:44

Schon komisch ich bin dann leider auch überfragt man könnte höchstens nochmal in die Ausgabe gucken: dmesg | grep 01:00

Lord_Neksus · Friday at 23:47

Was sagt den jetzt iommu bei dem Befehl
pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist ""

Lord_Neksus · 2025-01-25T00:07:13+0100

Lord_Neksus said:
Was sagt den jetzt iommu bei dem Befehl
pvesh get /nodes/{nodename}/hardware/pci --pci-class-blacklist ""

Und noch zusätzlich(habe ich vorher vergessen)
cat /etc/modules

nibbs · 2025-01-25T00:30:43+0100

Also, ich habe einen Teilerfolg erzielt. und zwar liegt der Hund begraben in "Supports auto-negotiation: No". Ich hatte daraufhin schon mal "ethtool -s enp1s0d1 speed 1000 duplex full autoneg off" (oder einen Teil davon) probiert, das war aber nicht erfolgreich. Jetzt habe ich es aus Verzeiflung erneut versucht und nach einem Reboot bleibt der Slot mit dem Modul aktiv. \o/
Es bleibt auch nach einem Reboot erhalten. Ich werde noch weiter testen, wie es sich nach Einrichtung der Network-Bridges und Passthrough in die VM verhält.

Nichtsdestotrotz hier die Ergebnisse deiner vorgeschlagenen Analysen. Vielleicht findet man ja noch die Ursache.

Code:

root@pvem920x-1:~# dmesg | grep 01:00
[    0.375729] pci 0000:01:00.0: [15b3:1007] type 00 class 0x020000 PCIe Endpoint
[    0.376007] pci 0000:01:00.0: BAR 0 [mem 0xcc200000-0xcc2fffff 64bit]
[    0.376176] pci 0000:01:00.0: BAR 2 [mem 0x9a800000-0x9affffff 64bit pref]
[    0.376443] pci 0000:01:00.0: ROM [mem 0xcc100000-0xcc1fffff pref]
[    0.378232] pci 0000:01:00.0: VF BAR 2 [mem 0x00000000-0x007fffff 64bit pref]
[    0.378234] pci 0000:01:00.0: VF BAR 2 [mem 0x00000000-0x03ffffff 64bit pref]: contains BAR 2 for 8 VFs
[    0.427124] pci 0000:01:00.0: VF BAR 2 [mem size 0x04000000 64bit pref]: can't assign; no space
[    0.427126] pci 0000:01:00.0: VF BAR 2 [mem size 0x04000000 64bit pref]: failed to assign
[    0.427194] pci 0000:01:00.0: BAR 2 [mem 0xcc800000-0xccffffff 64bit pref]: assigned
[    0.427330] pci 0000:01:00.0: VF BAR 2 [mem 0xcd000000-0xd0ffffff 64bit pref]: assigned
[    0.428756] pci 0000:01:00.0: Adding to iommu group 2
[    0.475080] tpm_tis MSFT0101:00: 2.0 TPM (device-id 0x1B, rev-id 16)
[    3.652068] mlx4_core: Initializing 0000:01:00.0
[    3.652101] mlx4_core 0000:01:00.0: enabling device (0000 -> 0002)
[    9.694143] mlx4_core 0000:01:00.0: DMFS high rate steer mode is: disabled performance optimized steering
[    9.694436] mlx4_core 0000:01:00.0: 63.008 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x8 link)
[    9.780635] mlx4_en 0000:01:00.0: Activating port:1
[    9.782545] mlx4_en: 0000:01:00.0: Port 1: Using 12 TX rings
[    9.782548] mlx4_en: 0000:01:00.0: Port 1: Using 8 RX rings
[    9.782796] mlx4_en: 0000:01:00.0: Port 1: Initializing port
[    9.783273] mlx4_en 0000:01:00.0: registered PHC clock
[    9.783464] mlx4_en 0000:01:00.0: Activating port:2
[    9.783903] mlx4_en: 0000:01:00.0: Port 2: Using 12 TX rings
[    9.783905] mlx4_en: 0000:01:00.0: Port 2: Using 8 RX rings
[    9.784046] mlx4_en: 0000:01:00.0: Port 2: Initializing port
[    9.820083] mlx4_core 0000:01:00.0 enp1s0: renamed from eth0
[    9.835990] mlx4_core 0000:01:00.0 enp1s0d1: renamed from eth1

Code:

root@pvem920x-1:~# cat /etc/modules
# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.

vfio
vfio_iommu_type1
vfio_pci

Hier das volle Ergebnisse für die Blacklist

Code:

root@pvem920x-1:~# pvesh get /nodes/pvem920x-1/hardware/pci --pci-class-blacklist ""
┌──────────┬────────┬──────────────┬────────────┬────────┬─────────────────────────────────────────────────────────────────────────────────────────┬──────┬──────────────────┬───────────────
│ class    │ device │ id           │ iommugroup │ vendor │ device_name                                                                             │ mdev │ subsystem_device │ subsystem_devi
╞══════════╪════════╪══════════════╪════════════╪════════╪═════════════════════════════════════════════════════════════════════════════════════════╪══════╪══════════════════╪═══════════════
│ 0x010802 │ 0xa808 │ 0000:02:00.0 │          9 │ 0x144d │ NVMe SSD Controller SM981/PM981/PM983                                                   │      │ 0xa801           │ SSD 970 EVO
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x020000 │ 0x15bb │ 0000:00:1f.6 │          8 │ 0x8086 │ Ethernet Connection (7) I219-LM                                                         │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x020000 │ 0x1007 │ 0000:01:00.0 │          2 │ 0x15b3 │ MT27520 Family [ConnectX-3 Pro]                                                         │      │ 0x000c           │ ConnectX-3 Pro
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x030000 │ 0x3e92 │ 0000:00:02.0 │          0 │ 0x8086 │ CoffeeLake-S GT2 [UHD Graphics 630]                                                     │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x040380 │ 0xa348 │ 0000:00:1f.3 │          8 │ 0x8086 │ Cannon Lake PCH cAVS                                                                    │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x050000 │ 0xa36f │ 0000:00:14.2 │          4 │ 0x8086 │ Cannon Lake PCH Shared SRAM                                                             │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x060000 │ 0x3ec2 │ 0000:00:00.0 │          1 │ 0x8086 │ 8th Gen Core Processor Host Bridge/DRAM Registers                                       │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x060100 │ 0xa306 │ 0000:00:1f.0 │          8 │ 0x8086 │ Q370 Chipset LPC/eSPI Controller                                                        │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x060400 │ 0x1901 │ 0000:00:01.0 │          2 │ 0x8086 │ 6th-10th Gen Core Processor PCIe Controller (x16)                                       │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x060400 │ 0xa32c │ 0000:00:1b.0 │          6 │ 0x8086 │ Cannon Lake PCH PCI Express Root Port #21                                               │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x060400 │ 0xa330 │ 0000:00:1d.0 │          7 │ 0x8086 │ Cannon Lake PCH PCI Express Root Port #9                                                │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x070002 │ 0xa363 │ 0000:00:16.3 │          5 │ 0x8086 │ Cannon Lake PCH Active Management Technology - SOL                                      │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x078000 │ 0xa360 │ 0000:00:16.0 │          5 │ 0x8086 │ Cannon Lake PCH HECI Controller                                                         │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x088000 │ 0x1911 │ 0000:00:08.0 │          3 │ 0x8086 │ Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x0c0330 │ 0xa36d │ 0000:00:14.0 │          4 │ 0x8086 │ Cannon Lake PCH USB 3.1 xHCI Host Controller                                            │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x0c0500 │ 0xa323 │ 0000:00:1f.4 │          8 │ 0x8086 │ Cannon Lake PCH SMBus Controller                                                        │      │ 0x3135           │
├──────────┼────────┼──────────────┼────────────┼────────┼─────────────────────────────────────────────────────────────────────────────────────────┼──────┼──────────────────┼───────────────
│ 0x0c8000 │ 0xa324 │ 0000:00:1f.5 │          8 │ 0x8086 │ Cannon Lake PCH SPI Controller                                                          │      │ 0x3135           │
└──────────┴────────┴──────────────┴────────────┴────────┴─────────────────────────────────────────────────────────────────────────────────────────┴──────┴──────────────────┴───────────────

Lord_Neksus · 2025-01-25T00:34:47+0100

Naja ich hätte jetzt auch echt keine Idee mehr aber wenn jetzt funktioniert dann passt es ja

Connect X 3 | PMG3000 - SFP schaltet sich ab

Member

New Member

Member

New Member

Member

New Member

Member

New Member

Member

Member

Member

New Member

New Member

Member

Member

New Member

New Member

New Member

Member

New Member