Proxmox VE 8.1 auf Netapp H300S/H300E

beisser

Active Member
Feb 21, 2023
170
49
28
moin zusammen,

ich hab ein ziemlich schräges problem, bei dem ich nicht weiss wie ich es evtl beheben könnte.
Ich habe eine Netapp H300S auf der ich versuche Proxmox VE zu installieren.
Die Installation klappt einwandfrei, alle Hardwarekomponenten werden einwandfrei erkannt.

Nach der Installation ist allerdings die Netzwerkverbindung nicht funktionsfähig (es handelt sich um eine mellanox 25Gbit (mit 10Gbit SFP+) karte, die den mlx5 treiber verwendet.
Das Interface is up, ethtool zeigt auch die korrekte verbindung an, ich habe aber keine chance daten über das interface zu senden.

Auf dem angeschlossenen Switch (Brocade VDX serie) sehe ich den Link und sogar die MAC-Adresse der Karte.

Zuerst dachte ich an ein Hardware-Problem, aber nachdem ich auf der Kiste ein Fedora 39 Live-ISO gebootet habe funktioniert die Karte. keine speziellen Einstellungen. Keine Jumbo Frames, kein VLAN, nichts.

Ich habe dann unter Proxmox versucht einfach mal das Interface ohne Bridge zu konfigurieren.
Das klappt auch und das Interface kommt auch hoch.
Die Funktion ist allerdings nicht gegeben.

dmesg messages bzgl der Netzwerkkarte unterscheiden sich nicht zwischen Fedora und PVE.

Unterschied zwischen Fedora 39 und PVE scheint primär die Kernelversion (6.5.9 vs 6.5.11) zu sein.

Ich werde am WE mal spassesweise versuchen ein PVE7 zu installieren um zu sehen ob der ältere Kernel das Problem ebenfalls zeigt, falls aber jemand eine Idee hat, wäre ich definitiv dankbar.
 
Last edited:
hhab grad pve 7.4 installiert und die netzwerkkarte funktioniert.
habe inzwischen auch rausfinden können, dass es sich um eine Mellanox Connect-X4Lx handelt.

Also 7.4 mit 5.15.102 geht, 8.1 mit 6.5.11 geht nicht.
Ich werde jetzt mal unter 7.4 den 6.2er Kernel installieren und schaun, was mit dem ist.
 
6.2.16-20-bpo11 funbktioniert unter 7.4 ebenfalls.

ich werde jetzt mal upgraden und sehen ob ein upgrade einen unterschied macht zur frischen 8.1er installation.
 
interessant is folgendes. nach dem update von 7.4 auf 8.1 mit 6.5er kernel funktioniert die karte.
ich vermute der kernel im iso (war das 6.5.11-4?) mag die karte nicht.
6.5.11-7, welcher durch das update kommt und 6.5.11-4 überpringt mag die karte dann wieder.

ist für mich grundsätzlich kein problem. ist nur etwas mehr arbeit, den umweg übers 7.4er iso zu machen.

firmwareupdate kann ich eigentlich mal machen.
 
Hast du dir das hier in dem Ordner mal angesehen: https://www.supermicro.com/wdl/Netw...dd-on_NIC_Cards/Mellanox/Firmware_Tool/Linux/

Angeblich ist das von 2021.

Ansonsten habe ich auf Github noch MAAS Scripts gefunden: https://github.com/canonical/maas-commissioning-scripts/blob/master/00-update-smc-oem-connectx-4.sh

Vielleicht kannst du ja etwas aus den Scripten ableiten was dir hilft? Ansonsten verweist Supermicro in der Datei: https://www.supermicro.com/wdl/Netw...ox/25GbE/Linux/Additional_Driver_Download.txt auch auf: https://www.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed
 
das file selbst ist von 2021, der content des tgz nach dem entpacken ist vom november 2018.
also schon sehr angestaubt und warscheinlich der grund warum es failed.

die scripte und das mellanox-zeug werd ich mir morgen mal ansehen und dann feedback geben.
 
das file selbst ist von 2021, der content des tgz nach dem entpacken ist vom november 2018.
also schon sehr angestaubt und warscheinlich der grund warum es failed.

die scripte und das mellanox-zeug werd ich mir morgen mal ansehen und dann feedback geben.
haben Sie es geschafft?
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!