Mellanox Karte installieren - Treiber laden nicht, oder ?

F

frogger13

New Member
Dec 5, 2024
26
0
1
Moin...

Ich habe meinem Proxmox Server eine gebrauchte Mellanox x3 Karte (wohl von HP) spendiert und wollte sie Heute mal zu fliegen bekommen... leider nicht so ganz erfolgreich. Inzwischen habe ich leider so viele Sachen ausprobiert, dass ich auch nicht mehr 100$ sagen kann, was da gemacht wurde und was nicht. Ich hab mich an das hier https://blog.joeplaa.com/mellanox-connectx-3-on-proxmox-8-2/ gehalten am Anfang und bin bis zu dem Punkt "mst status" gekommen:
Code: 
MST modules:
------------
    MST PCI module loaded
    MST PCI configuration module loaded

MST devices:
------------
/dev/mst/mt4103_pciconf0         - PCI configuration cycles access.
                                   domain:bus:dev.fn=0000:01:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1
                                   Chip revision is: 00
/dev/mst/mt4103_pci_cr0          - PCI direct access.
                                   domain:bus:dev.fn=0000:01:00.0 bar=0xfc000000 size=0x100000
                                   Chip revision is: 00

mlxconfig -d /dev/mst/mt4103_pciconf0 q (oder auch mstconfig -d 01:00.0 q) bringen das gleiche Ergebnis:
Code: 
-E- Failed to open device: /dev/mst/mt4103_pciconf0. Cannot perform operation, Driver might be down.

lspci | grep Mellanox ->
Code: 
01:00.0 Ethernet controller: Mellanox Technologies MT27520 Family [ConnectX-3 Pro]

dmesg | grep Mellanox
Code: 
[    1.527471] mlx4_core: Mellanox ConnectX core driver v4.0-0

Jemand eine passende Anleitung oder Idee, an der ich mich orientieren kann ?

Gruß
Reiner
 
Hallo Rainer, ist das eine Infiniband oder Ethernet Karte? Wenn du die im Infiniband Modus gekauft hast, musst du die auf Ethernet umstellen und oft hilft auch eine aktuelle Firmware.
Da die Anleitungen oft Buggy sind, habe ich eine Windows VM installiert, die Netzwerkkarten als PCI Device durchgereicht und das Broadcom Flash Tool unter Windows benutzt. Das geht stressfrei und schnell.
 
  • Like
Reactions: MarkusKo
Danke für den Tipp, aber 1. hilft er mir nicht wirklich weiter, weil ich die Karte eigentlich auf dem Host brauche, da sie in 2 VMs zur Verfügung stehen sollte. Einmal Openmediavault (Debian basierend) und einem Windows Server. Der Windows Server ist noch nicht da, aber ich habe es mal mit einer vorhandenen Windows 11 VM versucht. Da kann ich die Karte zwar durchreichen, aber sie wird im Geräte Manager als Systemgerät mit Fehler angezeigt. Diverse Treiber haben keine Änderungen gebracht.

Ob das eine EN oder IB karte ist, kann ich tatsächlich nicht sagen. Wie bekommt man das zuverlässig raus ?
 
Du sollst die VM nur für das Update und umstellen auf Ethernet in die VM hängen, danach kannst du die aus der VM aushängen und normal im Host nutzen.
Das Windows Tool zeigt dir auch an ob die im IB Modus ist.
 
frogger13 said:
OK.. falsch verstanden.. welchen Windows Tool von Broadcom hast du denn benutzt ?
Click to expand...
Sorry war ein Tippfehler, ehemals Mellanox, jetzt NVidia. Download müsste ich jetzt auch erst auf der NVidia Seite neu suchen. Der alte Mellanox Link welchen ich vor 3 Jahren genutzt habe, geht nicht mehr.
 
also kleiner Nachtrag: Ich habe ja 2 Karten davon gekauft und die 2te nun in meinen Desktop PC eingebaut. Ohne Software usw. wurde die Karte als "
HP Ethernet 10G 2-Port 546SFP+ Adapter" 2 mal erkannt. Testen kann ich sie nicht, da der Switch dazu sehr weit weg steht. Somit scheinen die Karten ja an sich keine Probleme zu haben und auch eine EN Karte zu sein. Leider hat das durchreichen der Karte in eine Windows 11 VM (gleiche Version wie mein Desktop) ja nur so halb geklappt -> siehe oben ....

Ich glaube so langsam, dass ich mit den Karten einen Fehlkauf getätigt habe, denn man finden im Netz auch keine richtige Anleitung für genau diese Karte von HP, außer für native Windows. Das kann ich ja sogar bestätigen.

Sollte jemand noch andere Tipps haben, dann nur gerne her damit. Ansonsten wäre ja auch die Frage, welche Mellanox Karte wäre Preis Leistungstechnisch zu empfehlen. Die x3 von HP ja offensichtlich nicht. Mal schauen ob ich sie zurückschicken kann...
 
Die 546SFP+ ist eine normale Ethernet Karte, aber vermutlich schon etwas älter. Wenn die in deinem PC erkannt wird, dann da bitte einmal Firmware aktualisieren. Wenn du noch eine ganz alte Firmware hast, ist das ein bekanntes Problem, dass die Karten mit aktuellem Treiber Probleme machen. Der Linux Kernel bringt natürlich immer aktuelle Treiber mit, bei Windows sind die oft schon ein paar Jahre älter.
 
die idee hatte ich auch schon, aber habe es bisher nicht geschafft, weil ich nicht die richtige software und firmware gefunden habe....
 
naja.. das habe ich schon geschafft, aber läuft unter "habe ich nicht mehr auf dem Zettel, was ich alles gemacht habe". Das blöde ist, dass das zwar ein Tool von HP dafür gibt, aber ich das falsch gefiltert habe. Also mit der falschen Version angefangen habe. Nun habe ich die richtige genommen und auch das Programm zum laufen bekommen, habe, aber leider ist die Karte schon mit der neusten Firmware versehen. Also keine Fehler, aber auch kein Update. Ist also definitiv eine HP Karte mit Ethernet Mode und der letzten Firmware von 2023 (https://support.hpe.com/connect/s/s...nts&softwareId=MTX_e562774ab51a41ce9515044ddb)

Code: 
 flint -d mt4103_pci_cr0 q
Image type:            FS2
FW Version:            2.42.5044
FW Release Date:       21.10.2018
Product Version:       02.42.50.44
Rom Info:              version_id=8025 type=CLP
                       type=UEFI version=14.11.48 cpu=AMD64
                       type=PXE version=3.4.754
Device ID:             4103
Description:           Node             Port1            Port2            Sys image
GUIDs:                 ffffffffffffffff ffffffffffffffff ffffffffffffffff ffffffffffffffff
MACs:                                       480fcfeee3b0     480fcfeee3b1
VSD:
PSID:                  HP_1200111023

Unter Windows 11 scheint es ja keine Probleme zu geben, aber 100% weiß ich es halt nicht. Aber unter Linux / Debian wird die Karte als irgendwas mit Mellanox erkannt und es scheint keine HPE Treiber für aktuelle Debian Versionen zu geben.
 
Wenn du da keine wirkliche, ungebrandete Firmware von Melanox drauf bekommst dann wird das nichts werden. Mit Tools von HP geht das nicht. Ich habe damals aufgegeben und mir eine andere Melanox Karte besorgt. Die läuft bis heute.
 
ok.. an dem Punkt bin ich auch gerade irgendwie.... also andere Karten besorgen. Welche hast du denn am laufen ?
 
Original Mellanox. Das ging aber um 10 GB Glasfaser an einer Synology NAS. Die originale Synology war eine Mellanox mit einer bestimmten Firmware. Die Mellanox MCX312B-XCCT CX312B ConnectX-3 EN Pro 10GbE SFP+ Dual-Port PCIe NIC lief dann.

Unter der Bezeichnung hat mir erst jemand eine HP gebrandete andrehen wollen. Hab die aber behalten. Die läuft jetzt in meiner Z620 problemlos unter Windows 10.
 
So ich habe die Karten am laufen (man macht ja Samstag nix anderes):

Weil ich mir das dokumentiert habe, da ich es in einem 2ten Server nochmal machen muss, hier für jemanden, der sich auch HP Karten andrehen lassen hat:

- DOCA Host für Debian installieren - ich habe das ALL Paket genommen, aber vlt. langt auch weniger:
Code: 
https://developer.nvidia.com/doca-downloads?deployment_platform=Host-Server&deployment_package=DOCA-Host&target_os=Linux&Architecture=x86_64&Profile=doca-all&Distribution=Debian&version=12.5&installer_type=deb_online

- Dort stehen auch alle Befehle, die man braucht
- Prüfen ob erfolgreich mit "ls /lib/modules/$(uname -r)/build" - sollte etwas stehen.
- Reboot
- Da war noch nix anders als vorher - keine Karte online ! Die vorhandenen natürlich schon :)

- "mst Status"
Code: 
MST modules:
------------
    MST PCI module is not loaded
    MST PCI configuration module is not loaded

PCI Devices:
------------

        No devices were found.

- "mst start"
Code: 
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
Unloading MST PCI module (unused) - Success
Unloading MST PCI configuration module (unused) - Success

- "lspci -nn | grep -i mell"
Code: 
01:00.0 Ethernet controller [0200]: Mellanox Technologies MT27520 Family [ConnectX-3 Pro] [15b3:1007]

- "lspci -k -d 15b3:1007"

Code: 
01:00.0 Ethernet controller: Mellanox Technologies MT27520 Family [ConnectX-3 Pro]
        Subsystem: Hewlett-Packard Company Ethernet 10G 2-port 546SFP+ Adapter
        Kernel modules: mlx4_core

- "dmesg | grep mlx"
Code: 
[    1.525640] mlx4_core: Mellanox ConnectX core driver v4.0-0
[    1.525664] mlx4_core: Initializing 0000:01:00.0
[    1.525837] mlx4_core 0000:01:00.0: Missing UAR, aborting

- geht also immer noch nicht !

- Letzte Mellanox Firmware muss irgendwie auf den Rechner kommen. Ich habe sie über die ISO Freigabe hochgeladen (mit vorher in ISO umbenennen)
- "https://network.nvidia.com/support/firmware/connectx3proen/"
- Was man dazu braucht ist die PSID -> mstflint -d 01:00.0 q | grep PSID -> PSID: HP_1200111023
- Man sucht sich in der Liste, den Eintrag mit der PSID MT_1200111023 (passend zu der HP Karte) und lädt die Datei "fw-ConnectX3Pro-rel-2_42_5000-MCX312B-XCC_Ax-FlexBoot-3.4.752.bin" runter und kopiert sie auf den Server.
- Mit "sudo mstflint --allow_psid_change -d 01:00.0 -i fw-ConnectX3Pro-rel-2_42_5000-MCX312B-XCC_Ax-FlexBoot-3.4.752.bin burn" flasht man die Karte neu mit einer anderen Firmware (die ist eine Nummer unter der von HPE) und ändert dann auch unbedingt die PSID !! Auch wenn das in vielen Anleitungen nicht empfohlen wird, aber meist nur wegen des Verlust der Garantie. Wenn man aber sowieso eine gebrauchte Karte hat, dann muss das jeder selber entscheiden. Bei mir gab es keine Probleme !
- Reboot
- Obwohl "mst status" immer noch "No devices were found." meldet, tauchen nun unter der Proxmox GUI 2 neue Netzwerkkarten auf.
- Mit "lspci -k -d 15b3:1007" sollte dann sowas hier kommen:

Code: 
01:00.0 Ethernet controller: Mellanox Technologies MT27520 Family [ConnectX-3 Pro]
        Subsystem: Mellanox Technologies ConnectX-3 Pro 10 GbE Dual Port SFP+ Adapter revision A1
        Kernel driver in use: mlx4_core
        Kernel modules: mlx4_core

- Damit läuft das wohl nur mit Kernel Treibern
- Und mit "ip addr" stehen dann auch die beiden neuen Netzwerkkarten (enp1s0 und enp1s0d1 bei mir) zur Verfügung.

Viel Spaß damit ....
 
Ralf Wolbers said:
Wenn du da keine wirkliche, ungebrandete Firmware von Melanox drauf bekommst dann wird das nichts werden. Mit Tools von HP geht das nicht. Ich habe damals aufgegeben und mir eine andere Melanox Karte besorgt. Die läuft bis heute.
Click to expand...
Wer weiß was du da gemacht hast, alle meine alten HPE Mellanox Karten, werden ganz normal als Mellanox erkannt und funktionieren.
Die Firmware ist auch identisch, bis auf den Updater, der prüft die Kennung/Seriennummer.
 
You must log in or register to reply here.
Top Bottom