Proxmox 8.3 + Netzwerkkarte Broadcom BCM57416

Q

Quickly

Renowned Member
Sep 16, 2012
104
8
83
Hallo.
Ich habe mir einen neuen Server gebaut...
  • Supermicro Mainboard H12SSL-NT
  • OnBoard Netzwerkkarte Broadcom BCM57416 (10G)
Dazu habe ich dann die neuste ProxMox-ISO für die Installation genutzt.

Leider habe ich hier keine Netzwerk-Verbindung nach der Installation.
Nehme ich ProxMox 7.x (letzte ISO) so funktioniert alles perfekt.
(auch wenn ich von PVE 7.x dann ein Upgrade auf 8.3 mache geht es nicht...)

Wo liegt denn hier mein Fehler?

Viele Grüße und Danke für die Hilfe.
 
Hannes Laimer said:
jsterr

[TUTORIAL] Thread 'Broadcom NICs down after PVE 8.2 (Kernel 6.8)'

We had some issues with some broadcom nics going down after update to 6.8

Workaround: NICs go up if you do a service networking restart
FIX: Update Broadcom Firmware to latest firmware and blacklist their "beautiful" infiniband-driver

This will update ALL YOUR Broadcom-Network Cards to their latest firmware (live) (but reboot needed after it):

apt install unzip
cat << 'EOF' > bcm-nic-update.sh
wget https://www.thomas-krenn.com/redx/tools/mb_download.php/ct.YuuHGw/mid.y9b3b4ba2bf7ab3b8/bnxtnvm.zip
unzip bnxtnvm.zip
chmod +x bnxtnvm
for i in $(./bnxtnvm listdev...
Click to expand...
  • Like
Click to expand...
Hier ist dann auch die Lösung. Diese 2 Zeilen + Reboot bringen die Lösung! Danke!


Code: 
echo "blacklist bnxt_re" >> /etc/modprobe.d/blacklist-bnxt_re.conf
update-initramfs -u
 
  • Like
Reactions: Hannes Laimer
Quickly said:
Hallo.
Ich habe mir einen neuen Server gebaut...
  • Supermicro Mainboard H12SSL-NT
  • OnBoard Netzwerkkarte Broadcom BCM57416 (10G)
Dazu habe ich dann die neuste ProxMox-ISO für die Installation genutzt.

Leider habe ich hier keine Netzwerk-Verbindung nach der Installation.
Nehme ich ProxMox 7.x (letzte ISO) so funktioniert alles perfekt.
(auch wenn ich von PVE 7.x dann ein Upgrade auf 8.3 mache geht es nicht...)

Wo liegt denn hier mein Fehler?

Viele Grüße und Danke für die Hilfe.
Click to expand...
Hi, alles kalter Kaffee. Natürlich kannst du am System rumbasteln, aber am einfachsten einmal die aktuelle Firmware auf die Netzwerkkarte flashen, dann funktioniert alles ganz normal.
Broadcom hat vor einer Weile im 6.x Kernel neue Treiber mit neuen Features ausgerollt, wenn du eine zu alte Firmware hast, reagiert die Netzwerkkarte nicht wie der Treiber das erwartet und nimmt den Link nicht up.

Wenn du die Netzwerkkarte einzeln kaufst, lag die lange irgendwo im Lager und hat garantiert eine Steinalte Firmware. Die ganzen großen Serverhersteller verbauen fast nur noch 25G karten, daher sind die 10G Karten ein wenig ldenhüter geworden. ;)
 
  • Like
Reactions: MrNobody_ and Johannes S
Falk R. said:
Hi, alles kalter Kaffee. Natürlich kannst du am System rumbasteln, aber am einfachsten einmal die aktuelle Firmware auf die Netzwerkkarte flashen, dann funktioniert alles ganz normal.
Click to expand...
Das ist bei onboard NICs mitunter etwas schwierig. Ich habe selbst einige Supermicro Boards mit onboard 10G NICs und Broadcom chipset, da kann man aber nicht die Original-FW draufflashen, sondern ist vom Hersteller des Boards abhängig.
 
cwt said:
Das ist bei onboard NICs mitunter etwas schwierig. Ich habe selbst einige Supermicro Boards mit onboard 10G NICs und Broadcom chipset, da kann man aber nicht die Original-FW draufflashen, sondern ist vom Hersteller des Boards abhängig.
Click to expand...
Wenn es da abhängigkeiten gibt, dann nimmt man natürlich die Firmware vom Serverhersteller. Da die Firmware mit dem Fix schon einige Monate alt ist, hat die auch der letzte Hersteller bereits im Programm.
Die PCI Karte vom TE kann man aber mit der original FW von Broadcom versorgen. Geht sehr Easy mit den UEFI Shell flash tool und einem USB Stick.
 
Falk R. said:
Wenn es da abhängigkeiten gibt, dann nimmt man natürlich die Firmware vom Serverhersteller. Da die Firmware mit dem Fix schon einige Monate alt ist, hat die auch der letzte Hersteller bereits im Programm.
Die PCI Karte vom TE kann man aber mit der original FW von Broadcom versorgen. Geht sehr Easy mit den UEFI Shell flash tool und einem USB Stick.
Click to expand...
Jein, der TE verwendet die onboard NIC, keine PCIe ;-) Ich hatte das nach dem Release von PVE 8 mit einem SM Board aus der 13er Serie probiert, keine Chance auf Flash. SM ist diesbezüglich sehr träge.
 
cwt said:
Jein, der TE verwendet die onboard NIC, keine PCIe ;-) Ich hatte das nach dem Release von PVE 8 mit einem SM Board aus der 13er Serie probiert, keine Chance auf Flash. SM ist diesbezüglich sehr träge.
Click to expand...

Das stimmt so nicht. Ich habe auf den X13 Boards die Firmware der onboard 10G Broadcom NICs erfolgreich geflashed. Das geht problemlos mit dem niccli. Statt der uralten 216.x hat man dann die aktuellste 231.x drauf. Damit sind dann auch die Probleme bzgl. rdma/infiband erledigt.


Hier auf einem X13DEI-T (Achtung, hierbei verliert man die Netzwerkverbindung während des Updates, daher bitte via Console oder IPMI machen):
(Auch hier updated der Befehl beide onboard NICs)

# niccli -i 1 install -rescue -force BCM957416A4160C.pkg

-------------------------------------------------------------------------------
NIC CLI v231.0.162.1 - Broadcom Inc. (c) 2024 (Bld-94.52.34.117.16.0)
-------------------------------------------------------------------------------

WARNING : Don't perform power cycle or reboot the system while firmware update
is in progress as the device may become inoperable.

Performing recovery...

Danach verliert man die Netzwerkverbindung - nach 3-5 Minuten ist das Update durch. Danach ein powercycle machen und dann ist die Firmware 231.x aktiv.


Das geht übrigens auch mit der Supermicro AOC-STG-b2T Karte, die den gleichen Chip hat (& einigen X12 Boards):

# niccli -dev 1 install BCM957416A4160C.pkg
/opt/niccli/niccli.x86_64: /lib/x86_64-linux-gnu/libnl-3.so.200: no version information available (required by /opt/niccli/niccli.x86_64)

-------------------------------------------------------------------------------
Scrutiny NIC CLI v230.0.163.0 - Broadcom Inc. (c) 2024 (Bld-85.52.34.106.16.0)
-------------------------------------------------------------------------------

WARNING : Don't perform power cycle or reboot the system while firmware update
is in progress as the device may become inoperable.

Active Package Version - 216.0.333.11 : Package Version on NVM - 216.0.333.11

NetXtreme-E Controller at PCI Domain 0000:e3:00:0
Device 0000:e3:00:0 : Installing package file BCM957416A4160C.pkg
Device 0000:e3:00:0 : will be updated to package version 231.1.162.1

Do you want to continue (y/n)?y
Firmware Update is in progress. Please wait ...
#####################################


Firmware update is completed.
A system reboot is needed for firmware update to take effect.
FW package update SUCCESS!



(Die Firmware gibts auf der Boardcom Webseite. Als NIC bitte P210tp auswählen. Zwar verwendet Supermicro den P210tep, aber die Firmware für die P210tp beinhaltet auch dieses Modell.)

(Stand heute 19.12.2024 aktuellste FW/Niccli):
https://docs.broadcom.com/docs-and-..._231.1.162.1/NVRAM_Images/BCM957416A4160C.pkg
https://docs.broadcom.com/docs-and-...2.1/niccli/Linux/niccli-231.0.162.1_linux.zip
(Altes niccli 230.x noch mit sliff Treiber, vermutlich obsolet):
https://docs.broadcom.com/docs-and-...6.0/niccli/Linux/niccli-230.0.163.0_linux.zip
 
Last edited:
  • Like
Reactions: jtheisen, tux-o-mat and sd-cns67
Can confirm.

Installed Broadcom BCM957416A4160C.pkg with switches -recover and -force on Supermicro X13DEI-T-B Board (in my case from a Wortmann Terra Server 7430G5).
All errors gone after cold start. Running perfectly fine.

Thank you @ jf21
 
I tried this on H12SSL-NT (niccli -i 1 install -rescue -force BCM957416A4160C.pkg) but did not succeed.

niccli complains about something like "Failed open recovery image cmb_a.bin"

Guess I'll have to wait for the Supermicro Support to send me a newer version than the 226 I currently have...
 
Gleiches Problem bei einem H12SSL-NT
Mit den OCP Treibern von Broadcom aktualisiert und das ohne den -force Parameter
Auch von mir ein Danke an @ jf21 !

Treiber: https://docs.broadcom.com/docs-and-downloads/BCM957416N4160HC_FW_231.1.162.1.zip
niccli Guide: https://www.thomas-krenn.com/de/wiki/Installation_NICCLI_unter_Proxmox_VE
niccli: https://docs.broadcom.com/docs-and-downloads/niccli_linux_232.0.156.8.zip

@Robin C. If you could provide some screenshots of your file structure and commands, maybe someone notices an error
 
jtheisen said:
@Robin C. If you could provide some screenshots of your file structure and commands, maybe someone notices an error
Click to expand...
Im zweiten Anlauf ging es dann...

Allerdings bin ich aktuell dazu geneigt, von diesem Schritt abzuraten.

Das Update auf die Stock-Firmware scheint die BMC-Failover Funktionalität im ausgeschalteten Zustand lahmzulegen.

Originale Firmware: NIC linkt ausgeschalteten Zustand des Servers noch mit 1G und kann als Failover für Dedicated BMC NIC benutzt werden.
Stock Firmware (233.1.135.7): NIC linkt bei erstem Power On (bspw nach Stromausfall) im ausgeschalteten Zustand schon gar nicht.


Supermicro arbeitet an einem Update. Es gibt eine interne Version v229 (die mir der Support auch geschickt hat), aber da gab es wohl Probleme mit der Validierung. Sie sagten auch irgendwas von zu kleinem EEPROM, etc..

Das Zurückflashen auf Supermicro OEM Firmware ist aber sehr tricky. Ich musste über ein (anscheinend internes?) UEFI basiertes tool erst auf v229 gehen (hatte das Tool nur für v229), was auch PHY Firmware usw neu programmiert hat... Und dann über SSWNT60_NUP mit bnxtnvm auf die stabile v226 downgraden.
 
Last edited:
You must log in or register to reply here.
Top Bottom