Proxmox 8.3 + Netzwerkkarte Broadcom BCM57416

[Quickly]

Hallo.
Ich habe mir einen neuen Server gebaut...

• Supermicro Mainboard H12SSL-NT
• OnBoard Netzwerkkarte Broadcom BCM57416 (10G)

Dazu habe ich dann die neuste ProxMox-ISO für die Installation genutzt.

Leider habe ich hier keine Netzwerk-Verbindung nach der Installation.
Nehme ich ProxMox 7.x (letzte ISO) so funktioniert alles perfekt.
(auch wenn ich von PVE 7.x dann ein Upgrade auf 8.3 mache geht es nicht...)

Wo liegt denn hier mein Fehler?

Viele Grüße und Danke für die Hilfe.

 

[Hannes Laimer]

Hey,

so ganz ohne irgendwelche Fehlermeldungen/Log Einträge ist das sehr schwer zu sagen. Aber vielleicht siehst du dir mal [1], könnte mit dem zu tun haben was du beschreibst.

[1] https://forum.proxmox.com/threads/broadcom-nics-down-after-pve-8-2-kernel-6-8.146185/

 

[Quickly]

[TUTORIAL] Thread 'Broadcom NICs down after PVE 8.2 (Kernel 6.8)'

Apr 30, 2024

We had some issues with some broadcom nics going down after update to 6.8

Workaround: NICs go up if you do a service networking restart
FIX: Update Broadcom Firmware to latest firmware and blacklist their "beautiful" infiniband-driver

This will update ALL YOUR Broadcom-Network Cards to their latest firmware (live) (but reboot needed after it):

apt install unzip
cat << 'EOF' > bcm-nic-update.sh
wget https://www.thomas-krenn.com/redx/tools/mb_download.php/ct.YuuHGw/mid.y9b3b4ba2bf7ab3b8/bnxtnvm.zip
unzip bnxtnvm.zip
chmod +x bnxtnvm
for i in $(./bnxtnvm listdev...

• jsterr
• broadcom kernel 6.8 network p225g p425g pve 8.2
• Replies: 60
• Forum: Proxmox VE: Installation and configuration

• 

Hier ist dann auch die Lösung. Diese 2 Zeilen + Reboot bringen die Lösung! Danke!

echo "blacklist bnxt_re" >> /etc/modprobe.d/blacklist-bnxt_re.conf
update-initramfs -u

 

[Falk R.]

Hallo.
Ich habe mir einen neuen Server gebaut...

• Supermicro Mainboard H12SSL-NT
• OnBoard Netzwerkkarte Broadcom BCM57416 (10G)

Dazu habe ich dann die neuste ProxMox-ISO für die Installation genutzt.

Leider habe ich hier keine Netzwerk-Verbindung nach der Installation.
Nehme ich ProxMox 7.x (letzte ISO) so funktioniert alles perfekt.
(auch wenn ich von PVE 7.x dann ein Upgrade auf 8.3 mache geht es nicht...)

Wo liegt denn hier mein Fehler?

Viele Grüße und Danke für die Hilfe.

Hi, alles kalter Kaffee. Natürlich kannst du am System rumbasteln, aber am einfachsten einmal die aktuelle Firmware auf die Netzwerkkarte flashen, dann funktioniert alles ganz normal.
Broadcom hat vor einer Weile im 6.x Kernel neue Treiber mit neuen Features ausgerollt, wenn du eine zu alte Firmware hast, reagiert die Netzwerkkarte nicht wie der Treiber das erwartet und nimmt den Link nicht up.

Wenn du die Netzwerkkarte einzeln kaufst, lag die lange irgendwo im Lager und hat garantiert eine Steinalte Firmware. Die ganzen großen Serverhersteller verbauen fast nur noch 25G karten, daher sind die 10G Karten ein wenig ldenhüter geworden.

 

[cwt]

Hi, alles kalter Kaffee. Natürlich kannst du am System rumbasteln, aber am einfachsten einmal die aktuelle Firmware auf die Netzwerkkarte flashen, dann funktioniert alles ganz normal.

Das ist bei onboard NICs mitunter etwas schwierig. Ich habe selbst einige Supermicro Boards mit onboard 10G NICs und Broadcom chipset, da kann man aber nicht die Original-FW draufflashen, sondern ist vom Hersteller des Boards abhängig.

 

[Falk R.]

Das ist bei onboard NICs mitunter etwas schwierig. Ich habe selbst einige Supermicro Boards mit onboard 10G NICs und Broadcom chipset, da kann man aber nicht die Original-FW draufflashen, sondern ist vom Hersteller des Boards abhängig.

Wenn es da abhängigkeiten gibt, dann nimmt man natürlich die Firmware vom Serverhersteller. Da die Firmware mit dem Fix schon einige Monate alt ist, hat die auch der letzte Hersteller bereits im Programm.
Die PCI Karte vom TE kann man aber mit der original FW von Broadcom versorgen. Geht sehr Easy mit den UEFI Shell flash tool und einem USB Stick.

 

[cwt]

Wenn es da abhängigkeiten gibt, dann nimmt man natürlich die Firmware vom Serverhersteller. Da die Firmware mit dem Fix schon einige Monate alt ist, hat die auch der letzte Hersteller bereits im Programm.
Die PCI Karte vom TE kann man aber mit der original FW von Broadcom versorgen. Geht sehr Easy mit den UEFI Shell flash tool und einem USB Stick.

Jein, der TE verwendet die onboard NIC, keine PCIe ;-) Ich hatte das nach dem Release von PVE 8 mit einem SM Board aus der 13er Serie probiert, keine Chance auf Flash. SM ist diesbezüglich sehr träge.

 

[Falk R.]

Ich finde bei SM aber keine Einschränkungen was die Broadcom Firmware angeht.
Das ist eine normale OCP NIC und dafür gibts bei Broadcom extra eine OCP Firmware:
https://docs.broadcom.com/docs/BCM957416N4160HC_FW_230.1.123.0

 

[jf21]

Jein, der TE verwendet die onboard NIC, keine PCIe ;-) Ich hatte das nach dem Release von PVE 8 mit einem SM Board aus der 13er Serie probiert, keine Chance auf Flash. SM ist diesbezüglich sehr träge.

Das stimmt so nicht. Ich habe auf den X13 Boards die Firmware der onboard 10G Broadcom NICs erfolgreich geflashed. Das geht problemlos mit dem niccli. Statt der uralten 216.x hat man dann die aktuellste 231.x drauf. Damit sind dann auch die Probleme bzgl. rdma/infiband erledigt.


Hier auf einem X13DEI-T (Achtung, hierbei verliert man die Netzwerkverbindung während des Updates, daher bitte via Console oder IPMI machen):
(Auch hier updated der Befehl beide onboard NICs)

# niccli -i 1 install -rescue -force BCM957416A4160C.pkg

-------------------------------------------------------------------------------
NIC CLI v231.0.162.1 - Broadcom Inc. (c) 2024 (Bld-94.52.34.117.16.0)
-------------------------------------------------------------------------------

WARNING : Don't perform power cycle or reboot the system while firmware update
is in progress as the device may become inoperable.

Performing recovery...

Danach verliert man die Netzwerkverbindung - nach 3-5 Minuten ist das Update durch. Danach ein powercycle machen und dann ist die Firmware 231.x aktiv.


Das geht übrigens auch mit der Supermicro AOC-STG-b2T Karte, die den gleichen Chip hat (& einigen X12 Boards):

# niccli -dev 1 install BCM957416A4160C.pkg
/opt/niccli/niccli.x86_64: /lib/x86_64-linux-gnu/libnl-3.so.200: no version information available (required by /opt/niccli/niccli.x86_64)

-------------------------------------------------------------------------------
Scrutiny NIC CLI v230.0.163.0 - Broadcom Inc. (c) 2024 (Bld-85.52.34.106.16.0)
-------------------------------------------------------------------------------

WARNING : Don't perform power cycle or reboot the system while firmware update
is in progress as the device may become inoperable.

Active Package Version - 216.0.333.11 : Package Version on NVM - 216.0.333.11

NetXtreme-E Controller at PCI Domain 0000:e3:00:0
Device 0000:e3:00:0 : Installing package file BCM957416A4160C.pkg
Device 0000:e3:00:0 : will be updated to package version 231.1.162.1

Do you want to continue (y/n)?y
Firmware Update is in progress. Please wait ...
#####################################


Firmware update is completed.
A system reboot is needed for firmware update to take effect.
FW package update SUCCESS!



(Die Firmware gibts auf der Boardcom Webseite. Als NIC bitte P210tp auswählen. Zwar verwendet Supermicro den P210tep, aber die Firmware für die P210tp beinhaltet auch dieses Modell.)

(Stand heute 19.12.2024 aktuellste FW/Niccli):
https://docs.broadcom.com/docs-and-..._231.1.162.1/NVRAM_Images/BCM957416A4160C.pkg
https://docs.broadcom.com/docs-and-...2.1/niccli/Linux/niccli-231.0.162.1_linux.zip
(Altes niccli 230.x noch mit sliff Treiber, vermutlich obsolet):
https://docs.broadcom.com/docs-and-...6.0/niccli/Linux/niccli-230.0.163.0_linux.zip