Can't add bond0 to bridge vmbr0: No data available

pace-IT · Jun 2, 2020

Hallo zusammen,

wir versuchen gerade neue Dell PowerEdge 740XD mit Proxmox 6.2 einzurichten und haben Probleme mit der Netzwerkkonfiguration.

NICs: Broadcom Limited BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller (2x Dual-Port)

Wir haben in diesem Setup bewusst Abstand von OVS genommen und versuchen dieses Cluster mit Linux Bridge umzusetzen.

Selbst die einfachste Minimalkonfiguration (mit 2 Ports) mit BOND (LACP) und VLANs scheitert:

Was nicht funktioniert:

Code:

auto lo
iface lo inet loopback

iface eno1np0 inet manual
iface ens3f0np0 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves eno1np0 ens3f0np0
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer2+3

auto vmbr0
iface vmbr0 inet manual
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes

auto vmbr0.3997
iface vmbr0.3997 inet static
        address 10.1.1.1
        netmask 255.255.255.0
        gateway 10.1.1.254

Was einwandfrei funktioniert:

Code:

auto lo
iface lo inet loopback

iface eno1np0 inet manual
iface ens3f0np0 inet manual

auto bond0
iface bond0 inet manual
        slaves eno1np0 ens3f0np0
        bond_miimon 100
        bond_mode 802.3ad
        bond_xmit_hash_policy layer2+3

auto bond0.3997
iface bond0.3997 inet static
  address 10.1.1.1
  netmask 255.255.255.0
  gateway 10.1.1.254

Es scheitert immer an der Erstellung der Bridge vmbr0 mit dem bridge-port bond0. Egal ob nach Neustart oder per Hand. Der LACP Bond funktioniert ansonsten einwandfrei (auch switchseitig korrekt konfiguriert).

Hat hier jemand eine Idee? Aktuellstes PVE ISO verwendet und dann Subscription Key angewendet und apt update / apt upgrade durchgeführt. Egal ob mit oder ohne ifupdown2.

Siehe auch Screenshots im Anhang.

Fehlermeldung:
"Can't add bond0 to bridge vmbr0: No data available"

Viele Grüße
Tan

pace-IT · Jun 2, 2020

Nachtrag: Mit einer deutlich komplexeren Konfiguration via OVS funktioniert der Bond und die unterschiedlichen VLAN Interfaces/Ports/Bridges auf Anhieb. :-/

Alwin · Jun 3, 2020

pace-IT said:
NICs: Broadcom Limited BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller (2x Dual-Port)

Das liegt irgendwo an der Kombination aus Karten + Switch und Linux Bridge. Vielleicht hilft es das Kernel Module 8021q vor der Erstellung des Bonds zu laden. Manche Switche drehen wohl VLAN ab, wenn am Interface keines erkannt wurde.

Nach einem frischen Boot. In etwa so, dabei hilft es die Schritte manuell zu machen, um besser zu sehen, wo es hängt.

Code:

# load IEEE 802.1Q kernel module manually
modprobe 8021q

# make sure NICs are down before enslaving them
ip link set ens3f0np0 down
ip link set eno1np0 down

# create active-backup bond
ip link add name bond99 type bond
ip link set dev bond99 type bond mode active-backup
ip link set dev ens3f0np0 master bond99
ip link set dev eno1np0 master bond99
ip link set dev bond99 up

# create bridge
ip link add name vmbr99 type bridge
ip link set dev vmbr99 up
ip link set dev bond99 master vmbr99

# enable vlan awareness
bridge vlan add dev bond99 vid 2-4094

# add Vlan dev
ip link add link vmbr99 name vlan3997 type vlan id 3997
ip link set vlan3997 up
ip address add 10.10.10.1/24 dev vlan3997

# check if vlans are applied
bridge vlan show

pace-IT · Jun 4, 2020

Guten Morgen Alwin,

vielen Dank für deine Antwort. Unsere Intention beim Einsatz der Linux Bridge war eigentlich "weniger ist mehr"

D.h. einfachere Konfiguration und geringere Komplexität. Wenn wir jetzt doch anfangen müssen, einen "Workaround" zu bauen, dann setzen wir doch lieber wieder auf OVS. Hiermit hatten wir die letzten 1,5 Jahre in unserem "alten" Cluster auch null Probleme.

Btw: Den Beitrag im Forum zu dem Kernel Modul 802.1q und HP Switchen hatte ich auch gelesen. Das Modul wurde zumindest immer sauber geladen und war aktiv. Seltsam halt, das der Bond mit VLANs ohne Bridge sofort funktioniert.

Also wir werden jetzt wohl doch beim Open vSwitch bleiben. Trotzdem vielen Dank für deine Hilfe.

Viele Grüße
Tan

Alwin · Jun 4, 2020

Meine Intention war in erster Linie herauszufinden, auf welcher Seite das Problem auftritt. Wenn's einfach nur das 8021q Modul ist, dann könnten wir das zB. auf unserer Seite einfach immer vorab laden.

Die Linux Bridge lädt das Modul beim starten, da ist der Bond aber schon längst ohne VLAN oben. Und daran könnt es hacken.

erik.deneve · Jun 7, 2020

Wir haben das gleiche Problem mit den gleichen Netzwerkkarten. (https://forum.proxmox.com/threads/network-problem-bond-vlan-bridge.70875/).

whiterabbit · Jun 7, 2020

Hi.
Ich habe deine Config gerade mal mit unserer verglichen. Sie sieht ähnlich aber nicht genauso aus.
Du hast:

Code:

auto vmbr0
iface vmbr0 inet manual
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes

Wir haben:

Code:

auto vmbr0
iface vmbr0 inet manual
        bridge_ports bond0
        bridge_stp off
        bridge_fd 0
        bridge_maxwait 0
#Bond (Intel-Karte)

Vielleicht versuchst du's mit der Option "bridge_maxwait 0"??

TwiX · Oct 21, 2020

pace-IT said:
Hallo zusammen,

wir versuchen gerade neue Dell PowerEdge 740XD mit Proxmox 6.2 einzurichten und haben Probleme mit der Netzwerkkonfiguration.

NICs: Broadcom Limited BCM57414 NetXtreme-E 10Gb/25Gb RDMA Ethernet Controller (2x Dual-Port)

Wir haben in diesem Setup bewusst Abstand von OVS genommen und versuchen dieses Cluster mit Linux Bridge umzusetzen.

Selbst die einfachste Minimalkonfiguration (mit 2 Ports) mit BOND (LACP) und VLANs scheitert:

Was nicht funktioniert:

Code:

auto lo iface lo inet loopback iface eno1np0 inet manual iface ens3f0np0 inet manual auto bond0 iface bond0 inet manual bond-slaves eno1np0 ens3f0np0 bond-miimon 100 bond-mode 802.3ad bond-xmit-hash-policy layer2+3 auto vmbr0 iface vmbr0 inet manual bridge-ports bond0 bridge-stp off bridge-fd 0 bridge-vlan-aware yes auto vmbr0.3997 iface vmbr0.3997 inet static address 10.1.1.1 netmask 255.255.255.0 gateway 10.1.1.254

Was einwandfrei funktioniert:

Code:

auto lo iface lo inet loopback iface eno1np0 inet manual iface ens3f0np0 inet manual auto bond0 iface bond0 inet manual slaves eno1np0 ens3f0np0 bond_miimon 100 bond_mode 802.3ad bond_xmit_hash_policy layer2+3 auto bond0.3997 iface bond0.3997 inet static address 10.1.1.1 netmask 255.255.255.0 gateway 10.1.1.254

Es scheitert immer an der Erstellung der Bridge vmbr0 mit dem bridge-port bond0. Egal ob nach Neustart oder per Hand. Der LACP Bond funktioniert ansonsten einwandfrei (auch switchseitig korrekt konfiguriert).

Hat hier jemand eine Idee? Aktuellstes PVE ISO verwendet und dann Subscription Key angewendet und apt update / apt upgrade durchgeführt. Egal ob mit oder ohne ifupdown2.

Siehe auch Screenshots im Anhang.

Fehlermeldung:
"Can't add bond0 to bridge vmbr0: No data available"

View attachment 17568

Viele Grüße
Tan

Hi,

I'm facing the same issue with the same network cards (25 GB Broadcom 57414).
Did you solve your problem with linux bridge ? Is OVS working with these cards ?

Thanks in advance !

bbe · Jan 28, 2021

Hi,

Do you have find a solution ?
I have 2 network cards: BCM57414 ( Server HP Proliant dl360 G10) and same issue.

When I active vlan-aware, the protocole LACP going down.

Thanks,
Benjamin

TwiX · Jan 28, 2021

Hi,

I switch to OVS and everything is working as expected

bbe · Jan 28, 2021

Hi,

thank you, indeed using openvswitch it seems to work.

Search

Search

Can't add bond0 to bridge vmbr0: No data available

pace-IT

New Member

Attachments

pace-IT

New Member

Alwin

Proxmox Retired Staff

pace-IT

New Member

Alwin

Proxmox Retired Staff

erik.deneve

Member

whiterabbit

Renowned Member

TwiX

Renowned Member

bbe

New Member

TwiX

Renowned Member

bbe

New Member