[SOLVED] Bond mit VLAN funktioniert nur sporadisch.

[buliwyf]

Hi,

aktuell treibt mich die Konfiguration in den Wahnsinn.
Setup:
3x Lenovo M720q als Cluster
Onboard ist jeweils ein Intel I219-V verbaut
Ich habe nun jeweils noch eine CX311A - ConnectX-3 SFP+ verbaut.
Die Mellanox laufen über einen Unfi Aggregation Switch und die Intel Ports über einen Unifi 24 POE.

Um die 10Gbit/s zu nutzen und im Falle eines Switchausfalls redundant zu sein nutze einen einfachen bond mit aktiv -passiv failover.
Die Mellanox Karte ist als primary eingetragen.

Nun möchte ich in einigen VMs und Containers VLANs nutzen. Was bei früheren Setups immer problemlos funktioniert hat, wenn man
in der Bridge vlan-aware aktiviert.

Doch aktuell funktioniert es nur unregelmäßig und alle debugging Versuche sind fehlgeschlagen.
Ich habe momentan keine Ahnung, warum.

Ich wäre für jeden Tipp dankbar.

Vielen Dank

Hier noch meine Config

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
    mtu 9000

auto enp1s0
iface enp1s0 inet manual
    mtu 9000

auto bond0
iface bond0 inet manual
    bond-slaves eno1 enp1s0
    bond-miimon 100
    bond-mode active-backup
    bond-primary enp1s0
    mtu 9000

auto vmbr0
iface vmbr0 inet static
    address 192.168.203.43/24
    gateway 192.168.203.8
    bridge-ports bond0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094
    mtu 9000

 

[abader]

hmm...hatte mal ein ähnliches Problem mit einer SFP+ Karte (ka welche Genau - könnte auch eine Connecx3 gewesen sein) - da musste ich die VLANS begrenzen, da die VLAN Range zu groß war.

Versuch mal als Test

auto vmbr0
iface vmbr0 inet static
address 192.168.203.43/24
gateway 192.168.203.8
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-120
mtu 9000

 

[Dunuin]

War die MTU vorher auch schon auf 9000 gestellt, bevor du die ConnectX3 benutzt hast?

 

[buliwyf]

hmm...hatte mal ein ähnliches Problem mit einer SFP+ Karte (ka welche Genau - könnte auch eine Connecx3 gewesen sein) - da musste ich die VLANS begrenzen, da die VLAN Range zu groß war.

Versuch mal als Test

auto vmbr0
iface vmbr0 inet static
address 192.168.203.43/24
gateway 192.168.203.8
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-120
mtu 9000

Danke, genau das war.
Kurz nach meinem Post bin ich über folgenden Thread gestolpert.
https://forum.proxmox.com/threads/proxmox-7-and-mellanox-connectx4-and-vlan-aware-bridge.104926/
(So ist das ja immer. )

Dort werden die folgenden Limitierungen für Mellanox genannt.

ConnectX3: 128 vlan limit
ConnectX4LX: 512 vlan limit (tested)
ConnectX4: 4096 vlan limit
ConnectX5: 4096 512 vlan limit (tested)

Nachdem ich die config entsprechend meiner VLANS angepasst habe, hat es auf Anhieb funktioniert.