Linux Bond verwirrt das Netzwerk

[Digital_Data]

Hallo,

folgendes Szenario:

2 Proxmox Server mit je 2 Windows Server 2019 VMs verbunden mit einer switch ohne Cluster.
Ebenfalls hängt ein Windows10 Notebook mit an der Switch um die Server zukonfigurieren.
Ich habe die Server installiert und auf den neusten Stand geupdatet.

Nun habe ich an Server 1 ein Linux Bond eingerichtet mit Bond-Mode Round Robin.
Ping zwischen den Servern, dem Notebook und den VMS funktioniert (alle Kombinationen).


/etc/network/interfaces Ausgabe;
auto lo
iface lo inet loopback

iface enp6f0 inet manual

iface enp4f2 inet manual

auto bond0
iface bond0 inet static
slaves enp6f0 enp4f2
bond_miimon 100
bond_mode balance-rr



auto vmbr0
iface vmbr0 inet static
address 172.24.8.80
netmask 255.255.0.0
gateway 172.24.8.71
bridge_ports bond0
bridge_stp off
bridge_fd 0




Problem: Sobald ich an Server 2 ebenfalls ein Bond einrichte können sich die VMs nur noch sporadisch anpingen.

Ping fail
Ping fail
Ping fail
Ping succes
Ping fail
Ping succes
Ping succes
Ping fail
...

Ich habe verschiedene Bond-Modes ausprobiert, jedesmal mit dem gleichen Effekt, sobald 2 Server mit Linux Bond im Netzwerk hängen, werden die Pings der VMs unregelmäßig, Firewalls sind alle deaktiviert. Alle Netzwerkgeräte sowieso virtuelle Netzwerkkarten habe unterschiedliche MAC-Addressen.
Die Switch kann leider nicht den Bond-Mode 802.3ad.



MfG

 

[LnxBil]

Die Switch kann leider nicht den Bond-Mode 802.3ad.

Kann er überhaupt irgend einen Bond-Modus? Falls nein wirst du auf active-backup gehen müssen, denn der klappt immer, hat aber in dem Setup natürlich überhaupt keinen Sinn. Dass es mal klappt und mal nicht ist exakt das, was ich in einem solchen Setup erwarten würde.

 

[Digital_Data]

Kann er überhaupt irgend einen Bond-Modus? Falls nein wirst du auf active-backup gehen müssen, denn der klappt immer, hat aber in dem Setup natürlich überhaupt keinen Sinn. Dass es mal klappt und mal nicht ist exakt das, was ich in einem solchen Setup erwarten würde.

An der Switch kann es nicht liegen, denn bei Verwendung von Citrix XenServer statt Proxmox lief es einwandfrei.

 

[Digital_Data]

Hallo nochmal zusammen,

um die Konstellation nochmal klar zu stellen:

1. Proxmox Server
1.1 Windows VM
1.2 Linux VM

2. Proxmox Server
2.1 Windows VM
2.2 Linux VM

-> Beide Proxmox Server über Linux bond (2 Adapter -> 1 bond -> 1 bridge) an eine nicht gemanagte Switch angeschlossen.
-> Die beiden Proxmox Server können sich IMMER ohne Probleme erreichen (ping, ...)
-> Die VMs (Windows oder Linux), können sich nur sporadisch erreichen (ping, ...)

Die verwendete Switch unterstützt nativ keine Bond Modi, jedoch gibt es ja entsprechende Switch unabhängige bond Modi (Windows und Linux),
-> Round Robin

Die Frage ist also, warum funktioniert diese Konstellation nicht zuverlässig, da die eingesetzte Hardware unter Citrix Xen oder auch mit Windows HyperV keine Probleme macht?

Vielen Dank schon mal!

 

[fireon]

Das ist eine gute Frage, ich kämpfte mit den Bondmodi seit 15 Jahren. Mal tuts mal nicht. Seit IPV6 kann man es sowieso vergessen. Aus dem Grund nehme ich entweder Active-Backup. Oder kauf mir nen Switch der das kann z.B. HP 2540. Oder noch besser gleich 10Gigabit, ist mittlerweile preislich sehr gleich mit Gigabit. Bekommst ne Intel 10G Karte um 80 Euro. Switch von Netgear um 400.

 

[Frank666]

bei mir gibt es mit dem Bonding eigentlich keine Probleme, egal ob jetzt active-backup oder lacp.
Im Vergleich zu oben mal hier meine Konfig.

 

[fireon]

egal ob jetzt active-backup oder lacp.

Wir reden hier ja auch von "round robin". Deine genannten gehen natürlich.

 

[Digital_Data]

Hallo,

es ist für uns eine wichtige Sache, dass die Bonding-Funktionen korrekt funktionieren, da wir bei unseren Kunden auf Proxmox umstellen möchten aber die "round-robin"-Funktion benötigt wird. Ohne "round-robin" können wir keine Service-Verträge verkaufen. Da "round-robin" bei anderen Virtualisierungsprogrammen (XenServer und HyperV) problemlos funktioniert, kann es nicht an der Hardware liegen.

Da das Problem erst auftritt wenn ein zweiter Proxmox-Server mit Bonding ins Netzwerk geholt wird, könnte ich mir vorstellen das Proxmox den virtuellen Nics neben den MAC-Addressen möglicherweise noch IDs vergibt und diese bei den Servern identisch sind und daher zu einem Konflikt führen. Leider sind mir die Ideen ausgegangen.

Ich hoffe auf eine Antwort des Proxmox-Teams.

Schöne Weihnachten
Digital Data

 

[fireon]

Jetzt wird's spannend... wobei ich an dieser Stelle sage das alles andere als LACP oder 10Gbit im Produktivbetrieb nicht wirklich ernst zu nehmen ist.

 

[LnxBil]

Hast du dein Problem gelöst bekommen?

Ich persönlich verbaue auch keine round-robin-Bonding-Lösungen, da das nicht mehreren Switches zurecht kommt und somit in einer HA-Umgebung eh nichts zu suchen hat. Für die anderen Szenarien war es bei jedem Datacenter, in dem ich bisher gearbeitet habe immer LACP.

 

[Digital_Data]

Hast du dein Problem gelöst bekommen?

Ich persönlich verbaue auch keine round-robin-Bonding-Lösungen, da das nicht mehreren Switches zurecht kommt und somit in einer HA-Umgebung eh nichts zu suchen hat. Für die anderen Szenarien war es bei jedem Datacenter, in dem ich bisher gearbeitet habe immer LACP.

Hallo LnxBil,
leider ist das Problem noch nicht gelöst. Aktuell laufen die Geräte übergangsweise ohne Bonding.
LACP bzw 10GBit ist aktuell keine Option.
Für Ideen oder Lösungsansätze wäre ich sehr dankbar.

 

[fireon]

Naja, aus Erfahrung weis ich noch, desto dümmer der Switch ist, desto besser funktioniert LinuxBonding. Soll heissen ein guter Switch ohne jeglichen Management, ohne VLAN oder SNMP, sprich so ein Gerät das dies gar nicht kann, sollte funktionieren. Ansonsten mal beim PVEsupport durchklingeln. Die helfen sicher gerne weiter.

 

[LnxBil]

Für Ideen oder Lösungsansätze wäre ich sehr dankbar.

Hast du denn einen oder mehrere Switches am Laufen? Bei nur einem sollte es keine Probleme - wie @fireon schon geschrieben hat - geben.

 

[Digital_Data]

Hast du denn einen oder mehrere Switches am Laufen? Bei nur einem sollte es keine Probleme - wie @fireon schon geschrieben hat - geben.

Hallo,

ich habe es in verschiedenen Konstellationen mit verschiedenen Switches ausprobiert. Sobald eine zweite Proxmox node mit Bonding ins Netz gehängt wird, scheint das Netz gespickt mit Störungen zusein. Selbst wenn ich ein einfaches Netzwerk in der Konstellation "NodeA - Switch - NodeB" nachbaue tritt dieses Verhalten auf.