Proxmox Bridge/Openvswitch Verhalten

[ZFSUser]

Hallo zusammen,

bin neu hier im Forum, aber nicht wirklich neu in der Verwendung von Proxmox VE. Ich setze Proxmox VE spätestens seit Version 3 als Heimserver ein. Damals bis Version 6 noch mit FreeNas als Storage, später dann Standalone als All-In-One mit ZFS. Neben Proxmox VE habe ich auch immer Vmware ESX später dann ESXi im Homelab installiert gehabt um einige Konfigurationen für die Arbeit durchspielen zu können. Jetzt durch die Übernahme von Broadcom befindet sich ja auch dort alles im Umbruch und man überlegt sich ernsthaft auch auf der Arbeit nun von Vmware auf Proxmox VE umzusteigen, allerdings mit Netapp als Storage Backend.
Nun zu meinem eigentlichen Thema. Das Verhalten der Linux Bridge bzw. des Openvswitches ist ja eher das eines echten Switches mit dem vollen Programm, bestehend aus STP und Mac Learning etc. Gerade wenn man ohne LACP Bonding die physischen Netzwerk Ports an zwei nicht gestackten oder im MLAG befindlichen Switche anbinden muss, war das immer etwas Problematisch. Gerade wenn man das Verhalten eines ESXI Switches über die Jahre schätzen lernen konnte. Denn der Arbeitet ja völlig anders (Split Horizon Switching). Mehr hier: https://blog.ipspace.net/2010/11/vmware-virtual-switch-no-need-for-stp/

Meine Frage ist in diesem Zusammenhang ob es irgendwie möglich ist, genau dieses Verhalten mit der Linux Bridge oder dem OpenvSwitch zu erreichen? Und wenn ja wie?

 

[Falk R.]

Hi,
das Loadbalancing was der ESXi per Default nutzt entspricht dem was bei einem bond die Option balance-tlb macht. Du kannst auch balance-alb nutzen, das macht es ein klein wenig intelligenter.
Falls doch ein Stack oder MLAG möglich sein sollte, wäre LACP natürlich zu bevorzugen. Heutzutage können eigentlich ale vernünftigen Switches entweder Stacking oder einen Nachbau von MLAG.

P.S. habe mir den Link mal angeschaut, am Ende der teil mit HyperV ist auch nur zu unter 50% richtig.

 

[ZFSUser]

Ich wollte im Grunde genau so ein Verhalten wie der ESXI Vswitch hat, also den "End host mode" erreichen. Sodass dieser zwar intern die VMs miteinander kommunizieren lässt, aber nicht als Switch auf den Uplink Ports auftritt und dort Daten über den Vswitch leitet. Um ohne STP oder LACP trotzdem eine Loopfreie redundante Anbindung zu haben.

Kurzer Nachtrag: Die Bonding Modes habe ich bereits ausprobiert, allerdings funktioniert das nicht so richtig sauber. Wenn ich einen solchen Bond auf zwei unterschiedliche physische Switche mit gleich konfigurierten Switchports stecke, erreiche ich den Proxmox nicht mehr. Beim ESXI mit dem Standard Switch ist das kein Problem.

 

[Falk R.]

alb und tlb sollte gehen, aber z.B. DELL Switches mögen das nicht.
Active-Backup geht immer, verteilt nur nix aktiv.
Was hast du denn für Netzwerkhardware?

 

[ZFSUser]

Cisco und FS habe ich als Netzwerkhardware. Der Proxmox hängt aber an zwei Cisco Switchen. Der ESXI funktioniert halt problemlos an allem, sogar an den billigsten Switchen entsteht kein Loop.

 

[Falk R.]

Dann könntest du auf den Cisco ja VPC konfigurieren, ist die MLAG Umsetzung von Cisco.
Die FS Switches xx50er können MLAg, die xx60er können Stacking. Die Datacenter Switches können beides.

Ach ja, bei tlb und alb darf auch kein Loop entstehen. Du könntest ja mal dein Bond Konfiguration posten.

 

[ZFSUser]

Das sind normale Cisco SG250 Switche hier in der Testumgebung, die unterstützen kein Stacking. Zwischen den Switchen besteht aber ein Port-Channel über den alle VLANs drüber dürfen. Angebunden sind beide Switche jeweils über eine 1Gbit Leitung zum Core. In der Produktivumgebung werden auch keine Nexus Switche eingesetzt, sondern derzeit die Catalyst C1300-16XTS, diese aber auch nicht gestakt. sondern einzeln, in ähnlicher Konfiguration wie die SG250 in der Testumgebung. Gerade in so einer KMU Umgebung wollte ich auch weiterhin auf LACP verzichten, klar könnte ich die C1300 später Stacken, das hat aber in so einer kleinen Umgebung oft mehr Nachteile als Vorteile. Und ESXi läuft damit ja ohne Probleme.

Die Konfiguration die ich nutze ist die normale die über die Gui erstellt wird:

auto bond0
iface bond0 inet manual
    bond-slaves eno1 eno2 eno3 eno4
    bond-miimon 100
    bond-mode balance-tlb

 

[Falk R.]

Hi, mit dieser Einstellung kann es zu keinem Loop kommen, es könnte aber passieren, dass Spanning Tree getriggert wird wenn er zu schnell wechselt beim Last Verteilen. Eventuell sollte es bei alb besser laufen.
Außerdem ist wie auch bei VMware empfohlen die Ports der Server auf dem Switch, auf Portfast zu stellen.