Hallo,
dies ist mein erster Beitrag
Ich habe in den vergangenen Wochen alle Server im Firmennetz von Hyper-V auf Proxmox VE umgestellt und bin bisher sehr zufrieden. Jedoch müssen noch einige Dinge optimiert werden - dabei bin ich auf folgendendes Problem gestoßen:
Meine Ausgangssituation ist folgende:
- ich habe zwei UniFi US XG 16, die mit 2x 10GBit SFP+ Glasfaser miteinander verbunden sind per Unifi Link Aggregation
- mit jeder XG sind die Proxmox Server (VE und Backup) per jeweils 2 Stück SFP+ 10 GBit DAC-Kabel verbunden, seitens Unifi per Link Aggregation, seitens Proxmox per Bond LACP (802.3ad) mit Layer 3+4 Hash Policy
- an jeder XG hängen mehrere 48-Port Unifi-Switches für die Clients
Meine Erwartung war nun, dass die Server untereinander mit 20 Gbit reden, was prinzipiell auch funktioniert (siehe iperf3-Test unten).
Problem:
bei der Verbindung zwischen den Clients und den VMs, die auf den Proxmox-VE's laufen, kommt es zu ständigen Verbindungs-Abbrüchen oder zeitweise zu gar keiner Erreichbarkeit der Server. Dabei spielt es keine Rolle, ob sich die Server in einem VLan befinden oder im nativen Netz. Die VM's sind sowohl Debian-Systeme, als auch Windows Server, die alle gleichermaßen per VirtIO-Treiber angebunden sind.
Sobald ich seitens der UniFi XG die Port-Aggregations auflöse, an der die Proxmox-VE's hängen, sind alle Server wieder zuverlässig im Netzwerk erreichbar, natürlich mit 10GBit, da die zweite Leitung ignoriert wird. Sobald die Link-Aggregation wieder aufgebaut ist, kommt es wieder zu den Verbindungsproblemen.
Nachfolgend ein paar Bildchen zur Veranschaulichung. Wo liegt der Fehler? Ist die Einstellung der Bonds im Proxmox falsch? Meines Wissens nach unterstützt Unifi LACP bei der Link Aggregation. Sollte hier etwas anderes gewählt werden? Oder eine andere Hash-Policy? Wie kann man das Problem eingrenzen?
Vielen Dank für alle eure Hinweise
Torsten
Netzwerk-Setup:
UniFi Link Aggregation Einstellungen:
Proxmox Netzwerk-Einstellungen:
iperf3-Test-Beispiel, ähnliche Ergebnisse zwischen allen Proxmox-Servern
dies ist mein erster Beitrag
Ich habe in den vergangenen Wochen alle Server im Firmennetz von Hyper-V auf Proxmox VE umgestellt und bin bisher sehr zufrieden. Jedoch müssen noch einige Dinge optimiert werden - dabei bin ich auf folgendendes Problem gestoßen:Meine Ausgangssituation ist folgende:
- ich habe zwei UniFi US XG 16, die mit 2x 10GBit SFP+ Glasfaser miteinander verbunden sind per Unifi Link Aggregation
- mit jeder XG sind die Proxmox Server (VE und Backup) per jeweils 2 Stück SFP+ 10 GBit DAC-Kabel verbunden, seitens Unifi per Link Aggregation, seitens Proxmox per Bond LACP (802.3ad) mit Layer 3+4 Hash Policy
- an jeder XG hängen mehrere 48-Port Unifi-Switches für die Clients
Meine Erwartung war nun, dass die Server untereinander mit 20 Gbit reden, was prinzipiell auch funktioniert (siehe iperf3-Test unten).
Problem:
bei der Verbindung zwischen den Clients und den VMs, die auf den Proxmox-VE's laufen, kommt es zu ständigen Verbindungs-Abbrüchen oder zeitweise zu gar keiner Erreichbarkeit der Server. Dabei spielt es keine Rolle, ob sich die Server in einem VLan befinden oder im nativen Netz. Die VM's sind sowohl Debian-Systeme, als auch Windows Server, die alle gleichermaßen per VirtIO-Treiber angebunden sind.
Sobald ich seitens der UniFi XG die Port-Aggregations auflöse, an der die Proxmox-VE's hängen, sind alle Server wieder zuverlässig im Netzwerk erreichbar, natürlich mit 10GBit, da die zweite Leitung ignoriert wird. Sobald die Link-Aggregation wieder aufgebaut ist, kommt es wieder zu den Verbindungsproblemen.
Nachfolgend ein paar Bildchen zur Veranschaulichung. Wo liegt der Fehler? Ist die Einstellung der Bonds im Proxmox falsch? Meines Wissens nach unterstützt Unifi LACP bei der Link Aggregation. Sollte hier etwas anderes gewählt werden? Oder eine andere Hash-Policy? Wie kann man das Problem eingrenzen?
Vielen Dank für alle eure Hinweise
Torsten
Netzwerk-Setup:
UniFi Link Aggregation Einstellungen:
Proxmox Netzwerk-Einstellungen:
INI:
auto lo
iface lo inet loopback
auto enp65s0f0
iface enp65s0f0 inet manual
auto enp65s0f1
iface enp65s0f1 inet manual
auto bond0
iface bond0 inet manual
bond-slaves enp65s0f0 enp65s0f1
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer3+4
#NIC Bond 2x10 GBit
auto vmbr0
iface vmbr0 inet static
address 192.168.170.5/24
gateway 192.168.170.254
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
source /etc/network/interfaces.d/*iperf3-Test-Beispiel, ähnliche Ergebnisse zwischen allen Proxmox-Servern
Last edited:
