[SOLVED] Rückfrage Bonding und Geschwindigkeiten

F

frogger13

New Member
Dec 5, 2024
26
0
1
Moin...

Wenn mal wieder viel Zeit hat, versucht man sich an neuen Sachen. Also habe ich am WE mich mit dem Thema Bonding und LACP bei meinen beiden Proxmox Servern beschäftigt.

Zum Hintergrund: Das sind 2 DIY Server mit jeweils eine Dual 2,5GBit NIC, angeschlossen an einen 8x Switch. Der soll auch LACP können.

Eingerichtet habe ich es auch alles bekommen. Das Interface vmbr0 hat die IP 192.168.2.250/24 plus GW (bzw. 192.168.2.251/24 am anderen Server) und als Port ist bond0 eingetragen. Der bond0 wiederum besteht aus den beiden Interfaces der Netzwerkkarte und ohne IP. Bond Mode ist LACP

Als jeweils einzige VM läuft Openmediavault als NAS auf beiden Systemen. Das Interface vmbr0 ist als Netzwerkkarte dort eingerichtet.

Der Switch (Mokerlink... ja ist nix bekanntes, aber erfüllt seinen Zweck in Moment mit mehreren 2,5er Ports) hat die Option Link Aggregation Group. Hier sind die beiden Ports der jeweiligen Server angeschlossen. Das wird auch als UP angezeigt, aber nur mit einem der beiden Ports alt active. Der andere ist inactive. Der Modus ist LACP und nicht Static.

Alle Test waren zwar erfolgreich, aber nur mit max. 2,5GBit/s -> ist ja auch eigentlich korrekt, weil nur ein Port am Switch jeweils als Active angezeigt wird.

Lange Rede, gar kein Sinn, aber habe ich hier ein Verständnis Problem, oder ist der "Billig" Switch vlt. doch am falschen Ende gespart ? Wenn ich 2 Kopiervorgänge in entgegen gesetzter Richtung einrichte, dann müssten doch mehr oder weniger die doppelte Geschwindigkeit zustande kommen, oder ?


Gruß
Reiner
 
Zeige bitte die genaue Portconfig der beiden Proxmox VE und des Switches.
für LACP gibt es noch weitere Einstellungen, die passen müssen.

# https://de.wikipedia.org/wiki/Link_Aggregation

Es hängt davon ab, was man macht, im Mittel wird bei korrekte Konfiguration die Geschwindigkeit zu mehreren Servern untereinander je maximal 2x 2.5 GBit/s betragen.
 
1744033751837.png

1744033776786.png
Swich:
Code: 
interface mgi4
 lag 1 mode active
 duplex full
 description "proxmox01-nic1"
!
interface mgi5
 lag 2 mode active
 duplex full
 description "proxmox02-nic1"
!
interface mgi6
 lag 1 mode active
 duplex full
 description "proxmox01-nic2"
!
interface mgi7
 lag 2 mode active
 duplex full
 description "proxmox02-nic2"

/etc/network/Interfaces Server1

Code: 
auto lo
iface lo inet loopback

auto enp12s0
iface enp12s0 inet static
        address 192.168.2.230/24

auto enp8s0
iface enp8s0 inet manual

auto enp9s0
iface enp9s0 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves enp8s0 enp9s0
        bond-miimon 100
        bond-mode 802.3ad

auto vmbr0
iface vmbr0 inet static
        address 192.168.2.250/24
        gateway 192.168.2.1
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        post-up /usr/sbin/ethtool -s enp8s0 wol g

/etc/network/Interfaces Server 2

Code: 
auto lo
iface lo inet loopback

auto enp7s0
iface enp7s0 inet manual

auto enp2s0
iface enp2s0 inet static
        address 192.168.2.231/24

auto enp8s0
iface enp8s0 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves enp7s0 enp8s0
        bond-miimon 100
        bond-mode 802.3ad

auto vmbr0
iface vmbr0 inet static
        address 192.168.2.251/24
        gateway 192.168.2.1
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        post-up /usr/sbin/ethtool -s enp7s0 wol g
 
Hi,

schau mal hier.

BondModes

Versuch mal herauszubekommen, ob der Switch das 802.3ad Protokoll unterstützt.
 
Moin...

Ich habe einfach mal den Hersteller angemailt und ihm die Frage nach 802.3ad gestellt.

Dazu habe ich ein wenig mit der Kommandozeile des Switch gespielt und hier ein paar Infos ausgelesen:
Code: 
Mokerlink01# sh lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode        P - Device is in Passive mode

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
mgi2      SA      bndl      1             0x3e8     0x3e8   0x2         0x3d
mgi6      SA      down      1             0x3e8     0x3e8   0x6         0x45

Channel group 2
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
mgi5      SA      bndl      1             0x3e9     0x3e9   0x5         0x3d
mgi7      SA      down      1             0x3e9     0x3e9   0x7         0x45

Code: 
Mokerlink01# sh lacp neighbor
Flags:  S - Device is sending Slow LACPDUs
        F - Device is sending Fast LACPDUs
        A - Device is in Active mode        P - Device is in Passive mode

Channel group 1 neighbors

Partner's information:

                  LACP port                        Admin  Oper   Port    Port
Port      Flags   Priority  Dev ID          Age    key    Key    Number  State
mgi2      SA      255       98b7.8521.cadb  71s    0x3e8  0xb    0x1     0x3d
mgi6      FP      32768     0000.0000.0000  0s     0x3e8  0x3e8  0x6     0x56

Channel group 2 neighbors

Partner's information:

                  LACP port                        Admin  Oper   Port    Port
Port      Flags   Priority  Dev ID          Age    key    Key    Number  State
mgi5      SA      255       98b7.8521.cad9  63s    0x3e9  0xb    0x1     0x3d
mgi7      FP      32768     0000.0000.0000  0s     0x3e9  0x3e9  0x7     0x56

Code: 
Mokerlink01# sh lacp counters
             LACPDUs       LACPDUs
Port       Sent   Recv     Pkts Err
---------------------------------------
Channel group 1
mgi2       790    725      0
mgi6       0      0        0
Channel group 2
mgi5       1091   817      0
mgi7       0      0        0

Vlt. Kann ja ein Netzwerk Expert mit den Infos was anfangen.

Gruß
Reiner
 
Moin...

Es ist mir zwar peinlich, aber der Fehler war tatsächlich in der Verkabelung. Die Netzwerkkabel für die Interfaces, die down waren, sind am Server abgesteckt gewesen. Bei den vielen Versuchen ist mir das durchgegangen. War auch ganz am Anfang der Einrichtung.

Also wenn jemand eine funktionierende Config sucht, dann diese hier, solange die Kabel alle richtig gesteckt sind :)

Sorry
Reiner
 
You must log in or register to reply here.
Top Bottom