Sporadischer Verbindungsabbruch bei VLAN/LACP

Discussion in 'Proxmox VE (Deutsch)' started by LachCraft, Nov 28, 2018.

Tags:
  1. LachCraft

    LachCraft New Member
    Proxmox VE Subscriber

    Joined:
    Nov 28, 2018
    Messages:
    1
    Likes Received:
    0
    Sehr geehrte Kolleginnen und Kollegen,

    aktuell habe ich einen Demoaufbau im semiproduktiven Einsatz um Probleme zu erkennen und einzudämmen, bevor ich damit an 500 User gehe. Aktuell benutzt das Unternehmen garkeine logisch getrennten Systeme. Setups in diesem Umfang hatte ich zuvor mit vmWare gelöst, allerdings gefällt mir das HA und CEPH Konzept um Längen mehr. PROXMOX als Einzelsserver betreibe ich schon viele Jahre.

    Bedauerlicherweise habe ich ein Problem gefunden und muss das PROXMOX zuschreiben. Ob das ein Bug ist oder mein Unvermögen gibt es zu klären.

    Zur Sache:
    Betrieben werden drei Hosts im HA und mit CEPH. Sporadisch, von 3x am Tag (selten) bis alle 2-4 Tage, reißt die Verbindung zum Terminalserver (WIN2012R2) für ~10min ab. (EDIT: Es sind auch alle anderen VMs vom Abriss betroffen) In der Netzwerkinfrastruktur wird LACP und vLAN verwendet, aktuell noch mit nonstacked Switchen, dies kommt später. Die UTM (Sophos) sowie die Switches (dlink, management), konnte ich durch Tauscherei und Ersatzgeräten anderer Hersteller ausschließen.
    Tatsächlich sind auch alle Punkte im Netzwerk erreichbar, bis auf die in PROXMOX befindlichen VMs. Die webgui von Proxmox ist auch erreichbar, allerdings ist die Leitung auch nicht getaggt.

    Liegt das Problem am LACP, vLAN oder falscher Handhabung meinerseits?

    Vielen Dank für die Unterstützung!

    Gruß, Patrick
     

    Attached Files:

    #1 LachCraft, Nov 28, 2018
    Last edited: Nov 28, 2018
  2. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
    Hallo Patrick,

    das hatte ich auch und bis fast verzweifelt bis ich eins probiert habe:

    VM runterfahren virtuelle Netzwerkkarte löschen und/oder nur eine neue MAC-Adresse vergeben.
    Windows findet dann eine neue Netzwerkkarte bei der natürlich wieder die feste IP gesetzt werden muss.

    Danach war seit 2 Monaten bei mir Ruhe.

    Grüße
     
  3. Mario Hosse

    Mario Hosse New Member

    Joined:
    Oct 25, 2017
    Messages:
    19
    Likes Received:
    3
    Hallo,

    warum nimmst du nicht:
    https://pve.proxmox.com/wiki/Open_vSwitch
    Nehme ich von Anfang an und bisher ohne Probleme.

    Beispiel mit lacp und Netze bond0 mit vlan 50, 60 und bond1 mit vlan 70, 80:
    Code:
    auto lo
    iface lo inet loopback
    
    iface ens4f0 inet manual
    
    iface ens4f1 inet manual
    
    iface ens3 inet manual
    
    iface ens3d1 inet manual
    
    
    allow-vmbr0 bond0
    iface bond0 inet manual
            ovs_bonds enp6s0f0 enp6s0f1
            ovs_type OVSBond
            ovs_bridge vmbr0
            ovs_options bond_mode=balance-tcp lacp=active other_config:lacp-time=fast
            pre-up (ip link set mtu 9000 dev ens3d1 && ip link set mtu 9000 dev ens3 && /sbin/ethtool -C ens3 adaptive-rx off rx-usecs 0 tx-frames 64 && /sbin/ethtool -C ens3d1 adaptive-rx off rx-usecs 0 tx-frames 64)
            mtu 9000
    
    auto bond1
    iface bond1 inet manual
            ovs_bonds eno2 eno3
            ovs_type OVSBond
            ovs_bridge vmbr0
            ovs_options bond_mode=balance-tcp lacp=active other_config:lacp-time=fast
           pre-up (ip link set mtu 9000 dev ens3d1 && ip link set mtu 9000 dev ens3 && /sbin/ethtool -C ens3 adaptive-rx off rx-usecs 0 tx-frames 64 && /sbin/ethtool -C ens3d1 adaptive-rx off rx-usecs 0 tx-frames 64)
            mtu 9000
    
    auto vmbr0
    iface vmbr0 inet manual
            ovs_type OVSBridge
            ovs_ports bond0 verwaltung lan
            mtu 9000
    
    allow-vmbr0 
    iface verwaltung inet static
            address  10.10.10.10
            netmask  255.255.255.0
            ovs_type OVSIntPort
            ovs_bridge vmbr0
            ovs_options tag=50
            mtu 9000
    
    allow-vmbr0 
    iface lan inet static
            address  10.18.12.250
            netmask  255.255.255.0
            ovs_type OVSIntPort
            ovs_bridge vmbr0
            ovs_options tag=60
            mtu 9000
    
    auto vmbr1
    iface vmbr1 inet manual
            ovs_type OVSBridge
            ovs_ports bond0 system wlan
            mtu 9000
    
    allow-vmbr1 
    iface system inet static
            address  10.18.0.110
            netmask  255.255.255.0
            ovs_type OVSIntPort
            ovs_bridge vmbr0
            ovs_options tag=70
            mtu 9000
    
    allow-vmbr1 
    iface wlan inet static
            address  10.18.14.250
            netmask  255.255.255.0
            ovs_type OVSIntPort
            ovs_bridge vmbr0
            ovs_options tag=80
            mtu 9000
    
    ...usw.
    
    
    Grüße
     
  4. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
    Dankeschön für Deine Beispielconfig... warum funktioniert bei mir der Wert
    tx-frames 64
    nicht?
     
  5. Mario Hosse

    Mario Hosse New Member

    Joined:
    Oct 25, 2017
    Messages:
    19
    Likes Received:
    3
    Vielleicht weil ich in der Zeile per copy & paste meine Netzwerkkarten noch drin habe:

    Code:
    pre-up (ip link set mtu 9000 dev ens3d1 && ip link set mtu 9000 dev ens3 && /sbin/ethtool -C ens3 adaptive-rx off rx-usecs 0 tx-frames 64 && /sbin/ethtool -C ens3d1 adaptive-rx off rx-usecs 0 tx-frames 64)
    Siehe ens3d1 und ens3.
    Müsstest du auf deine Netzwerkkarten anpassen, so meine Vermutung?
     
  6. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
    ganz so unversiert bin ich dann auch nicht ;)

    Hatte ich natürlich nur tx-frames setzt sich immerwieder auf 0 zurück. Alle anderen Einstellungen scheinen zu gehen.

    Gibt es da eine Tuning-Hilfe welche Settings machbar und nützlich sind?

    Danke.
     
  7. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
  8. Mario Hosse

    Mario Hosse New Member

    Joined:
    Oct 25, 2017
    Messages:
    19
    Likes Received:
    3
    Hallo,

    Adaptive TX:eek:ff ?

    Ich habe das vor einem Jahr gesetzt. Auch nur für 40 GB Ethernetkarte für den Parameter MTU 9000.
    Leider findet ich keine ausführlichen Erklärungen.
    Einzig:
    tx-frames This is the number of frames to queue up before raising an TX interrupt.
    Quelle: https://www.ibm.com/support/knowledgecenter/en/SSQPD3_2.6.0/com.ibm.wllm.doc/usingethtoolrates.html

    Hier einmal meine Ausgabe:
    root@prox1a:~# ethtool -c ens3
    Coalesce parameters for ens3:
    Adaptive RX: off TX: off
    stats-block-usecs: 0
    sample-interval: 0
    pkt-rate-low: 400000
    pkt-rate-high: 450000

    rx-usecs: 0
    rx-frames: 44
    rx-usecs-irq: 0
    rx-frames-irq: 0

    tx-usecs: 16
    tx-frames: 64
    tx-usecs-irq: 0
    tx-frames-irq: 256

    rx-usecs-low: 0
    rx-frame-low: 0
    tx-usecs-low: 0
    tx-frame-low: 0

    rx-usecs-high: 128
    rx-frame-high: 0
    tx-usecs-high: 0
    tx-frame-high: 0


    Vielleicht den Parameter "adaptive-tx off" mit hineinnehmen?
    Ich habe mellanox-Karten. Kannst ja mal deine Netzwerkkarte schreiben.
     
    #8 Mario Hosse, Nov 30, 2018
    Last edited: Nov 30, 2018
  9. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
  10. Mario Hosse

    Mario Hosse New Member

    Joined:
    Oct 25, 2017
    Messages:
    19
    Likes Received:
    3
    Kannst du deine Lösung einmal posten, hilft auch anderen!
     
  11. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
    gern...hier meine /etc/network/interfaces

    Code:
    allow-vmbr0 bond0
    iface bond0 inet manual
        ovs_type OVSBond
        ovs_bridge vmbr0
        ovs_options bond_mode=balance-slb
        ovs_bonds eno1 eno2
        pre-up (/sbin/ethtool -C eno1 adaptive-rx off rx-usecs 5 adaptive-tx off tx-usecs 10 && /sbin/ethtool -C eno2 adaptive-rx off rx-usecs 5 adaptive-tx off tx-usecs 10)
    
    nur der relevante part...habe intel 10gbe karten ohne mtu 9000
     
  12. Mario Hosse

    Mario Hosse New Member

    Joined:
    Oct 25, 2017
    Messages:
    19
    Likes Received:
    3
    Danke für deine Antwort.

    Warum ohne hohen MTU Wert? Kein Zugriff auf die Switche? Ich mußte den MTU Wert immer direkt in die Datei interfaces schreiben.
    Für die Karten im Bond mit den Netzen ceph und migration macht ein hoher MTU Sinn.
    Tipp: Ein migrations-Netz ohne Verschlüsselung ist wesentlich schneller und in einem separaten Netz/vlan auch kein Problem.

    Code:
    ovs_options bond_mode=balance-slb
    Hat ja Nachteile, weil beim Empfang und Senden in einer Sitzung nur ein Netzwerkinterface des Servers benutzt wird. Wobei auf alle Netzwerkkarten gesendet wird und diese Pakete verworfen werden müssen.
    Warum nicht lacp, kein Zugriff auf die Switche?

    Dies stellt keine Wertung dar, nur Fragen die ich mir als Admin stelle.
     
    #12 Mario Hosse, Dec 1, 2018
    Last edited: Dec 1, 2018
  13. mac.linux.free

    Joined:
    Jan 29, 2017
    Messages:
    91
    Likes Received:
    5
    alles gut...produktiv wird natürlich lacp verwendet...mtu 9000 habe ich deshalb nicht, weil sich auf dem bond auch "normale" clients verbinden wollen...dankeschön für deine hilfe...woher kommst du vielleicht können wir ja zusammen arbeiten?
     
  14. Mario Hosse

    Mario Hosse New Member

    Joined:
    Oct 25, 2017
    Messages:
    19
    Likes Received:
    3
    Kein Problem, wenn wieder eine Frage ist, schreib einfach in mein Profil. Dann lasse ich dir meine Mail-Adresse zukommen.
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice