Hallo zusammen,
ich baue aktuell einen 3-Node-Proxmox-Cluster mit Ceph auf. Die Nodes sind jeweils per LACP an zwei Dell-Switches (100 Gbit) angebunden.
Netzwerktopologie:
Switch 1:
→ 100 Gbit → Node 1
→ 100 Gbit → Node 2
→ 100 Gbit → Node 3
Switch 2:
→ 100 Gbit → Node 1
→ 100 Gbit → Node 2
→ 100 Gbit → Node 3
Die LACP-Verbindungen wurden via MC-LAG eingerichtet und funktionieren grundsätzlich.
Problem:
Wenn ich mit iperf einen Geschwindigkeitstest von einem Node zu einem anderen mache, erreiche ich ca. 80 Gbit/s – das erscheint mir plausibel.
Starte ich jedoch gleichzeitig einen Test von Node 3 → Node 1 und von Node 3 → Node 2, fällt der Durchsatz auf jeweils exakt 49 Gbit/s.
Ziel:
Ich möchte erreichen, dass die Bandbreite bei parallelen Verbindungen besser aufgeteilt wird – also z. B. durch Nutzung unterschiedlicher Ports oder Wege – sodass die volle Bandbreite ausgenutzt wird.
Ich habe bereits mit verschiedenen Hashing-Algorithmen (Layer 2+3 und Layer 3+4) experimentiert – leider ohne Erfolg.
Setup:
Neue Dell Sonic Enterprise Switches
Dell Server mit Broadcom 100Gbit Netzwerkkarten
LACP/MC-LAG korrekt eingerichtet (funktioniert grundsätzlich stabil)
Bezug auf folgende Anleitung:
https://www.thomas-krenn.com/de/wiki/Ceph_Perfomance_Guide_-_Sizing_&_Testing
Frage:
Gibt es eine Möglichkeit, das LACP-Loadbalancing so zu optimieren, dass bei mehreren parallelen Verbindungen auch mehrere Links verwendet werden und nicht nur ein einziger?
Bin für jede Idee, Erfahrungswerte oder Tipps sehr dankbar – habe bereits viel getestet und recherchiert, aber bisher keine zufriedenstellende Lösung gefunden.
Viele Grüße
ich baue aktuell einen 3-Node-Proxmox-Cluster mit Ceph auf. Die Nodes sind jeweils per LACP an zwei Dell-Switches (100 Gbit) angebunden.
Netzwerktopologie:
Switch 1:
→ 100 Gbit → Node 1
→ 100 Gbit → Node 2
→ 100 Gbit → Node 3
Switch 2:
→ 100 Gbit → Node 1
→ 100 Gbit → Node 2
→ 100 Gbit → Node 3
Die LACP-Verbindungen wurden via MC-LAG eingerichtet und funktionieren grundsätzlich.
Problem:
Wenn ich mit iperf einen Geschwindigkeitstest von einem Node zu einem anderen mache, erreiche ich ca. 80 Gbit/s – das erscheint mir plausibel.
Starte ich jedoch gleichzeitig einen Test von Node 3 → Node 1 und von Node 3 → Node 2, fällt der Durchsatz auf jeweils exakt 49 Gbit/s.
Ziel:
Ich möchte erreichen, dass die Bandbreite bei parallelen Verbindungen besser aufgeteilt wird – also z. B. durch Nutzung unterschiedlicher Ports oder Wege – sodass die volle Bandbreite ausgenutzt wird.
Ich habe bereits mit verschiedenen Hashing-Algorithmen (Layer 2+3 und Layer 3+4) experimentiert – leider ohne Erfolg.
Setup:
Neue Dell Sonic Enterprise Switches
Dell Server mit Broadcom 100Gbit Netzwerkkarten
LACP/MC-LAG korrekt eingerichtet (funktioniert grundsätzlich stabil)
Bezug auf folgende Anleitung:
https://www.thomas-krenn.com/de/wiki/Ceph_Perfomance_Guide_-_Sizing_&_Testing
Frage:
Gibt es eine Möglichkeit, das LACP-Loadbalancing so zu optimieren, dass bei mehreren parallelen Verbindungen auch mehrere Links verwendet werden und nicht nur ein einziger?
Bin für jede Idee, Erfahrungswerte oder Tipps sehr dankbar – habe bereits viel getestet und recherchiert, aber bisher keine zufriedenstellende Lösung gefunden.
Viele Grüße
