Full Mesh Netzwerk für CEPH

Oct 29, 2022
6
1
3
Hallo zusammen

Ich folgte der Anweisung von Proxmox selbst unter https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server#Routed_Setup_.28with_Fallback.29 - das funktioniert auch soweit gut, jedoch hab ich nach wie vor das Problem, da ich mit bonds gearbeitet habe, dass ich mit iperf3 keine 20Gbit kriege sondern es so scheint, dass er nur einen Port der Karte benutzt statt beide (Intel X700 Karte mit 4x SFP+). Der Bond ist mit Linux Bond Mode 2 (xor mit L2 Hash) konfiguriert.

Hat jemand von euch solch ein Setup oder hat jemand einen Tipp, warum ich nur gerade auf 10 Gbit komme statt auf 20Gbit?

Ich danke schon mal im voraus für jeden hilfreichen Tipp (stehe ein bisschen unter Zeitdruck).

mesh.PNG
 
Ein Bond kann nur so schnell sein wie ein einzelnes Interface. Abhängig vom Bondingalgorithmus kann ein Bond aber entsprechend der Anzahl seiner Interface mehrfach den Speed zur Verfügung stellen.
Wenn du den iperf 2 mal startest wirst du je Instanz 10G sehen.
 
  • Like
Reactions: herzkerl and rebru
Ein Bond kann nur so schnell sein wie ein einzelnes Interface. Abhängig vom Bondingalgorithmus kann ein Bond aber entsprechend der Anzahl seiner Interface mehrfach den Speed zur Verfügung stellen.
Wenn du den iperf 2 mal startest wirst du je Instanz 10G sehen.
Ah ok - das wusste ich nicht - wieder was gelernt - hab vielen Dank.

Ich nehme mal an im Umkehrschluss heisst das auch, dass von Server 1 zu Server 2 bei einer Replikation mehrere Verbindungen geöffnet werden und die Replikation dann mit 20 Gbit abläuft? Oder macht CEPH nur eine Verbindung auf und ist dann analog zu meinem Test auf 10Gbit beschränkt?
 
Wenn du Ceph benutzt und von LACP profitieren willst musst du auf L3+L4 Hash wechseln. L2 Hash hilft dir nicht, da du immer die gleiche MAC hast. Ceph macht aber viele Ports auf, womit du mit L4 Hash eine Verteilung auf die Ports bekommst.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!