Full Mesh Netzwerk für CEPH

[rebru]

Hallo zusammen

Ich folgte der Anweisung von Proxmox selbst unter https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server#Routed_Setup_.28with_Fallback.29 - das funktioniert auch soweit gut, jedoch hab ich nach wie vor das Problem, da ich mit bonds gearbeitet habe, dass ich mit iperf3 keine 20Gbit kriege sondern es so scheint, dass er nur einen Port der Karte benutzt statt beide (Intel X700 Karte mit 4x SFP+). Der Bond ist mit Linux Bond Mode 2 (xor mit L2 Hash) konfiguriert.

Hat jemand von euch solch ein Setup oder hat jemand einen Tipp, warum ich nur gerade auf 10 Gbit komme statt auf 20Gbit?

Ich danke schon mal im voraus für jeden hilfreichen Tipp (stehe ein bisschen unter Zeitdruck).

 

[garfield2008]

Ein Bond kann nur so schnell sein wie ein einzelnes Interface. Abhängig vom Bondingalgorithmus kann ein Bond aber entsprechend der Anzahl seiner Interface mehrfach den Speed zur Verfügung stellen.
Wenn du den iperf 2 mal startest wirst du je Instanz 10G sehen.

 

[rebru]

Ein Bond kann nur so schnell sein wie ein einzelnes Interface. Abhängig vom Bondingalgorithmus kann ein Bond aber entsprechend der Anzahl seiner Interface mehrfach den Speed zur Verfügung stellen.
Wenn du den iperf 2 mal startest wirst du je Instanz 10G sehen.

Ah ok - das wusste ich nicht - wieder was gelernt - hab vielen Dank.

Ich nehme mal an im Umkehrschluss heisst das auch, dass von Server 1 zu Server 2 bei einer Replikation mehrere Verbindungen geöffnet werden und die Replikation dann mit 20 Gbit abläuft? Oder macht CEPH nur eine Verbindung auf und ist dann analog zu meinem Test auf 10Gbit beschränkt?

 

[Falk R.]

Wenn du Ceph benutzt und von LACP profitieren willst musst du auf L3+L4 Hash wechseln. L2 Hash hilft dir nicht, da du immer die gleiche MAC hast. Ceph macht aber viele Ports auf, womit du mit L4 Hash eine Verteilung auf die Ports bekommst.

 

[rebru]

Wenn du Ceph benutzt und von LACP profitieren willst musst du auf L3+L4 Hash wechseln. L2 Hash hilft dir nicht, da du immer die gleiche MAC hast. Ceph macht aber viele Ports auf, womit du mit L4 Hash eine Verteilung auf die Ports bekommst.

Vielen herzlichen Dank für diesen Tipp!