Netzwerk Frage

[Datei]

Hallo in die Runde,

aktuell bin ich am testen eines 3er Ceph Cluster und es funktioniert auch alles soweit gut.
Bisher habe ich die Server nur als Singel Node ohne Cluster und Ceph funktion im Einsatz. Da war es mit der Netzwerkonfiguration recht einfach 2xTrunk mit Je 10GB - einer als VM Netz und der andere als Management Netz so das ich die Verwaltung ordentlich getrennt habe.
Jetzt ist es ja beim Cluster doch etwas mehr was an Netzwerk dazu kommt und ich habe noch nicht ganz raus was ein gutes solides Netzwerkdesign darstellt.
Vielleicht hat hier jemand eine Art best practice bzw. eine Empfehlung.

Aktuell würde ich davon ausgehen das ich 6 Netzwerkkarten je Server benötige um es sauber und redundant abzubilden:

 

[Falk R.]

Hallo in die Runde,

aktuell bin ich am testen eines 3er Ceph Cluster und es funktioniert auch alles soweit gut.
Bisher habe ich die Server nur als Singel Node ohne Cluster und Ceph funktion im Einsatz. Da war es mit der Netzwerkonfiguration recht einfach 2xTrunk mit Je 10GB - einer als VM Netz und der andere als Management Netz so das ich die Verwaltung ordentlich getrennt habe.
Jetzt ist es ja beim Cluster doch etwas mehr was an Netzwerk dazu kommt und ich habe noch nicht ganz raus was ein gutes solides Netzwerkdesign darstellt.
Vielleicht hat hier jemand eine Art best practice bzw. eine Empfehlung.

Aktuell würde ich davon ausgehen das ich 6 Netzwerkkarten je Server benötige um es sauber und redundant abzubilden:

View attachment 91599

Es wird empfohlen für Corosync ein dediziertes Netzwerk zu nehmen. Wenn du je Node ein Gigabit Interface über hast und einen eigenen Switch dann wäre das Super. Weitere Vorosync Ringe kannst du auf die anderen Netzwerke legen.
Für VMs und Management würde ich ein Bond aus 2x 10G/25G nutzen, je nachdem was das Netzwerk hergibt.
Für Ceph Produktiv nutze ich mit NVMe nur noch 100GBit, da auch 25G zu schnell gesättigt wird. Da empfiehlt sich zwei Switches mit MLAG oder einem ähnlichen Feature zu verbinden und da ein Bond mit LACP L3+4 drauf zu legen.