Netzwerk Frage

[Datei]

Hallo in die Runde,

aktuell bin ich am testen eines 3er Ceph Cluster und es funktioniert auch alles soweit gut.
Bisher habe ich die Server nur als Singel Node ohne Cluster und Ceph funktion im Einsatz. Da war es mit der Netzwerkonfiguration recht einfach 2xTrunk mit Je 10GB - einer als VM Netz und der andere als Management Netz so das ich die Verwaltung ordentlich getrennt habe.
Jetzt ist es ja beim Cluster doch etwas mehr was an Netzwerk dazu kommt und ich habe noch nicht ganz raus was ein gutes solides Netzwerkdesign darstellt.
Vielleicht hat hier jemand eine Art best practice bzw. eine Empfehlung.

Aktuell würde ich davon ausgehen das ich 6 Netzwerkkarten je Server benötige um es sauber und redundant abzubilden:

 

[Falk R.]

Hallo in die Runde,

aktuell bin ich am testen eines 3er Ceph Cluster und es funktioniert auch alles soweit gut.
Bisher habe ich die Server nur als Singel Node ohne Cluster und Ceph funktion im Einsatz. Da war es mit der Netzwerkonfiguration recht einfach 2xTrunk mit Je 10GB - einer als VM Netz und der andere als Management Netz so das ich die Verwaltung ordentlich getrennt habe.
Jetzt ist es ja beim Cluster doch etwas mehr was an Netzwerk dazu kommt und ich habe noch nicht ganz raus was ein gutes solides Netzwerkdesign darstellt.
Vielleicht hat hier jemand eine Art best practice bzw. eine Empfehlung.

Aktuell würde ich davon ausgehen das ich 6 Netzwerkkarten je Server benötige um es sauber und redundant abzubilden:

View attachment 91599

Es wird empfohlen für Corosync ein dediziertes Netzwerk zu nehmen. Wenn du je Node ein Gigabit Interface über hast und einen eigenen Switch dann wäre das Super. Weitere Vorosync Ringe kannst du auf die anderen Netzwerke legen.
Für VMs und Management würde ich ein Bond aus 2x 10G/25G nutzen, je nachdem was das Netzwerk hergibt.
Für Ceph Produktiv nutze ich mit NVMe nur noch 100GBit, da auch 25G zu schnell gesättigt wird. Da empfiehlt sich zwei Switches mit MLAG oder einem ähnlichen Feature zu verbinden und da ein Bond mit LACP L3+4 drauf zu legen.

 

[Datei]

Huhu,

Danke für die Rückmeldung. Den Hinweis mit Corosync hatte ich bereits gelesen und jetzt auch mal mit umgestezt.
ich habe den zweiten RIng auf das Ceph Mesh Cluster gelegt. Reichen hier Zwei ringe und welcher Traffic wird hierüber erzeugt - auch VM RAM Migration?

Du Schreibst das du VM & Management mit einem Bond anbindest, darf ich fragen wie man über diesen Weg eine Trennung der VM's vom Management Netzwerk hinbekommt?


VG und Danke für den Input

 

[Falk R.]

Huhu,

Danke für die Rückmeldung. Den Hinweis mit Corosync hatte ich bereits gelesen und jetzt auch mal mit umgestezt.
ich habe den zweiten RIng auf das Ceph Mesh Cluster gelegt. Reichen hier Zwei ringe und welcher Traffic wird hierüber erzeugt - auch VM RAM Migration?

Die VM Migration läuft über das Netzwerk, was du im Cluster als Migrationsnetzwerk auswählst. Wenn du keins auswählst, nimmt er das Management.
Mindestens 2 Ringe solltest du haben, es können auch mehr sein. Er nutzt immer nur Ring0 und nur wenn da ein Fehler auftritt geht er auf den nächsten Ring.

Du Schreibst das du VM & Management mit einem Bond anbindest, darf ich fragen wie man über diesen Weg eine Trennung der VM's vom Management Netzwerk hinbekommt?

Ganz normal per VLANs. In der Regel hast du dein Management Netzwerk eh auf den selben Switches, per VLAN getrennt und abgesichert durch deine hoffentlich vorhandene Datacenter Firewall. In Sicherheitskritischen Umgebungen (Top Secret oder Atomindustrie) hast du physikalisch getrenntes Management welches dann über eigene GBit NICs geht. Aber das ist im normalen Umfeld eher unüblich.

Ich persönlich bin kein Fan der Mesh Setups, die laufen zwar gut, aber beim Troubleshooting ist das die Hölle. Daher baue ich meine Ceph Setups lieber mit Switches, was man besser erweitern kann und durch die Infos vom Switch um einiges besser Troubleshooten kann, wenn mal ein SFP Alterserscheinungen bekommt.