[SOLVED] Ceph und corosync über das selbe Netzwerk

[shibumi]

Hallo,
Macht es Sinn ceph und corosync über das selbe Netzwerk zu betreiben? Im moment läuft corosync bzw die multicasts über 10.0.0.0/16. Mein aktueller Plan war es auch ceph darüber laufen zu lassen. Ist das so in Ordnung oder sollte man Ceph in ein eigenes Netzwerk packen. Hat da jemand Erfahrung?

 

[Alwin]

Das ist ein grosses "NO NO", corosync wie ceph sind Latenz sensibel. Corosync braucht eine stabile, niedrige Latenz um den Token im Kreis zu schicken und rechtzeitig wieder zu bekommen (< 4ms). Ceph hat nicht nur gerne eine niedrige Latenz (eg. Kommunikation mit den MONs), sondern braucht auch gut Bandbreite (je nach Anwendung), speziell dann wenn das Cluster in einem "degraded state" ist und ein Recovery läuft. Damit würden sich die beiden in die Quere kommen und das Cluster instabil machen (bei aktiviertem HA sogar die Nodes rebooten).

Einfach gesagt, lass corosync und ceph auf zwei physisch getrennten Netzwerken laufen.

 

[shibumi]

Alwin, was ist aber wenn ich nur 2 physisch getrennte Netzwerke habe? Über das eine läuft corosync und über das andere Ceph? wäre das sinnvoll? Ich will auch noch NFS shares anziehen.. und vielleicht noch VXLAN dazwischen spannen.. also viel overhead. Ich war am überlegen ob ich corosync redundant auslege und sogar auf beide Netzwerke lege und dann auf einem Ceph und NFS shares etc mache.. macht das Sinn?

 

[Alwin]

Einfach gesagt, lass corosync und ceph auf zwei physisch getrennten Netzwerken laufen.

Wie schon ob gesagt, für ein stabiles Cluster, kann ich nur raten, trenne Storage vom Cluster und Client Netzwerk.

 

[shibumi]

Danke, dann lege ich mal Ceph auf das eine interface und corosync auf das andere.

 

[fips]

Hallo, ich will keinen extra Thread für meine Frage aufmachen die ähnlich ist:

zZ ist meine Cluster Kommunikation in einem durch VLAN getrennten Gigabit Netzwerk.
Ceph bzw. Storage (für Backups) ist in einem komplett physisch getrennten 10G Netzwerk.

Da ich noch Platz auf den 10G Switches habe wollte ich die Cluster Kommunikation, natürlich in einem eigenen VLAN, auch dorthin verlegen.

Meine Wunsch wäre, dass Migrationen zwischen den Servern damit schneller wäre.

Ist das sinnvoll oder ist der Performancegewinn den Aufwand nicht wert?

 

[shibumi]

fips die gängige Meinung ist glaube ich, dass man die cluster kommunikation lieber auf physisch getrennte Netzwerke legt. Also ich würde an deiner Stelle dass getrennt lassen oder die Cluster Kommunikation redundant auslegen. Also auf die 10G Netzwerke legen und und auf das alte Netz.