Corosync Verständnisfrage (redundante Links)

[Max2048]

Hallo, bei einem 3-Node-Cluster (A,B,C) und corosync mit jeweils link0 und link1. In der Doku steht, dass bei gleicher Priorität Corosync-Traffic priorisiert nach der link-Reihenfolge geht (niedrigste zuerst), also link0, bei Ausfall dann erst link1.

1. Wenn beim Node A der link0 ausfällt, aber bei B & C link0 noch aktiv ist und corosync untereinander funktioniert, geht dann der gesamte Corosync-Traffic auf link1? Oder nutzen B & C weiterhin link0, aber jeglicher Corosync-Traffic zu Node A läuft dann über link1?
2. Bei einem Setup mit "link0" und einen zweiten Link namens "link1" hinzufüge, bleibt die corosync-Verbindung beim Speichern bestehen oder verliert der Cluster kurzzeitig Quorum?

Danke vielmals!

 

[Falk R.]

Hi hinzufügen geht immer im laufenden Betrieb.
Bei Ausfall von einem Link0 schwenken alle auf Link1, da immer alle Knoten miteinander sprechen wollen. Deshalb sollen die Cluster nicht größer als 32 Knoten werden, weil dann der Corosync Traffic deutlich länger braucht.

 

[Max2048]

Danke

 

[aaron]

Deshalb sollen die Cluster nicht größer als 32 Knoten werden, weil dann der Corosync Traffic deutlich länger braucht.

Wobei man hier auch sagen muss, dass es sich hierbei eben nicht um ein hartes Limit handelt, sondern die Praxis zeigt, ab wann es mit aktueller Hardware und Corosyncversionen zu Problemen kommen kann. Die kann man durch Feintunen der Corosync Config durchaus auch noch in die Höhe treiben.
Was in ein paar Jahren sein wird, mit besserer Hardware und neueren Corosyncversionen wird sich zeigen.

Ich erwähne das nur, damit Leute, die in einigen Jahren über diesen Thread stolpern, es nicht als "Die absolute Wahrheit™" verstehen

 

[Falk R.]

Wobei man hier auch sagen muss, dass es sich hierbei eben nicht um ein hartes Limit handelt, sondern die Praxis zeigt, ab wann es mit aktueller Hardware und Corosyncversionen zu Problemen kommen kann. Die kann man durch Feintunen der Corosync Config durchaus auch noch in die Höhe treiben.
Was in ein paar Jahren sein wird, mit besserer Hardware und neueren Corosyncversionen wird sich zeigen.

Ich erwähne das nur, damit Leute, die in einigen Jahren über diesen Thread stolpern, es nicht als "Die absolute Wahrheit™" verstehen

Ich glaube mit 25 GBit statt 10 GBit geht auch jetzt schon mehr, durch die deutlich niedrigeren Latenzen. Mir fehlen nur die vielen Server um das einmal zu testen.

 

[aaron]

Ich glaube mit 25 GBit statt 10 GBit geht auch jetzt schon mehr, durch die deutlich niedrigeren Latenzen. Mir fehlen nur die vielen Server um das einmal zu testen.

Wenn die CPU auch noch schnell genug ist, damit der Corosync Prozess hinterherkommt

 

[Max2048]

Sorry, dass ich nochmal fragen muss. Kommt denn Corosync auch mit kurzen Aussetzern gut klar?

Hintergrund ist, dass mein derzeitiges Corosync-Network link0 auf einem etwas instabilem Netz läuft, dass manchmal ein oder zwei Pakete verschluckt... (Aussetzer von maximal 1-2 Sekunden) danach aber wieder normal weiter läuft. Bisher waren einmal die Aussetzer zu lang und alle 3 Nodes haben sich anschließend neugestartet.

 

[Falk R.]

Corosync mag Aussetzer überhaupt nicht, daher besser ein eigenes Netz Verwenden.

 

[Max2048]

Ich habe nur noch das CEPH-Netzwerk zur Verfügung, was sehr stabil läuft und nicht von Aussetzern betroffen ist, da anderer Switch. Daher würde ich dies als link1 setzen, um bei den kurzen Aussetzern von link0 ein Fallback zu haben. Sollte doch passen, oder? (ich weiß, ist definitiv nicht optimales Setup... ich gelobe Besserung beim nächsten)

Das CEPH-Netzwerk ist fast immer idle, da kaum etwas gelesen oder geschrieben wird, nur wenn ein Backup erstellt wird ist viel los.

 

[Falk R.]

Ich würde dann das Ceph Netzwerk bevorzugen.

 

[Max2048]

Danke, dazu tendiere ich auch. Meinst du es könnte Probleme geben, wenn ich das stabilere Netzwerk als Fallback (link1) setze?

 

[Falk R.]

Wenn das Netz so unstabil ist, könnte es eher zu unerwünschtem Verhalten kommen. Daher ist immer das Stabilere Netzwerk zu bevorzugen.

 

[Max2048]

Okay, vielleicht habe ich das etwas überspitzt formuliert. Die Aussetzer gibt es ca. alle 4h, die meisten davon weniger als 1s. Bisher hatte ich nach einem Jahr mit Proxmox erst einen Reboot aller Nodes weils mal etwas länger gedauert hat.

 

[Falk R.]

Aber auch so eine Reboot kannst du verhindern.