PVE und HA nicht dediziert

[Stone]

Hallo.

Ich habe schon viele Cluster gebaut und habe mich immer an die "Vorgabe" bzw. Empfehlung den HA Traffic über extra Netzwerkkarten zu führen gehalten.
Meistens habe ich dann pro Server nochmal 2x Base-T im LACP auf zwei MLAG Switches verbunden und hab dort dann nur das VLAN für den Corosync Traffic drauf gelegt.
Einen zweiten Corosync Ring gebe ich sowieso immer an.

Jetzt stellt sich mir jedoch die Frage wie wichtige dies aktuell noch ist.
Ich verbaue nur noch Server mit 25G Karten. Meistens 2x 25G LACP für VM/IP Traffic und 2x 25G LACP für Storage NFS Traffic.
Man könnte ja jetzt den Corosync HA Traffic über die IP Strecke laufen lassen und als Failback einen zweiten Ring über die Storage Strecke.
VM Live Migration lege ich immer auf die Storage Netzwerkkarten und limitiere diese auf 15G Durchsatz in der datacenter Config.

Was ist eure Meinung dazu. Man würde sich so sehr viele Kabel und Switchports sparen. Unser größter Cluster hat aktuell 18 Nodes. Da fällt sowas schon ins gewicht. Auch das Rack ist viel aufgeräumter wenn dort nur noch OM4 Kabel drin sind und nicht noch extra unzähliche RJ45

Ich bin mir einfach unsicher da ich keinen Cluster in Gefahr bringen will aber ich möchte mal die Sinnhaftigkeit dessen in Frage stellen.

Ich bin gespannt auf eure Antworten bzw. Empfehlungen.
Danke

 

[fireon]

Ich habe schon viele Cluster gebaut und habe mich immer an die "Vorgabe" bzw. Empfehlung den HA Traffic über extra Netzwerkkarten zu führen gehalten.
Meistens habe ich dann pro Server nochmal 2x Base-T im LACP auf zwei MLAG Switches verbunden und hab dort dann nur das VLAN für den Corosync Traffic drauf gelegt.
Einen zweiten Corosync Ring gebe ich sowieso immer an.

Sehr fein

Jetzt stellt sich mir jedoch die Frage wie wichtige dies aktuell noch ist.
Ich verbaue nur noch Server mit 25G Karten. Meistens 2x 25G LACP für VM/IP Traffic und 2x 25G LACP für Storage NFS Traffic.
Man könnte ja jetzt den Corosync HA Traffic über die IP Strecke laufen lassen und als Failback einen zweiten Ring über die Storage Strecke.
VM Live Migration lege ich immer auf die Storage Netzwerkkarten und limitiere diese auf 15G Durchsatz in der datacenter Config.

Was ist eure Meinung dazu. Man würde sich so sehr viele Kabel und Switchports sparen. Unser größter Cluster hat aktuell 18 Nodes. Da fällt sowas schon ins gewicht. Auch das Rack ist viel aufgeräumter wenn dort nur noch OM4 Kabel drin sind und nicht noch extra unzähliche RJ45

Das ist ein "njein". Grundsätzlich spricht nichts dagegen. Problematisch wirds dann, wenn beide Interfaces einer Node zur selben Zeit so stark ausgelastet sind, das Corosync sich nicht mehr mit den anderen Nodes gut genug unterhalten kann. Dann ist die Node für diese Zeit weg vom Cluster und fenct (wenn z.B. HA bei den VM's aktiviert ist).

Corosync per WLAN (ax) dann sind die Kabeln auch Geschichte...

Ne Scherz bei Seite, man kann es versuchen die extra Links weg zu lassen, aber dann läuft man halt immer in die Gefahr das bei Vollast auf den Interfaces, die Node sich vom Cluster mal abkoppelt.

Die andere Idee wäre (aber nicht getestet und auch noch nicht ins das Thema eingelesen), ob sich das Switch seitig mit einem QOS per VLAN forcen lässt, also das zwar nur das eine NIC verwendet wird, aber das VLAN für Corosync IMMER bevorzugt mit einer garantierten Bandbreite behandelt wird.