Fragen/Planung zu HA-Cluster

[Marco Kaminski]

Hallo zusammen,

ich plane zurzeit einen HA-Cluster mit 3 Nodes aufzubauen. Wir wollen damit unseren Server der auch Produktionsdaten bereitstellt weiter absichern und vor allem Ausfallzeiten verringern.

Aktuell habe ich einen einzelnen Proxmox-Host mit mehreren VMs in Betrieb. Wenn aufgrund von Updates ein Neustart ansteht, mache ich diesen in der Mittagspause. Bis alle VMs wieder laufen dauert das etwa 30 Min.

Im Handbuch hatte ich gelesen, dass man bei einem Update der Nodes in einem Cluster, die Nodes nach einander updaten und neustarten soll.

Am Freitag hatte ich unseren IT-Dienstleister im Haus, dort wurde mir gesagt das dies nicht funktionieren würde.
Als Grund wurde mir genannt, dass die verbleibenden Nodes erkennen das der gerade aktualisierte Node anders ist und diesen einfach wieder überschrieben würden.

Aktuell stellt sich mir die Frage, wie ist die richtige Vorgehensweise für ein Update der Proxmox-Hosts im Cluster?

Mit freundlichem Gruß
M. Kaminski

 

[dietmar]

Am Freitag hatte ich unseren IT-Dienstleister im Haus, dort wurde mir gesagt das dies nicht funktionieren würde.
Als Grund wurde mir genannt, dass die verbleibenden Nodes erkennen das der gerade aktualisierte Node anders ist und diesen einfach wieder überschrieben würden.

Das stimmt definitiv nicht.

 

[Marco Kaminski]

Das stimmt definitiv nicht.

Ok, das hört sich schon einmal gut an.

Ich hatte bisher geplant für die Synchronisierung der Nodes ein 10G-Netz einzusetzen. Die VMs und Abteilungen liegen jeweils in einem eigenen Netz-Segment und bekommen eine eigene Leitung.
Bisher hatte ich 4 Segmente die auch physikalisch getrennt waren, zukünftig werde ich die dann mit VLAN auf eine Leitung zusammenlegen um die Verkabelung zu vereinfachen.

Mir wurde allerdings gesagt dass es besser sei, für den Heartbeat ein eigenes Netz zu verwenden. Ich hätte dann also 3 NICs (VM, Storage, Heartbeat (Corosync?)). Hört sich nachvollziehbar an, ist das auch sinnvoll?

Mit freundlichem Gruß
M. Kaminski

 

[sb-jw]

Mir wurde allerdings gesagt dass es besser sei, für den Heartbeat ein eigenes Netz zu verwenden. Ich hätte dann also 3 NICs (VM, Storage, Heartbeat (Corosync?)). Hört sich nachvollziehbar an, ist das auch sinnvoll?

Grundsätzlich natürlich sinnvoll, allerdings muss ich dazu sagen, dass wenn du 2x 10GbE am Server hast und deine Netze per VLAN trennt das vollkommen ausreichend ist.
Ich betreibe meine Infrastrukturen ebenfalls so und hatte bisher nie Probleme, weder mit HA noch so.

Ich persönlich würde daher keine Notwendigkeit sehen alles zu trennen. Wenn du es aber absolut und komplett richtig machen willst, dann musst du für folgendes getrennte Netze machen: Storage, Migration, Cluster, Heartbeat, Extern und je nachdem auch noch intern. Wenn du es dann noch entsprechend redundant willst, hast du deine 12 Kabel pro Server

Natürlich muss du bedenken, dass wenn du einen DDoS bekommst ggf dein Storage abbricht. Entweder du machst also für extern nur 2x 1GbE oder du trennst Storage noch mal separat - das wäre das einzige, was ich noch als halbwegs sinnvoll und akzeptabel halten würde.

 

[Deleted member 34654]

Guten Morgen,

@sb-jw

Ohne jetzt viel drüber nachgedacht zu haben, beim Thema ddos würde doch es reichen wenn man bei proxmox auf dem „externen“ vlan die netzwerkleistung unter der realen Leistung limitiert oder fehlt mir gerade ein Kaffee?

Gruß

Markus

 

[Marco Kaminski]

Grundsätzlich natürlich sinnvoll, allerdings muss ich dazu sagen, dass wenn du 2x 10GbE am Server hast und deine Netze per VLAN trennt das vollkommen ausreichend ist.
Ich betreibe meine Infrastrukturen ebenfalls so und hatte bisher nie Probleme, weder mit HA noch so.

Ok das hört sich gut an, bin ich beruhigt das ich nicht völlig auf dem falschen Dampfer bin.

Ich persönlich würde daher keine Notwendigkeit sehen alles zu trennen. Wenn du es aber absolut und komplett richtig machen willst, dann musst du für folgendes getrennte Netze machen: Storage, Migration, Cluster, Heartbeat, Extern und je nachdem auch noch intern. Wenn du es dann noch entsprechend redundant willst, hast du deine 12 Kabel pro Server

Hmm ... 12 Leitungen ... LWL-Leiter mit 24 Fasern sind ja nicht so das Problem. Nur das dann wieder vernüftig auf NICs aufzuteilen und alles im Host zu konfigurieren. Dann lieber doch nicht!

Natürlich muss du bedenken, dass wenn du einen DDoS bekommst ggf dein Storage abbricht. Entweder du machst also für extern nur 2x 1GbE oder du trennst Storage noch mal separat - das wäre das einzige, was ich noch als halbwegs sinnvoll und akzeptabel halten würde.

Storage wollte ich sowieso separt halten, geplant ist alle Server mit aussreichend Festplatten auszustatten und diese dann gemeinsam als verteilten Speicher zu nutzen. Dafür dann eine eigene 10 GbE nutzen.

Der Gedanke Corosync und extern zu trennen war halt genau der, dass der Storage abbricht falls der Traffic über die externen Netze zu stark wird und z.B. der Heartbeat abbricht. Ich kann zwar recht gut abschätzen was so an Netzwerktraffic in den externen Netzen zustande kommt, allerdings fehlt mir die Erfahrung wieviel Traffic die Clustersynchronisierung benötigt bzw. wie anfällig das ganze ist.
Daher denke ich ist es schon ok alles was die Clustersynchronisierung benötigt auf eine eigene Leitung zulegen. Dafür wird aber sicherlich eine 1GbE ausreichen.

Muss ich mir also nur noch über den verteilten Speicher Gedanken machen. Ich hoffe vielleicht ein Training mit machen zu können und da noch Tipps zu bekommen.
Ich lese aber auch gerne eure Erfahrungen.

Gruß
M. Kaminski