Nach Node Ausfall alle VMs auf replizierten Node gestoppt

[bforpc]

Hallo,

wir haben eine Cluster aus 2 Nodes am laufen (pve-manager/5.3-11/d4907f84 (running kernel: 4.15.18-10-pve).
Auf beiden Nodes laufen VM's die sich jeweils auf den anderen Node replizieren.
Heute wurde ein Node heruntergefahren (absichtlich).
Alle VM's auf dem verbleibenden Node waren plötzlich gestoppt.
Nach dem hochfahren des ausgeschaltetem Host, fuhren die Maschinen wieder hoch.

Kann mir bitte jemand erklären, was dieses Verhalten soll?

Jan

 

[dietmar]

Sie verwenden HA mit 2 nodes?

 

[bforpc]

Hallo,

nein, kein HA, nur ein Cluster!

Jan

 

[dietmar]

Dann kann ich das Verhalten nicht erklären - Proxmox VE selbst stoppt die VMs in diesem Fall sicher nicht. Sie verlieren aber das Quorum, d.h. der Cluster ist dann read-only ...

Oder meinen Sie die "replizierten" VMs sollten gestartet werden?

 

[bforpc]

Hallo,

Ich hatte mit

qm start [id]

auf dem verbleibenden (dem primären) Node versucht, die gestoppten Maschinen zu starten, was mit einem Fehler sinngemäß "Quorm not ready" quittiert wurde (habe den exakten Fehler nicht mehr im Kopf).

Wir wollen demnächst in im backup-node Hardware ändern. Das heisst, der primäre Node muss sauber weiter laufen.
Wie kann ich sicher stellen, dass auf dem primären Node alles sauber weiter läuft, bis der backup-node wieder da ist?

Jan

 

[dietmar]

Ich hatte mit

qm start [id]

auf dem verbleibenden (dem primären) Node versucht, die gestoppten Maschinen zu starten, was mit einem Fehler sinngemäß "Quorm not ready" quittiert wurde (habe den exakten Fehler nicht mehr im Kopf).

Wie gesagt, wenn das Quorum weg ist wird der Cluster auf read-only gesetzt. Ohne Quorum kann man keine VM starten).

Wir wollen demnächst in im backup-node Hardware ändern. Das heisst, der primäre Node muss sauber weiter laufen.
Wie kann ich sicher stellen, dass auf dem primären Node alles sauber weiter läuft, bis der backup-node wieder da ist?

Sorry, versteh die Frage nicht. Wir stoppen ja nix, also läuft am primären Node eh alles ...

 

[bforpc]

Hallo,

ich habe nichts gestoppt, dennoch waren "alle" Vms gestoppt.

Abgesehen davon. verstehe ich das richtig: wenn ein Node ausfälllt (z.B. technisches Problem), ist auf dem verbleibendem Node kein starten einer Maschine mehr möglich???
Das bedeutet, dass wir mit einem Cluster genau das Gegenteil erreicht haben, als das Ziel war? Wenn eine von beiden Maschinen im Cluster ausfällt, sind somit beide Maschinen nicht mehr arbeitsfähig!? (Ich schaue mich gerade um, ob hinter mir gleich jemand ruft: "vorsicht versteckte Kamera") - das darf doch nicht wahr sein.
Uns ging es bei dem "clustern" um Replikation und das einfache Migrieren von Maschinen. Somit müssen wir alle Cluster (es gibt mehrere aus jeweils 2 nodes) komplett auflösen und die Maschinen "stand alone" laufen lassen!?

Darüber hinaus ist es gerade im Fehlerfall notwendig, eine replizierte Maschine auf dem verbleibenden (aktiven) Node zu starten, weil ein anderer Node ausgefallen ist. Somit ist es zwingend notwendig, auf einem verbleibenden Node VM starten zu können.
(ich vergleiche das mit MS Hyper V, da ist ohne großes zutun genau obiges Szenario sehr einfach möglich).

Jan
p.s. vielleicht stehe ich gerade total auf dem Schlauch und verstehe die Sinnhaftigkeit dieses Vorgehens nicht. Bitte um Aufklärung.

 

[mira]

Ich würde https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_quorum und https://de.wikipedia.org/wiki/Quorum_(Politik) empfehlen sowie https://en.wikipedia.org/wiki/Quorum_(distributed_computing).
Damit sichergestellt ist dass ein fehlerhafter Node möglichst keinen Schaden anrichten kann, wird ein Quorum benötigt (also die Mehrheit der Stimmen). Fällt einer von 2 Nodes aus herrscht keine Mehrheit mehr (da nur 50% der Stimmen vorhanden ist). Somit wird auch der 2. unfähig zu handeln. Es wird grundsätzlich empfohlen in einem Cluster immer eine ungerade Anzahl an Nodes zu haben. Ein paar Beispiele:
2 Nodes -> 2 für Quorum
3 Nodes -> 2 für Quorum
4 Nodes -> 3 für Quorum
5 Nodes -> 3 für Quorum

Ich hoffe diese Erklärung gemeinsam mit unserer Dokumentation und dem Wikipedia Link hilft weiter.

 

[bforpc]

Hallo Mira,

danke für die Antwort und die Links. Werde es mir ansehen. Jedoch - wenn ich den Text oben richtig verstanden habe:

2 Nodes -> 2 für Quorum

Heisst für mich: Cluster mit 2 Nodes ist nicht praktikabel. Und einen 3. Node nur deswegen zu kaufen wird mir nicht finanziert werden.
Sorry, ich bin Linux und OS verfechter, aber in diesem Fall sehe ich echt Probleme für die weitere Nutzung.

LG.

Jan

 

[tom]

Sorry, ich bin Linux und OS verfechter

Was hat Quorum mit Linux und OS zu tun?

 

[dcsapak]

Heisst für mich: Cluster mit 2 Nodes ist nicht praktikabel.

es gibt noch eine alternative:

man kann die 'expected votes' auch manuell setzen mit

pvecm expected X

zb mit 1 statt X

achtung: Nur machen wenn man sich absolut sicher ist dass die andere node auch wirklich nicht online ist, andernfalls kann ein 'split-brain' vorkommen https://de.wikipedia.org/wiki/Split_Brain_(Informatik)

 

[bforpc]

Was hat Quorum mit Linux und OS zu tun?

Korrekt... gar nichts. Meine Verzweiflung richtete sich eher an den Vergleich "Proxmox Cluster" vs. "MS Hyper V"
[Unwissenheit]Keine Ahnung wie die es hinbekommen, aber es funktioniert sehr einfach und "out of the box"[/Unwissenheit]

Jan

 

[bforpc]

es gibt noch eine alternative:
man kann die 'expected votes' auch manuell setzen mit

pvecm expected X

zb mit 1 statt X
achtung: Nur machen wenn man sich absolut sicher ist dass die andere node auch wirklich nicht online ist, andernfalls kann ein 'split-brain' vorkommen https://de.wikipedia.org/wiki/Split_Brain_(Informatik)

Und wenn der andere Node wieder online kommt ... dann einfach "zurück setzen" auf 2?

Jan

 

[dcsapak]

Und wenn der andere Node wieder online kommt ... dann einfach "zurück setzen" auf 2?

soweit ich mich erinnere passiert das dann automatisch, aber im schlimmsten fall ja, wieder auf 2 setzen