Netzwerk- und Clusterproblem nach Update

[andreas123]

Hallo,

ich betreibe seit nunmehr gut einem Jahr völlig störungsfrei einen Proxmox-Cluster mit 2 Nodes.
Beide Nodes sind identisch aus Supermicro-Motherboards X10SDV-TP8F aufgebaut.
Die Netzwerkverbindung für die direkte Node-Verbindung basiert auf dem boardeigenen 10GBit-SFP+ Netzwerkport.
Nach dem letzten Update auf die aktuelle 5.3-Version von Proxmox hatte ich das Problem, dass sich die beiden Nodes nicht mehr sahen. Ein Ping über die direkte Node-Verbindung schlug fehl.
Infolgedessen ließen sich auch die VMs nicht mehr starten (kein Quorum).
Was nun? (derzeit habe ich keinen direkten Zugriff auf die Systeme, bin 700km entfernt, kann also nicht schauen, ob z.B. die LEDs blinken am 10GBit-Port)
1. Warum funktionieren plötzlich nach dem Update die Netzwerkverbindungen nicht mehr?
2. Wie kriege ich die VMs schnellstmöglich wieder ans laufen (notfalls auch ohne Cluster-Funktionalität)?
3. Kann ich die 10GBit-Ports temporär durch einen der noch freien 1GBit-Ports ersetzen, müsste also die Ports tauschen? Das geht aber erst nächste Woche wieder.

Wäre für Hinweise dankbar.
Viele Grüße
Andreas

 

[hitman]

Hallo Andreas,

Prüfe erstmal ob die IP Adressen am richtigen Interface Anliegen.

Und ja auch die 1G Anbindung würde gehen, dazu einfach die IPs aus der 10G auf die 1G interface umlegen.

Beste Grüße
Ralf

 

[hitman]

Hallo Andreas,

Prüfe erstmal ob die IP Adressen am richtigen Interface Anliegen.

Und ja auch die 1G Anbindung würde gehen, dazu einfach die IPs aus der 10G auf die 1G interface umlegen.

Um das Quorum abzuschalten ist das dein Befehl.
pvecm expected 1
Jedoch sollte dir klar sein, daß die eine Node nicht weiß was die andere Node dann treibt.

Beste Grüße
Ralf

 

[andreas123]

Hallo Ralf,
neuer Sachstand:
nachdem beide Nodes gestern bedingt durch einen mehrstündigen Stromausfall heruntergefahren wurden, funktionieren sie nun wieder...
1. wieso funktionierten die SFP+ Ports nach dem Update auf 5.3-12 plötzlich nicht mehr? Auch mehrere Neustarts der Nodes brachten keine Abhilfe. Erst ein zufälliger Stromausfall bringt wieder Leben rein?! Sehr seltsam.

2. Grundsätzlich hatte ich das mit dem Qorum eigentlich verstanden (oder auch nicht...), das aber bei zwei Nodes der Ausfall eines Nodes auch zur Funktionslosigkeit des anderen Nodes führt, war mir nicht so ganz bewusst. Ich werde daher über einen dritten Node nachdenken.

3. Mit dem Befehl pvecm expected 1 kriege ich den Node wieder in einen funktionsfähigen Zustand? Kann also VMs starten, Backups ausführen, etc?

Viele Grüße
Andreas

 

[hitman]

Hallo Andreas,

Richtig du musst im Cluster die Mehrheit an Stimmen haben bei 2 Nodes hast du ein Gewicht von 50 zu 50.

Raucht einer der Nodes ab kann die andere mit seinen 50 Prozent nicht entscheiden was nun gemacht werden darf, besser sind 3 Nodes sollte eine ausfallen so hast du noch die Mehrheit.

Der von mir gesendete Befehl schaltet dies ab so hast du die Möglichkeit deine Node weiter zu nutze, aber Achtung ist dort geboten kommt die zweite Node die ausgefallen wieder ans Netz kann dies böse enden.

Ist schon seltsam das dies erst nach Stromausfall wieder funktioniert, jedoch kann durch den Spannungsverlust, das System bzw. Hardware sauber booten.