Proxmox legt alle VM‘s lahm

[MugOBX]

Mahlzeit,

vorab, ich habe zum ersten Mal einen Proxmox Server aufgesetzt und direkt dabei einen Schlag gegen den Kopf erlitten. Das Ganze wurmt mich so stark, dass ich unbedingt des Rätsels Lösung finden will.
ich selbst bin Azubi.

Folgender Sachverhalt:
Dell Server aufgesetzt mit aktuellster Proxmox Version (diese wurde auf der offiziellen Website heruntergeladen.)Hardware bezog sich auf 32GB RAM, 3x 1TB HDD und eine 256er SSD als Cache. Soweit so gut. Installation begonnen, RAID Z1 konfiguriert und die Installation selbst lief problemlos. Network Interfaces gesetzt, alle Vlans Firmenkonform eingerichtet (anhand anderer Proxmox Server). Funktionierte alles soweit auch problemlos. Zwei DHCP Vlans, eine für unsere lokalen Admins, eine fürs Backup. Verschlüsselungsart eingerichtet. Soweit alles gut gewesen, SysAdmin hat’s abgesegnet, daraufhin wurde die Kiste im Serverraum eingerichtet. Kabel an den Switch, KVM dran und Go. Siehe da, der neue Server legt alle Instanzen, die auf anderen Proxmox Servern lagen lahm und schaltet diese ab. Natürlich direkt den Server herunter gefahren und abgestöpselt. Was mich jetzt so extrem wurmt (natürlich als Laie), wie sowas zustande kommen kann? Agieren die Server nicht als einzelne, sofern sie nicht im Cluster konfiguriert sind? Oder habe ich etwas übersehen? Vergessen? Ich hoffe, das die von mir genannten Angaben genüge sind. Ansonsten bin ich über jeden Lösungsansatz froh und hoffe ihr könnt mir weiter helfen.

vielen Dank.

 

[CoolTux]

Vielleicht schon eine vergebene IP eingetragen?Was genau ist über dem Netzwerk verbunden. Storage?
Hast Du die Installierte Version upgedatet bevor Du weiter gemacht hast?

 

[MugOBX]

Vielleicht schon eine vergebene IP eingetragen?Was genau ist über dem Netzwerk verbunden. Storage?
Hast Du die Installierte Version upgedatet bevor Du weiter gemacht hast?

Haben vorab überprüft ob die IP frei ist, diese waren beide, sowohl Admins als auch Backup frei.
Ich habe lediglich den Server von Grund auf neu installiert mit der neuesten Proxmox Version. Aber ein Update kann doch nicht so ausschlaggebend sein oder? Sodass er alle anderen Server ausknockt?

 

[CoolTux]

nein eigentlich nicht.
Hast Du mal Logeinträge von den anderen Servern? Und was genau heißt ausgenockt?

 

[MugOBX]

nein eigentlich nicht.
Hast Du mal Logeinträge von den anderen Servern? Und was genau heißt ausgenockt?

Gerade nicht zur Hand, spätestens morgen früh aber.
Er hat alle Instanzen auf anderen Servern ausgeschaltet, was bei uns fürs reinste Chaos gesorgt hat.

 

[CoolTux]

Du meinst er hat alle virtuellem Maschinen auf den anderen Hostsystemen runtergefahren/aus geschalten?
Das ist so schwer nach zu voll ziehen, also Gedanklich.

 

[MugOBX]

Du meinst er hat alle virtuellem Maschinen auf den anderen Hostsystemen runtergefahren/aus geschalten?
Das ist so schwer nach zu voll ziehen, also Gedanklich.

Genau!
für mich erklärt sich einfach nicht, wie das möglich sein kann. Alle hostsysteme hängen an einem Switch und auch im selben Vlan, eventuell hilft das zur Rätsels Lösung?

 

[CoolTux]

Nicht ohne Logfiles. Die hätten eigentlich gleich als erstes gesichtet werden müssen.

Ich weiß nicht ob Jumboframes oder sowas in der Tat das auslösen kann. Glaube aber eher nicht. Ist nur so ein Gedanke.

 

[MugOBX]

Nicht ohne Logfiles. Die hätten eigentlich gleich als erstes gesichtet werden müssen.

Ich weiß nicht ob Jumboframes oder sowas in der Tat das auslösen kann. Glaube aber eher nicht. Ist nur so ein Gedanke.

Ansonsten würde ich morgen früh ggf mal alle Logs anschauen und eventuell findet sich da ja was.

 

[thoe]

Sind nur andere Nodes betroffen, die an dem selben Switch hängen oder weitere ebenso?
Verwendest Du LAG/Bond? Sind die Ports auf dem Switch korrekt konfiguriert? Eventuell n'Loop gebaut?

 

[MugOBX]

Sind nur andere Nodes betroffen, die an dem selben Switch hängen oder weitere ebenso?
Verwendest Du LAG/Bond? Sind die Ports auf dem Switch korrekt konfiguriert? Eventuell n'Loop gebaut?

Nur diese auf dem Switch.
Lag/BOND sagt mir nichts, Ports sind aber korrekt konfiguriert. Loop ist auch keiner gebaut...

 

[udo]

Hi,
das lässt sich nur dadurch erklären, dass Du die Clustercommunikatin des Produktions-Cluster gestört hast (wie andere schon vermutet haben. durch gleiche IP?).
Wenn eine Node kein Quorum hat, fährt sie alle VMs runter in der Annahme, dass sie auf den verbleibenen Nodes (mit Quorum) neu gestartet werden.

Benutzt Du den gleichen Clusternamen?
Hast Du zwei Ports an einer Brigde gehängt (ohne bond)?

Viele Grüße

Udo

 

[Ingo S]

Wenn eine Node kein Quorum hat, fährt sie alle VMs runter in der Annahme, dass sie auf den verbleibenen Nodes (mit Quorum) neu gestartet werden.

Das ist in dem Sinne nicht richtig. Wenn es sich bei den anderen Proxmox Maschinen um einen Cluster handelt kommuniziert dieser via Multicast untereinander. Diese Kommunikation kann gestört werden, so das sich die Hosts des Clusters nicht mehr gegenseitig "sehen". Solange aber kein HA im Spiel ist, machen die Teilnehmer des Cluster absolut GAR NICHTS, wenn sie kein Quorum haben. Member ohne Quorum erlauben keinerlei Änderungen an den VMs oder der Konfiguration. Weder herunterfahren von VMs, noch starten, noch pause oder Migration etc.
Member ohne Quorum sind wie eingefroren, aber die VMs laufen weiter und bleiben erreichbar, sie funktionieren normal weiter.

Nur wenn man HA nutzt schlägt das Fencing zu und der Member ohne Quorum schaltet sich ab bzw. alle VMs aus.

Waren die VMs denn dann wirklich ausgeschaltet? Oder liefen die noch und waren nur nicht erreichbar? Letzteres deutet eher auf ein Netzwerkphänomen hin. Ersteres ist total unlogisch, ergibt komplett keinen Sinn, außer bei HA, sofern die Cluster Kommunikation gestört wurde.