Seltsames Verhalten. VMs aus!

[achim22]

Hi,
ich hatte Freitag ein ganz merkwürdiges Verhalten auf einem Server wo Proxmox mit ZFS läuft.

Zwei VMs, pfSense und Windowsserver 2016, waren runtergefahren.
Seltsam da nur ich Zugriff habe!

Als ich sie wieder hochfuhr rief heute der Kunde an das er einen alten Datenbestand, von dem Dienstag vor Freitag, hat.
Es kann keiner ein Backup zurück lesen, außer ich.

Hat da einer ein Tipp ?

Grüß

 

[gmed]

Mal ins Blaue geraten:
Wie sieht denn der RAM Verbrauch über die Zeit aus?
Wenn der Arbeitsspeicher über einen bestimmten Wett voll läuft, kommt es zum OOM-Kill und eine VM nach der anderen wird beendet.

Wir hatten ähnliches auch mal mit einem Server 2008, welcher sich jeden Tag ein paar MegRam zusätzlich vereinnahmte, bis es dann irgendwann zum Stillstand kam.

 

[achim22]

Die Auslastung war okay, ich habe aber gerade bemerkt das der Server wo Proxmox läuft down war.
Aber warum dann der Datenbestand von vor 4 Tagen

 

[gmed]

Dein RAM ist schon ziemlich belegt.
Da ist nicht viel Reserve drin.
Das mit der Downtime sollte sich im Syslog klären lassen.
Und wenn's die Putzfrau war.
(ACPI-Event, Power failure, UPS-Test???)
Die Geschichte mit dem Datenbestand kann man ohne Wissen, was da gefahren wird und wie das Backup gelöst ist, schlecht lösen.

 

[achim22]

Dein RAM ist schon ziemlich belegt.
Da ist nicht viel Reserve drin.
Das mit der Downtime sollte sich im Syslog klären lassen.
Und wenn's die Putzfrau war.
(ACPI-Event, Power failure, UPS-Test???)
Die Geschichte mit dem Datenbestand kann man ohne Wissen, was da gefahren wird und wie das Backup gelöst ist, schlecht lösen.

Sieht echt so aus als ob die USV den Server runterfuhr, oder ?

ich hänge mal ein Teil von dem Log an.

Gruß

 

[gmed]

Was steht im log für die Zeit vor dem 21. August 18:05?
Es sieht ja zumindest nach einem geordneten shutdown aus.

 

[achim22]

Was steht im log für die Zeit vor dem 21. August 18:05?
Es sieht ja zumindest nach einem geordneten shutdown aus.

Ja sieht so aus. Sollte dann aber der Server nicht wieder starten ?

 

[gmed]

Das zweite log ist noch etwas zu kurz.
Der Shutdown war vor 18:05. Such mal ab 18:00 nach init oder runlevel Hinweisen

Das automatische Hochfahren des Systems wird nicht in Proxmox konfiguriert, da es Teil des BIOS/ UEFI ist.
Wenn z.B. im Bios last-state konfiguriert ist, fährt die Kiste hoch, sofern sie vorher eingeschaltet war.
Ist aber auch abhängig, wie das Bios den shutdown einordnet.

Wobei ich persönlich es nicht so toll finde, wenn ein gerade heruntergefahrener Server an einer USV mit stark entladener Batterie automatisch hochfährt.
Bei Gewittern z.B. kann das in die Hose gehen, wenn der Restakku für einen zweiten ordentlichen shutdown nicht reicht.

Was ginge, wäre ein externer Watchdog, der via WOL den Server aufweckt.
Im Idealfall frägt der vorher bei der USV deren Kapazität ab.

Alternativ geht bei dir auch der Weg via IPMI.
Das ist ein Supermicro-Board und das sollte das können.
Gibt sogar ne grafische Java Anwendung dafür, bei der auch remote-KVM mit drin ist.
Alternativ via Browser, auch mit remote-KVM.

Guckst du hier: https://www.thomas-krenn.com/de/wiki/Inbetriebnahme_der_IPMI-Konsole

 

[achim22]

Hi,
mit IPIM arbeite ich auch da der Server im RZ steht.
Ist eine feine Sachen

Ich werde mir die Tage das LOG noch mal genauer zur Brust nehmen und schauen was ab 18:00 Uhr passiert ist.

Danke für die Hilfe

 

[gmed]

Wenn du eh mit IPMI arbeitest, dann hinterleg ein smtp Konto und lass dich über bestimmte Dinge per alert mail informieren.
IPMI kann dir u.a. melden, wenn sich die Schaltzustände ändern.

 

[achim22]

Perfekt das wusste ich noch nicht, danke für den Tipp

 

[gmed]

IPMI ist ne feine Sache, aber immer getrennt vom Produktivnetz betreiben, da die Mißbrauchsmöglichkeiten gigantisch sind.

 

[achim22]

IPMI ist ne feine Sache, aber immer getrennt vom Produktivnetz betreiben, da die Mißbrauchsmöglichkeiten gigantisch sind.

also das IPMI in einem ganz anderen Subnet nutzen ?