Shutdown aller VMs und Proxmox nicht mehr erreichbar

crazy-to-bike

Well-Known Member
Dec 9, 2011
39
1
71
www.crazy-to-bike.de
Hallo,

gerade habe ich innerhalb von 2 Tagen das 2. Mal den Fall, dass ich den Proxmox gar nicht mehr erreiche (weder Webinterface noch ssh) und auch die VMs nicht mehr erreichbar sind / funktionieren.

Proxmox läuft auf einem Ugreen NAS mit 32 GB RAM (Corsair) und 2x 2TB M.2 (Samsung 990 EVO) im ZFS 1 Mirror. Das NAS hängt im Keller an einer USV von APC, die keine Fehler anzeigt.
Neben Homeassistant läuft eine TrueNAS-VM. Für die Daten sind 2x 16TB HDD an die TrueNAS-VM durchgereicht, auf denen sich ebenfalls ein (durch TrueNAS eingerichtetes) ZFS 1 Mirror für die Datasets befindet.
Auch das lange Drücken des Einschalters am Ugreen NAS führt zu keiner Abschaltung. Es hilft nur Stromstecker ziehen.

Vorgestern war nach Neueinschalten Proxmox kurz erreichbar, dann gleich wieder weg, Zum Prüfen der VMs kam ich gar nicht. Ich habe das NAS dann im Keller abgebaut, im Büro Monitor und Tastatur angeschlossen und die beiden HDs für TrueNAS erst mal entfernt. Danach war Proxmox wieder zuverlässig da. Nach dem Herunterfahren habe ich die beiden HDs wieder rein gebaut und gebootet - weiterhin alles ok. Das Einzige, was mir die Weboberfläche von Proxmox angezeigt hat, war eine Massenabschaltung der VMs vor/bei der Nichterreichbarkeit des Systems. Ich habe dann heruntergefahren, das NAS wieder im Keller angeschlossen und hochgefahren. Bis gerade eben lief alles wieder problemlos. Jetzt dasselbe Spiel. Alle VMs und Proxmox waren nicht mehr erreichbar.

Gerade lief nun Memtest ohne Fehler durch (erst mal nur 1 pass).

Ohne die beiden HDs läuft Proxmox jetzt hier neben mir auf dem Schreibtisch wieder. Alles erreichbar (bis áuf die Datasets von TrueNAS wegen der fehlenden HDs).
Diesmal gibt es KEINE Meldung zur Massenabschaltung von VMs. Entweder es ging schon vorher nichts mehr, oder die heutige Nichterreichbarkeit hat eine andere Ursache. Denn etwas komisch auch, dass ich gerade auch andere Dienste immer wieder nicht erreichen kann, was auch auf Proleme mit Router/und oder Switch hindeuten könnte. Aber wenn das das Einzige wäre, dann hätte es ja vor 2 Tagen keine Massenabschaltung der VMs gegeben.
Router und Switch habe ich jedenfalls gerade mal neu gestartet und jetzt ist das Internet wieder stabil da.
Herunterfahren, die HDs wieder einbauen und neu startenist der nächse Schritt, den ich jetzt gleich mache.

Edit:
Proxmox läuft, wie schon vorgestern, jezt auch wieder mit den HDs.
Was mir noch einfällt: Interessanterweise habe ich beide male, als VMs und Proxmox nicht mehr erreichbar waren, intensiv die Dashboards in Homeassistant bearbeitet. Das wird dann mit der Zeit immer träger, was ich aber auf den Browser schiebe (der hat dann gut und gern 15+ GB RAM-Nutzung am Notebook.
Die Auslastung der Homeassistant-VM ist eigentlich nicht besonders erhöht.

Wie grenze ich das denn nun weiter ein?
Wo und wie finde ich weitere Infos zur Ursache der Massenabschaltung der VMs vorgestern?
 
Last edited:
Hallo,

gerade habe ich innerhalb von 2 Tagen das 2. Mal den Fall, dass ich den Proxmox gar nicht mehr erreiche (weder Webinterface noch ssh) und auch die VMs nicht mehr erreichbar sind / funktionieren. Proxmox läuft auf einem Ugreen NAS mit 32 GB RAM (Corsair) und 2x 2TB M.2 (Samsung 990 EVO) im ZFS 1 Mirror. Neben Homeassistant läuft eine TrueNAS-VM. Für die Daten sind 2x 16TB HDD an die TrueNAS-VM durchgereicht, auf denen sich ebenfalls ein (durch TrueNAS eingerichtetes) ZFS 1 Mirror für die Datasets befindet.
Auch das lange Drücken des Einschalters am Ugreen NAS führt zu keiner Abschaltung. Es hilft nur Stromstecker ziehen.

Vorgestern war nach Neueinschalten Proxmox kurz erreichbar, dann gleich wieder weg, Zum Prüfen der VMs kam ich gar nicht. Ich habe das NAS dann im Keller abgebaut, im Büro Monitor und Tastatur angeschlossen und die beiden HDs für TrueNAS erst mal entfernt. Danach war Proxmox wieder zuverlässig da. Nach dem Herunterfahren habe ich die beiden HDs wieder rein gebaut und gebootet - weiterhin alles ok. Das Einzige, was mir die Weboberfläche von Proxmox angezeigt hat, war eine Massenabschaltung der VMs vor/bei der Nichterreichbarkeit des Systems. Ich habe dann heruntergefahren, das NAS wieder im Keller angeschlossen und hochgefahren. Bis gerade eben lief alles wieder problemlos. Jetzt dasselbe Spiel. Alle VMs und Proxmox waren nicht mehr erreichbar.

Gerade lief nun Memtest ohne Fehler durch (erst mal nur 1 pass).

Ohne die beiden HDs läuft Proxmox jetzt hier neben mir auf dem Schreibtisch wieder. Alles erreichbar (bis áuf die Datasets von TrueNAS wegen der fehlenden HDs).
Diesmal gibt es KEINE Meldung zur Massenabschaltung von VMs. Entweder es ging schon vorher nichts mehr, oder die heutige Nichterreichbarkeit hat eine andere Ursache. Denn etwas komisch auch, dass ich gerade auch andere Dienste immer wieder nicht erreichen kann, was auch auf Proleme mit Router/und oder Switch hindeuten könnte. Aber wenn das das Einzige wäre, dann hätte es ja vor 2 Tagen keine Massenabschaltung der VMs gegeben.
Router und Switch habe ich jedenfalls gerade mal neu gestartet und jetzt ist das Internet wieder stabil da.
Herunterfahren, die HDs wieder einbauen und neu startenist der nächse Schritt, den ich jetzt gleich mache.

Wie grenze ich das denn nun weiter ein?
Wo und wie finde ich weitere Infos zur Ursache der Massenabschaltung der VMs vorgestern?
Ich habe auch ein UGREEN NAS DXP 4800 plus welches ich mit Proxmox PBS verwende - dieses hängt sich auch regelmäßig (läuft manchmal Monate dann wieder nur 1-3 Tage ohne Probleme) auf (nicht mehr erreichbar, keine Bildschirmausgabe, kein Abschalten über PowerTaste möglcih - nur Stromstecker ziehen hilft)
Dürfte ein Problem mit dem Modell sein - ein weiteres des selben Modells betreibe ich als iSCSI Target mit der UGREEN NAS Software - hier gibt es keine Probleme
Da das PBS Gerät jedoch nur für replication genutzt wird ist es bei mir nicht tragisch das es ab und an Kalt neu gestartet werden muss

Habe dazu jedoch noch nicht viel im Web gefunden

LG
Christian
 
Ok. Ich habe das 2800. Bis vorgestern hatte ich das Problem aber tatsächlich seit knapp 2 Jahren noch nie. Wenn das passiert, wenn ich nicht zuhause bin, ist das wegen der Hausautomatisierung samt Gartenbewässerung halt echt sch.....

Hast du einen Tipp als Alternative zum Ugreen NAS (das damals sehr warm empfohlen wurde), in dem ich meine 2x M.2 und 2x HD wieder 1:1 einbauen kann und das keine solchen Probleme hat? Es sollte halt was sein, das nicht mehr Energie braucht, also kein 100W Server o.ä.

Edit:
Könnte das Aufhängen mit dem derzeitigen Kernel zusammenhängen, oder hast du das schon bei allen Kernelversionen beobachtet? Wie gesagt, bis vorgestern hatte ich exakt 0 Ausfälle.
 
Last edited:
Danke.
Das Ugreen NAS ist bislang auch fast 2 Jahre ohne Probleme gelaufen. Bei 1 Jahr Laufzeit kannst du dann leider noch nicht sagen, wie das nach2+ Jahren aussieht.

mal sehen habe den 7.3 kernel vorgestern auf dem ugreen nas installiert - vielleicht ist das eine lösung
 
mal sehen habe den 7.3 kernel vorgestern auf dem ugreen nas installiert - vielleicht ist das eine lösung
Lass bitte hören, ob der Kernel stabiler läuft - wobei wie gesagt bis vorgestern bei mir nie das Problem auftrat. Immer zeitnah alle Stable-Updates des aktuellen Proxmox, wenn auch nicht mit Subscription. Könnte also v.a. mit nem älteren Kernel wieder besser werden, sollte es daran liegen.
 
Last edited:
Falls das Problem erst nach einem Update aufgetreten ist, teste beim Booten im GRUB-Menü einfach mal den vorherigen Kernel. Wenn es damit wieder stabil läuft, weißt du sicher, dass es ein Kernel-Regress war, und kannst den alten vorerst pinnen.
 
Falls es nochmal auftritt, werde ich das testen. Aber auch wenn ich die Idee ins Spiel gebracht habe: ich glaube nicht wirklich an den Kernel, da Proxmox vor dem ersten Auftreten eine ganze Weile ohne Reboot lief - ergo auch der Kernel nicht ausgetauscht wurde.
 
Stimmt, wenn vor dem Crash kein Reboot stattfand, fällt der Kernel als unmittelbare Ursache natürlich raus. Dann würde ich als Nächstes die Syslog-Einträge kurz vor dem Stillstand nach OOM-Killer-Meldungen absuchen, falls ein Dienst unbemerkt den RAM vollgeschrieben hat.