Proxmox RAM läuft voll--->Homeassistant VM stürzt ab/reboot loop

[marco1990]

Hallo

Ich habe bei mir auf einem Intel NUC Proxmox laufen in darin eine VM mit Homeassistant. Das läuft auch sehr gut nur leider muss ich die VW alle ca 15 Std Neustarten weil dann die 15 GB Ram die ich zugewiesen habe bis auf ca. 85 Prozent in Proxmox als voll angezeigt werden und so der Homeasssistant anscheinend sseine 2 GB die er soc durchgehend benötigt nicht mehr benutzen kann und so zum Absturz kommt und in eine Reboot Schleife fällt bis er dann einige Zeit später komplett nicht mehr erreichbar ist.

Woran kann das liegen? Vorher läuft alles bestens.

 

[jim_os]

Welche HA-Version nutzt Du denn? Es gab vor einiger Zeit mal Probleme mit/nach HA-Updates, sprich danach ist die Performance eingebrochen und sowohl CPU als auch RAM wurden bis Anschlag belastet/ausgelastet. Im HA-Forum gab/gibt es dazu auch Beiträge/Posting. Ich weiß aber leider nicht mehr bei welcher HA-Version das war. Ich meine aber entweder irgendeine 11er oder 12er Version.

Bei mir gibt es mit:
Home Assistant 2022.12.8
Supervisor 2022.12.1
Operating System 9.4

keinerlei Probleme mit dem RAM und auch davor mit 12.5 gab es keine.



Was genau heißt: Vorher läuft alles bestens.
Hast Du in letzter Zeit irgendwelche sonstigen Änderung bei HA vorgenommen, also z.B. irgendwelche zusätzliche Geräte integriert, oder Addons installiert? Es kann natürlich auch sein das irgendein Addon z.B. RAM "frisst" und nicht wieder freigibt.


Edit: Das war das Problem was ich meinte: https://github.com/home-assistant/core/issues/83661

VG Jim

 

[marco1990]

Leider passt das Problem nicht bei mir läuft nur die Proxmox voll im Homeassistant werden immer so 2 bis 3gb angezeigt was ja vollkommen normal ist. Bei Proxmox läuft die VM halt langsam voll bis keine 2-3 GB mehr frei sind und dann fängt Homeassistant an zu rebooten.

 

[Dunuin]

Und du bist sicher, dass da der RAM das Problem ist? Siehe z.B.: LinuxAteMyRAM
Am besten mal free -h in der HA VM ausführen zum gucken, wie voll dein RAM dort wirklich ist. Dass man zwischen "free" und "available" unterscheiden kann.
Wenn dir PVE anzeigt, dass da 85% von 16GB RAM "used" sind heißt das erstmal nicht viel. Das kann auch einfach nur heißen, dass da das HA OS z.B. 2,6 GB RAM für System+Dienste und 11GB RAM für Caching benutzt werden. Je mehr RAM du einer VM gibst, desto mehr RAM wird es für Caching verbraten.
Problematisch würde es höchstens sein, wenn da free -h im Gast dir sagt, dass da kaum noch RAM "available" ist.

 

[jim_os]

Ich bin zwar selber noch Anfänger in Sachen Proxmox, aber sollte Proxmox für den steigenden RAM-Verbrauch vorantwortlich sein kann das doch eigentlich nur etwas mit dem balloon kernel driver zu tun haben und was die RAM-Verwaltung betrifft kann man da ja nicht viel einstellen. Mich würde mal interessieren wie diese Einstellungen bei der VM aussehen.



Um es mal etwas laienhaft auszudrücken: Proxmox selber stellt ja nur die Ressourcen für die VM zur Verfügung und wie diese dann genutzt werden ist eigentlich Sache des Gastes. D.h. sofern es keinen Fehler in dem RAM-Management von Proxmox geben sollte kann Proxmox m.M.n. nicht die Ursache des Problems sein.

Ansonsten sind meine vorherigen Fragen ja leider nicht beantwortet worden, sprich: Welche Proxmox Version? Welche HA-Version? Was heißt "Vorher läuft alles bestens."? Wurden in letzter Zeit irgendwelche Änderungen bei Proxmox oder HA vorgenommen? Wurden irgendwelche Updates bei Proxmox oder HA installiert? Gibt es noch andere VMs auf dem NUC bei denen das Verhalten nicht auftrifft? Wurde schon mal testweise eine neue HA VM installiert (ist ja in ein paar Minuten erledigt) und trat bei der das Problem dann auch auf?

 

[marco1990]

Proxmox und Homeassistant sind jeweils auf den aktuellen Versionen (7.3-3 und 22.12.8). Es liegt aber wohl doch nicht am RAM da der Speicherplatz in der VM bei Proxmox mit 96 Prozent angezeigt wird aber Homeassistant bei ca 2GB liegt und trotzden noch stabil läuft jetzt seit 26 Std.

Verändert wurde leider nix auch jetzt nicht ich habe gestern den Intel NUC neu gestartet wie ich es auch die tage davor immer mal machen mussste aber jetzt läuft es bis jetzt am längsten Stabil. Die VM lief allerdings auch noch die länger stabil da ich erst kurzz zuvor vom Raspberry PI4 zum Intel NUC gewechselt bin.

Die LOGS bei Proxmox habe ich mir auch schon angeguckt aber dort habe ich leider nix finden können.

 

[LeCaNo]

Ich hatte bei meiner Home Assistant VM das Problem, dass diese den falschen RAM Verbrauch an Proxmox zurückgemeldet hat. Du scheinst das gleiche Problem zu haben.

Bei mit hat es geholfen von i440fx auf Q35 umzustellen.

 

[marco1990]

Kanns du ir erkären wie das geht?

Vor 1 Stunde ist dann wiedermal alles nicht mehr erreichbar gewesen. Da ich diesmal nicht sofort reagieren konnte ist diesmal sogar Proxmox selbst eingefroren. Als ich eben darauf zugreifen wollte konnte ich Proxmox nicht laden und auch ein Ping blieb erfolglos.

 

[jim_os]

Also ich hatte in den Monaten in denen Proxmox mit HA VM auf meinem NUC8i3BEH lief keinerlei Probleme damit. Wie ich vorgehen würde hatte ich ja schon mal in #5 als Frage gepostet.

Wurde schon mal testweise eine neue HA VM installiert (ist ja in ein paar Minuten erledigt) und trat bei der das Problem dann auch auf?

Installation z.B. wie hier beschrieben.

 

[marco1990]

i440fx auf Q35 umzustellen klappt gar nicht auf Q35 startet Homeassistant nicht und der RAM in Proxmox ist sofort voll.

Habe jetzt eine neue VM installiert leider kann ich in der alten kein Backup erstellen da der RAM bevor es fertig ist voll ist und homeassistant so wieder von alleine einen reboot durchführt und nicht sauber läuft.

 

[jim_os]

Also irgendetwas läuft bei Dir aber gründlich schief. Ursprünglich war mal von 15 Std. die Rede, dann lief HA über 26 Std. ohne Probleme und jetzt kannst Du kein Backup mehr erstellen weil HA sofort wieder einen Reboot durchführt.

Also ich habe leider keine Ideen mehr was Du ggf. noch machen kannst und wenn Du kein externes HA Backup zur Verfügung hast das Du bei der neuen VM einspielen kannst, sieht es wohl eher schlecht aus. Zumindest kannst Du die neue HA VM jetzt mal eine Weile laufen lassen und schauen was dann mit dem RAM passiert. Sollte die neue HA VM dann normal laufen weißt Du das die alte HA VM Installation irgendeinen grundsätzlichen Fehler hat.

 

[marco1990]

Ja weil das Backup was ich angestoßen habe wohl den RAM so schnell füllt. Habe jetzt schonauf 25 GB erhöht aber der RAM ist immer voll bevor das backup fertig ist.

Wenn ich es auf Q35 einstelle dann startet die VM überhaupt nicht mehr.

Auch eine neu erstellte VM füllt den Speicherplatz wenn ich ein backup einspiele ziemlich schnellaf 98 Prozent. Homeassistant läuft zumindest aber der RAM wrd trotzdem nicht wieder freigegeben.

Es ist doch auch nicht normal, dass Proxmox komplett nicht erreichbar ist das muss ja auch einen Grund haben. Machmal kann ich dann in Proxmox noch die VM Neustarten und wenn Homeassistant länger nicht erreichbar war muss ich den kompletten NUC neustarten ansonsten ist nix mehr erreichbar. Sobald er neu gestartet ist läuft alles wieder normal bis die Probleme wieder auftauchen.

 

[jim_os]

Auch eine neu erstellte VM füllt den Speicherplatz wenn ich ein backup einspiele ziemlich schnellaf 98 Prozent.

Bei der Install. nach der oben von mir verlinkten Anleitung und ohne das Du bereits zusätzliche Addons oder so unter HA installiert hast? Sorry aber dann bin ich raus. Da müssen dann wohl die Proxmox Spezialisten ran. Ich hatte das Problem weder bei meinem NUC, noch jetzt mit meinem Fujitsu PC.

Du könntest Dir z.B. per Befehl top in der Console mal die laufenden Prozesse anzeigen lassen. Vielleicht kannst Du damit ja erkennen welcher Prozess das RAM "auffrist".

 

[marco1990]

   1195 root      20   0   29.2g  24.5g  11440 R 220.9  78.7  22:32.17 kvm                                           
   1076 root      20   0   10.5g  85260  12604 S 100.0   0.3  11:19.56 kvm                                           
     68 root      25   5       0      0      0 S   3.0   0.0   0:14.01 ksmd                                           
   1016 root      20   0  272376  88908   7192 S   0.7   0.3   0:01.45 pvestatd                                       
   1017 root      20   0  273800  87172   4076 S   0.7   0.3   0:01.01 pve-firewall                                   
   1214 root      20   0       0      0      0 S   0.7   0.0   0:05.96 vhost-1195                                     
     13 root      20   0       0      0      0 S   0.3   0.0   0:00.01 ksoftirqd/0                                   
    136 root      20   0       0      0      0 I   0.3   0.0   0:00.17 kworker/u16:2-dm-thin                         
      1 root      20   0  164404  10572   7640 S   0.0   0.0   0:00.75 systemd                                       
      2 root      20   0       0      0      0 S   0.0   0.0   0:00.00 kthreadd                                       
      3 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_gp                                         
      4 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_par_gp                                     
      5 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 slub_flushwq                                   
      6 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 netns

Das kommt dabei raus der RAM in Proxmox scheint auch immer sehr voll zu sein.

 

[Dunuin]

Ich glaube es war eher gemeint top mal in der HA VM auszuführen. Das dein KVM porcess der die HA VM laufen lässt viel RAM braucht ist ja klar.

 

[jim_os]

Ne ich meinte in dem Fall tatsächlich die PVE Console (Shell), um mal zu sehen was da überhaupt so läuft. Ich meine das es den Befehl top bei HA nicht gibt. Trotz Debian Basis. Aber sicher bin ich mir nicht und ich weiß im Moment auch nicht ob es bei HA einen alternativen Befehl dazu gibt. Dazu sollte man einfach mal die möglichen HA Command-Befehle per Help durchsuchen.

VG Jim

 

[marco1990]

Der RAM in Homeassistant wird mir ja im Verlauf angezeigt und da bin ich immer so bei 2-3GB ca und es wird jetzt auch von 24 GB angezeigt also dort läuft alles so wie es soll.


In Proxmox steigt der Speichervebrauch stetig und wenn er fast voll ist fängt das System an zu spinnen bis dahin läuft alles super. Man sieht dort richtig wie der RAM langsam volläuft.

Das passiert allerdings nicht nur mit der VM für Homeassistant sondern der Komplette Prxomox Server läuft mit RAM voll. Sobbald ich einen Reboot mache geht der RAM kurz runter um dann gleich wieder auf 26GB hoch zu gehen das ist doch nicht normal wofür verbraucht der dann so viel RAM?

Jetzt habe ich noch eine VM erstellt und dort in Q35 gewechselt. Dort steht jetzt GuestAgent läuft nicht und die VM lässte sich weder Herunterfahren noch Neustarten noch reseten. Kann ich die über die Konsole irgendwie löschen?

 

[Dunuin]

Der RAM in Homeassistant wird mir ja im Verlauf angezeigt und da bin ich immer so bei 2-3GB ca und es wird jetzt auch von 24 GB angezeigt also dort läuft alles so wie es soll.

Du weißt ja aber auch nicht was dir HA da genau anzeigt. Daher fragte ich, ob du free -h in der VM ausführen kannst. Kann ja durchaus sein, dass da von den 24GB RAM dann zwar 2 GB "used" sind, mit 22GB "available" aber trotzdem nur 1 GB "free", da 21GB für Caching benutzt werden. Da muss man halt zwischen "free" und "available" unterscheiden. Da würde dir dann HA 2GB "used" anzeigen, tatsächlich nutzt HA aber 23GB phyischen RAM, da ja RAM der als "available" in der VM gilt trotzdem für den PVE host "used" RAM ist. Einer VM einfach immer mehr RAM geben macht keinen Sinn. Du kannst einer VM auch 1TB RAM geben, dann würde die VM vermutlich 2GB für Dienste + 997GB RAM für Caching verbraten.
Ist im Normalfall völlig egal was da PVE für den RAM-Verbrauch der Linux-VM anzeigt. Wichtig ist nur wieviel RAM da im Gast "available" ist.

In Proxmox steigt der Speichervebrauch stetig und wenn er fast voll ist fängt das System an zu spinnen bis dahin läuft alles super. Man sieht dort richtig wie der RAM langsam volläuft.
Das passiert allerdings nicht nur mit der VM für Homeassistant sondern der Komplette Prxomox Server läuft mit RAM voll. Sobbald ich einen Reboot mache geht der RAM kurz runter um dann gleich wieder auf 26GB hoch zu gehen das ist doch nicht normal wofür verbraucht der dann so viel RAM?

Klingt für mich nach Caching.

 

[marco1990]

Jetzt hat Proxmox einfach mal so ein Neustart hingelegt während des Bakups in Homeassistant obwohl der RAM zu der Zeit bei unter 50 Prozent war. Ich glaube ich werde das System deinstallieren da läuft ja überhaupt nix rund.

Mir wird direkt in HA 3.8 GB als Free angezeigt demnach müsste das System doch stabil laufen.

Das ist direkt in Proxmox:

root@pe:~# free -h
               total        used        free      shared  buff/cache   available
Mem:            31Gi        15Gi        15Gi        47Mi       305Mi        15Gi
Swap:          8.0Gi          0B       8.0Gi

Wie kann ich das Caching dann verhindern?

Syslog:

Jan  2 20:00:29 pe pvedaemon[1046]: <root@pam> successful auth for user 'root@pam'
Jan  2 20:01:28 pe systemd[1]: session-17.scope: Succeeded.
Jan  2 20:01:28 pe pvedaemon[1047]: <root@pam> end task UPID:pe:00002A88:0004ADD5:63B327A1:vncshell::root@pam: OK
Jan  2 20:01:52 pe pvedaemon[1046]: VM 100 qmp command failed - VM 100 qmp command 'guest-ping' failed - got timeout
Jan  2 20:05:09 pe pvedaemon[1045]: <root@pam> successful auth for user 'root@pam'
Jan  2 20:07:15 pe systemd[1]: session-13.scope: Succeeded.
Jan  2 20:07:15 pe pvedaemon[1046]: <root@pam> end task UPID:pe:0000280F:00046087:63B326DB:vncshell::root@pam: OK
Jan  2 20:07:16 pe pveproxy[1197Jan  2 20:09:04 pe kernel: [    0.000000] Linux version 5.15.74-1-pve (build@proxmox) (gcc (Debian 10.2.1-6) 10.2.1 20210110, GNU ld (GNU Binutils for Debian) 2.35.2) #1 SMP PVE 5.15.74-1 (Mon, 14 Nov 2022 20:17:15 +0100) ()
Jan  2 20:09:04 pe kernel: [    0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-5.15.74-1-pve root=/dev/mapper/pve-root ro quiet
Jan  2 20:09:04 pe kernel: [    0.000000] KERNEL supported cpus:
Jan  2 20:09:04 pe kernel: [    0.000000]   Intel GenuineIntel
Jan  2 20:09:04 pe kernel: [    0.000000]   AMD AuthenticAMD
Jan  2 20:09:04 pe kernel: [    0.000000]   Hygon HygonGenuine
Jan  2 20:09:04 pe kernel: [    0.000000]   Centaur CentaurHauls
Jan  2 20:09:04 pe kernel: [    0.000000]   zhaoxin   Shanghai 
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: Supporting XSAVE feature 0x001: 'x87 floating point registers'
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: Supporting XSAVE feature 0x002: 'SSE registers'
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: Supporting XSAVE feature 0x004: 'AVX registers'
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: Supporting XSAVE feature 0x008: 'MPX bounds registers'
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: Supporting XSAVE feature 0x010: 'MPX CSR'
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: xstate_offset[2]:  576, xstate_sizes[2]:  256
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: xstate_offset[3]:  832, xstate_sizes[3]:   64
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: xstate_offset[4]:  896, xstate_sizes[4]:   64
Jan  2 20:09:04 pe kernel: [    0.000000] x86/fpu: Enabled xstate features 0x1f, context size is 960 bytes, using 'compacted' format.
Jan  2 20:09:04 pe kernel: [    0.000000] signal: max sigframe size: 2032
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-provided physical RAM map:
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x0000000000000000-0x000000000009efff] usable
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000000009f000-0x00000000000fffff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x0000000000100000-0x000000006cf85fff] usable
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006cf86000-0x000000006f07ffff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006f080000-0x000000006f101fff] ACPI data
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006f102000-0x000000006f108fff] ACPI NVS
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006f109000-0x000000006f109fff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006f10a000-0x000000006f1b3fff] ACPI NVS
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006f1b4000-0x000000006fba2fff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006fba3000-0x000000006fc4dfff] type 20
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006fc4e000-0x000000006fc4efff] usable
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x000000006fc4f000-0x000000007cffffff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x00000000e0000000-0x00000000efffffff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x00000000fe000000-0x00000000fe010fff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x00000000fec00000-0x00000000fec00fff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x00000000fed00000-0x00000000fed03fff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x00000000fee00000-0x00000000fee00fff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x00000000ff000000-0x00000000ffffffff] reserved
Jan  2 20:09:04 pe kernel: [    0.000000] BIOS-e820: [mem 0x0000000100000000-0x0000000880ffffff] usable
Jan  2 20:09:04 pe kernel: [    0.000000] NX (Execute Disable) protection: active
Jan  2 20:09:04 pe kernel: [    0.000000] efi: EFI v2.70 by American Megatrends
Jan  2 20:09:04 pe kernel: [    0.000000] efi: ACPI=0x6f139000 ACPI 2.0=0x6f139014 TPMFinalLog=0x6f141000 SMBIOS=0x6f9df000 SMBIOS 3.0=0x6f9de000 MEMATTR=0x66772198 ESRT=0x6887e998
Jan  2 20:09:04 pe kernel: [    0.000000] secureboot: Secure boot disabled
Jan  2 20:09:04 pe kernel: [    0.000000] SMBIOS 3.3.0 present.
Jan  2 20:09:04 pe kernel: [    0.000000] DMI: Intel(R) Client Systems NUC10i5FNH/NUC10i5FNB, BIOS FNCML357.0052.2021.0409.1144 04/09/2021
Jan  2 20:09:04 pe kernel: [    0.000000] tsc: Detected 2100.000 MHz processor
Jan  2 20:09:04 pe kernel: [    0.000000] tsc: Detected 2099.944 MHz TSC
Jan  2 20:09:04 pe kernel: [    0.000357] e820: update [mem 0x00000000-0x00000fff] usable ==> reserved
Jan  2 20:09:04 pe kernel: [    0.000363] e820: remove [mem 0x000a0000-0x000fffff] usable
Jan  2 20:09:04 pe kernel: [    0.000382] last_pfn = 0x881000 max_arch_pfn = 0x400000000
Jan  2 20:09:04 pe kernel: [    0.000699] x86/PAT: Configuration [0-7]: WB  WC  UC- UC  WB  WP  UC- WT 
Jan  2 20:09:04 pe kernel: [    0.002326] last_pfn = 0x6fc4f max_arch_pfn = 0x400000000
Jan  2 20:09:04 pe kernel: [    0.023687] esrt: Reserving ESRT space from 0x000000006887e998 to 0x000000006887e9d0.
Jan  2 20:09:04 pe kernel: [    0.023704] e820: update [mem 0x6887e000-0x6887efff] usable ==> reserved
Jan  2 20:09:04 pe kernel: [    0.023836] Using GB pages for direct mapping
Jan  2 20:09:04 pe kernel: [    0.024582] secureboot: Secure boot disabled
Jan  2 20:09:04 pe kernel: [    0.024584] RAMDISK: [mem 0x30a9b000-0x34544fff]
Jan  2 20:09:04 pe kernel: [    0.024589] ACPI: Early table checksum verification disabled
Jan  2 20:09:04 pe kernel: [    0.024595] ACPI: RSDP 0x000000006F139014 000024 (v02 INTEL )
Jan  2 20:09:04 pe kernel: [    0.024602] ACPI: XSDT 0x000000006F138728 0000D4 (v01 INTEL  NUC9i5FN 00000034 AMI  01000013)
Jan  2 20:09:04 pe kernel: [    0.024613] ACPI: FACP 0x000000006F0FC000 000114 (v06 INTEL  NUC9i5FN 00000034 AMI  00010013)
Jan  2 20:09:04 pe kernel: [    0.024624] ACPI: DSDT 0x000000006F0B8000 0439CD (v02 INTEL  NUC9i5FN 00000034 INTL 20160527)
Jan  2 20:09:04 pe kernel: [    0.024631] ACPI: FACS 0x000000006F1B3000 000040

 

[jim_os]

Nur zur Info: Bei laufender HA und OMV VM (jeweils 8GB RAM von insgesamt 40 GB zugewiesen) werden mir per top gerade mal rund 8 MEM kvm angezeigt. Der Wert variert auch nicht großartig, oder geht irgendwann mal gen 70, 80 oder mehr.