[SOLVED] Proxmox VE hängt nach update

[Burschi500]

Hallo zusammen,

ich betreibe zuhause ein kleines Netzwerk, hauptsächlich mit Proxmox. Hierzu habe ich u.a. einen Server aufgesetzt auf dem sowohl VE (Virtual Environment 6.4-14) als auch PBS (Backup Server 1.1-13) installiert ist, beides in der "free edition". Als VM ist hier auch OPNsense installiert was firewall und routing übernimmt, eine Netzwerkkarte mit Intel-Chip habe ich per PCI-passthrough eingerichtet. Daneben laufen auch noch ein paar andere VM auf diesem Server, die aber nur nicht systemrelevante Dienste übernehmen (Bildergallerie, www, Nextcloud, ...).
Nun zu meinem Problem:
In letzter Zeit (ich kann den genauen Zeitpunkt leider nicht genau eingrenzen...) hängt sich Proxmox nach einem Package update immer auf, d.h. das Netzwerk ist down und dementsprechend kein Server mehr ansprechbar (über keine Netzwerkschnittstelle), auch die OPNsense nicht. Auch am Server selber kann ich mich nicht einloggen, per HDMI bekomme ich kein Signal. Nach Aus- und wieder Einschalten funktioniert alles wieder ohne Probleme, als wenn nichts gewesen wäre. Tatsächlich scheint auch die VE das Problem zu verursachen, denn das Packageupdate läuft beim PBS (laut log) durch, wohingegen der letzte Logeintrag (in der Proxmox Weboberfläche) bei der VE immer das package update ist.
So - was könnte hier mein Problem sein, wo soll ich suchen oder was fehlt noch an Informationen?

Christian

 

[Falk R.]

Machst du immer brav "apt dist-upgrade"? Ich lese oft von ähnlichen Problemen wenn nur "apt upgrade" gemacht wurde.

 

[Burschi500]

Die packages werden automatisch per task geupdated (Task type aptupdate), und nicht jedes update führt zum hängen. Weiterhin nutze ich noch ansible um (zumeist am WE) alle meinen Server upzudaten, hier dann apt update.
Noch eine Frage zu den tasks in Proxmox - wo finde ich die bzw. wo kann ich die aktivieren und deaktivieren? Ich finde nur stellen wo ich die tasks bzw. logs dazu aufgelistet sehe. Ich hatte mal ein gleichzeitiges update durch VE und PBS in betracht gezogen, weshalb ich in einem System mal das automatische updaten deaktivieren wollte.

 

[Falk R.]

Autoupdate nutze ich auf einem Virtualisierungshost nie.
Auch wenn du das automatisiert hast, machst duc nach apt update dann apt upgrade oder apt dist-upgrade?

 

[Burschi500]

Autoupdate nutze ich auf einem Virtualisierungshost nie.

Autoupdate des Proxmox Hosts - Das wird als Task ausgeführt, und leider kann ich nicht feststellen wo das gesteuert wird. Also wo kann ich die Ausführung dieses (oder anderer Tasks) aktivieren/deaktivieren?

Auch wenn du das automatisiert hast, machst duc nach apt update dann apt upgrade oder apt dist-upgrade?

Wie gesagt, das läuft über einen Task in Proxmox. Ansible macht ein apt upgrade und kein dist-upgrade. Ich habe das mal nach dem ansible playbook per hand ausgeführt und trotzdem hats nicht geholfen.

Allerdings habe ich gerade den Verdacht, das das ein OPNsense Problem sein könnte. Im log der OPNsense habe ich gerade gesehen, das das letzte was aufgezeichnet wurde ein backupversuch der OPNsense zu meiner Nextcloud instanz war. Zu dem Zeitpunkt war die NC aber wegen backup down - kann das sein? Ich glaube ich schaue mal im anderen orangen Forum nach...

 

[Falk R.]

Also, das er nach updates schaut ( apt update ) ist normal und tut ja nicht weh.
Bei PVE bitte immer nur " apt dist-upgrade " durchführen. Sonst werden zwar die Debian Packages aber nicht alle abhängigen PVE Updates gezogen.

 

[Burschi500]

So, nach genauerem schauen scheint es dann so zu sein, das während des Backups einer VM der Speicher ausgeht (ab Apr 17 01:50:23):
pastebin
Das Backup geht zwei mal die Woche auf eine Synology (und drei mal die Woche auf einen PBS Server, allerdings an anderen Tagen).
Frage - warum bricht das nur Sonntags ab und nicht mal in der Woche? Und warum scheint nur die OPNsense (ID 10000) betroffen zu sein (PCI passthrough?)?
Was bedeutet
Apr 17 01:50:23 Prometheus systemd[1]: Starting Daily PVE download activities... Apr 17 01:50:24 Prometheus systemd[1]: 10000.scope: Succeeded. Apr 17 01:50:24 Prometheus qmeventd[1192]: Starting cleanup for 10000 Apr 17 01:50:24 Prometheus qmeventd[1192]: Finished cleanup for 10000

OK, sind dann doch mehrere Fragen geworden...

 

[Burschi500]

Nachtrag (hat anscheinend nichts mit dem Problem oben zu tun, aber da ich mich das selber gefragt habe hier, zumindest meine, Antwort):
apt-update und auch upgrade laufen standardmäßig automatisch per systemd timer (apt-daily-upgrade.timer und apt-daily-upgrade.service), wobei der .service mit der option "install" aufgerufen wird und dann auch die Pakete installiert:

# /lib/systemd/system/apt-daily-upgrade.service
[Unit]
Description=Daily apt upgrade and clean activities
Documentation=man:apt(8)
ConditionACPower=true
After=apt-daily.service network.target network-online.target systemd-networkd.se

[Service]
Type=oneshot
ExecStartPre=-/usr/lib/apt/apt-helper wait-online
ExecStart=/usr/lib/apt/apt.systemd.daily install
KillMode=process
TimeoutStopSec=900

 

[Burschi500]

So, der Sonntag ist vorbei und es gab keinen Absturz o.ä.. Wahrscheinlich haben sich die am gleichen Tag (nur Sonntags...) stattfindendenden Backuptasks zeitweise überlagert, sodass der Speicher dann eng geworden ist. Ich habe die Backups entzerrt und der OPNsense 2GB weniger Speicher gegeben (und damit der VE entsprechend mehr), das scheint - zumindest bis jetzt - zu reichen...