PVE WebUI nicht mehr erreichbar, VMs mit Autostart werden nicht gestartet

[Peter Altherr]

Hallo Experten, nachdem ich gerade die heute im WebUI sichtbaren Updates installiert hab (Kernel 6.8.12-2-pve und andere) und meinen Node neugestartet hab ist das WebUI nicht mehr erreichbar.

root@pve:/var/log# service pveproxy status
× pveproxy.service - PVE API Proxy Server
     Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; preset: enabled)
     Active: failed (Result: signal) since Wed 2024-09-18 20:43:42 CEST; 13min ago
    Process: 2162 ExecStartPre=/usr/bin/pvecm updatecerts --silent (code=exited, status=0/SUCCESS)
    Process: 2164 ExecStart=/usr/bin/pveproxy start (code=killed, signal=SEGV)
        CPU: 503ms

Sep 18 20:43:42 pve systemd[1]: pveproxy.service: Scheduled restart job, restart counter is at 5.
Sep 18 20:43:42 pve systemd[1]: Stopped pveproxy.service - PVE API Proxy Server.
Sep 18 20:43:42 pve systemd[1]: pveproxy.service: Start request repeated too quickly.
Sep 18 20:43:42 pve systemd[1]: pveproxy.service: Failed with result 'signal'.
Sep 18 20:43:42 pve systemd[1]: Failed to start pveproxy.service - PVE API Proxy Server.
root@pve:/var/log# service pvedaemon status
× pvedaemon.service - PVE API Daemon
     Loaded: loaded (/lib/systemd/system/pvedaemon.service; enabled; preset: enabled)
     Active: failed (Result: signal) since Wed 2024-09-18 20:43:40 CEST; 14min ago
    Process: 2151 ExecStart=/usr/bin/pvedaemon start (code=killed, signal=SEGV)
        CPU: 265ms

Sep 18 20:43:40 pve systemd[1]: Failed to start pvedaemon.service - PVE API Daemon.
Sep 18 20:43:41 pve systemd[1]: pvedaemon.service: Start request repeated too quickly.
Sep 18 20:43:41 pve systemd[1]: pvedaemon.service: Failed with result 'signal'.
Sep 18 20:43:41 pve systemd[1]: Failed to start pvedaemon.service - PVE API Daemon.
Sep 18 20:43:41 pve systemd[1]: pvedaemon.service: Start request repeated too quickly.
Sep 18 20:43:41 pve systemd[1]: pvedaemon.service: Failed with result 'signal'.
Sep 18 20:43:41 pve systemd[1]: Failed to start pvedaemon.service - PVE API Daemon.
Sep 18 20:43:42 pve systemd[1]: pvedaemon.service: Start request repeated too quickly.
Sep 18 20:43:42 pve systemd[1]: pvedaemon.service: Failed with result 'signal'.
Sep 18 20:43:42 pve systemd[1]: Failed to start pvedaemon.service - PVE API Daemon.

Ein manuelles /usr/bin/pveproxy start in einer SSH-Sitzung bringt mir den Fehler Segmentation fault. Wo kann ich ansetzen, um den Fehler zu lokalisieren?

 

[Peter Altherr]

Nachtrag: Nach dem Installieren der Updates gestern übers WebUI hab ich nochmal über eine SSH-Sitzung ein apt-get update laufen lassen und gesehen, dass die Meldung Repository

'Debian bookworm' changed its 'non-free component' value from 'non-free' to 'non-free non-free-firmware'

kommt. Daraufhin hab ich die /etc/apt/sources.list um 3 Einträge erweitert, so dass sie jetzt so aussieht:

deb http://ftp.de.debian.org/debian bookworm main contrib

deb http://ftp.de.debian.org/debian bookworm-updates main contrib

neu -> deb http://deb.debian.org/debian bookworm main contrib non-free-firmware

neu -> deb http://deb.debian.org/debian bookworm-updates main contrib non-free-firmware

# security updates
deb http://security.debian.org bookworm-security main contrib

neu -> deb http://security.debian.org/debian-security bookworm-security main contrib non-free-firmware

# HP Agentless Management Service for iLO - added manually
deb http://downloads.linux.hpe.com/SDR/repo/mcp bookworm/current non-free

Anschliessend nochmal ein apt-get udate und die Warnung war weg und es gab auch keine Fehlermeldungen. Ich hab keine Ahnung, ob das was damit zu tun haben könnte.

 

[Peter Altherr]

Ein Lichtblick: Der Node ist komplett wieder da, wenn ich von einer PVE Installations-ISO einen Rescue boot mache.

Hat jemand einen Tip, wie ich das System wieder dazu bekomme, von der internen SSD zu starten?

 

[news]

Guten Tag,

# https://pve.proxmox.com/wiki/Recover_From_Grub_Failure
# https://pve.proxmox.com/wiki/Host_Bootloader
# https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen

 

[Peter Altherr]

Danke für die superschnelle Reaktion. Da der betroffene Node bis zur Anmeldung durchbootet und auch per SSH erreichbar ist (siehe eigentlichen Fehler aus meinem ersten Post: PVE WebUI nicht erreichbar. Ein manuelles /usr/bin/pveproxy start in einer SSH-Sitzung bringt mir den Fehler Segmentation fault.), gehe ich mal stark davon aus, dass die beiden ersten Links nicht zielführend sind Den 3. bei Thomas Krenn werd ich mir mal anschauen.

Nachtrag: Der Beitrag bei Thomas Krenn ist hochinteressant, den hab ich mir gleich weggesichert. Leider ist er in meinem Szenario nicht anwendbar, da ich das Systemlaufwerk bei der Installation von PVE nicht redundant ausgelegt habe (hinterher ist man immer schlauer).

 

[news]

Bitte genau lesen, so sieht man, wie man von dem externen USB Rescure Proxmox booten kann und anschließend ein ZFS Pool importiert, den man dann wieder als primären Boot(pool) einbinden kann.
Es hängt alles "irgendwie" zusammen.

Die Anleitung von https://www.thomas-krenn.com/ zeigt nur den Austausch einen ZFS "Boot/Root" Disk.

Das habe ich auch schon zig mal gemacht, um von z.B. NVMe M.2 SSD auf SATA 3 SSD zu wechseln, oder auch, um anschließend den ZFS Pool durch eine größere SSD zu ersetzen.
Anschließend muss dann "nur" noch von z.B. 500 GB auf 1 TB diese ZFS Partition im laufenden Betrieb vergrößert werden.
Geht alles.

 

[Peter Altherr]

Ok. Dann nochmal alles in Ruhe. Ich werde berichten, wie es lief.