LXC-Kontainer nach shutdown verschwunden (inkl. configs)

[olk]

Hallo,
ich hatte zwei LXC-Kontainer angelegt und verwendet, die Konfigurationsdateien unter /etc/pve/lxc waren auch vorhanden und wurde entsprechend abgeändert - hatte alles funktioniert.
Nach einem shutdown via Proxmox Webinterface waren die LXC-Kontainer (1150 und 1151), inkl. der Konfigurationsdateien, nicht mehr vorhanden.
Die Volumes sind noch da, werden jedoch nicht unter 'CT-Volumes' sondern 'VM-Disks' angezeigt?!
Ich frage mich woran das liegen kann.
Das System (Proxmox 8.2.8) verschiebt folgende Verzeichnisse in ein tmpfs (folder2ram):

tmpfs /var/log
tmpfs /var/cache
tmpfs /var/spool
tmpfs /var/tmp
tmpfs /var/lib/rrdcached
tmpfs /var/lib/pve-cluster

Hat jemand eine Idee?

VG, Oliver

 

[CoolTux]

Gibt es denn /etc/pve noch mit Inhalt?

 

[olk]

Gibt es denn /etc/pve noch mit Inhalt?

Ja, das Verzeichnis gibt es - jedoch fehlen die LXC-Konfigurationsdateien der jeweiligen Kontainer.
Eignenartigerweise waren aber nicht alle Kontainer verschwunden, nur die letzten beiden.
Ich hatte mit den verschwundenen Kontainer über mehrere Stunden gearbeitet und mitunter diese neu gestartet.

Im log der des Webinterfaces sehe ich noch den Eintrag 'CT 1150 - Shutdown' (1150 war einer der beiden Kontainer).

 

[olk]

Das journal enthält für den pvedaemon folgende letzte Einträge:

Nov 19 21:12:09 pve pvedaemon[31994]: <root@pam> starting task UPIDve:0000F6AA:00164E77:673CF119:vzstart:1150:root@pam:
Nov 19 21:12:09 pve pvedaemon[63146]: starting CT 1150: UPIDve:0000F6AA:00164E77:673CF119:vzstart:1150:root@pam:
Nov 19 21:12:10 pve pvedaemon[31994]: <root@pam> end task UPIDve:0000F6AA:00164E77:673CF119:vzstart:1150:root@pam: OK
Nov 19 21:12:15 pve pvedaemon[64178]: starting lxc termproxy UPIDve:0000FAB2:001650D9:673CF11F:vncproxy:1150:root@pam:
Nov 19 21:12:15 pve pvedaemon[56341]: <root@pam> starting task UPIDve:0000FAB2:001650D9:673CF11F:vncproxy:1150:root@pam:
Nov 19 21:12:15 pve pvedaemon[31994]: <root@pam> successful auth for user 'root@pam'
Nov 19 21:14:57 pve pvedaemon[41389]: unable to get PID for CT 1150 (not running?)
Nov 19 21:14:57 pve pvedaemon[56341]: <root@pam> end task UPIDve:0000FAB2:001650D9:673CF11F:vncproxy:1150:root@pam: OK
Nov 19 21:15:03 pve pvedaemon[66194]: starting lxc termproxy UPIDve:00010292:0016926B:673CF1C7:vncproxy:1150:root@pam:
Nov 19 21:15:03 pve pvedaemon[56341]: <root@pam> starting task UPIDve:00010292:0016926B:673CF1C7:vncproxy:1150:root@pam:
Nov 19 21:15:03 pve pvedaemon[31994]: <root@pam> successful auth for user 'root@pam'
Nov 19 21:15:05 pve pvedaemon[31994]: <root@pam> successful auth for user 'root@pam'
Nov 19 21:15:34 pve pvedaemon[56341]: <root@pam> end task UPIDve:00010292:0016926B:673CF1C7:vncproxy:1150:root@pam: OK
Nov 19 21:15:46 pve pvedaemon[56341]: <root@pam> starting task UPIDve:00010343:0016A361:673CF1F2:vzdestroy:10150:root@pam:
Nov 19 21:15:47 pve pvedaemon[56341]: <root@pam> end task UPIDve:00010343:0016A361:673CF1F2:vzdestroy:10150:root@pam: OK
Nov 19 21:15:58 pve pvedaemon[66408]: starting lxc termproxy UPIDve:00010368:0016A829:673CF1FE:vncproxy:1150:root@pam:
Nov 19 21:15:58 pve pvedaemon[56341]: <root@pam> starting task UPIDve:00010368:0016A829:673CF1FE:vncproxy:1150:root@pam:
Nov 19 21:15:58 pve pvedaemon[31994]: <root@pam> successful auth for user 'root@pam'
Nov 19 21:16:02 pve pvedaemon[31994]: <root@pam> starting task UPIDve:0001038D:0016A9BE:673CF202:vzshutdown:1150:root@pam:
Nov 19 21:16:02 pve pvedaemon[66445]: shutdown CT 1150: UPIDve:0001038D:0016A9BE:673CF202:vzshutdown:1150:root@pam:
Nov 19 21:16:03 pve pvedaemon[41389]: unable to get PID for CT 1150 (not running?)
Nov 19 21:16:04 pve pvedaemon[31994]: <root@pam> end task UPIDve:0001038D:0016A9BE:673CF202:vzshutdown:1150:root@pam: OK
Nov 19 21:16:04 pve pvedaemon[56341]: <root@pam> end task UPIDve:00010368:0016A829:673CF1FE:vncproxy:1150:root@pam: OK
Nov 19 21:17:12 pve pvedaemon[31994]: worker exit
Nov 19 21:17:12 pve pvedaemon[2215]: worker 31994 finished
Nov 19 21:17:12 pve pvedaemon[2215]: starting 1 worker(s)
Nov 19 21:17:12 pve pvedaemon[2215]: worker 66760 started
Nov 19 21:19:20 pve pvedaemon[66760]: <root@pam> starting task UPIDve:000105FE:0016F717:673CF2C8:vzcreate:1151:root@pam:
Nov 19 21:19:24 pve pvedaemon[66760]: <root@pam> end task UPIDve:000105FE:0016F717:673CF2C8:vzcreate:1151:root@pam: OK
Nov 19 21:19:45 pve pvedaemon[66760]: <root@pam> starting task UPIDve:0001065C:001700CB:673CF2E1:vzstart:1151:root@pam:
Nov 19 21:19:45 pve pvedaemon[67164]: starting CT 1151: UPIDve:0001065C:001700CB:673CF2E1:vzstart:1151:root@pam:
Nov 19 21:19:47 pve pvedaemon[66760]: <root@pam> end task UPIDve:0001065C:001700CB:673CF2E1:vzstart:1151:root@pam: OK
Nov 19 21:19:49 pve pvedaemon[67651]: starting lxc termproxy UPIDve:00010843:00170268:673CF2E5:vncproxy:1151:root@pam:
Nov 19 21:19:49 pve pvedaemon[41389]: <root@pam> starting task UPIDve:00010843:00170268:673CF2E5:vncproxy:1151:root@pam:
Nov 19 21:19:49 pve pvedaemon[56341]: <root@pam> successful auth for user 'root@pam'
Nov 19 21:20:10 pve pvedaemon[41389]: worker exit
Nov 19 21:20:10 pve pvedaemon[2215]: worker 41389 finished
Nov 19 21:20:10 pve pvedaemon[2215]: starting 1 worker(s)
Nov 19 21:20:10 pve pvedaemon[2215]: worker 67759 started
Nov 19 21:30:05 pve pvedaemon[66760]: <root@pam> successful auth for user 'root@pam'
Nov 19 21:45:05 pve pvedaemon[67759]: <root@pam> successful auth for user 'root@pam'
Nov 19 22:00:09 pve pvedaemon[67759]: <root@pam> successful auth for user 'root@pam'
Nov 19 22:08:57 pve pvedaemon[67759]: Use of uninitialized value in subtraction (-) at /usr/share/perl5/PVE/LXC.pm line 294.
Nov 19 22:10:43 pve pvedaemon[67759]: <root@pam> starting task UPIDve:00017683:001BAB45:673CFED3:vzshutdown:1151:root@pam:
Nov 19 22:10:43 pve pvedaemon[95875]: shutdown CT 1151: UPIDve:00017683:001BAB45:673CFED3:vzshutdown:1151:root@pam:
Nov 19 22:10:44 pve pvedaemon[66760]: unable to get PID for CT 1151 (not running?)
Nov 19 22:10:45 pve pvedaemon[67759]: <root@pam> end task UPIDve:00017683:001BAB45:673CFED3:vzshutdown:1151:root@pam: OK
Nov 19 22:11:23 pve pvedaemon[67759]: <root@pam> starting task UPIDve:00017729:001BBACC:673CFEFB:vzstart:1151:root@pam:
Nov 19 22:11:23 pve pvedaemon[96041]: starting CT 1151: UPIDve:00017729:001BBACC:673CFEFB:vzstart:1151:root@pam:
Nov 19 22:11:24 pve pvedaemon[67759]: <root@pam> end task UPIDve:00017729:001BBACC:673CFEFB:vzstart:1151:root@pam: OK
Nov 19 22:11:54 pve pvedaemon[66760]: <root@pam> starting task UPIDve:000179A0:001BC6E4:673CFF1A:vzshutdown:1151:root@pam:
Nov 19 22:11:54 pve pvedaemon[96672]: shutdown CT 1151: UPIDve:000179A0:001BC6E4:673CFF1A:vzshutdown:1151:root@pam:
Nov 19 22:11:55 pve pvedaemon[67759]: unable to get PID for CT 1151 (not running?)
Nov 19 22:11:55 pve pvedaemon[66760]: <root@pam> end task UPIDve:000179A0:001BC6E4:673CFF1A:vzshutdown:1151:root@pam: OK
Nov 19 22:13:05 pve systemd[1]: Stopping pvedaemon.service - PVE API Daemon...
Nov 19 22:13:05 pve pvedaemon[2215]: received signal TERM
Nov 19 22:13:05 pve pvedaemon[2215]: server closing
Nov 19 22:13:06 pve pvedaemon[2215]: worker 56341 finished
Nov 19 22:13:06 pve pvedaemon[2215]: worker 66760 finished
Nov 19 22:13:06 pve pvedaemon[2215]: worker 67759 finished
Nov 19 22:13:06 pve pvedaemon[2215]: server stopped
Nov 19 22:13:07 pve systemd[1]: pvedaemon.service: Deactivated successfully.
Nov 19 22:13:07 pve systemd[1]: Stopped pvedaemon.service - PVE API Daemon.
Nov 19 22:13:07 pve systemd[1]: pvedaemon.service: Consumed 3min 4.125s CPU time.

 

[CoolTux]

Da /etc/pve ein virtuelles Verzeichnis ist und die Daten aus einer DB kommen würde ich mal sagen gab es beim Speichern Probleme. Aber wie man das retten kann weiß ich leider nicht.

 

[olk]

Da /etc/pve ein virtuelles Verzeichnis ist und die Daten aus einer DB kommen würde ich mal sagen gab es beim Speichern Probleme. Aber wie man das retten kann weiß ich leider nicht.

Da das image noch unter /var/lib/vz vorhanden war, konnte ich den Kontainer wieder rekonstruieren (neuen Kontainer angelegt und mit dem alten image/disk überschrieben).

Ich würde gern die Ursache verstehen, um zukünftig dieses Problem zu vermeiden.

Wie bereits geschrieben, habe die beide LXC-Kontainer mehrmals neu gestartet.

/etc/pve ist ein fuse-Dateisystem ... seltsam, daß da Daten verlohren gehen können.

 

[olk]

Es könnte sein, daß ich die Ursache des Problems gefunden habe ... bitte verifizieren!

/etc/pve ist ein fuse-Dateisystem, daß aus einer sqlite3-Datenbank (/var/lib/pve-cluster/config.db) gespeist wird.
/var/lib/pve-cluster habe ich jedoch in ein tmpfs verschoben (wg. dem Schonen meiner SSDs).

Vermutlich war folder2ram beim shutdown nicht schnell genug die Daten auf das device zu schreiben.

 

[Neobin]

• https://forum.proxmox.com/threads/containers-and-vm-conf-files-keep-getting-reverted.134333
• https://forum.proxmox.com/threads/proxmox-8-0-4-no-changes-to-vms-persis-after-host-reboot.135121

 

[Falk R.]

Wenn du deine Konfiguration in einen nicht persistenten Speicher verschiebst, hast du natürlich nach einem Reboot keine oder die alte Konfiguration von vorher.
Wie kommt man auf die Idee, die Clusterkonfiguration auf eine Ramdisk zu legen?

 

[news]

Guten Morgen,

also ich betreibe die HDD, SSD nur mit ZFS, so dass die Verzeichnisse /root und /etc/pve regelmäßig alle 15 Minuten per Cron-Job auf einen ZFS Dataset gesichert werden.
Auf diesem sind noch die zfs-auto-snapshot aktiv und somit werden ZFS Snapshot auch alle 15", stündlich, täglich, wöchentlich und monatlich (=0) erstellt. So erhalte ich die von mir ein voreingestellte Granularität der Dateienvorgehalten.
Damit kann man einfach fehlende LXC oder VM wieder herstellen.