[SOLVED] LXC-Container wiederherstellen schlägt fehl

[Fridleif]

Hallo, zusammen,
ich bin ein wenig am Verzweifeln. Der Versuch der Wiederherstellung eines Containers schlägt bei zwei von drei PVE fehl und ich finde nicht den Grund.

Sorry schonmal für die wall of text, aber ich versuch alles abzuklopfen:
3 x PVE HERA, HESTIA und PERSEPHONE

• HERA hat den laufenden LXC der funktioniert
• Dieser wurde auf einen PBS und auf ein NAS gesichert
• auf HERA kann ich problemlos das Backup lauffähig wiederherstellen (ich gehe also davon aus, dass das Backup nicht defekt ist)

Egal ob auf HESTIA oder PERSEPHONE schlägt der Restore fehl mit der Begründung, es würde zu wenig Platz da sein

recovering backed-up configuration from 'PBS-Bluechip:backup/ct/113/2024-10-16T16:56:01Z'
  Logical volume "vm-102-disk-0" created.
Creating filesystem with 2097152 4k blocks and 524288 inodes
Filesystem UUID: d62e86f3-0d0a-4600-8f31-aa7e52eddc80
Superblock backups stored on blocks:
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632
restoring 'PBS-Bluechip:backup/ct/113/2024-10-16T16:56:01Z' now..
Error: error extracting archive - encountered unexpected error during extraction: error at entry "system@dddcfac0aa184fc1932a81d1268a3f11-000000000024cba4-00060e1150ec7e49.journal": failed to extract file: failed to copy file contents: No space left on device (os error 28)
  Logical volume "vm-102-disk-0" successfully removed.
TASK ERROR: unable to restore CT 102 - command 'lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- /usr/bin/proxmox-backup-client restore '--crypt-mode=none' ct/113/2024-10-16T16:56:01Z root.pxar /var/lib/lxc/102/rootfs --allow-existing-dirs --repository root@pam@pbs.olymp.local:SSD' failed: exit code 255

Platz im root ist genug da, aber es wird das temporäre /dev/mapper/pve-vm--102--disk--0 läuft beim Restore komplett voll

df -h
Filesystem                        Size  Used Avail Use% Mounted on
udev                              7.7G     0  7.7G   0% /dev
tmpfs                             1.6G  3.0M  1.6G   1% /run
/dev/mapper/pve-root               94G  3.8G   86G   5% /
tmpfs                             7.8G   49M  7.7G   1% /dev/shm
tmpfs                             5.0M     0  5.0M   0% /run/lock
efivarfs                          192K   99K   89K  53% /sys/firmware/efi/efivars
/dev/sda2                        1022M   12M 1011M   2% /boot/efi
/dev/fuse                         128M   32K  128M   1% /etc/pve
tmpfs                             1.6G     0  1.6G   0% /run/user/0
/dev/mapper/pve-vm--102--disk--0  7.8G  3.0G  4.5G  40% /var/lib/lxc/102/rootfs

Was mache ich falsch, wo ist mein Denkfehler?

Vielen herzlichen Dank schonmal fürs Lesen!

EDIT:
Falls jemand das identische Problem hat ... Schuld war, dass auf HERA ZFS lief und das Volume so komprimiert hatte, dass es unkomprimiert die 8 GB auf LVM gesprengt hatte.
Nachdem ich auf HERA die Disk auf 12 GB vergrößert hatte, ging nach einem erneuten Backup alles super flauschig.
Danke nochmal an @itNGO

 

[itNGO]

Die Fehlermeldung

failed to extract file: failed to copy file contents: No space left on device (os error 28)
  Logical volume "vm-102-disk-0" successfully removed.

sagt das da kein Platz mehr ist beim Restore....

 

[Fridleif]

Die Fehlermeldung

failed to extract file: failed to copy file contents: No space left on device (os error 28)
  Logical volume "vm-102-disk-0" successfully removed.

sagt das da kein Platz mehr ist beim Restore....

Das hab ich auch so verstanden ... aber wieso?!
Wie ich schon schrieb:

Platz im root ist genug da, aber es wird das temporäre /dev/mapper/pve-vm--102--disk--0 läuft beim Restore komplett voll

 

[itNGO]

Hat HERA ZFS und die anderen evtl. LVM oder was anderes?
Dann könnte es schlicht die ZFS-Kompression sein....

 

[Fridleif]

Hat HERA ZFS und die anderen evtl. LVM oder was anderes?
Dann könnte es schlicht die ZFS-Kompression sein....

Deine Vermutung ist absolut richtig. Hab gerade nachgeschaut.
Was muss ich tun, um trotz der Kompression die Wiederherstellung durchführen zu können?

 

[itNGO]

Den LXC auf HERA die Disk vergrössern, sichern und wieder zurückspielen auf HESTIA oder PERSEPHONE.
Du kannst dir auf HERA auch anzeigen lassen wie stark die kompression ist.... so viel platz muss die Disk dann haben.
Das Layout wird beim Rücksichern aus dem Backup genommen, hat aber keine Ahnung das es vorher ZFS war und entsprechend "kompakt" abgelegt wurde...

 

[Fridleif]

Den LXC auf HERA die Disk vergrössern, sichern und wieder zurückspielen auf HESTIA oder PERSEPHONE.
Du kannst dir auf HERA auch anzeigen lassen wie stark die kompression ist.... so viel platz muss die Disk dann haben.
Das Layout wird beim Rücksichern aus dem Backup genommen, hat aber keine Ahnung das es vorher ZFS war und entsprechend "kompakt" abgelegt wurde...

Hat super funktioniert. Dankeschön!
ABER: was hätte ich im Desasterfall gemacht? Also HERA wäre tot und ich hätte die Disk nicht vorher vergrößern können?
Hast Du da eine Idee?

 

[itNGO]

Hat super funktioniert. Dankeschön!
ABER: was hätte ich im Desasterfall gemacht? Also HERA wäre tot und ich hätte die Disk nicht vorher vergrößern können?
Hast Du da eine Idee?

Wenn der Restore auf dein Disaster-Recovery-Ziel auch wieder ZFS ist, würde das gehen... das kann ja zur Not auch ne USB-DIsk mit ZFS sein als Übergang....

 

[cracksilver]

Hallo zusammen
Sorry dass ich mir hier nochmals in den Thread reindränge. Aber ich habe das genau gleiche Problem. Kapier aber das Problem nicht ganz.

Die Situation ist die dass ich den alten Server mit einem neuen ersetzt habe. Der PBS blieb bestehen.

alter Server: Proxmox 7.xx
1 LXC auf Datastore mit ZFS (ca. 3TB)
täglich gesichert auf separatem PBS

neuer Server: Proxmox 8.2.7
Datastore mit Raid 1 ZFS (ca. 4TB)
den LXC Container aus dem PBS zurückgespielt (problemlos)
Sicherungsjob auf PBS erstellt.

nachdem der Server ein paar Tage problemlos gelaufen ist. Musste ich Updates auf dem CRM-System im LXC machen. Nun ist etwas schiefgelaufen und ich wollte das letzte Backup einspielen. Leider zeigt sich bei mir auch dieser oben genannte Fehler.

ecovering backed-up configuration from 'EXT-PBS-Backup-Alpha-SJ2V-SVAD:backup/ct/105/2024-11-10T04:30:01Z'
restoring 'EXT-PBS-Backup-Alpha-SJ2V-SVAD:backup/ct/105/2024-11-10T04:30:01Z' now..
Error: error extracting archive - encountered unexpected error during extraction: error at entry "66aca3ef64b7cd61e": failed to extract file: failed to copy file contents: No space left on device (os error 28)
TASK ERROR: unable to restore CT 188 - command 'lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- /usr/bin/proxmox-backup-client restore '--crypt-mode=none' ct/105/2024-11-10T04:30:01Z root.pxar /var/lib/lxc/188/rootfs --allow-existing-dirs --repository root@pam@192.168.2.78:EXT-PBS-Backup-Alpha-SJ2V-SVAD' failed: exit code 255

Nun, Space hat es genug auf dem neuen Server. Darum hat mich die Fehlermeldung "No space left on device (os error 28)" auch verwirrt.

Da ich nun quasi nicht einfach wie im obenstehenden Fall die Disk vergrössern und ein neues Backup machen kann, frage ich mich wie ich das nun wieder hinbiege.

 Ach ja, der LXC zeigt im PBS eine Grösse von etwa 9.7GB an. Die Platte des LXC auf dem PVE ist jedoch ca. 62GB gross.

Ich hoffe es kann mir Jemand einen Input geben. Vielen herzlichen Dank schon mal.
Grüsse Gregor

 

[cracksilver]

Update: das Problem welches ich im LXC Container hatte, konnte soeben gelöst werden. Ich hätte nun also die Möglichkeit, ein "frisches" Backup zu erstellen.

 

[itNGO]

An der Meldung gibt es nix zu rütteln....
to extract file: failed to copy file contents: No space left on device (os error 28)

Wenn dein Restore-Ziel nicht wieder ein ZFS mit aktivierter Kompression ist, hast du verloren....

 

[cracksilver]

Mein Update hat sich mit deiner Antwort überschnitten. Nun ist es ja nicht mehr ganz so drastisch, da wir den Fehler im LXC beheben konnten und das CRM wieder korrekt arbeitet.

Wo sehe ich wie das Restore-Ziel konfiguriert ist? Und warum ist das so, ich habe doch das Backup, welches ich zurückspielen möchte bereits auf dem neuen System erstellt. Somit müsste das doch kompatibel sein beim zurückspielen oder nicht? Oder muss ich das zu erstellende Backup anders konfigurieren?

 

[cracksilver]

Ich habe hier mal einen Auszug von meiner Diskliste in PBS:


und hier von der Auszug vom PVE:


ist doch beides mal ZFS im RAID 1...

Habe vorher nochmals ein frisches Backup vom aktuellen System gemacht und danach erfolglos zurückgespielt ;-)

Was kann ich noch tun?

 

[UdoB]

Ich habe hier mal einen Auszug...

Sorry, ich kann dir nicht helfen. Dass deine Destination voll zu sein scheint, hatte @itNGO ja schon angemerkt.

Aber..., dir ist schon bewusst, dass der Titel dieses Threads "[SOLVED]" enthält, oder?

Daher ist es besser wenn man für neue Probleme einen eigenen Thread erstellt...

 

[cracksilver]

Daher ist es besser wenn man für neue Probleme einen eigenen Thread erstellt...

Sorry, ja hatte ich jedoch unbewusst ignoriert. Ich habe hier einen neuen Thread aufgemacht und versucht das Thema ein bisschen übersichtlich zu erläutern.