nächtliches Backup endet mit job-error ... nur: Warum?

[whiterabbit]

Hallo.
Ich lasse nachts Vollbackups auf ein NFS-Share, genauergesagt auf eine Synology DiskStation laufen. Das lief bisher immer feherfrei, doch neuerdings erhalte ich nach jedem Durchlauf diese Meldung im PVE-Dashboard:

Backup job -- Fehler: job errors.

Wenn man sich das genauer ansieht, steht in der ersten Zeile:

INFO: starting new backup job: vzdump --quiet 1 --mode snapshot --mailto meine@adresse.de --all 1 --mailnotification failure --storage Diskstation --compress zstd
INFO: Starting Backup of VM 100 (qemu)
...

Dann geht's los ... alle VMs werden scheinbar (?) richtig übertragen doch ganz am Ende erscheint:

...
INFO: 100% (32.0 GiB of 32.0 GiB) in 1m 5s, read: 259.2 MiB/s, write: 0 B/s
INFO: backup is sparse: 32.00 GiB (100%) total zero data
INFO: transferred 32.00 GiB in 65 seconds (504.1 MiB/s)
INFO: stopping kvm after backup task
INFO: archive file size: 816KB
INFO: removing backup 'Diskstation:backup/vzdump-qemu-800-2022_08_26-07_39_15.vma.zst'
INFO: Finished Backup of VM 800 (00:01:18)
INFO: Backup finished at 2022-08-28 07:37:47
INFO: Backup job finished with errors

TASK ERROR: job errors

Ich habe die Log-Datei nach dem Zauberwort "Error" durchsucht aber nichts gefunden bis auf die letzten beiden Zeilen.
Zudem habe ich auch keine eMail erhalten, dass das Backup schief gegangen ist. Ein Platzproblem ist es auch nicht. Auf der Diskstation sieht es momentan so aus: Auslastung 67.39% (1.99 TB von 2.95 TB)
Daher die Frage: Was kann das sein?

 

[FloUhl]

Hast du einen Mail Server laufen der dir die Mail überhaupt zuschicken kann? Kannst du den kompletten Fehler schicken?

 

[fiona]

Hi,
ja, bitte den ganzen Log und die Ausgabe von pveversion -v posten. Und vielleicht findet sich in /var/log/syslog etwas zu der Mail?

 

[whiterabbit]

Spoiler: pveversion -v

Zunächst die

pveversion -v

proxmox-ve: 6.4-1 (running kernel: 5.4.124-1-pve)
pve-manager: 6.4-15 (running version: 6.4-15/af7986e6)
pve-kernel-5.4: 6.4-18
pve-kernel-helper: 6.4-18
pve-kernel-5.4.189-2-pve: 5.4.189-2
pve-kernel-5.4.178-1-pve: 5.4.178-1
pve-kernel-5.4.174-2-pve: 5.4.174-2
pve-kernel-5.4.162-1-pve: 5.4.162-2
pve-kernel-5.4.143-1-pve: 5.4.143-1
pve-kernel-5.4.124-1-pve: 5.4.124-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.5-pve2~bpo10+1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.22-pve2~bpo10+1
libproxmox-acme-perl: 1.1.0
libproxmox-backup-qemu0: 1.1.0-1
libpve-access-control: 6.4-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.4-5
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.2-5
libpve-storage-perl: 6.4-1
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.1.14-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.6-2
pve-cluster: 6.4-1
pve-container: 3.3-6
pve-docs: 6.4-2
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-4
pve-firmware: 3.3-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-8
pve-xtermjs: 4.7.0-3
pve-zsync: 2.2
qemu-server: 6.4-2
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.7-pve1

die Log-Datei ist im Dashboard unten aus den Tasks mittlerweile leider "rausgelaufen" ... weiß gerade nicht, wo ich sie sonst noch vollständig finden kann.
Und zur eMail: Eigentlich kam die bisher immer an ... jetzt aber sehe ich unter

cat /var/log/syslog |grep mail

leider:

delay=0.07, delays=0/0/0.04/0.03, dsn=5.7.1, status=bounced ...
Relay access denied (in reply to RCPT TO command))

 

[fiona]

die Log-Datei ist im Dashboard unten aus den Tasks mittlerweile leider "rausgelaufen" ... weiß gerade nicht, wo ich sie sonst noch vollständig finden kann.

Wenn Du in der Web-UI die Node auswählst, dann gibt es in der mittleren Leiste eine Task History wo auch nach Typ vzdump gefiltert werden kann.

PS: Proxmox VE 6.x ist end-of-life. Offizielle Upgrade-Anleitung gibt's hier.

 

[whiterabbit]

Ok, ich habe die Logs nochmal genauer durchsucht und jetzt diese Meldung gefunden:

INFO: creating vzdump archive '/mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tar.zst'
INFO: tar: /mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tmp: Cannot open: Permission denied
INFO: tar: Error is not recoverable: exiting now
INFO: cleanup temporary 'vzdump' snapshot
ERROR: Backup of VM 115 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tar.dat' failed: exit code 2
INFO: Failed at 2022-08-31 02:49:20

Das muss es wohl sein, was da schief gegangen ist.... nur: Warum?

Was das Upgrade von v6.4 auf v7 angeht: Ist geplant ... nur: Wann?? Ich hatte dazu auch seinerzeit mal eine Frage gestellt, bei der ich leider weiterhin etwas unsicher bin, wie man im Detail mit der "Hardcode_MAC_Address" vorgehen muss?
https://forum.proxmox.com/threads/pve-6-7-frage-zu-interfaces-und-hwaddress.107956/

 

[fiona]

Ok, ich habe die Logs nochmal genauer durchsucht und jetzt diese Meldung gefunden:

INFO: creating vzdump archive '/mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tar.zst'
INFO: tar: /mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tmp: Cannot open: Permission denied
INFO: tar: Error is not recoverable: exiting now
INFO: cleanup temporary 'vzdump' snapshot
ERROR: Backup of VM 115 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/Diskstation/dump/vzdump-lxc-115-2022_08_31-02_49_20.tar.dat' failed: exit code 2
INFO: Failed at 2022-08-31 02:49:20

Das muss es wohl sein, was da schief gegangen ist.... nur: Warum?

Ich glaube für unprivilgierte container muss auch die UID/GID 100000 (root im Container wird auf diese ID am Host gemapped) auf den Backup-Storage schreiben dürfen. Oder funktionieren Backups von anderen unprivilegierten Containern?

Was das Upgrade von v6.4 auf v7 angeht: Ist geplant ... nur: Wann?? Ich hatte dazu auch seinerzeit mal eine Frage gestellt, bei der ich leider weiterhin etwas unsicher bin, wie man im Detail mit der "Hardcode_MAC_Address" vorgehen muss?
https://forum.proxmox.com/threads/pve-6-7-frage-zu-interfaces-und-hwaddress.107956/

Bin da leider keine Expertin, aber

MACAddressPolicy=persistent was extended to set MAC addresses based on the device name. Previously addresses were only based on the ID_NET_NAME_* attributes, which meant that interface names would never be generated for virtual devices. Now a persistent address will be generated for most devices, including in particular bridges.

wenn systemd anfängt auch für Bridges Adressen zu generieren, braucht es schon für jede einen hwaddress-Eintrag, um das zu unterbinden.