[SOLVED] Backup Error -125 Operation canceled

[streifi89]

Hallo zusammen,

ich verzweifel

Mit Proxmox 6 hat alles ohne Probleme funktioniert. Mit Proxmox VE 7 und 8 stirbt beim Backup immer wieder mal meine wichtigste VM (Hausautomatisierung - ioBroker) mit unschönen Folgen (Rollos fahren nicht, Wecker gehen nicht, Geräte laufen, die aus sein sollten, usw.)

root@proxmox:~# pveversion -v
proxmox-ve: 8.0.1 (running kernel: 6.2.16-3-pve)
pve-manager: 8.0.3 (running version: 8.0.3/bbf3993334bfa916)
pve-kernel-6.2: 8.0.2
pve-kernel-5.15: 7.4-4
pve-kernel-5.4: 6.4-20
pve-kernel-6.2.16-3-pve: 6.2.16-3
pve-kernel-5.15.108-1-pve: 5.15.108-1
pve-kernel-5.4.203-1-pve: 5.4.203-1
pve-kernel-5.4.106-1-pve: 5.4.106-1
ceph-fuse: 16.2.11+ds-2
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown: 0.8.41
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-3
libknet1: 1.25-pve1
libproxmox-acme-perl: 1.4.6
libproxmox-backup-qemu0: 1.4.0
libproxmox-rs-perl: 0.3.0
libpve-access-control: 8.0.3
libpve-apiclient-perl: 3.3.1
libpve-common-perl: 8.0.5
libpve-guest-common-perl: 5.0.3
libpve-http-server-perl: 5.0.3
libpve-rs-perl: 0.8.3
libpve-storage-perl: 8.0.2
libqb0: 1.0.5-1
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 5.0.2-4
lxcfs: 5.0.3-pve3
novnc-pve: 1.4.0-2
proxmox-backup-client: 3.0.1-1
proxmox-backup-file-restore: 3.0.1-1
proxmox-kernel-helper: 8.0.2
proxmox-mail-forward: 0.2.0
proxmox-mini-journalreader: 1.4.0
proxmox-offline-mirror-helper: 0.6.1
proxmox-widget-toolkit: 4.0.5
pve-cluster: 8.0.1
pve-container: 5.0.4
pve-docs: 8.0.4
pve-edk2-firmware: 3.20230228-4
pve-firewall: 5.0.2
pve-firmware: 3.7-1
pve-ha-manager: 4.0.2
pve-i18n: 3.0.4
pve-qemu-kvm: 8.0.2-3
pve-xtermjs: 4.16.0-3
qemu-server: 8.0.6
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.1.12-pve1

---- SNIP LOG ---
INFO: starting new backup job: vzdump --quiet 1 --compress zstd --mode snapshot --storage Backup_Platte --mailnotification always --all 1
INFO: Starting Backup of VM 100 (qemu)
INFO: Backup started at 2023-07-04 00:00:02
INFO: status = running
INFO: VM Name: ioBroker
INFO: include disk 'scsi0' 'local-lvm:vm-100-disk-1' 50G
INFO: include disk 'scsi1' 'local-lvm:vm-100-disk-2' 100G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: skip unused drive 'local-lvm:vm-100-disk-0' (not included into backup)
INFO: creating vzdump archive '/opt/backup/dump/vzdump-qemu-100-2023_07_04-00_00_02.vma.zst'
INFO: started backup task '9112aa3b-4f3b-4c3a-a777-f1bba89a56b2'
INFO: resuming VM again
INFO:   0% (767.2 MiB of 150.0 GiB) in 3s, read: 255.8 MiB/s, write: 236.6 MiB/s
INFO:   1% (1.8 GiB of 150.0 GiB) in 6s, read: 349.2 MiB/s, write: 346.5 MiB/s
INFO:   2% (3.0 GiB of 150.0 GiB) in 12s, read: 215.3 MiB/s, write: 209.8 MiB/s
.....
INFO:  90% (135.7 GiB of 150.0 GiB) in 14m 58s, read: 189.4 MiB/s, write: 189.4 MiB/s
ERROR: job failed with err -125 - Operation canceled
INFO: aborting backup job
INFO: resuming VM again
ERROR: Backup of VM 100 failed - job failed with err -125 - Operation canceled
INFO: Failed at 2023-07-04 00:15:03
--- SNIP END LOG ---

Die VM ist danach Schrott - Filesysteme kaputt. Backup vom Vorabend muss zurückgespielt. Jemand eine Idee?
Ich finde in Google auch nichts zu diesem Fehler.

 

[noPa$$word]

Hat dein System genug freien Speicher, um die Datei /opt/backup/dump/... zu schreiben?

 

[streifi89]

Hat dein System genug freien Speicher, um die Datei /opt/backup/dump/... zu schreiben?

root@proxmox:~# df -hP
Filesystem            Size  Used Avail Use% Mounted on
udev                   16G     0   16G   0% /dev
tmpfs                 3.2G  3.8M  3.2G   1% /run
/dev/mapper/pve-root  106G   88G   19G  83% /
tmpfs                  16G   46M   16G   1% /dev/shm
tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/sda2             511M  320K  511M   1% /boot/efi
/dev/sdb1             2.8T  865G  1.9T  31% /opt/backup
/dev/fuse             128M   16K  128M   1% /etc/pve
tmpfs                 3.2G     0  3.2G   0% /run/user/0

Yes

 

[noPa$$word]

https://forum.proxmox.com/threads/vm-backup-failure-error-125.109091/

Speziell der letzte Beitrag zeigt eine Fehlerquelle.

 

[streifi89]

https://forum.proxmox.com/threads/vm-backup-failure-error-125.109091/

Speziell der letzte Beitrag zeigt eine Fehlerquelle.

Den habe ich schon gesehen, keine badblocks - weder auf der Hypervisor Platte, noch in der VM selbst. Auch Smartctl sieht gut aus. Aber Theoretisch müsste doch ein Clonen der VM genügen, um diese auf neue Blöcke zu schreiben, oder? Clonen kann ich, schon getestet.

Spätestens beim DD hätte es ja auffallen müssen:

root@proxmox:/# dd if=/dev/mapper/pve-vm--100--disk--1 of=/dev/zero
104857600+0 records in
104857600+0 records out
53687091200 bytes (54 GB, 50 GiB) copied, 107.764 s, 498 MB/s


root@proxmox:/# dd if=/dev/mapper/pve-vm--100--disk--2 of=/dev/zero
209715200+0 records in
209715200+0 records out
107374182400 bytes (107 GB, 100 GiB) copied, 230.053 s, 467 MB/s

 

[streifi89]

Auch wenn die SMART Werte fehlerfrei waren, anscheinend ist die SSD kaputt gewesen. Neue SSD, neue Installation, läuft alles. Warum aber in PVE6 alles reibungslos lief, und ab PVE7 die IO-Error losgingen ist mir ein rätsel. Andererseits gehen auch andere Distributionen nicht bzw. bekamen irgendwann IO Errors.