Proxmox VM Backup schlägt fehl

[Rfritsche]

Hallo zusammen,

ich bin gerade dabei VM's von einem Proxmox Cluster auf einen anderen mittels Backup und Restore umzuziehen.
Bei einigen VM`s schlägt das Backup jedoch immer an der selbe stelle fehl, andere laufen ohne Probleme.
Mich irritiert die Fehlermeldung aber sehr.

root@elpve106:~# pveversion
pve-manager/7.3-3/c3928077 (running kernel: 5.15.74-1-pve)

Backup Log:
INFO: starting new backup job: vzdump 1224 --compress zstd --storage elbck --notes-template '{{cluster}}, {{guestname}}, {{node}}, {{vmid}}' --mode stop --remove 0 --node elpve106
INFO: Starting Backup of VM 1224 (qemu)
INFO: Backup started at 2024-10-16 14:03:24
INFO: status = stopped
INFO: backup mode: stop
INFO: ionice priority: 7
INFO: VM Name: elvmcdb61
INFO: include disk 'scsi0' 'system:vm-1224-disk-0' 350G
INFO: include disk 'scsi1' 'data:vm-1224-disk-12' 1150G
INFO: include disk 'scsi2' 'ssd-16:vm-1224-disk-8' 600G
INFO: include disk 'scsi3' 'ssd-16:vm-1224-disk-0' 800G
INFO: include disk 'scsi4' 'ssd-16:vm-1224-disk-1' 800G
INFO: include disk 'scsi5' 'ssd-16:vm-1224-disk-2' 800G
INFO: include disk 'scsi6' 'ssd-16:vm-1224-disk-3' 800G
INFO: include disk 'scsi7' 'ssd-16:vm-1224-disk-4' 800G
INFO: include disk 'scsi8' 'ssd-16:vm-1224-disk-5' 800G
INFO: include disk 'scsi9' 'ssd-16:vm-1224-disk-6' 800G
INFO: include disk 'scsi10' 'ssd-16:vm-1224-disk-7' 800G
INFO: include disk 'scsi11' 'trlog:vm-1224-disk-0' 150G
INFO: include disk 'scsi12' 'trlog:vm-1224-disk-1' 300G
INFO: include disk 'scsi13' 'trlog:vm-1224-disk-2' 300G
/dev/rbd0
/dev/rbd1
/dev/rbd2
/dev/rbd3
/dev/rbd4
/dev/rbd5
/dev/rbd6
/dev/rbd7
/dev/rbd8
/dev/rbd9
/dev/rbd10
/dev/rbd11
/dev/rbd12
INFO: creating vzdump archive '/mnt/pve/elbck/dump/vzdump-qemu-1224-2024_10_16-14_03_23.vma.zst'
INFO: starting kvm to execute backup task
INFO: started backup task '6b8c1a07-002a-41bc-9f03-8cb60debfb42'
INFO: 0% (1.1 GiB of 9.0 TiB) in 3s, read: 369.8 MiB/s, write: 156.3 MiB/s
INFO: 1% (92.5 GiB of 9.0 TiB) in 5m 53s, read: 267.6 MiB/s, write: 122.7 MiB/s
INFO: 2% (185.1 GiB of 9.0 TiB) in 18m 53s, read: 121.5 MiB/s, write: 121.5 MiB/s
INFO: 3% (280.1 GiB of 9.0 TiB) in 25m 40s, read: 239.0 MiB/s, write: 133.3 MiB/s
INFO: 4% (370.1 GiB of 9.0 TiB) in 32m 41s, read: 218.8 MiB/s, write: 129.4 MiB/s
INFO: 5% (462.6 GiB of 9.0 TiB) in 44m 5s, read: 138.6 MiB/s, write: 126.2 MiB/s
INFO: 6% (555.0 GiB of 9.0 TiB) in 53m 8s, read: 174.2 MiB/s, write: 141.8 MiB/s
INFO: 7% (647.6 GiB of 9.0 TiB) in 1h 1m 31s, read: 188.4 MiB/s, write: 162.2 MiB/s
INFO: 8% (741.1 GiB of 9.0 TiB) in 1h 6m 33s, read: 317.2 MiB/s, write: 172.2 MiB/s
INFO: 9% (833.0 GiB of 9.0 TiB) in 1h 10m 6s, read: 441.5 MiB/s, write: 126.5 MiB/s
INFO: 10% (925.1 GiB of 9.0 TiB) in 1h 17m 10s, read: 222.4 MiB/s, write: 118.6 MiB/s
INFO: 11% (1017.5 GiB of 9.0 TiB) in 1h 29m 51s, read: 124.4 MiB/s, write: 124.3 MiB/s
INFO: 12% (1.1 TiB of 9.0 TiB) in 1h 33m 15s, read: 464.9 MiB/s, write: 120.5 MiB/s
INFO: 13% (1.2 TiB of 9.0 TiB) in 1h 44m 23s, read: 141.6 MiB/s, write: 125.9 MiB/s
INFO: 14% (1.3 TiB of 9.0 TiB) in 1h 55m 6s, read: 147.4 MiB/s, write: 134.2 MiB/s
INFO: 15% (1.4 TiB of 9.0 TiB) in 2h 3m 47s, read: 181.6 MiB/s, write: 136.7 MiB/s
INFO: 16% (1.4 TiB of 9.0 TiB) in 2h 11m 30s, read: 204.6 MiB/s, write: 183.3 MiB/s
INFO: 17% (1.5 TiB of 9.0 TiB) in 2h 13m 59s, read: 639.4 MiB/s, write: 136.2 MiB/s
INFO: 18% (1.6 TiB of 9.0 TiB) in 2h 17m 59s, read: 395.2 MiB/s, write: 122.9 MiB/s
INFO: 19% (1.7 TiB of 9.0 TiB) in 2h 29m 8s, read: 140.7 MiB/s, write: 121.1 MiB/s
INFO: 20% (1.8 TiB of 9.0 TiB) in 2h 39m 33s, read: 151.6 MiB/s, write: 131.4 MiB/s
INFO: 21% (1.9 TiB of 9.0 TiB) in 2h 44m 1s, read: 353.7 MiB/s, write: 128.2 MiB/s
INFO: 22% (2.0 TiB of 9.0 TiB) in 2h 55m 34s, read: 138.4 MiB/s, write: 124.8 MiB/s
INFO: 23% (2.1 TiB of 9.0 TiB) in 3h 5m 4s, read: 164.9 MiB/s, write: 147.3 MiB/s
INFO: 24% (2.2 TiB of 9.0 TiB) in 3h 12m 46s, read: 203.9 MiB/s, write: 149.0 MiB/s
INFO: 25% (2.3 TiB of 9.0 TiB) in 3h 19m 42s, read: 230.1 MiB/s, write: 183.9 MiB/s
INFO: 26% (2.3 TiB of 9.0 TiB) in 3h 20m 43s, read: 1.5 GiB/s, write: 69.0 MiB/s
INFO: 27% (2.4 TiB of 9.0 TiB) in 3h 26m 28s, read: 274.7 MiB/s, write: 129.9 MiB/s
INFO: 28% (2.5 TiB of 9.0 TiB) in 3h 39m 9s, read: 124.5 MiB/s, write: 124.4 MiB/s
INFO: 29% (2.6 TiB of 9.0 TiB) in 3h 45m 15s, read: 264.1 MiB/s, write: 133.4 MiB/s
INFO: 30% (2.7 TiB of 9.0 TiB) in 3h 52m 28s, read: 214.2 MiB/s, write: 137.8 MiB/s
INFO: 31% (2.8 TiB of 9.0 TiB) in 4h 3m 55s, read: 137.9 MiB/s, write: 128.5 MiB/s
INFO: 32% (2.9 TiB of 9.0 TiB) in 4h 12m 47s, read: 178.2 MiB/s, write: 141.8 MiB/s
INFO: 33% (3.0 TiB of 9.0 TiB) in 4h 20m 48s, read: 196.8 MiB/s, write: 165.1 MiB/s
INFO: 34% (3.1 TiB of 9.0 TiB) in 4h 25m 31s, read: 345.6 MiB/s, write: 170.0 MiB/s
INFO: 35% (3.2 TiB of 9.0 TiB) in 4h 28m 51s, read: 458.0 MiB/s, write: 134.6 MiB/s
INFO: 36% (3.3 TiB of 9.0 TiB) in 4h 36m 29s, read: 206.9 MiB/s, write: 120.9 MiB/s
INFO: 37% (3.3 TiB of 9.0 TiB) in 4h 48m 59s, read: 126.3 MiB/s, write: 126.2 MiB/s
INFO: 38% (3.4 TiB of 9.0 TiB) in 4h 52m 12s, read: 491.1 MiB/s, write: 126.7 MiB/s
zstd: error 25 :[B] Write error : No space left on device (cannot write compressed block) [/B]
INFO: 38% (3.4 TiB of 9.0 TiB) in 4h 53m 7s, read: 158.4 MiB/s, write: 158.4 MiB/s
[B]ERROR: vma_queue_write: write error - Broken pipe[/B]
INFO: aborting backup job
INFO: stopping kvm after backup task
trying to acquire lock...
OK
ERROR: Backup of VM 1224 failed - vma_queue_write: write error - Broken pipe
INFO: Failed at 2024-10-16 18:56:40
INFO: Backup job finished with errors
TASK ERROR: job errors

Der Fehler no space left on device ist nicht möglich da auf dem Storage noch 85 TB frei sind.

root@elpve106:~# df -h

Filesystem                  Size  Used Avail Use% Mounted on
udev                        252G     0  252G   0% /dev
tmpfs                        51G  2.5M   51G   1% /run
/dev/mapper/pve-root         30G  7.8G   21G  28% /
tmpfs                       252G   66M  252G   1% /dev/shm
tmpfs                       5.0M     0  5.0M   0% /run/lock
/dev/sde2                   511M  312K  511M   1% /boot/efi
[B]//elbck.eurolog.com/pvebck  218T   85T  134T  39% /mnt/pve/elbck[/B]
/dev/fuse                   128M  228K  128M   1% /etc/pve
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-54
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-53
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-59
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-52
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-55
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-51
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-58
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-56
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-50
tmpfs                       252G   28K  252G   1% /var/lib/ceph/osd/ceph-57
tmpfs                        51G     0   51G   0% /run/user/0

Und noch die Storage.cfg

dir: elbck

        path /mnt/pve/elbck
        content vztmpl,iso,snippets,backup
        prune-backups keep-last=1
        shared 1

Bei dem Fehler Backup of VM 1224 failed - vma_queue_write: write error - Broken pipe hatte ich zuerst ein Netzwerkproblem vermutet aber das habe ich kontrolliert und kann ich ausschließen.

Vielleicht kann mir hier jemand weiterhelfen.
Vielen dank schon mal im Voraus

 

[fabian]

was ist das denn fuer ein storage? eventuell gibts eine beschraenkung der maximalen dateigroesse die als ENOSPACE zurueckgemeldet wird?

 

[Rfritsche]

Das ist ein CephFs. Den gedanken hatte ich auch schon, aber macht eigentlich kein Sinn da dort täglich deutlich größere Backups geschrieben werden

 

[fabian]

bitte gegenchecken - der default ist 1TB

https://docs.ceph.com/en/mimic/cephfs/administration/#settings

 

[Rfritsche]

Okay Sie haben recht dort war der default Wert eingetragen.


Danke für die Hilfe ich werde gleich probieren ob es jetzt klappt

 

[Falk R.]

@Rfritsche
Du migrierst so große VMs über vzdump? Was für ein Backup nutzt ihr denn sonst? Falls ein PBS im Einsatz ist, kann man auch damit migrieren,

 

[Rfritsche]

Wir benutzen als Backup Tool Bareos und machen nur Dateisicherungen (wir haben über 500 Clients) . PBS geht in dem Fall leider nicht (wurde schon getestet) da es sehr sensible Systeme und es dadurch immer zu kleineren "Ausfällen" kam was wir uns nicht leisten können

 

[Falk R.]

Wir benutzen als Backup Tool Bareos und machen nur Dateisicherungen (wir haben über 500 Clients) . PBS geht in dem Fall leider nicht (wurde schon getestet) da es sehr sensible Systeme und es dadurch immer zu kleineren "Ausfällen" kam was wir uns nicht leisten können

Das passiert in der Regel nur wenn der PBS zu schwach ausgestattet ist. Eventuell schaust du dir mal das Backup Fleecing Feature an. Damit sollten die Probleme weg sein.