Backup / Clone Input/output error

flowmotion

Member
Apr 28, 2019
24
0
6
36
Hallo allerseits, ich habe ein Problem eine bestimmte LXC Umgebung zu backuppen bzw. zu clonen. Irgendetwas stimmt mit dem LXC nicht... aber lauffähig ist es...

Nochmal sei erwähnt es geht nur bei einem LXC nicht aller anderen LXC's und VM's auf der selben thin-lvm haben kein Problem...

Ich habe bereits folgendes versucht:
  1. Offline nehmen und dann backuppen
  2. Löschen der in den Fehlern erwähnten Files
    1. /mnt/pve/VMBackup/dump/vzdump-lxc-105*
    2. /var/log/kern.log.1
    3. /var/log/daemon.log.1
  3. erweitern der thin-lvm so, dass klar genug platz vorhanden ist.
  4. Kontrolle der Backupkapazität.
  5. R/W Rechte kontrolliert

Vielen Dank unten die 2 Fehler outputs!


Backup LXC:
Bash:
Virtual Environment 6.1-3
Search
Container 105 (FlowSQL) on node 'flowmox'
VMBackup
lxc-105-
Server View
Logs
INFO: starting new backup job: vzdump 105 --node flowmox --mode snapshot --remove 0 --storage VMBackup --compress lzo
INFO: Starting Backup of VM 105 (lxc)
INFO: Backup started at 2021-08-31 22:50:00
INFO: status = running
INFO: CT Name: FlowSQL
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
  WARNING: You have not turned on protection against thin pools running out of space.
  WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
  Logical volume "snap_vm-105-disk-0_vzdump" created.
  WARNING: Sum of all thin volume sizes (585.00 GiB) exceeds the size of thin pool pve/data and the amount of free space in volume group (15.99 GiB).
INFO: creating archive '/mnt/pve/VMBackup/dump/vzdump-lxc-105-2021_08_31-22_50_00.tar.lzo'
INFO: tar: ./var/log/kern.log.1: Read error at byte 0, while reading 3584 bytes: Input/output error
INFO: tar: ./var/log/daemon.log.1: Read error at byte 0, while reading 3072 bytes: Input/output error
INFO: Total bytes written: 1245235200 (1.2GiB, 36MiB/s)
INFO: tar: Exiting with failure status due to previous errors
INFO: remove vzdump snapshot
  Logical volume "snap_vm-105-disk-0_vzdump" successfully removed
ERROR: Backup of VM 105 failed - command 'set -o pipefail && tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/VMBackup/dump/vzdump-lxc-105-2021_08_31-22_50_00.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | lzop >/mnt/pve/VMBackup/dump/vzdump-lxc-105-2021_08_31-22_50_00.tar.dat' failed: exit code 2
INFO: Failed at 2021-08-31 22:50:35
INFO: Backup job finished with errors
TASK ERROR: job errors



Clone LXC:
Bash:
Virtual Environment 6.1-3
Search
Container 105 (FlowSQL) on node 'flowmox'
VMBackup
lxc-105-
Server View
Logs
create full clone of mountpoint rootfs (local-lvm:vm-105-disk-0)
  WARNING: You have not turned on protection against thin pools running out of space.
  WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
  Logical volume "vm-102-disk-0" created.
  WARNING: Sum of all thin volume sizes (585.00 GiB) exceeds the size of thin pool pve/data and the amount of free space in volume group (15.99 GiB).
mke2fs 1.44.5 (15-Dec-2018)
Discarding device blocks:     4096/26214400                 done                          
Creating filesystem with 26214400 4k blocks and 6553600 inodes
Filesystem UUID: b74048ae-55d6-4f80-b368-c9c267f100ac
Superblock backups stored on blocks:
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
    4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables:   0/800       done                          
Writing inode tables:   0/800       done                          
Creating journal (131072 blocks): done
Multiple mount protection is enabled with update interval 5 seconds.
Writing superblocks and filesystem accounting information:   0/800       done

rsync: read errors mapping "/var/lib/lxc/102/.copy-volume-2/var/log/daemon.log.1": Input/output error (5)
rsync: read errors mapping "/var/lib/lxc/102/.copy-volume-2/var/log/kern.log.1": Input/output error (5)
rsync: read errors mapping "/var/lib/lxc/102/.copy-volume-2/var/log/daemon.log.1": Input/output error (5)
rsync: read errors mapping "/var/lib/lxc/102/.copy-volume-2/var/log/kern.log.1": Input/output error (5)
ERROR: var/log/daemon.log.1 failed verification -- update discarded.
ERROR: var/log/kern.log.1 failed verification -- update discarded.

Number of files: 40,962 (reg: 33,613, dir: 3,265, link: 4,053, dev: 2, special: 29)
Number of created files: 40,960 (reg: 33,613, dir: 3,263, link: 4,053, dev: 2, special: 29)
Number of deleted files: 0
Number of regular files transferred: 33,607
Total file size: 1,180,749,843 bytes
Total transferred file size: 1,173,533,920 bytes
Literal data: 1,173,533,920 bytes
Matched data: 0 bytes
File list size: 917,388
File list generation time: 0.018 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 1,176,319,438
Total bytes received: 670,262

sent 1,176,319,438 bytes  received 670,262 bytes  25,311,606.45 bytes/sec
total size is 1,180,749,843  speedup is 1.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1207) [sender=3.1.3]
  Logical volume "vm-102-disk-0" successfully removed
TASK ERROR: clone failed: command '/usr/bin/rsync --stats -X -A --numeric-ids -aH --whole-file --sparse --one-file-system '--bwlimit=0' /var/lib/lxc/102/.copy-volume-2/ /var/lib/lxc/102/.copy-volume-1' failed: exit code 23
 
WARNING: You have not turned on protection against thin pools running out of space.
WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
Logical volume "vm-102-disk-0" created.
WARNING: Sum of all thin volume sizes (585.00 GiB) exceeds the size of thin pool pve/data and the amount of free space in volume group (15.99 GiB).
Ich würde das als Speicherplatz Problem interpretieren ...
 
Ich würde das als Speicherplatz Problem interpretieren ...
isso, aber halt in dem Fall nicht das Problem leider... Es sind noch über 500gb frei... Das ist nur die Warnung bez. thin-lvm die maximalsize aller Disks aller VMS sind größer als die gesamtgröße des thin-lvm aber der belegte platz ist noch weit darunter.

Die Warnung kommt bei allen Backups, also auch da wo es funktioniert.
 
Kannst du den LXC auf einen anderen Datastore verschieben? Gibt es da auch Probleme?
Für mich sieht das wir ein echter Diskfehler aus.
 
Last edited:
Dann hast du hoffentlich ein altes Backup oder einmal neu machen. Check auf jeden Fall mal den SMART Status deiner Disks.
 
  • Like
Reactions: flowmotion
Dann hast du hoffentlich ein altes Backup oder einmal neu machen. Check auf jeden Fall mal den SMART Status deiner Disks.
mal sehn.. ich habe das Gefühl, dass es etwas ist was man reparieren kann, ein kleine Fehler, kaputte Dateien vom proxmox.. weil warum trifft es nur diese eine LXC... und warum ist sienoch lauffähig? sollte sie nicht defekt sein wenn die Disk defekt ist?

Aber ich mach lieber einen SMART check. Backup hab ich übers proxmox gemacht. hoffentlich sind da die Fehler nicht mit dabei.

Es ist eine Mariadb LXC. ich sichere lieber die Datenbank manuell über die noch lauffähige LXC
 
Sehr gute Idee!
Ganz einfach erklärt. Wenn die HDD einen HRE (Hard Read Error) hat, kann dieser Block nicht mehr gelesen werden. Wenn die VM/Container diesen Block nicht anfragt, weil z.B. eine unwichtige Datei drauf liegt merkt man erst mal nix.
Wenn man jetzt ein Blockbasiertes Backup oder eine Migration macht, muss jeder Block gelesen werden. Das schlägt dann natürlich fehl.
 
  • Like
Reactions: flowmotion

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!