NFS nach einem Tag immer Error

[lenny30]

Hi,
NFS meiner QNAP und Proxmox funktioniert im Grunde.
Jedoch nach einem Tag nicht mehr.
Egal ob ich ein Backup versuche oder Hosts auf der NAS speichern will.
Fehlermeldung des Backups:
INFO: creating archive '/mnt/pve/nas-nfs/dump/vzdump-lxc-103-2020_07_03-11_00_06.tar.zst'
INFO: Total bytes written: 4815738880 (4.5GiB, 49MiB/s)
INFO: zstd: /*stdout*\: Input/output error
ERROR: Backup of VM 103 failed - command 'set -o pipefail && tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/nas-nfs/dump/vzdump-lxc-103-2020_07_03-11_00_06.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/nas-nfs/dump/vzdump-lxc-103-2020_07_03-11_00_06.tar.dat' failed: exit code 1
INFO: Failed at 2020-07-03 11:01:42
INFO: Backup job finished with errors


Entferne ich den NFS Mount erstelle ihn unter neuem Namen neu, funktioniert kurzfristig wieder.

 

[wolfgang]

Hi,

welche version verwendest du?

pveversion -v

ist der mount noch da wenn der fehler kommt?

mount | grep /mnt/pve

 

[flames]

Hallo,

exakt gleiches Problem tritt hier bei zwei LXC Containern fast regelmässig auf. An der Grösse liegt es nicht, auf lokalem Speicher ist ausreichend Platz. Alle Paar Tage klappt es aber auch mit diesen beiden CTs, bzw mal mit dem einen, mal mit dem anderen. Andere CTs machen nie Probleme.
Lokaler Speicher ZFS (via installer mirror)
Backup Speicher ist CIFS, montiert via PVE GUI im gleichen LAN
Der unterschied ist nur, dass die CTs, die den Fehler immer wieder haben, sind bereits unter PVE 5.4.x gelaufen. CTs die nach dem Upgrade auf 6.2.9 neu erstellt wurden, haben den Fehler nicht. Das Upgrade hat seinerzeit einwandfrei geklappt. Die CTs haben auch sonst keinerlei Schwierigkeiten. Einer der nicht funktionierenden hat "lxc.apparmor.profile: unconfined" setting, der andere nicht.
Manuell das Backup anstossen klappt, ich probiere es gleich noch einige Male, um sicher zu gehen, dass es nicht sporadisch ist.

Danke im Voraus

#Dieser CT hat sehr oft folgenden Fehler:
INFO: Starting Backup of VM 102 (lxc)
INFO: Backup started at 2020-07-28 00:47:36
INFO: status = running
INFO: CT Name: ct02
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
INFO: creating vzdump archive '/mnt/pve/backup/dump/vzdump-lxc-102-2020_07_28-00_47_36.tar.zst'
INFO: Total bytes written: 26722263040 (25GiB, 68MiB/s)
INFO: zstd: /*stdout*\: Input/output error
INFO: remove vzdump snapshot
ERROR: Backup of VM 102 failed - command 'set -o pipefail && tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/var/tmp/vzdumptmp15148' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/backup/dump/vzdump-lxc-102-2020_07_28-00_47_36.tar.dat' failed: exit code 1
INFO: Failed at 2020-07-28 00:54:32
INFO: filesystem type on dumpdir is 'cifs' -using /var/tmp/vzdumptmp15148 for temporary files

#Dieser CT funktioniert immer
INFO: Starting Backup of VM 103 (lxc)
INFO: Backup started at 2020-07-28 00:54:32
INFO: status = running
INFO: CT Name: ct03
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
INFO: creating vzdump archive '/mnt/pve/backup/dump/vzdump-lxc-103-2020_07_28-00_54_32.tar.zst'
INFO: Total bytes written: 1311395840 (1.3GiB, 98MiB/s)
INFO: archive file size: 558MB
INFO: delete old backup '/mnt/pve/backup/dump/vzdump-lxc-103-2020_07_20-01_20_07.tar.zst'
INFO: remove vzdump snapshot
INFO: Finished Backup of VM 103 (00:00:24)
INFO: Backup finished at 2020-07-28 00:54:56

root@pve01:~# pveversion -v
proxmox-ve: 6.2-1 (running kernel: 5.4.44-2-pve)
pve-manager: 6.2-9 (running version: 6.2-9/4d363c5b)
pve-kernel-5.4: 6.2-4
pve-kernel-helper: 6.2-4
pve-kernel-5.4.44-2-pve: 5.4.44-2
pve-kernel-5.4.34-1-pve: 5.4.34-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve2
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.4
libpve-access-control: 6.1-2
libpve-apiclient-perl: 3.0-3
libpve-common-perl: 6.1-5
libpve-guest-common-perl: 3.1-1
libpve-http-server-perl: 3.0-6
libpve-storage-perl: 6.2-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.2-1
lxcfs: 4.0.3-pve3
novnc-pve: 1.1.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.2-9
pve-cluster: 6.1-8
pve-container: 3.1-11
pve-docs: 6.2-5
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-2
pve-firmware: 3.1-1
pve-ha-manager: 3.0-9
pve-i18n: 2.1-3
pve-qemu-kvm: 5.0.0-10
pve-xtermjs: 4.3.0-1
qemu-server: 6.2-10
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.4-pve1

root@pve01:~# mount | grep /mnt/pve
//nas01/backup on /mnt/pve/backup type cifs (rw,relatime,vers=3.0,cache=strict,username=username,uid=0,noforceuid,gid=0,noforcegid,addr=192.168.10.2,file_mode=0755,dir_mode=0755,soft,nounix,serverino,mapposix,rsize=4194304,wsize=4194304,bsize=1048576,echo_interval=60,actimeo=1)

#Der problematische:
arch: amd64
cores: 2
hostname: ct102
memory: 8192
nameserver: 192.168.10.1
net0: name=eth0,bridge=vmbr1,gw=192.168.10.1,hwaddr=AE:...:3A,ip=192.168.10.102/24,type=veth
onboot: 0
ostype: debian
rootfs: local-zfs:subvol-102-disk-0,size=32G
searchdomain: unwichtig.ch
swap: 0
lxc.apparmor.profile: unconfined

#Der gute:
arch: amd64
cores: 2
hostname: ct103
memory: 8192
nameserver: 192.168.10.1
net0: name=eth0,bridge=vmbr1,gw=192.168.10.1,hwaddr=32:...:3D,ip=192.168.10.103/24,type=veth
ostype: debian
rootfs: local-zfs:subvol-103-disk-0,size=16G
searchdomain: unwichtig.ch
swap: 0
unprivileged: 1

 

[joersch]

Hi!
Ich habe dasselbe Problem. Ich versuche auf eine ext. Platte an der fritzbox zu sichern

root@nuc:~# pveversion -v
proxmox-ve: 6.2-1 (running kernel: 5.4.60-1-pve)
pve-manager: 6.2-11 (running version: 6.2-11/22fb4983)
pve-kernel-5.4: 6.2-6
pve-kernel-helper: 6.2-6
pve-kernel-5.3: 6.1-6
pve-kernel-5.4.60-1-pve: 5.4.60-2
pve-kernel-5.4.55-1-pve: 5.4.55-1
pve-kernel-5.4.44-2-pve: 5.4.44-2
pve-kernel-5.3.18-3-pve: 5.3.18-3
pve-kernel-5.3.18-2-pve: 5.3.18-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.5
libpve-access-control: 6.1-2
libpve-apiclient-perl: 3.0-3
libpve-common-perl: 6.2-2
libpve-guest-common-perl: 3.1-3
libpve-http-server-perl: 3.0-6
libpve-storage-perl: 6.2-6
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.3-1
lxcfs: 4.0.3-pve3
novnc-pve: 1.1.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.2-12
pve-cluster: 6.1-8
pve-container: 3.2-1
pve-docs: 6.2-5
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-2
pve-firmware: 3.1-3
pve-ha-manager: 3.1-1
pve-i18n: 2.2-1
pve-qemu-kvm: 5.1.0-1
pve-xtermjs: 4.7.0-2
qemu-server: 6.2-14
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.4-pve1

Der Share ist natürlich gemounted und beschreibbar.

root@nuc:~# mount | grep /mnt/pve
//fritz.box/FRITZ.NAS on /mnt/pve/fritz.nas type cifs (rw,relatime,vers=3.0,cache=strict,username=nuc,uid=0,noforceuid,gid=0,noforcegid,addr=192.168.0.244,file_mode=0755,dir_mode=0755,soft,nounix,serverino,mapposix,rsize=65536,wsize=65536,bsize=1048576,echo_interval=60,actimeo=1)

Ich bin etwas ratlos...

Hier mal eine manuelle Sicherung:

INFO: starting new backup job: vzdump 103 --mode snapshot --compress zstd --node nuc --remove 0 --storage fritz.nas
INFO: filesystem type on dumpdir is 'cifs' -using /var/tmp/vzdumptmp2698 for temporary files
INFO: Starting Backup of VM 103 (lxc)
INFO: Backup started at 2020-09-13 21:26:11
INFO: status = running
INFO: CT Name: printserver
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
  WARNING: You have not turned on protection against thin pools running out of space.
  WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
  Logical volume "snap_vm-103-disk-0_vzdump" created.
  WARNING: Sum of all thin volume sizes (192.00 GiB) exceeds the size of thin pool pve/data and the amount of free space in volume group (<16.00 GiB).
INFO: creating vzdump archive '/mnt/pve/fritz.nas/dump/vzdump-lxc-103-2020_09_13-21_26_11.tar.zst'
INFO: Total bytes written: 1101219840 (1.1GiB, 128MiB/s)
INFO: zstd: /*stdout*\: Bad file descriptor 
INFO: remove vzdump snapshot
  Logical volume "snap_vm-103-disk-0_vzdump" successfully removed
ERROR: Backup of VM 103 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/var/tmp/vzdumptmp2698' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/fritz.nas/dump/vzdump-lxc-103-2020_09_13-21_26_11.tar.dat' failed: exit code 1
INFO: Failed at 2020-09-13 21:26:51

Gibt es irgendwelche Ideen?

 

[joersch]

Ok, ich habs gefunden:

Verbindet man die Fritzbox direkt über das Webinterface per CIFS als Backup-Space, landen die Backups im Hauptordner auf der Fritzbox, ergo: im internen Speicher. Der ist dann irgendwann voll und die Meldungen sind "komisch". Manuell über CIFS gemountet und den Storage dann als DIR im Webinterface eingebunden, scheint es jetzt zu laufen, da man hier dann direkt den Ordner der externen Platte auswählen kann.