[SOLVED] Laufwerk plötzlich voll / BackUp Problem

[bloop16]

Guten Abend,

Ich hatte meinen Proxmox VE 7.4 nun seit über einem halben Jahr problemlos am laufen.
Leider ist einem LCX mit AdGuard scheinbar der Ram ausgegangen und hat mir den gesamten VE bzw. das Netzwerk gecrashed. Das Problem lies sich jedoch recht schnell wieder beheben. Alles läuft soweit wieder stabil. Mein Problem startet als der Cron das BackUp erstellen wollte. Dieses wird auf einer Netzwerkplatte welche via mount cifs auf /BackUp eingebunden ist abgelegt. Die Netzwerkplatte schien zu diesem Zeitpunkt nicht erreichbar gewesen zu sein.
Seit diesem Tag hat sich mein Festplattenspeicher von "local" von 20% auf 90% erhöht und ist nun wieder unverändert. local wird eigentlich lediglich für ISO und Container template verwendet.


Ich erhalte folgende Ergebnisse :

root@pve:~# df -h
Filesystem            Size  Used Avail Use% Mounted on
udev                  5.8G     0  5.8G   0% /dev
tmpfs                 1.2G  1.2M  1.2G   1% /run
/dev/mapper/pve-root   29G   27G  1.1G  97% /
tmpfs                 5.8G   40M  5.8G   1% /dev/shm
tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/sdb1             120G   86G   35G  72% /media/USB_SSD
/dev/sda2             511M  328K  511M   1% /boot/efi
//192.168.0.1/BackUp  466G  265G  202G  57% /BackUp
/dev/fuse             128M   20K  128M   1% /etc/pve
tmpfs                 1.2G     0  1.2G   0% /run/user/0

root@pve:~# lsblk -f
NAME                         FSTYPE      FSVER    LABEL  UUID                                   FSAVAIL FSUSE% MOUNTPOINT
loop0                        ext4        1.0             d05c578e-6305-4f9b-9988-461258934920
loop1                        ext4        1.0             fa926fd1-d758-4c34-b0dd-a1723557b7f1
loop2                        ext4        1.0             dd61b000-e980-4509-9173-a295cf28572d
loop3                        ext4        1.0             1454fffc-cf6d-4816-8181-afb6e3ed9c89
loop4                        ext4        1.0             b5bb83a6-c267-4da4-9f42-ccf1e633b6dc
loop5                        ext4        1.0             a4f05443-80ee-4026-bc06-0845c20237b5
sda
├─sda1
├─sda2                       vfat        FAT32           5E27-6D78                               510.7M     0% /boot/efi
└─sda3                       LVM2_member LVM2 001        kJytnY-RqXT-70Cy-Mnin-75gt-geI5-rMlF9e
  ├─pve-swap                 swap        1               dc87e087-9c3e-44e5-b64e-34212a2ff1e1                  [SWAP]
  ├─pve-root                 ext4        1.0             70182969-eb4c-453b-a280-84bfb27ec924        1G    91% /
  ├─pve-data_tmeta
  │ └─pve-data-tpool
  │   ├─pve-data
  │   ├─pve-vm--100--disk--1 ext4        1.0             81776e69-2d3e-44dd-b18e-4d6e770c0e8e
  │   └─pve-vm--103--disk--0 ext4        1.0             f773dae0-ae3d-4884-81fa-29d34ca35665
  └─pve-data_tdata
    └─pve-data-tpool
      ├─pve-data
      ├─pve-vm--100--disk--1 ext4        1.0             81776e69-2d3e-44dd-b18e-4d6e770c0e8e
      └─pve-vm--103--disk--0 ext4        1.0             f773dae0-ae3d-4884-81fa-29d34ca35665
sdb
└─sdb1                       exfat       1.0      Volume 7AE1-9FC8                                34.2G    71% /media/USB_SSD

root@pve:~#find / -type f -size +100M
/BackUp/dump/vzdump-lxc-100-2023_05_05-20_13_36.tar.zst
/BackUp/dump/vzdump-lxc-100-2023_05_05-21_29_10.tar.zst
/BackUp/dump/vzdump-lxc-101-2023_04_23-02_03_00.tar.zst
/BackUp/dump/vzdump-lxc-101-2023_04_24-02_03_19.tar.zst
/BackUp/dump/vzdump-lxc-102-2023_04_23-02_06_04.tar.zst
/BackUp/dump/vzdump-lxc-102-2023_04_24-02_05_47.tar.zst
/BackUp/dump/vzdump-lxc-103-2023_04_24-02_07_53.tar.zst
/BackUp/dump/vzdump-lxc-103-2023_05_05-21_33_12.tar.zst
/BackUp/dump/vzdump-lxc-104-2023_04_24-02_08_31.tar.zst
/BackUp/dump/vzdump-lxc-104-2023_05_05-21_33_53.tar.zst
/BackUp/dump/vzdump-lxc-105-2023_04_23-02_11_13.tar.zst
/BackUp/dump/vzdump-lxc-105-2023_04_24-02_09_53.tar.zst
/BackUp/dump/vzdump-lxc-106-2023_04_23-02_13_06.tar.zst
/BackUp/dump/vzdump-lxc-106-2023_04_24-02_11_23.tar.zst
/BackUp/dump/vzdump-lxc-107-2023_04_24-02_12_26.tar.zst
/BackUp/dump/vzdump-lxc-107-2023_05_05-20_04_04.tar.zst
/BackUp/dump/vzdump-lxc-108-2023_04_24-02_12_43.tar.zst
/BackUp/dump/vzdump-lxc-108-2023_05_05-20_04_21.tar.zst
/BackUp/dump/vzdump-lxc-109-2023_05_05-20_05_12.tar.zst
/BackUp/dump/vzdump-lxc-109-2023_05_05-21_36_50.tar.zst
/BackUp/template/cache/debian-11-standard_11.3-1_amd64.tar.zst
/BackUp/template/iso/proxmox-backup-server_2.2-1.iso
/sys/devices/pci0000:00/0000:00:02.0/resource2_wc
/sys/devices/pci0000:00/0000:00:02.0/resource2
/media/USB_SSD/images/106/vm-106-disk-0.raw
/media/USB_SSD/images/105/vm-105-disk-0.raw
/media/USB_SSD/images/104/vm-104-disk-0.raw
/media/USB_SSD/images/102/vm-102-disk-0.raw
/media/USB_SSD/images/102/vm-102-disk-1.raw
/media/USB_SSD/images/101/vm-101-disk-0.raw
/media/USB_SSD/images/109/vm-109-disk-0.raw
/media/USB_SSD/tempfile
/proc/kcore
find: ‘/proc/107483/task/107483/fdinfo/5’: No such file or directory
find: ‘/proc/107483/fdinfo/6’: No such file or directory
find: ‘/proc/107489’: No such file or directory
/var/lib/vz/template/cache/debian-11-standard_11.3-1_amd64.tar.zst

Eigenartigerweise lassen sich die BackUps von einigen LXC nicht erstellen diese legen ihre dump nicht auf /backup/dump sonder auf /var/temp/ ab. Obwohl auch diese auf /BackUp speichern sollten.

INFO: starting new backup job: vzdump 101 --remove 0 --notes-template '{{guestname}}' --storage BackUp --node pve --compress zstd --mode snapshot
INFO: filesystem type on dumpdir is 'cifs' -using /var/tmp/vzdumptmp97705_101 for temporary files
INFO: Starting Backup of VM 101 (lxc)
INFO: Backup started at 2023-05-05 22:51:59
INFO: status = running
INFO: CT Name: influxdb
INFO: including mount point rootfs ('/') in backup
INFO: mode failure - some volumes do not support snapshots
INFO: trying 'suspend' mode instead
INFO: backup mode: suspend
INFO: ionice priority: 7
INFO: CT Name: influxdb
INFO: including mount point rootfs ('/') in backup
INFO: starting first sync /proc/1287/root/ to /var/tmp/vzdumptmp97705_101
ERROR: Backup of VM 101 failed - command 'rsync --stats -h -X -A --numeric-ids -aH --delete --no-whole-file --sparse --one-file-system --relative '--exclude=/tmp/?*' '--exclude=/var/tmp/?*' '--exclude=/var/run/?*.pid' /proc/1287/root//./ /var/tmp/vzdumptmp97705_101' failed: exit code 11
INFO: Failed at 2023-05-05 22:52:30
INFO: Backup job finished with errors
TASK ERROR: job errors

Der Befehl

fstrim -av

findet leider auch keine Abhilfe. Auch der Versuch offene aber bereits gelöschte Dateien zu beenden hat keine Abhilfe gebracht.

Ich habe mir bereits einige Problemlösungsvorschläge im Netz angesehen finde jedoch zu meinem Thema keine Lösung. Wenn sich das Problem mit dem Speicher beheben lässt, sollte meines Erachtens nach auch das BackUp wieder funktionieren.

Herzlichen Dank für die Unterstützung
Martin

 

[CoolTux]

Es scheint so aus zu sehen das eventuell Daten unter dem Verzeichnis /BackUp liegen. Und Du nun Dein cifs drüber gemountet hast.
Unmounte
//192.168.0.1/BackUp 466G 265G 202G 57% /BackUp

Und lösche dann den Inhalt von /BackUp
Danach wieder /BackUp wieder mounten.

 

[bloop16]

Super Herzlichen Dank hat geklappt!
Der Gedanke kam mir noch nicht, aber ist ja irgendwie klar.

 

[Dunuin]

Außerdem hast du vergessen für dein Directory Storage das "is_mountpoint" zu setzen (was nur über die CLI mit dem pvesm Befehl geht). Hättest du das gemacht und wäre der SMB Share nicht mountbar gewesen, dann hätte PVE einfach dein Backup-Job fehlschlagen lassen, anstatt da deine System-Disk mit Backups zuzumüllen, was dann sogar zu Datenverlust und Serverabsturz führen kann:
pvesm set BackUp --is_mountpoint yes