proxmox-backup-client .... ENOSPC no space left on device

drnicolas · Aug 21, 2025

root@pve-X10SAT:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 16G 0 16G 0% /dev
tmpfs 3.2G 4.5M 3.2G 1% /run
/dev/mapper/pve-root 32G 13G 17G 43% /
tmpfs 16G 66M 16G 1% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 1.0M 0 1.0M 0% /run/credentials/systemd-journald.service
tmpfs 16G 0 16G 0% /tmp
WD40-mirror 398G 128K 398G 1% /WD40-mirror
/dev/fuse 128M 24K 128M 1% /etc/pve
tmpfs 1.0M 0 1.0M 0% /run/credentials/getty@tty1.service
tmpfs 3.2G 8.0K 3.2G 1% /run/user/0
root@pve-X10SAT:~#

Das sieht für mich nicht unebdingt nach Platzmangel aus.

Woher kommt diese Meldung? Alle Backups schlagen fehl, aber auch ein Retsore produzierte diese Meldung

Das ist die Meldung:

Code:

roxmox-backup-client failed: Error: mkstemp "/var/log/proxmox-backup/tasks/EC/UPID:pve:00000685:000003EC:000169C9:68A6E4B9:reader:BACKUP\\x2dPBS\\x3avm-906-687568CA:root@pam:.tmp_XXXXXX" failed: ENOSPC: No space left on device (500)

Chris · Aug 21, 2025

Check den output von df am PBS host, sieht so aus also ob dein root filesystem voll gelaufen ist.

drnicolas · Aug 21, 2025

Das scheint tatsächlich voll zu sein.
Watt nu?

EDIT:
Prune & GC Jobs sind anscheinend am 20.7. zuletzt gelaufen. Aber da sind 41GB "pending data" genannt.

Mit einer ähnlichen Fehlermeldung wird auch ein erneuter manueller Durchlauf verhindert.

Impact · Aug 21, 2025

Bitte nutze Code blocks.

Was sagt das hier?

Bash:

lsblk -o+FSTYPE
vgs
lvs

Du kannst auch hiermit versuchen belegten Platz zu finden.

Bash:

du -hxd1 / | sort -h

drnicolas · Aug 22, 2025

Code:

root@pve:~# lsblk -o+FSTYPE
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS FSTYPE
sda                            8:0    0 119.2G  0 disk             
├─sda1                         8:1    0  1007K  0 part             
├─sda2                         8:2    0     1G  0 part             vfat
└─sda3                         8:3    0    99G  0 part             LVM2_member
  ├─pve-swap                 252:0    0    12G  0 lvm  [SWAP]      swap
  ├─pve-root                 252:1    0  33.7G  0 lvm  /           ext4
  ├─pve-data_tmeta           252:2    0     1G  0 lvm             
  │ └─pve-data-tpool         252:4    0    39G  0 lvm             
  │   ├─pve-data             252:5    0    39G  1 lvm             
  │   └─pve-vm--100--disk--0 252:6    0     4M  0 lvm             
  └─pve-data_tdata           252:3    0    39G  0 lvm             
    └─pve-data-tpool         252:4    0    39G  0 lvm             
      ├─pve-data             252:5    0    39G  1 lvm             
      └─pve-vm--100--disk--0 252:6    0     4M  0 lvm             
sdb                            8:16   0   3.6T  0 disk             
├─sdb1                         8:17   0   3.6T  0 part             zfs_member
└─sdb9                         8:25   0     8M  0 part             
sdc                            8:32   0   3.6T  0 disk             
├─sdc1                         8:33   0   3.6T  0 part             zfs_member
└─sdc9                         8:41   0     8M  0 part             
sdd                            8:48   0   2.7T  0 disk             
├─sdd1                         8:49   0   2.7T  0 part             zfs_member
└─sdd9                         8:57   0     8M  0 part             
sde                            8:64   0   2.7T  0 disk             
├─sde1                         8:65   0   2.7T  0 part             zfs_member
└─sde9                         8:73   0     8M  0 part             
zd0                          230:0    0    60G  0 disk             
├─zd0p1                      230:1    0   500M  0 part             ntfs
└─zd0p2                      230:2    0  59.5G  0 part             ntfs
zd16                         230:16   0    10G  0 disk             
├─zd16p1                     230:17   0    16M  0 part             
└─zd16p2                     230:18   0    10G  0 part             ntfs
zd32                         230:32   0   100G  0 disk             
├─zd32p1                     230:33   0   100M  0 part             vfat
├─zd32p2                     230:34   0    16M  0 part             
└─zd32p3                     230:35   0  99.9G  0 part             ntfs
zd48                         230:48   0   140G  0 disk             
├─zd48p1                     230:49   0   100M  0 part             ntfs
├─zd48p2                     230:50   0 139.4G  0 part             ntfs
└─zd48p3                     230:51   0   465M  0 part             ntfs
zd64                         230:64   0   135G  0 disk             
├─zd64p1                     230:65   0   350M  0 part             ntfs
└─zd64p2                     230:66   0 134.7G  0 part             ntfs
zd80                         230:80   0    80G  0 disk             
├─zd80p1                     230:81   0   499M  0 part             ntfs
├─zd80p2                     230:82   0    99M  0 part             vfat
├─zd80p3                     230:83   0    16M  0 part             
└─zd80p4                     230:84   0  79.4G  0 part             ntfs
zd112                        230:112  0     4M  0 disk             
zd128                        230:128  0    75G  0 disk             
├─zd128p1                    230:129  0   500M  0 part             ntfs
└─zd128p2                    230:130  0  74.5G  0 part             ntfs
zd144                        230:144  0   100G  0 disk             
├─zd144p1                    230:145  0  86.2G  0 part             ext4
└─zd144p2                    230:146  0  13.8G  0 part             swap
zd160                        230:160  0     1M  0 disk             
zd176                        230:176  0    32G  0 disk             
├─zd176p1                    230:177  0    32M  0 part             vfat
├─zd176p2                    230:178  0    24M  0 part             squashfs
├─zd176p3                    230:179  0   256M  0 part             erofs
├─zd176p4                    230:180  0    24M  0 part             squashfs
├─zd176p5                    230:181  0   256M  0 part             erofs
├─zd176p6                    230:182  0     8M  0 part             
├─zd176p7                    230:183  0    96M  0 part             ext4
└─zd176p8                    230:184  0  31.3G  0 part             ext4
zd192                        230:192  0     1M  0 disk             
zd208                        230:208  0     3G  0 disk             
zd224                        230:224  0    70G  0 disk             
└─zd224p1                    230:225  0    70G  0 part             ntfs
zd240                        230:240  0    62G  0 disk             
├─zd240p1                    230:241  0   500M  0 part             ntfs
└─zd240p2                    230:242  0  59.5G  0 part             ntfs
nvme2n1                      259:0    0 931.5G  0 disk             
├─nvme2n1p1                  259:1    0 931.5G  0 part             zfs_member
└─nvme2n1p9                  259:2    0     8M  0 part             
nvme0n1                      259:3    0 931.5G  0 disk             
├─nvme0n1p1                  259:4    0 931.5G  0 part             zfs_member
└─nvme0n1p9                  259:5    0     8M  0 part             
nvme1n1                      259:6    0   1.8T  0 disk             
zd256                        230:256  0   140G  0 disk             
zd272                        230:272  0   100G  0 disk             
└─zd272p1                    230:273  0   100G  0 part             ntfs
zd288                        230:288  0     2G  0 disk             
zd304                        230:304  0    85G  0 disk             
├─zd304p1                    230:305  0   100M  0 part             vfat
├─zd304p2                    230:306  0    16M  0 part             
├─zd304p3                    230:307  0  64.3G  0 part             ntfs
└─zd304p4                    230:308  0   619M  0 part             
zd320                        230:320  0    85G  0 disk             
├─zd320p1                    230:321  0   100M  0 part             vfat
├─zd320p2                    230:322  0    16M  0 part             
├─zd320p3                    230:323  0  64.3G  0 part             ntfs
└─zd320p4                    230:324  0   619M  0 part             
zd336                        230:336  0   600G  0 disk             
├─zd336p1                    230:337  0   499M  0 part             ntfs
├─zd336p2                    230:338  0    99M  0 part             vfat
├─zd336p3                    230:339  0    16M  0 part             
└─zd336p4                    230:340  0   173G  0 part             
zd352                        230:352  0   100G  0 disk             
└─zd352p1                    230:353  0   100G  0 part             ntfs
zd368                        230:368  0    15G  0 disk             
└─zd368p1                    230:369  0    15G  0 part             ntfs
zd384                        230:384  0     2G  0 disk             
zd400                        230:400  0   110G  0 disk             
├─zd400p1                    230:401  0    16M  0 part             
└─zd400p2                    230:402  0   110G  0 part             ntfs

vgs:

Code:

root@pve:~# vgs
  VG  #PV #LV #SN Attr   VSize   VFree
  pve   1   4   0 wz--n- <99.00g 12.25g

lvs:

Code:

root@pve:~# lvs
  LV            VG  Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data          pve twi-aotz-- <39.00g             0.00   1.59                           
  root          pve -wi-ao---- <33.75g                                                   
  swap          pve -wi-ao----  12.00g                                                   
  vm-100-disk-0 pve Vwi-aotz--   4.00m data        0.00

Impact · Aug 22, 2025

Sorry, die Idee war das auf dem vollen System laufen zu lassen.

drnicolas · Aug 22, 2025

Also nicht auf dem PBS? Sondern auf dem PVE?

Befehle auf dem PVE:

Code:

lsblk -o+FSTYPE
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS FSTYPE
sda                            8:0    0   3.6T  0 disk             
├─sda1                         8:1    0   3.6T  0 part             zfs_member
└─sda9                         8:9    0     8M  0 part             
sdb                            8:16   0   3.6T  0 disk             
├─sdb1                         8:17   0   3.6T  0 part             zfs_member
└─sdb9                         8:25   0     8M  0 part             
sdc                            8:32   0 111.8G  0 disk             
├─sdc1                         8:33   0  1007K  0 part             
├─sdc2                         8:34   0     1G  0 part             vfat
└─sdc3                         8:35   0 110.8G  0 part             LVM2_member
  ├─pve-swap                 252:0    0    32G  0 lvm  [SWAP]      swap
  ├─pve-root                 252:1    0  31.7G  0 lvm  /           ext4
  ├─pve-data_tmeta           252:2    0     1G  0 lvm             
  │ └─pve-data-tpool         252:15   0  31.3G  0 lvm             
  │   ├─pve-data             252:16   0  31.3G  1 lvm             
  │   └─pve-vm--902--disk--0 252:17   0    34G  0 lvm              ext4
  └─pve-data_tdata           252:3    0  31.3G  0 lvm             
    └─pve-data-tpool         252:15   0  31.3G  0 lvm             
      ├─pve-data             252:16   0  31.3G  1 lvm             
      └─pve-vm--902--disk--0 252:17   0    34G  0 lvm              ext4
sr0                           11:0    1 370.2M  0 rom             
sr1                           11:1    1 588.9M  0 rom             
sr2                           11:2    1  1024M  0 rom             
zd0                          230:0    0     2T  0 disk             
└─zd0p1                      230:1    0     2T  0 part             ntfs
zd16                         230:16   0   700G  0 disk             
├─zd16p1                     230:17   0   246G  0 part             ntfs
├─zd16p2                     230:18   0   250G  0 part             ntfs
└─zd16p3                     230:19   0   100G  0 part             ntfs
zd32                         230:32   0   450G  0 disk             
├─zd32p1                     230:33   0    99M  0 part             vfat
├─zd32p2                     230:34   0    16M  0 part             
└─zd32p3                     230:35   0   200G  0 part             ntfs
nvme0n1                      259:0    0 953.9G  0 disk             LVM2_member
├─DATASSD-vm--901--disk--0   252:4    0    80G  0 lvm             
├─DATASSD-vm--901--disk--1   252:5    0     2G  0 lvm             
├─DATASSD-vm--906--disk--0   252:6    0    62G  0 lvm             
├─DATASSD-vm--903--disk--0   252:7    0    62G  0 lvm             
├─DATASSD-vm--903--disk--1   252:8    0     2G  0 lvm             
├─DATASSD-vm--908--disk--0   252:9    0    16G  0 lvm              ext4
├─DATASSD-vm--900--disk--0   252:10   0   127G  0 lvm             
├─DATASSD-vm--910--disk--0   252:11   0    15G  0 lvm              ext4
├─DATASSD-vm--100--disk--0   252:12   0    20G  0 lvm              ext4
└─DATASSD-vm--908--disk--1   252:14   0     8G  0 lvm              ext4
root@pve-X10SAT:~#

Code:

root@pve-X10SAT:~# lvs
  LV            VG      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  vm-100-disk-0 DATASSD -wi-a-----  20.00g                                                   
  vm-101-disk-0 DATASSD -wi-------   4.00m                                                   
  vm-900-disk-0 DATASSD -wi-ao---- 127.00g                                                   
  vm-901-disk-0 DATASSD -wi-ao----  80.00g                                                   
  vm-901-disk-1 DATASSD -wi-ao----   2.00g                                                   
  vm-903-disk-0 DATASSD -wi-ao----  62.00g                                                   
  vm-903-disk-1 DATASSD -wi-ao----   2.00g                                                   
  vm-906-disk-0 DATASSD -wi-ao----  62.00g                                                   
  vm-908-disk-0 DATASSD -wi-ao----  16.00g                                                   
  vm-908-disk-1 DATASSD -wi-ao----   8.00g                                                   
  vm-910-disk-0 DATASSD -wi-a-----  15.00g                                                   
  data          pve     twi-aotz-- <31.34g             13.02  1.71                           
  root          pve     -wi-ao---- <31.70g                                                   
  swap          pve     -wi-ao----  32.00g                                                   
  vm-902-disk-0 pve     Vwi-a-tz--  34.00g data        12.00                                 
root@pve-X10SAT:~#

Code:

root@pve-X10SAT:~# vgs
  VG      #PV #LV #SN Attr   VSize    VFree 
  DATASSD   1  11   0 wz--n- <953.87g 559.86g
  pve       1   4   0 wz--n- <110.79g  13.75g
root@pve-X10SAT:~#

Code:

root@pve-X10SAT:~# du -hxd1 / | sort -h
4.0K    /home
4.0K    /opt
4.0K    /srv
8.0K    /media
16K     /lost+found
16K     /mnt
100K    /root
6.1M    /etc
344M    /boot
4.8G    /usr
7.5G    /var
13G     /
root@pve-X10SAT:~#

Chris · Aug 22, 2025

drnicolas said:
Das scheint tatsächlich voll zu sein.
Watt nu?

EDIT:
Prune & GC Jobs sind anscheinend am 20.7. zuletzt gelaufen. Aber da sind 41GB "pending data" genannt.

Mit einer ähnlichen Fehlermeldung wird auch ein erneuter manueller Durchlauf verhindert.

Etwas Platz auf dem root filesystem schaffen und GC nochmals durchlaufen lassen.

Edit: Auf dem vollen PBS, nur um Verwirrung zu vermeiden

drnicolas · Aug 22, 2025

Mist. Egal was ich mache "no space left on device"

df -h zeigt immer noch für /dev/mapper/pve-root 0 avail

Chris · Aug 22, 2025

Ist das filesystem hier zfs? Dann wird das wegen copy-on-write nicht gehen, eine anpassug von https://openzfs.github.io/openzfs-docs/Performance and Tuning/Module Parameters.html#spa-slop-shift notwendig. Siehe dazu auch https://forum.proxmox.com/threads/pbs-zfs-datastor-voll-wie-speicher-freigeben.156292/post-714027

Impact · Aug 22, 2025

drnicolas said:
Also nicht auf dem PBS?

Doch, mich hat das root@pve verwirrt. Probier mal das und schau ob ein GC nun läuft.

Bash:

lvresize -r -L +1G /dev/pve/root

Hmm. Ich denke es macht auch Sinn zu schauen wo genau der Datastore liegt. Ich bin mir gerade nicht sicher wo versucht wird diese temporäre Datei zu erstellen.

drnicolas · Aug 22, 2025

Code:

find /var/log/proxmox-backup/tasks -type f  -name 'UPID*' -mtime +90 -delete

Damit hat sich was getan. GC scheint jetzt zu laufen. ich kann auch ein retsore machen

Gibt es ein Heilmittel, dass das nicht wieder passiert?

Und - danke für die geduld

Impact · Aug 22, 2025

[SOLVED] Post in thread 'Proxmox-backup logs'

May 2, 2022

DerDanilo said:
Any other systems that cause big daemon.log files?

i'd check the content of the log to determine what it fills...

DerDanilo said:
Could you build a command to manually force log rotation for PBS related logs?

we could do that, but there is (since recently) a config to set the (maximum) days to keep logs

Code:

proxmox-backup-manager node update --task-log-max-days N

it will keep at least N days of task logs (a bit more actually)

task log rotation for now is triggered daily at midnight
does that help you?

Search

Search

proxmox-backup-client .... ENOSPC no space left on device

drnicolas

Renowned Member

Chris

Proxmox Staff Member

drnicolas

Renowned Member

Impact

Renowned Member

drnicolas

Renowned Member

Impact

Renowned Member

drnicolas

Renowned Member

Chris

Proxmox Staff Member

drnicolas

Renowned Member

Chris

Proxmox Staff Member

Impact

Renowned Member

drnicolas

Renowned Member

Impact

Renowned Member

[SOLVED] Post in thread 'Proxmox-backup logs'

We value your privacy