PVE Speicher läuft bei vzdump voll

B

BastiFantasti

Member
Jul 6, 2021
12
0
6
43
Hallo @all

habe an meinem PVE Server das Problem entdeckt, dass sowie vzdump los läuft um die virtuellen Maschinen zu sichern der Speicherbedarf auf meinem Server um ca. 12GB nach oben schnellt.

Habe das jetzt erst bemerkt, da ich von 16 auf 32GB aufgerüstet habe.
Gesichert werden alle LXC und VMs auf ein NAS mit nfs. Backups laufen alle erfolgreich durch.
Nur wird der Speicher nach dem Backup nicht mehr freigegeben.

Ich habe vzdump im Verdacht, da der Speicherverbrauch auf dem Server genau zur vzdump Startuhrzeit (19:00 Uhr) nach oben springt.

Der Speicherverbrauch reduziert sich dann auch nicht mehr bis zum nächsten Server Neustart. Mittels "top" oder "htop" konnte ich jedoch keinen hängenden Prozess ausfindig machen...

Hat jemand eine Idee wie ich dem Speicherproblem noch auf die Schliche kommen könnte?

Viele Grüße
Bastian
 
hi,

wie ist deine vzdump configuration in /etc/vzdump.conf? interessant sind tmpdir und dumpdir variablen.
 
Hi,

Die steht auf "default settings":

Bash: 
# vzdump default settings

#tmpdir: DIR
#dumpdir: DIR
#storage: STORAGE_ID
#mode: snapshot|suspend|stop
#bwlimit: KBPS
#ionice: PRI
#lockwait: MINUTES
#stopwait: MINUTES
#stdexcludes: BOOLEAN
#mailto: ADDRESSLIST
#prune-backups: keep-INTERVAL=N[,...]
#script: FILENAME
#exclude-path: PATHLIST
#pigz: N

gibt es noch andere Stellen wo die Konfiguration beeinflusst werden kann?

Viele Grüße
Bastian
 
hmm okay. kannst du bitte ein backup ausfuehren und die ganze ausgabe von der tasklog hier posten?

auch interessant waere:
* lsblk -f
* cat /etc/pve/storage.cfg
 
Na klar :)

hier die storage.cfg

Code: 
root@pve:/var/log/vzdump# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content iso,backup,vztmpl

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images

zfspool: datahdd
        pool datahdd
        content rootdir,images
        nodes pve

cifs: nfsbkcifs
        path /mnt/pve/nfsbkcifs
        server 172.21.0.110
        share backups
        content backup
        prune-backups keep-last=3
        username admin


hier das Ergebnis von lsblk -f :

Code: 
NAME                 FSTYPE      FSVER    LABEL          UUID                                   FSAVAIL FSUSE% MOUNTPOINT
sda
├─sda1               zfs_member  5000     datahdd        1095697982778779525
└─sda9
sdb
├─sdb1               zfs_member  5000     datahdd        1095697982778779525
└─sdb9
sdc
├─sdc1
├─sdc2               vfat        FAT32                   4E7E-1D17
└─sdc3               LVM2_member LVM2 001                WuhGbS-Cleb-CnjX-dIet-ClN2-kdOJ-3ca76y
  ├─pve-swap         swap        1                       0848638f-0727-4a90-93f6-387d57650e37                  [SWAP]
  ├─pve-root         ext4        1.0                     649bb7ce-207e-4d76-8d17-31009934e6f7     68.3G    22% /
  ├─pve-data_tmeta
  │ └─pve-data-tpool
  │   └─pve-data
  └─pve-data_tdata
    └─pve-data-tpool
      └─pve-data
sdd
└─sdd1               vfat        FAT32    CODEMETER      002B-0CBA
zd0
zd16
├─zd16p1             vfat        FAT16    hassos-boot    B74A-6A76
├─zd16p2             ext4        1.0      hassos-kernel  14c738cd-3c67-4762-a19d-8a42d0975f07
├─zd16p3             squashfs    4.0
├─zd16p4             ext4        1.0      hassos-kernel  a064f62c-732a-48a6-a5ec-08e089c9413c
├─zd16p5             squashfs    4.0
├─zd16p6
├─zd16p7             ext4        1.0      hassos-overlay 69f5419c-2b03-487e-a8d4-52a6468c6c38
└─zd16p8             ext4        1.0      hassos-data    24cbeca0-2a36-459a-a1a3-64b579291ea8

Und hier die Log Dateien für die einzelnen Container:

Code: 
root@pve:/var/log/vzdump# cat lxc-100.log
2021-11-29 13:45:05 INFO: Starting Backup of VM 100 (lxc)
2021-11-29 13:45:05 INFO: status = running
2021-11-29 13:45:05 INFO: CT Name: dms
2021-11-29 13:45:05 INFO: including mount point rootfs ('/') in backup
2021-11-29 13:45:05 INFO: backup mode: snapshot
2021-11-29 13:45:05 INFO: ionice priority: 7
2021-11-29 13:45:05 INFO: create storage snapshot 'vzdump'
2021-11-29 13:45:09 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-100-2021_11_29-13_45_05.tar.gz'
2021-11-29 14:12:31 INFO: Total bytes written: 12371640320 (12GiB, 7.2MiB/s)
2021-11-29 14:12:32 INFO: archive file size: 6.25GB
2021-11-29 14:12:32 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:12:32 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-100-2021_11_24-19_00_08.tar.gz'
2021-11-29 14:12:32 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:12:33 INFO: cleanup temporary 'vzdump' snapshot
2021-11-29 14:12:33 INFO: Finished Backup of VM 100 (00:27:28)

root@pve:/var/log/vzdump# cat lxc-101.log
2021-11-29 14:12:33 INFO: Starting Backup of VM 101 (lxc)
2021-11-29 14:12:33 INFO: status = running
2021-11-29 14:12:33 INFO: CT Name: crm
2021-11-29 14:12:33 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:12:33 INFO: backup mode: snapshot
2021-11-29 14:12:33 INFO: ionice priority: 7
2021-11-29 14:12:33 INFO: create storage snapshot 'vzdump'
2021-11-29 14:12:33 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-101-2021_11_29-14_12_33.tar.gz'
2021-11-29 14:18:16 INFO: Total bytes written: 3674378240 (3.5GiB, 11MiB/s)
2021-11-29 14:18:17 INFO: archive file size: 1.25GB
2021-11-29 14:18:17 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:18:17 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-101-2021_11_24-19_27_37.tar.gz'
2021-11-29 14:18:17 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:18:18 INFO: cleanup temporary 'vzdump' snapshot
2021-11-29 14:18:18 INFO: Finished Backup of VM 101 (00:05:45)

root@pve:/var/log/vzdump# cat lxc-102.log
2021-11-29 14:18:18 INFO: Starting Backup of VM 102 (lxc)
2021-11-29 14:18:18 INFO: status = stopped
2021-11-29 14:18:18 INFO: backup mode: stop
2021-11-29 14:18:18 INFO: ionice priority: 7
2021-11-29 14:18:18 INFO: CT Name: opcuasrv
2021-11-29 14:18:18 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:18:18 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-102-2021_11_29-14_18_18.tar.gz'
2021-11-29 14:20:02 INFO: Total bytes written: 1312665600 (1.3GiB, 13MiB/s)
2021-11-29 14:20:02 INFO: archive file size: 432MB
2021-11-29 14:20:02 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:20:02 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-102-2021_11_24-19_33_34.tar.gz'
2021-11-29 14:20:02 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:20:02 INFO: Finished Backup of VM 102 (00:01:44)

root@pve:/var/log/vzdump# cat lxc-103.log
2021-11-29 14:20:02 INFO: Starting Backup of VM 103 (lxc)
2021-11-29 14:20:02 INFO: status = running
2021-11-29 14:20:02 INFO: CT Name: firebirdsrv
2021-11-29 14:20:02 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:20:02 INFO: backup mode: snapshot
2021-11-29 14:20:02 INFO: ionice priority: 7
2021-11-29 14:20:02 INFO: create storage snapshot 'vzdump'
2021-11-29 14:20:03 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-103-2021_11_29-14_20_02.tar.gz'
2021-11-29 14:22:20 INFO: Total bytes written: 1827379200 (1.8GiB, 13MiB/s)
2021-11-29 14:22:21 INFO: archive file size: 1021MB
2021-11-29 14:22:21 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:22:21 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-103-2021_11_24-19_35_20.tar.gz'
2021-11-29 14:22:21 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:22:21 INFO: cleanup temporary 'vzdump' snapshot
2021-11-29 14:22:21 INFO: Finished Backup of VM 103 (00:02:19)

root@pve:/var/log/vzdump# cat lxc-104.log
2021-11-29 14:22:21 INFO: Starting Backup of VM 104 (lxc)
2021-11-29 14:22:21 INFO: status = stopped
2021-11-29 14:22:21 INFO: backup mode: stop
2021-11-29 14:22:21 INFO: ionice priority: 7
2021-11-29 14:22:21 INFO: CT Name: asterisk
2021-11-29 14:22:21 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:22:21 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-104-2021_11_29-14_22_21.tar.gz'
2021-11-29 14:28:26 INFO: Total bytes written: 3528939520 (3.3GiB, 9.3MiB/s)
2021-11-29 14:28:26 INFO: archive file size: 1.10GB
2021-11-29 14:28:26 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:28:26 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-104-2021_11_24-19_37_39.tar.gz'
2021-11-29 14:28:26 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:28:27 INFO: Finished Backup of VM 104 (00:06:06)

root@pve:/var/log/vzdump# cat lxc-105.log
2021-11-29 14:28:27 INFO: Starting Backup of VM 105 (lxc)
2021-11-29 14:28:27 INFO: status = running
2021-11-29 14:28:27 INFO: CT Name: pi.hole
2021-11-29 14:28:27 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:28:27 INFO: backup mode: snapshot
2021-11-29 14:28:27 INFO: ionice priority: 7
2021-11-29 14:28:27 INFO: create storage snapshot 'vzdump'
2021-11-29 14:28:27 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-105-2021_11_29-14_28_27.tar.gz'
2021-11-29 14:32:05 INFO: Total bytes written: 2614743040 (2.5GiB, 12MiB/s)
2021-11-29 14:32:06 INFO: archive file size: 704MB
2021-11-29 14:32:06 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:32:06 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-105-2021_11_24-19_43_34.tar.gz'
2021-11-29 14:32:06 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:32:06 INFO: cleanup temporary 'vzdump' snapshot
2021-11-29 14:32:07 INFO: Finished Backup of VM 105 (00:03:40)

root@pve:/var/log/vzdump# cat lxc-107.log
2021-11-29 14:38:34 INFO: Starting Backup of VM 107 (lxc)
2021-11-29 14:38:34 INFO: status = running
2021-11-29 14:38:34 INFO: CT Name: remotely
2021-11-29 14:38:34 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:38:34 INFO: backup mode: snapshot
2021-11-29 14:38:34 INFO: ionice priority: 7
2021-11-29 14:38:34 INFO: create storage snapshot 'vzdump'
2021-11-29 14:38:34 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-107-2021_11_29-14_38_33.tar.gz'
2021-11-29 14:42:30 INFO: Total bytes written: 2848378880 (2.7GiB, 12MiB/s)
2021-11-29 14:42:31 INFO: archive file size: 1.26GB
2021-11-29 14:42:31 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:42:31 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-107-2021_11_24-19_53_33.tar.gz'
2021-11-29 14:42:31 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:42:31 INFO: cleanup temporary 'vzdump' snapshot
2021-11-29 14:42:32 INFO: Finished Backup of VM 107 (00:03:59)

root@pve:/var/log/vzdump# cat lxc-108.log
2021-11-29 14:42:32 INFO: Starting Backup of VM 108 (lxc)
2021-11-29 14:42:32 INFO: status = running
2021-11-29 14:42:32 INFO: CT Name: convsvn
2021-11-29 14:42:32 INFO: including mount point rootfs ('/') in backup
2021-11-29 14:42:32 INFO: backup mode: snapshot
2021-11-29 14:42:32 INFO: ionice priority: 7
2021-11-29 14:42:32 INFO: create storage snapshot 'vzdump'
2021-11-29 14:42:32 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-108-2021_11_29-14_42_32.tar.gz'
2021-11-29 14:45:13 INFO: Total bytes written: 2102906880 (2.0GiB, 13MiB/s)
2021-11-29 14:45:13 INFO: archive file size: 1.01GB
2021-11-29 14:45:13 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:45:13 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-108-2021_11_24-19_57_29.tar.gz'
2021-11-29 14:45:13 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:45:13 INFO: cleanup temporary 'vzdump' snapshot
2021-11-29 14:45:14 INFO: Finished Backup of VM 108 (00:02:42)

root@pve:/var/log/vzdump# cat qemu-106.log
2021-11-29 14:32:07 INFO: Starting Backup of VM 106 (qemu)
2021-11-29 14:32:07 INFO: status = running
2021-11-29 14:32:07 INFO: VM Name: hassosova-4.13
2021-11-29 14:32:07 INFO: include disk 'sata0' 'datahdd:vm-106-disk-1' 20G
2021-11-29 14:32:07 INFO: include disk 'efidisk0' 'datahdd:vm-106-disk-0' 1M
2021-11-29 14:32:07 INFO: backup mode: snapshot
2021-11-29 14:32:07 INFO: ionice priority: 7
2021-11-29 14:32:07 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-qemu-106-2021_11_29-14_32_07.vma.gz'
2021-11-29 14:32:07 INFO: issuing guest-agent 'fs-freeze' command
2021-11-29 14:32:07 INFO: issuing guest-agent 'fs-thaw' command
2021-11-29 14:32:08 INFO: started backup task '24e66a0b-4ac3-469b-af61-bc35afe8c2ff'
2021-11-29 14:32:08 INFO: resuming VM again
2021-11-29 14:32:11 INFO:   0% (96.1 MiB of 20.0 GiB) in 3s, read: 32.0 MiB/s, write: 17.4 MiB/s
2021-11-29 14:38:27 INFO:  94% (18.9 GiB of 20.0 GiB) in 6m 19s, read: 354.0 MiB/s, write: 25.0 MiB/s
2021-11-29 14:38:32 INFO: 100% (20.0 GiB of 20.0 GiB) in 6m 24s, read: 232.5 MiB/s, write: 24.1 MiB/s
2021-11-29 14:38:32 INFO: backup is sparse: 13.69 GiB (68%) total zero data
2021-11-29 14:38:32 INFO: transferred 20.00 GiB in 384 seconds (53.3 MiB/s)
2021-11-29 14:38:33 INFO: archive file size: 2.21GB
2021-11-29 14:38:33 INFO: prune older backups with retention: keep-last=3
2021-11-29 14:38:33 INFO: removing backup 'nfsbkcifs:backup/vzdump-qemu-106-2021_11_24-19_47_08.vma.gz'
2021-11-29 14:38:33 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-11-29 14:38:33 INFO: Finished Backup of VM 106 (00:06:26)
 
Das Problem besteht weiterhin. So wie abends um 19 Uhr das Backup anspringt, steigt der Speicherverbrauch von 15GB auf 28GB.
Kann ich noch weiter Logdaten zur Verfügung stellen um das Problem weiter einzugrenzen?

Viele Grüße
Bastian
 
Ich habe das Backup nun angepasst, dass nur eine VM gesichert wird um den Fehler schneller einkreisen zu können.
Gesichert wird ein LXC Container,

Hier der Log:

Code: 
2021-12-03 10:55:34 INFO: Starting Backup of VM 100 (lxc)
2021-12-03 10:55:34 INFO: status = running
2021-12-03 10:55:34 INFO: CT Name: edms
2021-12-03 10:55:34 INFO: including mount point rootfs ('/') in backup
2021-12-03 10:55:34 INFO: backup mode: snapshot
2021-12-03 10:55:34 INFO: ionice priority: 7
2021-12-03 10:55:34 INFO: create storage snapshot 'vzdump'
2021-12-03 10:55:38 INFO: creating vzdump archive '/mnt/pve/nfsbkcifs/dump/vzdump-lxc-100-2021_12_03-10_55_34.tar.gz'
2021-12-03 11:23:03 INFO: Total bytes written: 12382740480 (12GiB, 7.2MiB/s)
2021-12-03 11:23:04 INFO: archive file size: 6.26GB
2021-12-03 11:23:04 INFO: prune older backups with retention: keep-last=3
2021-12-03 11:23:05 INFO: removing backup 'nfsbkcifs:backup/vzdump-lxc-100-2021_11_30-19_00_01.tar.gz'
2021-12-03 11:23:05 INFO: pruned 1 backup(s) not covered by keep-retention policy
2021-12-03 11:23:05 INFO: cleanup temporary 'vzdump' snapshot
2021-12-03 11:23:05 INFO: Finished Backup of VM 100 (00:27:31)


Der Speicherbedarf erhöht sich während der Ausführung des Backups stetig und bleibt dauerhaft erhöht.
Der Anstieg ist von 13.79GB auf 19.37GB, siehe Screenshots Start

PVE_Start.png


und Backup Ende

PVE_End.png

Backup Einstellungen sind
- Mode: Snapshot
- Kompression GZIP (good)
 
Deine VMs/LXCs liegen zum Teil auf einem ZFS Pool. ZFS nutzt standardmäßig bis zu 50% deines RAMs (also bis 16GB) für das Caching. Wenn du ein Backup machst werden massig Daten vom ZFS pool gelesen die dann in den Read Cache (ARC) wandern und solange nichts anderes den RAM dringender brauchst wird es auch bis zum Reboot weiter im RAM den Platz belegen. Ich vermute da also mal stark die zusätzlichen 12GB RAM die verbraucht werden sind einfach der ARC der von 4GB auf 16GB anwächst.
Könntest du checken indem du einmal vor und einmal nach dem Backup arc_summary ausführst und guckst was bei "ARC size (current):" steht.
 
Vielen Dank für die Rückmeldung. Das kann durchaus sein. Habe gerade nochmal einen Reboot durchgeführt und die Backups neu gestartet.
Melde mich, sowie diese durch sind mit den entsprechenden logs.
 
Vorher:

Code: 
ARC size (current):                                    10.7 %    1.7 GiB
        Target size (adaptive):                        11.0 %    1.7 GiB
        Min size (hard limit):                         6.2 %  1001.3 MiB
        Max size (high water):                           16:1   15.6 GiB
        Most Frequently Used (MFU) cache size:         58.8 %  959.5 MiB
        Most Recently Used (MRU) cache size:           41.2 %  671.9 MiB
        Metadata cache size (hard limit):              75.0 %   11.7 GiB
        Metadata cache size (current):                  2.5 %  296.5 MiB
        Dnode cache size (hard limit):                 10.0 %    1.2 GiB
        Dnode cache size (current):                     3.2 %   38.8 MiB

Nachher

Code: 
ARC size (current):                                    96.2 %   15.0 GiB
        Target size (adaptive):                       100.0 %   15.6 GiB
        Min size (hard limit):                         6.2 %  1001.3 MiB
        Max size (high water):                           16:1   15.6 GiB
        Most Frequently Used (MFU) cache size:         38.7 %    5.4 GiB
        Most Recently Used (MRU) cache size:           61.3 %    8.6 GiB
        Metadata cache size (hard limit):              75.0 %   11.7 GiB
        Metadata cache size (current):                 11.5 %    1.4 GiB
        Dnode cache size (hard limit):                 10.0 %    1.2 GiB
        Dnode cache size (current):                    22.5 %  269.9 MiB

Ich denke die Ursache ist somit gefunden.
Negative Nebeneffekte sollte es dadurch aber nicht geben, oder?
Sämtliche VMs und Docker Container bekommen die Ressourcen die sie benötigen und nur der freie Speicher wird verwschwenderisch verteilt? :)


Viele Grüße und danke für die Unterstützung.

Bastian
 
Ja, im Normalfall sollten sich Prozesse wie VMs den RAM vom ARC zurückholen können. Manchmal kann man aber ein Problem haben, wenn da ein Prozess plötzlich viel RAM haben will und ZFS den RAM nicht schnell genug freigegeben bekommt. Dann kein ein Swap helfen, dass es nicht zum OOM kommt.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom