Backup Fehlermeldung: err -12 Cannot allocate memory

[izio]

Hallo zusammen
ich habe hier eine Proxmox 8.3.2 Installation, die immer wieder Probleme mit dem Backup einzelner VMs hat.

Das Hostsystem läuft auf einem ASRock Industrial Mini PC von Asus. Die CPU ist ein AMD Ryzen 5 8640U. Der Host hat 32GB RAM. Die Kernelversion ist 6.8.12-2-pve. Die Enterprise Repositories sind aktiv.

Ich habe 3 Backup Jobs, die die 5 VMs wöchentlich und monatlich sichern. Der Modus ist "Snapshot" und die Kompression ist ZSTD. Das Zielmedium ist jeweils eine externe USB SSD oder ein Synolgy NAS, das über NFS eingebunden ist.

Das System läuft seit 3 Monaten. In dieser Zeit ist keiner der Jobs vollständig gelaufen. Alle VMs wurden mehrmals erfolgreich gesichert, aber bei jedem Job gab es einmal eine VM, die nicht gesichert werden konnte mit folgenden Log-Einträgen:

INFO: VM Name: librenms
INFO: include disk 'scsi0' 'local-lvm:vm-105-disk-0' 80G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating vzdump archive '/mnt/backup_usb/dump/vzdump-qemu-105-2024_12_18-20_47_34.vma.zst'
INFO: started backup task '712c4db5-7d24-428b-bba7-3ac184f36681'
INFO: resuming VM again
INFO:   1% (1.5 GiB of 80.0 GiB) in 3s, read: 525.6 MiB/s, write: 419.9 MiB/s
INFO:   3% (2.9 GiB of 80.0 GiB) in 6s, read: 454.3 MiB/s, write: 386.6 MiB/s
INFO:   8% (6.9 GiB of 80.0 GiB) in 9s, read: 1.4 GiB/s, write: 339.5 MiB/s
INFO:  30% (24.1 GiB of 80.0 GiB) in 12s, read: 5.7 GiB/s, write: 320.2 MiB/s
INFO:  48% (38.6 GiB of 80.0 GiB) in 14s, read: 7.2 GiB/s, write: 291.7 MiB/s
ERROR: job failed with err -12 - Cannot allocate memory
INFO: aborting backup job
INFO: resuming VM again
ERROR: Backup of VM 105 failed - job failed with err -12 - Cannot allocate memory

Irgendetwas stimmt nicht mit der Datenübertragung. Der Zeitpunkt ist jeweils unterschiedlich. Die Meldung "err -12 - Cannot allocate memory" ist aber immer die gleiche.

Was habe ich versucht:
Sicherungsart von Snapshot auf Suspend and Stop geändert.
VM einzeln gesichert
Speicherplatz und Verbindung zum Zielmedium überprüft

In den Logs sehe ich keine weiteren Meldungen. Auch der Speicherverbrauch des Hosts ändert sich während des Backups nicht.

Hat schon jemand dieses Problem gehabt?

 

[izio]

Ganz vergessen zu erwähnen: Auf den VMs läuft ein Debian 12.8 (Kernel 6.1.112-1).

 

[Falk R.]

Cannot allocate memory klingt für mich nach RAM voll. Wie ist denn der Host ausgelastet? Nutzt du ZFS und wenn ja, hast du den ARC Cache limitiert?

 

[izio]

Cannot allocate memory klingt für mich nach RAM voll. Wie ist denn der Host ausgelastet? Nutzt du ZFS und wenn ja, hast du den ARC Cache limitiert?

Der PVE Host ist nur zu 44% ausgelastet beim RAM. Bei den VM sind sie zu 24% ausgelastet. Der Host hat gesamt 32GB zur Verfuegung. Die VM haben jeweils nur 4GB RAM. Waehrend dem Backup steigt der RAM Verbrauch nicht an. ZFS kommt nicht zum Einsatz.

 

[izio]

Da ich keine weiteren Eintraege in den Logs finde noch das Monitoring einen gesteigerten RAM Vebrauch anzeigt, habe ich bei den VM mal das Memory erhoeht. Dies Schrittweise:
4GB RAM Backup bricht haufig mit einer Fehlermeldung ab: err -12 - Cannot allocate memory
6GB RAM Backup bricht haufig mit einer Fehlermeldung ab: err -12 - Cannot allocate memory
8GB RAM Backup scheint zu laufen

Ich weiss das der Linux-Kernel sich gerne das freie RAM fuer Caching greift aber meistens gibt er es wieder her. Warum der Snapshot nicht funktioniert obwohl der Host und die VM noch freies RAM haben (>50%) erschliesst sich mir nicht. Ich lasse den Thread noch offen. Vielleicht hat jemand eine Idee oder ich finde noch was.