S3 Offsite Backups, RAM knapp

[glorious7210]

Hallo zusammen,

vorab: Den Text habe ich von einer KI überarbeiten lassen, zwecks besserer Lesbarkeit.

Ich habe mir folgendes Test-Setup aufgebaut und würde gern eure Einschätzung zu RAM-Reserven / ZFS / PBS-Backups hören:


Setup:

• Proxmox Host 1 (Frankreich)
  
  • 32 GB RAM
  • ZFS auf 2× 512 GB NVMe
  • VMs: OPNsense, Proxmox Backup Server (im OPNsense-LAN)
• Proxmox Host 2 (Deutschland)
  
  • 64 GB RAM
  • ZFS auf 2× 256 GB SATA SSD
  • VMs: OPNsense, Gameserver (Pterodactyl Wing), Mailarchiv (Debian 13), Gameserver-Panel, Windows Server (Admin)

Backup-Strategie:

• Host DE → tägliche VM-Backups um 01:00 Uhr auf eine Hetzner Storage Box (SMB) für schnelle Restores
• PBS in FR → Offsite-Backup um 03:00 Uhr nach Backblaze B2 (S3, verschlüsselt)

Beobachtung / Problem:

• Kurz nachdem ich das S3-Offsite-Backup im PBS aktiviert habe, sind auf dem deutschen Host Backup-Jobs fehlgeschlagen mit RAM-Mangel
• Der Host meldete laut UI noch freien RAM, trotzdem liefen die Jobs nicht stabil durch
• Testweise habe ich auf dem DE-Host ein ZFS Swap-ZVOL angelegt → danach liefen die Backups zuverlässig
• Auffällig: Der Swap war regelmäßig belegt, auch außerhalb der Backup-Zeiten, obwohl laut UI noch ausreichend RAM verfügbar war

Frage / Denkfehler?

• Wie viel freier, nicht durch VMs geblockter RAM sollte man realistisch auf einem ZFS-Proxmox-Host für PBS-Backups einplanen?
• Ist Swap auf ZFS hier ein legitimer „Airbag“ oder eher ein Hinweis auf falsche RAM-Aufteilung (ARC, Ballooning, VM-Limits)?
• Gibt es empfohlene Best-Practices für RAM-Reserven bei ZFS + PBS + S3-Offsite-Backups?

Vielen Dank vorab für eure Einschätzungen

 

[Johannes S]

Kurz nachdem ich das S3-Offsite-Backup im PBS aktiviert habe, sind auf dem deutschen Host Backup-Jobs fehlgeschlagen mit RAM-Mangel

S3 ist in PBS noch technol9gy-preview, darauf würde ich much bei Backups nicht verlassen.

Auffällig: Der Swap war regelmäßig belegt, auch außerhalb der Backup-Zeiten, obwohl laut UI noch ausreichend RAM verfügbar war

Das ist normal und so gewollt:
https://chrisdown.name/2018/01/02/in-defence-of-swap.html

Frage / Denkfehler?

• Wie viel freier, nicht durch VMs geblockter RAM sollte man realistisch auf einem ZFS-Proxmox-Host für PBS-Backups einplanen?

Memory: minimum 4 GiB for the OS, filesystem cache and Proxmox Backup Server daemons. Add at least another GiB per TiB storage space
https://pbs.proxmox.com/docs/installation.html#recommended-server-system-requirements

• Ist Swap auf ZFS hier ein legitimer „Airbag“ oder eher ein Hinweis auf falsche RAM-Aufteilung (ARC, Ballooning, VM-Limits)?

Swap auf zfs zvols ist eine blöde Idee:
https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#zfs_swap

Was man machen kann und sinnvoll ist: zram-swap, optional in Kombination mit expliziter swap-Partition:
https://pve.proxmox.com/wiki/Zram

Mir reicht zram.
Ebenfalls eine Überlegung wert kann es sein den ZFS-ARC-Cache des PBS zu begrenzen.

Allgemein zu ram:

J

[TUTORIAL] Thread 'FABC: Why is ProxmoxVE using all my RAM and why can't I see the real RAM usage of the vms in the dashboard?'

May 7, 2025

This article is about a question frequently answered by community members. It was inspired by UdoBs great FabU posts ( https://forum.proxmox.com/search/7994094/?q=FabU&c[title_only]=1&c[users]=UdoB ) and aims to give an in depth-explaination to an often asked question so it can be referenced in future threads. It will be changed as needed, any Feedback/suggestions welcome

My dashboard shows that most of my RAM is used although my VMs and LXCs only have a small fraction allocated. Is this a memory leak bug?

Propably not. First you need to know that ProxmoxVE is based on Debian Linux...

• Johannes S
• cache dashboard fabc kernel linux memory monitoring ram tutorial zfs
• Replies: 7
• Forum: Proxmox VE: Installation and configuration

• 

Und zum zfs arc cache:

C

Thread 'ZFS ARC compared to linux page cache.'

May 11, 2025

Hi guys, I have decided to make this thread as there is threads popping up related to the ARC.

In my experience ZFS ARC is a lot more polite than the old 'host page cache', and is also actually much more configurable. However its defaults are not necessarily suited for proxmox due to that ARC usage isnt considered as available by the linux kernel.

If you use ext4 on the host, then the page cache will be used by the operating system, this cache can consume almost all of your free ram, has a dumb eviction mechanism, is barely configurable, and if swap file is enabled will usually...

• chrcoluk
• Replies: 6
• Forum: Proxmox VE: Installation and configuration

• 

 

[glorious7210]

Danke für den Hinweis zur PBS-Doku, die Mindestanforderungen kenne ich.
Mir ging es aber nicht um den RAM-Bedarf von PBS selbst, sondern um den Host Headroom auf einem Proxmox Host mit ZFS, also:

Wie viel RAM sollte man zusätzlich zu allen VMs auf dem Proxmox-Host frei lassen, damit ZFS ARC + PBS-Backups (Dedup, GC, S3-Uploads) nicht zu Swap/IO-Pressure oder Host-Freezes führen?

Gibt es dafür aus deiner / eurer Praxis eine grobe Faustregel (z. B. 10–15 GB Host-Reserve bei X TB Storage)?