Fragen zu zfs Optionen und Proxmox Backups

[Alianaa]

Wenn ich meine VMs und Container per webinterface backuppe, macht es dann Sinn die zu komprimieren, wenn der Ablageort ein zfs mit compression=on ist?
Das wäre doch doppelt komprimiert?

Erst bei der Übertragung an remote server macht die Compression wieder Sinn, weil da die Übertragungsgeschwindigkeit das Bottleneck ist. Korrekt?

Wenn zfs-deduplication an ist, ist dann die backup-compression nicht sogar kontraproduktiv, weil die blöcke nicht mehr zusammenpassen?

 

[Dunuin]

Wenn ich meine VMs und Container per webinterface backuppe, macht es dann Sinn die zu komprimieren, wenn der Ablageort ein zfs mit compression=on ist?
Das wäre doch doppelt komprimiert?

Hängt davon ab was du bei ZFS für einen Kompressionsalgorithmus eingestellt hast. Standard ist ja LZ4 und der versucht kurz zu komprimieren, merkt dann, dass es nichts bringt, weil die Daten bereits komprimiert sind, bricht das Komprimieren dann ab und speichert die Blöcke unkomprimiert. Also bei LZ4 wäre das wohl nicht weiter tragisch, aber bei zstd und Co wäre doppeltes Komprimieren schon unnötiger aufwand.

Erst bei der Übertragung an remote server macht die Compression wieder Sinn, weil da die Übertragungsgeschwindigkeit das Bottleneck ist. Korrekt?

Ja, gerade wenn deine VMs Thin-Provisioning nutzen wäre es sehr ungünstig die Kompression von Vzdump komplett zu deaktivieren. Wenn du da eine 1TB virtuelle Disk hast die nur zu 100GB voll ist, wäre es ja doof, wenn da echt die ganzen 1TB übers Netzwerk geschickt werden müssten, wenn es da mit LZ4 vielleicht nur 80GB wären. Ich würde da also eher die ZFS Kompression für dein Dataset deaktivieren, welches du als Vzdump Storage benutzt und dafür die Vzdump Kompression beibehalten.

Wenn zfs-deduplication an ist, ist dann die backup-compression nicht sogar kontraproduktiv, weil die blöcke nicht mehr zusammenpassen?

Ja, das kann durchaus sein.

Hast du dir mal den Proxmox Backup Server angegeuckt? Gefällt mir persönlich viel besser als mit Vzdump und der macht auch Deduplication und Zstd-Kompression in Software. Da kannst du dann Deduplikation und Kompression über ZFS für das jeweilig Dataset deaktivieren, da PBS sich darum schon darum kümmert. Das spart dann auch ordentlich RAM und Co. Die ganze PBS VM läuft hier mit nur 2-4 GB RAM wunderbar trotz Deduplikation. ZFS würde da ja zusätzliche 5GB RAM je 1 TB Backup Storage haben wollen, wenn man die Deduplikation von ZFS nutzen will. Das summiert sich dann ja schnell.