ZFS und PBS: auf Quelle und Ziel notwendig (im Zshg. mit inkr. Backups)?

[whiterabbit]

Hallo.
Ich habe eine Frage zum Dateisystem auf Quelle und Ziel, wenn man Proxmox und den PBS verwendet: Bisher dachte ich, dass man sowohl auf der Quelle (Server A mit Proxmox) als auch auf dem Ziel (Server B mit dem PBS) als Dateisystem ZFS verwenden muss, damit man z.B. die schnellen/inkrementellen Backups vom PBS zeitsparend einsetzen kann. Heute hörte ich, dass das nicht stimmt und dass lediglich auf dem Ziel (also dem Server B mit PBS) zu diesem Zweck ZFS installiert sein muss. Auch dann seien die inkrementellen Backups möglich (oder anders gesagt: Es sind auch dann nicht immer nächtliche Vollbackups sondern schnelle Diff-Backups).

Welche von beiden Alternativen stimmt?
Danke!

 

[tom]

Man braucht gar kein ZFS für PBS (aber ZFS ist meist eine gute Wahl).

 

[whiterabbit]

Ja -- aber das ist ja nicht die Frage ... es geht mir um diff. Backup bzw darum, nicht jede Nacht Vollbackups fahren zu müssen.

 

[tom]

Ja -- aber das ist ja nicht die Frage ... es geht mir um diff. Backup bzw darum, nicht jede Nacht Vollbackups fahren zu müssen.

Na ja, die Frage war wohl ob man ZFS braucht und die Antwort ist nein.

PBS funktioniert komplett unabhängig vom Dateisystem.

 

[whiterabbit]

Na gut -- ich formuliere es anders: Ja, es ist klar, dass ZFS keine notwendige Voraussetzung für den Betrieb des PBS ist.

Dennoch wüsste ich gerne, ob man auf beiden Seiten ZFS benötigt, wenn man INKREMENTELLE Backups, die schnell gehen und nicht die halbe Nacht dauern sollen? Völlig ohne ZFS sind imho auch keine inkr. Backups möglich, oder sehe ich das falsch?

Oder noch anders formuliert: Wenn man die Vorteile von ZFS ausspielen will: Wo muss das dann überall installiert sein?

 

[news]

Das hat mit ZFS nicht direkt etwas zu tun, auf dem Proxmox Server wird ein ZFS Snapshot schneller sein, um eine VM zu sichern.
Zum Proxmox BS wird immer ein Vollbackup angelegt, aber nicht alle 4 MByte Chunks zu diesem übertragen.

Halt nur wenn Sie noch nicht da sind.

Ich nutze durchgängig ZFS um zu wissen, dass kein Bit-Rod mir Daten beschädigt und dass das auch korrigiert werden kann.

 

[tom]

Na gut -- ich formuliere es anders: Ja, es ist klar, dass ZFS keine notwendige Voraussetzung für den Betrieb des PBS ist.

Dennoch wüsste ich gerne, ob man auf beiden Seiten ZFS benötigt, wenn man INKREMENTELLE Backups, die schnell gehen und nicht die halbe Nacht dauern sollen?

Zum dritten mal, nein. PBS braucht kein ZFS. Fast Incremental Backups sind in QEMU implementiert, funktionieren also mit allen Dateisystemen.

Völlig ohne ZFS sind imho auch keine inkr. Backups möglich, oder sehe ich das falsch?

Oder noch anders formuliert: Wenn man die Vorteile von ZFS ausspielen will: Wo muss das dann überall installiert sein?

ZFS hat viele Vorteile, aber hat mit den PBS Funktionen nichts zu tun.

Am besten die Admin Doku lesen, das erklärt viele solche Fragestellungen.
=> https://pbs.proxmox.com/docs/

 

[alietz]

Die Deduplizierung von PBS ist unabhängig vom Dateisystem, auf dem VMs und Backups gespeichert sind. PBS speichert ja seine Backups in Chunks, die 4 MB groß sind (zur Deduplizierung). Durch die Prüfsumme des Chunks erkennt PBS, dass er schon vorhanden ist. Ein Chunk kann von vielen Backups verwendet werden.

Wenn sie vorhanden ist, nutzt PVE die "dirty bitmap" von QEMU. Sollte diese nicht vorhanden sein (zum Beispiel, wenn die VM zwischendurch ausgeschaltet wurde), muss PVE die ganze VM neu einlesen, schickt aber nur die neuen Chunks zu PBS, die es dort noch nicht gibt. Dadurch gehen inkrementelle Backups trotzdem relativ schnell.

 

[Johannes S]

Der einzige Punkt, wo zfs einen Unterschied machen würde, wenn man ssds als special device mit hdds zusammen in einen Pool nutzt: Das würde alles, wo auf viele kleine Dateien und deren Metadaten zugegriffen wird ( wie PBS garbage collection oder verify jobs ) beschleunigen.
Aber: Das hat nichts mit inkrementellen Backups zu tun, dem PBS ist das Dateisystem dafür egal.
Das special device ist ein zfs-Feature, was aber theoretisch auch andere Dateisysteme haben könnten, die meisten haben es halt nicht.

Wofür es tatsächlich zfs braucht ( hat aber auch nicht Backups zu tun): Für pve-zsync und storage replication in Proxmox VE.

 

[Falk R.]

Na gut -- ich formuliere es anders: Ja, es ist klar, dass ZFS keine notwendige Voraussetzung für den Betrieb des PBS ist.

Dennoch wüsste ich gerne, ob man auf beiden Seiten ZFS benötigt, wenn man INKREMENTELLE Backups, die schnell gehen und nicht die halbe Nacht dauern sollen? Völlig ohne ZFS sind imho auch keine inkr. Backups möglich, oder sehe ich das falsch?

Oder noch anders formuliert: Wenn man die Vorteile von ZFS ausspielen will: Wo muss das dann überall installiert sein?

Du hast deine Frage falsch gestellt.
ZFS benötigst du nirgendwo.
Es wird bei PBS Backups IMMER incremental 4 ever gearbeitet und es wird immer nur 1 mal ein Full Backup gemacht.
Wenn die dirty Bitmap der VM weg ist, weil du diese komplett ausgeschaltet hast, dann muss der Backupclient die komplette VM lesen, aber überträgt trotzdem nur die Änderungen.
Ich glaube das sind die Infos, welche du wolltest.

 

[whiterabbit]

Hallo.
Ja, das war mir so nicht klar. Aber in der Zwischenzeit wurde das ja mehrfach erwähnt.
Ich hatte das inkrementelle Backup offenbar tatsächlich mit pve-zsync und storage replication in einen Topf geworfen...

Aber umso besser: Dann kann ich eine Nextcloud, die auf dem Proxmox-Host als VM läuft, ja auch problemlos in einem Nicht-ZFS-Pool ablegen und das Backup über den PBS laufen lassen. Das sollte dann ja trotz der Größe von >1.4 TB relativ flott über die Bühne gehen, wenn sich nicht allzu viele Daten von Tag zu Tag ändern.