suche PBS Backup Anleitung für Voll - und inkrementelle Sicherungen

[kschi]

Moin, bin neu in der Proxmox Welt, deshalb habe ich noch viele Verständnisprobleme...

So auch beim Backup. Habe 2 Hosts mit erst einmal 10 VMs drauf und einen PBS auf VMware laufen. Im PBS ist eine SMB Weiterleitung auf einen Backupserver, der die Bandsicherungen übernimmt (das bleibt auch so).

Ich möchte eine wöchentliche Vollsicherung am Samstag um 20:00 Uhr und tägliche inkrementelle Sicherungen auch um 20:00 Uhr. Alle Sicherungen sollen 2 Wochen aufbewahrt werden (oder die letzten 2)

Wenn ich das jetzt richtig verstehe, erstelle ich im PVE Menü Backup 2 Backupaufträge? Einen nur Samstags und einen von Sonntag bis Freitag 20:00 Uhr?
Im PBS erstelle ich dann den Prune und sage dort dass die 2 letzten Sicherungen aufbewahrt werden sollen.

Woher weiß der tägliche Job, dass er nur inkrementelle machen muss?
Wenn dann die 2te Sicherung (vollbackup) weggelöscht wird, was passiert denn mit den auf dem nicht mehr vorhandenen Vollbackup aufbauenden inkrementellen Sicherungen?

Wer kann mir eine Erklärung geben oder ein kennt ein YT, der diese Frage beschreibt?

Danke für Eure Hilfe,

Karsten

 

[UdoB]

Jede Sicherung ist gleichzeitig eine Vollsicherung und sie wird inkrementell erstellt. Das ist die Magie des PBS und der eingebauten Deduplizierung, die es bei klassischen Backup-Datei-Verfahren nicht gibt.

Ein Backup Job um 20:00 genügt daher. Und "Aufbewahrung: Tage behalten = 14" genügt (eigentlich) ebenfalls.

Spiel mal mit dem Simulator, der erklärt vieles: https://pbs.proxmox.com/docs/prune-simulator/

 

[kschi]

Ok, soweit logisch. Also sind diese Einstellungen korrekt?

PVE, Aufbewahrung: ALLE:


PBS:



Aber kannst Du mir die Frage beantworten:
Was passiert mit den nachfolgenden inkrementellen Sicherungen, wenn die erste Vollsicherung durch Prune bereinigt wurde? Die inkrementellen Sicherungen benötigen doch die eigentliche Vollsicherung?
Beispiel:
Samstag, der 1. wird eine Vollsicherung gemacht, von 2.-6. eine inkrementelle.
Samstag, der 7. ist wieder eine Vollsicherung, vom 8.-13. inkrementell.
Am 14. wird wieder eine Vollsicherung gemacht, der Prune löscht aber die erste Sicherung vom 1. weg.
Was passiert mit der inkrementellen Sicherung am 2., funktioniert die dann noch?
Und könnte ich ein Vollbackup vom 6. zurückspielen?

Und ist die Option 'Letzte behalten' nicht sicherer? Wenn aus irgendwelchen Gründen das Backup nicht funktioniert hat, so sind wenigstens vom Datum her 'ältere' vorhanden und können recovert werden?

Danke für Deine (Eure) Tipps,

Karsten

 

[UdoB]

Also sind diese Einstellungen korrekt?

Sieht gut aus

Was passiert mit den nachfolgenden inkrementellen Sicherungen, wenn die erste Vollsicherung durch Prune bereinigt wurde?

Das Pruning markiert Chunks als "wird nicht mehr benötigt". Nach 24 Stunden werden diese Häppchen dann tatsächlich gelöscht - der Speicherplatz wird erst dann wieder frei und steht erneut zur Verfügung.

(Nanu, ein Satz war verschwunden): Natürlich werden KEINE Chunks gelöscht, die noch in irgendeinem Backup verwendet werden. Jedes Backup kann für ein vollständiges Restore genutzt werden.

Die Chunks sind maximal exakt 4 MiB groß; durch die dynamische Komprimierung aber real eher ~2 MiB. Falls du eine (übertrieben große) VM mit einer 1 TB Festplatte sicherst, werden 250 Tausend dieser relativ kleinen Dateien abgespeichert.

Schau mal in den ".chunks"-Ordner deines PBS-Datastores. Dort sind exakt 65536 Unterordner...

Darum braucht möchte ein PBS hohe IOPS und SSDs; das hin- und herfahren des mechanischen Kopfes einer Blechplatte ist sonst... schmerzhaft langsam.

Beispiel:

Trenn dich von den Vokabeln "Vollsicherung" und "inkrementell". So etwas gibt es hier schlicht nicht.

Es werden alle Chunks aufbewahrt, die in irgendeinem der Backups verwenden werden. Der Rest kann weg --> die Garbage Collection erledigt das.

 

[Falk R.]

Ich übersetze noch einmal in klassische Backupsprache:
- Der PBS macht jeden Tag inkrementelle Sicherung (incremental Forever)
- Jede Sicherung wird aber als Synthetische Vollsicherung abgelegt (rein logisch und mit Dedup)
Daher ist jeder Restorepunkt immer autark und hat keine Abhängigkeiten.

P.S. SMB würde ich nicht unbedingt für einen PBS nutzen, im Homebereich kann man da beide Augen zudrücken, aber im Unternehmensumfeld ein NoGo.
Der PBS kann auch Tape.

 

[kschi]

P.S. SMB würde ich nicht unbedingt für einen PBS nutzen, im Homebereich kann man da beide Augen zudrücken, aber im Unternehmensumfeld ein NoGo.
Der PBS kann auch Tape.

Danke für die Infos.
Du hast recht, SMB ist erst einmal eine Zwischenlösung, bis die neue DataDomain mit dem neuen Backup läuft. Bis das alles konfiguriert ist, wird erst einmal per SMB auf den alten Backup Server kopiert, der macht dann die Speicherung auf eine Tape Library.

 

[Falk R.]

Ich hoffe du willst keine Datadomain an den PBS anschließen. Der PBS macht immer Dedup und wenn du das auf eine Datadomain schiebst, wird das ein teures und nutzloses Storage, da deduplizierte Daten kannst du nicht nochmal deduplizieren.

 

[kschi]

Jep, Proxmox bzw virtualisierung ist nur ein kleiner Teil der zu sichernden Daten...

 

[Falk R.]

Jep, Proxmox bzw virtualisierung ist nur ein kleiner Teil der zu sichernden Daten...

Das wird super langsam und ineffizient.
Hast du nicht einen einfachen Server mit internen Disks?

 

[GMBauer]

Ich verstehe, dass der TE ein "externes" Backup machen möchte, auch zum Schutz gegen physikalischen Untergang.

Auf der anderen Seite habe ich verstanden, dass das eigentlich mit dem System des PBS nicht zu vereinbaren ist.

Was empfiehlst du, wenn jemand ein richtiges externes Backup haben möchte? Und dieses externe Backup auf einer USB-SSD 1 x pro Woche mit nach Hause nehmen und dort auf einen vom Netz getrennten PC kopieren möchte?

Veeam könnte das, aber Veeam ist imho ein bisschen zu instabil auf Proxmox. Dauert vielleicht noch ein, zwei Jahre bis es so selbstverständlich perfekt läuft wie auf ESXi.

 

[Johannes S]

Ich verstehe, dass der TE ein "externes" Backup machen möchte, auch zum Schutz gegen physikalischen Untergang.

Auf der anderen Seite habe ich verstanden, dass das eigentlich mit dem System des PBS nicht zu vereinbaren ist.

Was empfiehlst du, wenn jemand ein richtiges externes Backup haben möchte? Und dieses externe Backup auf einer USB-SSD 1 x pro Woche mit nach Hause nehmen und dort auf einen vom Netz getrennten PC kopieren möchte?

Die USB als removable Datastore einrichten, dieses Feature ist mit PBS Version 3.3 dazu gekommen:

Support for removable datastores.Datastores can now be created on removable media for offline storage.After unmounting the removable datastore, the medium can be removed.The datastore can be used on multiple Proxmox Backup Server instances.
https://pbs.proxmox.com/wiki/index.php/Roadmap#Proxmox_Backup_Server_3.3

Damit kann man eine mit XFS oder ext4 formatierte externe SSD als Datastore nutzen:
https://pbs.proxmox.com/docs/storage.html#datastore
Anmerkung: Theoretisch gehen auch andere Dateisysteme, aber das sind die offiziell empfohlenen:

They can be created on already correctly formatted partitions, which should be either <span>ext4</span> or <span>xfs</span> as with normal datastores, but most modern file systems supported by the Proxmox Linux kernel should work.

Note

FAT-based file systems do not support the POSIX file ownership concept and have relatively low limits on the number of files per directory. Therefore, creating a datastore is not supported on FAT file systems. Because some external drives are preformatted with such a FAT-based file system, you may need to reformat the drive before you can use it as a backing-device for a removable datastore.
https://pbs.proxmox.com/docs/storage.html#datastore

Veeam könnte das, aber Veeam ist imho ein bisschen zu instabil auf Proxmox. Dauert vielleicht noch ein, zwei Jahre bis es so selbstverständlich perfekt läuft wie auf ESXi.

Ich kenne Veeam ja nur aus den Forum hier und als Backup für den Vmware-Cluster auf der Arbeit (und da habe ich weder mit den Backup noch Vmware direkt was zu tun, da ich "nur" administrativen Zugriff auf die VMs habe), aber generell frage ich mich ja wegen der Berichte ier oder so Sachen wie der fehlenden Unterstützung für die logische Replikation von Postgres-Datenbanken, ob Veeam am Anfang ihrer Vmware-Unterstützung dort genauso kaputt waren und falls ja, wieso sie denn überhaupt den aktuellen Status in der "Enterprise-Welt" erreichen konnten.

 

[Falk R.]

Was empfiehlst du, wenn jemand ein richtiges externes Backup haben möchte? Und dieses externe Backup auf einer USB-SSD 1 x pro Woche mit nach Hause nehmen und dort auf einen vom Netz getrennten PC kopieren möchte?

Im Businessumfeld nimmt doch keiner USB Platten mit.
Am besten einen externen zweiten PBS.

 

[Johannes S]

Im Businessumfeld nimmt doch keiner USB Platten mit.

Kommt auf die Größe der Firma an Ich hatte, meine ich, hier schon mal geschrieben, dass ich mal jemanden begegnet bin, der eine kleine Medienagentur betreibt. Von IT und Serverbetrieb hat er nicht wirklich Ahnung und auch nicht wirklich Budget für mit seiner 3-Personen-Bude.
Aber er hat ein Backupkonzept: Mehrere externe Festplatten, die er regelmäßig durchrotiert (sodass er immer noch einen alten Stand hat) und auf der aktuell verwendeten er jeden Abend (nur dafür wird sie angeschloßen) eine Sicherung der Tagesarbeitsergebnisse drauf packt.

Am besten einen externen zweiten PBS.

Sehe ich grundsätzlich genauso, aber wenn man (warum auch immer) dafür das Geld nicht ausgeben möchte (was ja auch bei Firmen vorkommen soll) oder aber man sich einredet, dass man zwingend air-gapped-Backup braucht, dann finde ich das durchaus legitim.

Mir wäre es ja viel zu riskant, dass der Verantwortliche (insbesondere wenn ich das selbst bin) das dranstecken, syncen und abstecken der externen Platte vergisst.

 

[Falk R.]

Genau, das Problem ist hier die Hauptfehlerquelle Mensch.

 

[GMBauer]

Im Businessumfeld nimmt doch keiner USB Platten mit.
Am besten einen externen zweiten PBS.

Wir sind uns grundsätzlich aber einig, dass der zweite PBS nicht bei der Originalhardware stehen soll, oder? Das unterstelle ich zumindest mit deinem "externen"...

Das Problem ist, dass wir in unserer Firma ums Verrecken nichts schnelleres bekommen als einen DSL 100 mit tatsächlich 80 Mbit/s down und 30 Mbit/s up. Und wir sind in einem großen Gewerbegebiet in einer Kleinstadt ganz nahe an München mit Niederlassungen von der TU München, SAP, BMW und so weiter, also nicht so ein Handwerkerhof. Glasfaser ist vorne an der Hauptstraße verlegt, aber bis das zu uns kommt, dauert es noch.

 

[GMBauer]

Ich kenne Veeam ja nur aus den Forum hier und als Backup für den Vmware-Cluster auf der Arbeit (und da habe ich weder mit den Backup noch Vmware direkt was zu tun, da ich "nur" administrativen Zugriff auf die VMs habe), aber generell frage ich mich ja wegen der Berichte ier oder so Sachen wie der fehlenden Unterstützung für die logische Replikation von Postgres-Datenbanken, ob Veeam am Anfang ihrer Vmware-Unterstützung dort genauso kaputt waren und falls ja, wieso sie denn überhaupt den aktuellen Status in der "Enterprise-Welt" erreichen konnte.

Das frage ich mich auch manchmal. Afaik waren die Veeam-Leute früher bei VMware. Mit diesem Insiderwissen ging alles vielleicht ein bisschen besser.

 

[Falk R.]

Wir sind uns grundsätzlich aber einig, dass der zweite PBS nicht bei der Originalhardware stehen soll, oder? Das unterstelle ich zumindest mit deinem "externen"...

Das Problem ist, dass wir in unserer Firma ums Verrecken nichts schnelleres bekommen als einen DSL 100 mit tatsächlich 80 Mbit/s down und 30 Mbit/s up. Und wir sind in einem großen Gewerbegebiet in einer Kleinstadt ganz nahe an München mit Niederlassungen von der TU München, SAP, BMW und so weiter, also nicht so ein Handwerkerhof. Glasfaser ist vorne an der Hauptstraße verlegt, aber bis das zu uns kommt, dauert es noch.

Das ist kein echtes Problem. Für dich ist dann die Option einen Server bei Hetzner zu mieten nicht das richtige, aber wenn du einen kleinen Provider hast der Housing anbietet oder einen anderen externen Standort, dann den Initialsync vor Ort machen und die Inkrements sind echt nicht groß.
Ich habe auch einen Kunden mit Standort in Italien wo nur 2 MBit Synchron vorhanden sind. Das Initiale haben wir per USB Disk und Post gemacht und jetzt ist die kleine Leitung nachts mal 1-2 Stunden dicht. Aber alles im Rahmen.

 

[GMBauer]

Wäre es eine denkbare Strategie, drei externe USB-Platten zu benutzen, A + B + C?
In Woche 1 komplettes Backup auf ein externes Medium (= A). Danach abhängen, mit nach hause nehmen, in den Tresor legen.
In Woche 2 dito auf B
In Woche 3 dito auf C
In Woche 4 A komplett plattmachen an einem Arbeitsplatzrechner, dann an den PBS hängen und ein komplettes Backup machen. Danach abhängen....
In Woche 5 B ....

Oder mülle ich mir da den PBS mit irgendwelchen Verwaltungsdaten von jedem einzelnen Backup zu?

Bin ich zu altmodisch, wenn ich immer wieder mal ein komplettes Vollbackup ohne inkrementelle Zusätze haben möchte?

(Ich sichere sogar meine Workstations jeden Tag auf zwei unterschiedliche Arten: per Acronis auf Synology 1 und per Synology's Active Backup for Business auf Synology 2. Muss man halt von der Zeit her entzerren...)

 

[Johannes S]

Wäre es eine denkbare Strategie, drei externe USB-Platten zu benutzen, A + B + C?
In Woche 1 komplettes Backup auf ein externes Medium (= A). Danach abhängen, mit nach hause nehmen, in den Tresor legen.
In Woche 2 dito auf B
In Woche 3 dito auf C
In Woche 4 A komplett plattmachen an einem Arbeitsplatzrechner, dann an den PBS hängen und ein komplettes Backup machen. Danach abhängen....
In Woche 5 B ....

Das müsste gehen.

Oder mülle ich mir da den PBS mit irgendwelchen Verwaltungsdaten von jedem einzelnen Backup zu?

Warum solltest du? Wenn du jedesmal die Datastores löschst und neu anlegest, sollte das passen.

Bin ich zu altmodisch, wenn ich immer wieder mal ein komplettes Vollbackup ohne inkrementelle Zusätze haben möchte?

Nein, aber sehr optimistisch, was menschliche Faktoren angeht

Mir wäre es bei deinen Szenario schlicht zu wahrscheinlich, das einer der Schritte mal vergessen wird (weil Zuständiger krank oder im Urlaub/gestresst/whatever).

(Ich sichere sogar meine Workstations jeden Tag auf zwei unterschiedliche Arten: per Acronis auf Synology 1 und per Synology's Active Backup for Business auf Synology 2. Muss man halt von der Zeit her entzerren...)

Das ist ja ein anderes Szenario als mit externen Medien, wo man sich ums an-, ab- und umstekcen kümmern muss.

 

[GMBauer]

Nein, aber sehr optimistisch, was menschliche Faktoren angeht

Mir wäre es bei deinen Szenario schlicht zu wahrscheinlich, das einer der Schritte mal vergessen wird (weil Zuständiger krank oder im Urlaub/gestresst/whatever).

Dreimal darfst du raten, wer in meiner Firma das machen müsste...

Mir geht es ja nur um eine zusätzliche Sicherheitsstufe für den Fall Brand/Vandalismus. Natürlich würden normale Backups vor Ort erstellt werden.

Ich denke jetzt gerade an einen zweiten, versteckten kleinen PBS irgendwo in einer anderen Ecke der Firma. (Das ist ja das überragend schöne am PBS, dass es da auch ein kleiner hübscher Micro-PC tut (Dell Optiplex Micro oder ein Fujitsu Esprimo) mit einer 2 oder 4 TB großen M.2 tut.)

Mehrere PBS unabhängig voneinander parallel zu nutzen ist ja kein Problem, oder?