Best practice für PBS remote Synchronizing über WAN

[maxprox]

Hi Admins,

sicher nicht die erste Frage zu dem Thema, konnte aber noch keine Antwort raus filtern....

wir erweitern unsere Backups gerade auf Remotes & Sync übers Internet.
Bisher verstehe ich noch nicht, welche gegenseitigen Einstellungen für Pruning, und Garbage Collection sowie für remove-vanished, die best geeignetsten sind. Und welche sich gegenseitig negativ beeinflussen:

Wir möchten folgendes erreichen, bzw. vermeiden:

• auf der Sync Maschine soll möglichst der gleiche Stand, nicht mehr und nicht weniger, gesynct werden, wie auf dem "Remotes" PBS (auf dem die lokalen Backups erzeugt werden).
• oder empfehlt ihr bereits hier zu differenzieren?
• Falls eine VM / LXC am Standort gelöscht wurde, soll sie nicht sofort am Sync Standort gelöscht werden. Irgendwann, zB 8 Wochen verzögert schon.
• Wir möchten vermeiden, dass wir auf der Sync Maschine Backups per Pruning, und Garbage Collection nächtlich löschen, die beim nächsten Sync-Backup jedesmal zusätzlich und wiederholt gesynct werden (löschen-syncen-löschen-syncen usw.... ).

Kann mir dazu jemand ein Tipp, eine best practice Empfehlung geben? Mit welchen Einstellungen fahrt Ihr? auf dem "Remotes" und auf der Sync-Maschine?
um hohe Effizienz und Sicherheit zu erlangen?

beste Grüße,
gerd

 

[Falk R.]

Hi Gerd,

ich glaube du denkst zu kompliziert.
Auf deinem PBS stellst du Prune ein, z.B. 31 Tage und 12 Wochen. Dann liegen die Backups genau so lange da.
Dein Sync PBS zieht sich erst einmal jeden Chunk der beim letzten Backup hinzugekommen ist und auf dem PBS stellst du eine eigene Prune Einstellung ein, z.B. 14 Tage + 24 Wochen + 12 Monte + 5 Jahre.
Dann werden genau so viele Backups aufbewahrt.

 

[Dunuin]

Falls eine VM / LXC am Standort gelöscht wurde, soll sie nicht sofort am Sync Standort gelöscht werden. Irgendwann, zB 8 Wochen verzögert schon.

Und "remove-vanished" dann vermeiden, wenn du das willst. Macht ja auch Sinn das nicht zu nutzen wegen Ransomware/Human Error.

 

[maxprox]

Hi Falk, Hi Dunuin,

Danke!
hatte fast gehofft von euch beiden eine Antwort zu bekommen ;-)

@Falk R.
Verstehe ich deine Antwort richtig, dass selbst wenn ich beim Sync PBS andere, weniger oder sogar kürzere Aufbewahrungen einstelle, es nicht zum "löschen-syncen-löschen-syncen" kommt? Er holt also nicht nach jedem Sync erst mal wieder ALLES rüber was es auf dem lokalen Kunden PBS gibt?
EDIT: Ich will vermeiden, dass der Sync unnötig mehrere Stunden dauert (zB bei einer 16tausender Leitung) für Daten, die dann wieder gelöscht werden.


@Dunuin
"remove-vanished" bezieht sich also eben nur auf die VMs/LXCs oder Gruppen, die am lokalen Kunden PBS "weg" (zB "Ransomware/Human Error"... ) sind?

Danke euch
Grüße,
gerd

 

[Dunuin]

@Falk R.
Verstehe ich deine Antwort richtig, dass selbst wenn ich beim Sync PBS andere, weniger oder sogar kürzere Aufbewahrungen einstelle, es nicht zum "löschen-syncen-löschen-syncen" kommt? Er holt also nicht nach jedem Sync erst mal wieder ALLES rüber was es auf dem lokalen Kunden PBS gibt?
EDIT: Ich will vermeiden, dass der Sync unnötig mehrere Stunden dauert (zB bei einer 16tausender Leitung) für Daten, die dann wieder gelöscht werden.

PBS 3.0 ist mit dem neuen "transfer-last" Feature gekommen. Wenn man das in einem Sync Job nutzt, dann werden nur die letzten X Backup Snapshots gesynct. Wenn du das "transfer-last" klein genug hältst und oft genug syncst, dann würde er wenigstens keine alten Backup Snapshots erneut syncen die du remote schon gelöscht hast.

@Dunuin
"remove-vanished" bezieht sich also eben nur auf die VMs/LXCs oder Gruppen, die am lokalen Kunden PBS "weg" (zB "Ransomware/Human Error"... ) sind?

Nein. Wenn du ein Backup Snapshot auf PBS A löscht (egal ob manuell gelöscht, automatisches Pruning etc) und dann PBS B von PBS A syncen/pullen lässt, dann wird PBS B alles an vorhandenen Backup Snapshots löschen was auch auf PBS A gelöscht wurde. Löscht du ein Backup Snapshot an einem PBS, dann wird es auch auf den anderen PBSs gelöscht. Spart dir dann Verwaltungsaufwand bei manuellem Löschen (du musst den gleichen Backup Snapshot nicht einzeln in jedem PBS webUI löschen) aber ist nicht gerade toll wenn dir Human Error oder Ransomware-Schutz wichtig ist.

 

[Falk R.]

Das ist mir aber neu, dass der das löschen mit synchronisiert. Ich lösche so selten, das teste ich mal.

 

[fabian]

grundsaetzlich werden immer nur neuere snapshots als lokal vorhanden gesynct. nachdem du beim prunen normalerweise nicht den letzten snapshot loeschen wirst, solltest du also nie eine re-sync problematik haben.

wenn du ein loeschen auf quell seite nicht direkt in ein loeschen auf ziel seite uebersetzen willst, dann einfach "remove-vanished" nicht aktivieren (ohne remove-vanished loescht ein sync job gar nichts, das bleibt dann ganz dem pruning ueberlassen).

also zusammengefasst fuer das setup das du willst (quelle und ziel entkoppelt):
- backups auf A
- pruning auf A
- GC auf A
- sync A->B ohne remove-vanished, optional mit transfer-last wenn du nicht alle neuen snapshots syncen willst
- pruning auf B (mit beliebigen Settings, koennen aggressiver oder weniger aggressiv als auf A sein)
- GC auf B

remove-vanished wuerdest du setzen, wenn A und B moeglichst ident sein sollen (dann kannst du dir das pruning auf B sparen)
transfer-last wuerdest du setzen, wenn die leitung zwischen A und B oder der platz auf B limitiert sind, und du trotzdem die aktuellsten snapshots auf B haben willst.

 

[maxprox]

Vielen Dank euch für die Klarstellung,

Jetzt haben wir folgende Einstellungen vorgenommen:
Hupps die Screenshots sind etwas zu groß geraden, liegt wohl an meiner 4K Auflösung, sorry ....
Aber gut zu lesen ;-)


am Kundenstandort, PBS-A:


Die Aufhebezeiten werden evtl. noch erhöht, wir wollten zunächst die Entwicklung des Speicherverbrauchs beobachten ...

Der Sync Destination Server PBS-B Sync Job:



Der Sync Destination Server PBS-B Prune u. GC:



So sollte oben von Fabian beschriebenes in etwa umgesetzt sein ....


schöne Grüße,
gerd

 

[Falk R.]

Hi, ich nutze nicht so gern keep last, sondern keep days. Wenn mal jemand 2-3 Backups händisch dazwischen macht, fehlen dir im Ernstfall 3 Tage. Einfach mal in Ruhe drüber nachdenken und dann passend zu den Erwartungen konfigurieren.

 

[maxprox]

Hi Falk,

macht vielleicht Sinn. Für mich gar nicht mal wegen fehlender Tage bei händischen Backups, weil zu selten, um für mich von Bedeutung.
Aber ich überlege gerade, ob "Daily" nicht klarer definiert, was ich will, nämlich täglich ein Backup in genau dieser Anzahl ;-)
auch danke für diesen Anstoß