[SOLVED] Schedule-Problem nun mit PVE 7.2 lösbar?

[Dunuin]

Moin,

Jetzt wo auch die PVE Backup Jobs mit PVE7.2 die vollen neuen Scheduler Features nutzen können (was ja vorher nur PBS konnte) wollte ich mal fragen, ob sich mein Backup Problem damit lösen lässt.

Problem:
Ich möchte jeden Tag genau ein automatisches Backup haben. 6 Tage die Woche (Mo-Sa) ein schnelles aber nicht sehr Applikations-Datenkonsistentes 'snapshot mode' Backup und ein Tag die Woche (So) ein langsames aber konsistenteres 'stop mode' backup.
Das würde zwar auch bisher klappen mut zwei Backup Jobs auf den selben Datastore, aber auch nur solange man ausschließlich keep-daily und keep-weekly beim Pruning nutzen will, da sich das Pruning ja nicht darum schert von welchem Backup-Job das Backup erstellt wurde.
Ich möchte nämlich ein keep-daily=14, keep-weekly=8, keep monthly=12, keep-yearly=3 haben und dabei ist es mir wichtig das alle weekly, monthly und yearly Backups ausschlieẞlich aus den sichereren 'stop mode' Backups bestehen?
Keep-monthly und keep-yearly behalten beim Pruning aber immer das letzte Backup des Monats oder Jahres. Ist der letzte Tag des Monats oder Jahres also kein Sonntag, dann wird leider immer ein 'snapshot mode' Backup behalten und das 'stop mode' Backup gelöscht.

Einzige Möglichkeit bisher die ich finden konnte war es zwei Datastores zu erstellen mit eigenen Pruning Jobs. Ein Datastore rein für tägliche 'snapshot mode' Backups mit nur keep-daily 14 und ein weiterer Datastore rein für 'stop-mode' Backups mit nur keep-weekly=8, keep-monthly=12, keep-yearly=3.
Da aber die gleichen Gäste in beiden Datastores gespeichert werden müssen und Deduplizierung nicht über Datastores hinaus klappt, verschwendet das leider viel Platz. So 33% könnte ich wohl einsparen, wenn alles mit nur einem Datastore gehen würde.

Hat jemand eine Idee ob sich das nun mit dem mächtigeren Backup Scheduler lösen lässt? Ich habe zwar die Doku gelesen aber die Syntax und Möglichkeiten verwirren mich doch ein wenig.
Wenn ich es richtig sehe wird ja nun unterstützt z.B. Backups immer nur am letzten Tag des Monats oder Jahres zu machen, dass ich da z.B. zusatzlich zu meinen sonntäglichen 'stop mode' Backup job noch zwei weitere 'stop mode' backup jobs für den letzten Tag des Monats und Jahres erstellen könnte.
Weiß zufällig jemand ob man auch irgendwie einstellen könnte, dass da die 'snapshot mode' Backups immer Mo-Sa gemacht werden aber nicht wenn es der letzte Tag des Monats/Jahres ist?
Sonst würde mir nur einfallen die Backups doppelt zu erstellen, also dass da die Mo-Sa 'snapshot mode' Backups z.B. immer um 4 Uhr laufen und die 'stop mode' Backups am letzten Tag des Monats/Jahres immer erneut danach um z.B. 6 Uhr, dass da dann das Pruning das 'Stop mode' Backup behält weil es zwar am gleichen Tag erstellt wurde aber später ist.
Ist aber halt auch nicht ganz optimal, weil dann quasi doppelt die Gäste wegen den Backups gestoppt werden, was dann wieder unnötig die Downtime erhöht.

 

[fabian]

nein, das laesst sich derzeit nicht abbilden ohne
- entweder doppelten platzverbrauch weil zwei datastores
- oder hoehere downtime weil ALLE backups im stop mode gemacht werden
- oder setzen von "protected" fuer die stop-mode backups (manuell oder in der neuesten PVE version in der jobs.cfg - ABER: kein automatisches pruning mehr!)

aaaaber - sobald das namespace feature verfuegbar ist, kannst du zwei namespaces einrichten und beide als storage auf PVE seite definieren:
- namespace "weekly-consistent" (hier wird 1x pro woche ein stop mode backup drauf gemacht, prune settings entsprechend)
- namespace "daily" (hier werden die taeglichen snapshot mode backups drauf gemacht)

chunks werden ueber den gemeinsamen chunk store/datastore dedupliziert, d.h. kein doppelter speicherverbrauch. nur die dirty-bitmaps sind weg (sowieso weil stop-mode backup, aber auch sonst waere dass der fall - es wird ja nur eine bitmap gepflegt, und die bezieht sich auf das letzte backup - ein wechsel des backup ziels hat also immer eine invalidierung der bitmap zur folge!)

 

[Dunuin]

nein, das laesst sich derzeit nicht abbilden ohne
- entweder doppelten platzverbrauch weil zwei datastores
- oder hoehere downtime weil ALLE backups im stop mode gemacht werden
- oder setzen von "protected" fuer die stop-mode backups (manuell oder in der neuesten PVE version in der jobs.cfg - ABER: kein automatisches pruning mehr!)

aaaaber - sobald das namespace feature verfuegbar ist, kannst du zwei namespaces einrichten und beide als storage auf PVE seite definieren:
- namespace "weekly-consistent" (hier wird 1x pro woche ein stop mode backup drauf gemacht, prune settings entsprechend)
- namespace "daily" (hier werden die taeglichen snapshot mode backups drauf gemacht)

chunks werden ueber den gemeinsamen chunk store/datastore dedupliziert, d.h. kein doppelter speicherverbrauch. nur die dirty-bitmaps sind weg (sowieso weil stop-mode backup, aber auch sonst waere dass der fall - es wird ja nur eine bitmap gepflegt, und die bezieht sich auf das letzte backup - ein wechsel des backup ziels hat also immer eine invalidierung der bitmap zur folge!)

Alles klar, danke. Dann versuche ich es erst einmal mit doppelten backups am Monats/Jahresende und warte auf die Namespaces.

 

[Dunuin]

Nochmal eine Frage zur Syntax. Würde ein *-01-31,*-02-28,*-02-29,*-03-31,*-04-30,*-05-31,*-06-30,*-07-31,*-08-31,*-09-30,*-10-31,*-11-30,*-12-31 06:00 immer am letzten Tag des Monats+Jahres um 6 Uhr ein Backup machen (und im Schaltjahr am letzten und vorletzten Tag des Februars) oder geht Komma-Separierung nur bei Wochentagen und Uhrzeiten?

Und wenn ich manuelle Backups mache dann immer als 'protected', was ja dann vom Pruning nicht gelöscht wird und ich die dann von Zeit zu Zeit manuell lösche. Wie handhabt das Pruning da aber das keep-monthly im folgenden Fall?:

Backup Job erzeugt mir am letzten Tag des Januars also am 31ten Januar um 06:00 ein automatisches Backup. Am gleichen Tag um 12:00 erzeuge ich noch ein manuelles Backup und setze dieses auf 'protected'. Keep-monthly stelle ich auf 2 Monate. Würde das Pruning 3 Monate später im April dann das automatische Backup von 6 Uhr morgens behalten weil das Manuelle mit dem Protected-Flag um 12 Uhr ignoriert wird oder würde das Pruning das automatische Backup von 6 Uhr löschen weil das manuelle Backup von 12 Uhr als letztes Backup des Monats angesehen wird?
Weil im letzteren Fall müsste ich dann beim Löschen von manuellen protected Backups aufpassen nicht das letzte Backup des Monats/Jahres zu löschen, weil ich sonst einen Monat ohne Backup hätte.

 

[fabian]

nein, das funktionert so nicht mit der schedule. gehen wuerde z.b. *-01,04,07,10-01 06:00 (erster tag jedes quartals um 6:00). *-*-28,29,30,31 06:00 (aehnlich deinem beispiel, aber gueltige syntax) haette zur folge, dass jeden monat von 28-31. um 6 uhr ein backup gemacht wird - also nicht das was du suchst die von dir gewuenschte kombi wuerde vorraussetzen, dass mehrere schedules hinterlegt werden koennen bei einem job, derzeit ist es nur eine.

protected zaehlen beim pruning einfach nicht. also z.b. folgende backups:

20.01. (protected)
04.03.
06.04. (protected)
06.04. (protected)
06.04.
26.04.
26.04.

mit weekly 3:

20.01. (protected)
04.03. (keep weekly 3)
06.04. (protected)
06.04. (protected)
06.04. (keep weekly 2)
26.04.
26.04. (keep weekly 1)

mit monthly 3:

20.01. (protected)
04.03. (keep monthly 1)
06.04. (protected)
06.04. (protected)
06.04.
26.04.
26.04. (keep monthly 2)

hoffe das hilft sonst vielleicht noch ein tipp - mit dem client lassen sich testweise snapshots mit beliebigen timestamps anlegen (das anlegen muss nur innerhalb der gruppe aufsteigend erfolgen, parameter dazu ist --backup-time). wenn der prune simulator also mal zu unflexibel ist, damit laesst sich alles inklusive geaenderter backup schedules, manueller backups mit und ohne protection, ausgefallene scheduled backups, etc.pp. abbilden