Mehrere Backup Jobs nacheinander

[Chiacomo]

Hallo,

ich habe mehrere Backupjobs, welche zu bestimmten Zeit ablaufen.

Ich würde aber gerne den nächsten Job starten, sobald der Vorgänger fertig ist.

Gibt es hierzu eine Möglichkeit?

VLG

 

[hmalzahn]

Ich mache das einfach so:
Job 1: 21:00 Uhr
Job 2: 21:01 Uhr
Job 3: 21:02 Uhr usw.
Es läuft immer nur ein Backup-Job gleichzeitig, die nächsten warten auf eine globales Lockfile, dass erst freigegeben wird, wenn der vorige Job fertig ist.

 

[Chiacomo]

Tja, wenn es so einfach wäre

Ich habe einen Cluster aus 16 PVE Hosts atm. Auf diesen laufen 165 VMs in 14 Pools. Endausbau sind 26 PVE Hosts mit 270 VMs.
Das heisst, ich habe viel zu sichern. Ich sichere einen Pool nach dem anderen. Ich kann aber nie genau sagen, wie lange ein Job läuft, daher wäre ein Feature super, bei dem man eine Startzeit für den ersten Job festlegen kann und die weitern Jobs in Abhängigkeit vom vorherigen starten lasen kann.

Vielleicht gibt es die Möglichkeit schon, deshalb fragen ich hier. Wenn nicht, wär das echt mal ein sehr sinnvolles Feature. Evtl kann sich einer der Entwickler oder der Supporter hierzu äußern.

VLG

 

[hmalzahn]

Das ist bei meinem einzelnen PVE mit 16 VMs und 4 LXC-Containern natürlich wesentlich übersichtlicher. Ich habe das einfach in drei Jobs aufgeteilt, einen mit den Servern mit Snapshot-Backups, einen mit Servern mit Stop-Backups, und einen mit dem Rest, die laufen dann brav nacheinander in einer knappen halben Stunde durch.

 

[Chiacomo]

Hast hier keiner mehr Info oder einen Tipp für mich?

 

[fabian]

ist nicht implementiert, aber du kannst natuerlich statt dem eingebauten pvescheduler jobs auch selber schedulen - wie @hmalzahn beschrieben hat kann pro node immer nur ein backup zu einem zeitpunkt laufen. du kannst aber z.b. vzdump --pool nummer1 [..]; vzdump --pool nummer2 [..] aufrufen um pools nacheinander zu sichern. ueber die API natuerlich ebenso moeglich: vzdump API endpoint liefert dir die zugehoerige task UPID, task status API endpoint kannst du regelmäßig pollen um zu schauen ob das backup fertig ist.

 

[Falk R.]

Warum eigentlich keine Parallelen Backups?
Ich bekomme bei Kunden mit großen Clustern deutlich mehr Durchsatz auf den PBS wenn mehrere Backups parallel laufen.

 

[fabian]

es gibt ein paar teile im code die davon ausgehen dass sie bestimmte pfade exklusiv nutzen koennen - dass liesse sich aber natuerlich fixen. der hauptgrund ist, dass auf den meisten systemen das inverse problem auftritt -> mehr backups == langsamere backups == mehr auswirkungen auf laufende gaeste, vor allem bei VMs (weil dort das backup im I/O path copy-before-write macht!).

https://bugzilla.proxmox.com/show_bug.cgi?id=3347