Backup Job zu Cloud Storage Probleme

[pt_it]

Guten Morgen,

aktuell bin ich dabei eine Art Offsite Backup zu organisieren.
Habe dazu eine Hetzner Storage Box angeschafft und diese per fstab direkt an den Backup Server gemountet.
Danach bin ich hingegangen und habe diesen im Proxmox Datacenter als Storage hinzugefügt.
Da die Internetverbindung relativ lahm (25mbit/s Upload) ist und ich mehrere große Systeme darauf laufen habe, laufen die Backups aktuell so ab, dass jeden Tag erstmal eine neue VM dazukommt.
Bedeutet

Tag 1 -> Maschine 1
Tag 2 -> Maschine 1 + 2
Tag 3 -> Maschine 1 + 2 + 3

Dadurch das es Inkrementelle Backups sind und ich jeweils nur eine Version möchte, klappt das soweit ganz gut.
Jedoch habe ich bei der aktuellen Maschine ein Problem, welches jedes mal auftaucht wenn das Backup läuft.

Der Backup Job bringt jedes mal diesen Fehler:
backup write data failed: command error: write_data upload error: pipelined request failed: Atomic rename on store 'hetzner' failed for chunk 2a05b705470bbbe86e1fc8fb87248e54433ef7b4a1d46e6f6abef79ffe5b4963 - Resource temporarily unavailable (os error 11)

Auch die darauffolgende Maschine zeigt den Fehler an: VM 111 qmp command 'backup' failed - got timeout (denke weil der obige Job hängen bleibt???)

Hier mal die Job Auswertung für 3 Tage:

VMID	NAME	STATUS	TIME	SIZE	FILENAME
111	VM-3	OK	00:05:08	120.00GB​	vm/111/2023-07-23T20:30:04Z
112	VM-2	OK	00:08:09	70.00GB​	vm/112/2023-07-23T20:35:13Z
114	VM-1	OK	00:03:35	220.00GB​	vm/114/2023-07-23T20:43:23Z
TOTAL​	00:16:55	410.00GB

VMID	NAME	STATUS	TIME	SIZE	FILENAME
110	VM-4	FAILED	00:13:43	backup write data failed: command error: write_data upload error: pipelined request failed: Atomic rename on store 'hetzner' failed for chunk 4356762231c386f0237f48822e7a1754e7f35a02dd0f4b61c7eb5bccdbea406d - Resource temporarily unavailable (os error 11)
111	VM-3	FAILED	00:06:37	VM 111 qmp command 'backup' failed - got timeout
112	VM-2	OK	00:13:26	70.00GB​	vm/112/2023-07-24T20:50:29Z
114	VM-1	OK	01:24:24	220.00GB​	vm/114/2023-07-24T21:03:55Z
TOTAL​	01:58:11	290.00GB

VMID	NAME	STATUS	TIME	SIZE	FILENAME
110	VM-4	FAILED	00:14:48	backup write data failed: command error: write_data upload error: pipelined request failed: Atomic rename on store 'hetzner' failed for chunk 2a05b705470bbbe86e1fc8fb87248e54433ef7b4a1d46e6f6abef79ffe5b4963 - Resource temporarily unavailable (os error 11)
111	VM-3	FAILED	00:06:04	VM 111 qmp command 'backup' failed - got timeout
112	VM-2	OK	00:37:14	70.00GB​	vm/112/2023-07-25T20:50:54Z
114	VM-1	OK	01:29:03	220.00GB​	vm/114/2023-07-25T21:28:08Z
TOTAL​	02:27:11	290.00GB

Was genau ist das Problem und kann man ein Offsite Backup auf einen Cloud Storage machen? (zuverlässig?)
Habe schon versucht es über den Sync Job auf einen Cloud Speicher zu bekommen, aber bei der Datenmenge wäre das ein mehr als 24 Std. Job und ist auch genauso mittendrin hängen geblieben.

Kann man auch einzelne vorhandene Backup auf Dateiebene auf einen externen Cloudspeicher kopieren?
Oder hat jemand vllt generell eine bessere Lösung?

 

[pt_it]

Nachtrag:
Habe es gerade nochmal manuell angestoßen und diesmal folgende Meldung bekommen:

VMID	NAME	STATUS	TIME	SIZE	FILENAME
110	VM-4	FAILED	00:23:52	backup write data failed: command error: write_data upload error: pipelined request failed: writing temporary chunk on store 'hetzner' failed for 83e3d54573bf4b5501661e86d6865d0ebb63f88f1a1b3c9b9a98b9767b9c90eb - Cannot allocate memory (os error 12)
111	VM-3	OK	00:25:47	120.00GB​	vm/111/2023-07-26T05:09:02Z
112	VM-2	OK	00:15:54	70.00GB​	vm/112/2023-07-26T05:34:50Z
114	VM-1	OK	00:05:06	220.00GB​	vm/114/2023-07-26T05:50:45Z
TOTAL​	01:10:43	410.00GB

 

[Falk R.]

Generell ist die Storagebox nicht gut geeignet für Backups von zuhause. Wenn du einen Server bei Hetzner betreibst, geht das noch einigermassen, weil dann die Latenz zur Storagebox innerhalb des RZ sehr gering ist.
Wenn offload in die Cloud, mache ich immer lokale Backups mit dem PBS und synchronisiere diese dann auf einen PBS in der Cloud. Entweder bei Tuxis oder auf einen eigenen Dedicatet Server bei Hetzner mit PBS drauf.
Wenn du nicht so viele Daten hast, guck dir mal das kostenlose Angebot von Tuxis an.
https://www.tuxis.nl/de/proxmox-backup-server/

 

[pt_it]

Danke für die Antwort.
Das synchronisieren ist so eine Sache, intern geht das ja schnell von der Hand und klappt problemlos.

Mein ursprünglicher Plan war, das vorhandene Backup zu einem weiteren PBS intern zu syncen und diesen dann in die Cloud zu syncen, sodass man ein DISK 2 DISK 2 Cloud hat.

Jedoch das in die Cloud syncen von mehr als 3,98 TB ist zu einem sehr langwierig und zum anderen gab es auch dort schon ähnliche Probleme, dass es zwischenzeitlich irgendein System einen kurzen Schluckauf hatte und hängen geblieben ist mitten im Job.
Gibt es die Möglichkeit den Sync in die Cloud einzuschränken auf 1 Backup von jeder Maschine oder geht immer nur voll sync?
Im Desaster Fall brauch ich nur 1 Backup.

 

[Falk R.]

Du kannst ja beim Intialsync mitgeben, dass nur der letzte Restorepunkt übertragen wird, aber du musst das Full einmal über die Leitung jagen.
Ich weiß nicht ob du den Sync innerhalb eines Namespace splitten kannst, aber du kannst deine Backups auf verschiedene Namespaces verteilen und diese einzeln syncen.

 

[Falk R.]

Mein ursprünglicher Plan war, das vorhandene Backup zu einem weiteren PBS intern zu syncen und diesen dann in die Cloud zu syncen, sodass man ein DISK 2 DISK 2 Cloud hat.

Wie machst du den sync zur Cloud? hast du nen PBS mit der Storagebox als Datastore? Wenn ja solltest du den PBS auch vernünftig sichern.

 

[pt_it]

Der Plan war ursprünglich folgender:
Ich habe 2 Proxmox Hosts.
Auf beiden Hosts jeweils 1 PBS
Zu jedem PBS 2x Datastores (1xNAS, 1x andere Netzwerkspeicher)
Die Datastores jeweils Syncen, damit ich an 2 unterschiedlichen Orten die gleichen Backups habe.
Dann für das Offsite habe ich eine Storagebox genutzt die ich als Datastore hinzugefügt habe.

Aber aufgrund diverser Abschätzungen, wäre mein aktueller Wunsch folgender:
2 Hosts (2 eigene Dedizierte Server im Haus)
1 PBS (muss der eigentlich auch ein dedizierter Server sein oder reicht virtuell auf einen der Hosts? Was passiert wenn der nicht mehr funzt? Kann man den Storage an einen neu aufgesetzten PBS hängen?)
1 PBS Storage (qnap nas)
1 Externer Speicher für Offsite Backup mit jeweils einem Backup pro Server für den Desaster Fall

Wie lässt sich das sicher umsetzen? Habe das Gefühl nicht alles zu wissen

 

[Falk R.]

Also NAS ist allgemein nicht gut für PBS.
Dedizierter PBS ist natürlich das Optimum aber VM geht auch gut.
Mal als kleiner Ideenbringer, mein Setup:
2x PVE im Cluster mit Ceph (nur als Spielwiese für mich)
Kleiner Mini Rechner mit QuadCore Celeron und 8GB RAM spielt dritten PVE als Quorum für Cluster und Ceph. Darauf habe ich meine PBS VM.
An die VM wird die Backupdisk direkt durchgeschleift und im PBS habe ich ZFS. Die PBS VM sichere ich zusätzlich per vzdump auf ein USB Medium.
Damit kann ich meinen PBS auf jedem PVE restoren und dann einfach Disk wieder einhängen.
Wenn das NAS eh da ist, kann man es natürlich nutzen, aber bei Anschaffungen würde ich immer lokale Disks bevorzugen.
Ich synchronisiere meine Backups über eine andere Lösung mit einem S3 Speicher in der Cloud, aber das ist nichts was man privat bezahlen möchte. Ich nutze einfach Speicher der über ist in meinem Firmenbucket.

 

[pt_it]

Okay danke für die Infos.
Bei dem NAS hatte ich komischerweise noch nie Probleme.

Mal reine Spinnerei, was wäre eigentlich wenn z.B. mein Host mit der PBS VM abraucht und ich nur noch den Datastore auf meinem Nas habe?
Kann ich einen neuen PBS aufsetzen und den Backup Datastore problemlos anbinden und die VMs wiederherstellen?
Wäre ja der gleiche Fall, wie wenn alles abraucht und ich den Storagebox Datastore an einen neuen PBS hängen müsste für ein Desaster Restore.

Wenn das alles zu Problemen führen könnte, wäre wahrscheinlich tuxis eine Lösung, da dort Speicher und PBS sind.
Wäre nur herauszufinden, wie man dem "Intialsync mitgeben, dass nur der letzte Restorepunkt übertragen wird"

 

[Falk R.]

Okay danke für die Infos.
Bei dem NAS hatte ich komischerweise noch nie Probleme.

Mal reine Spinnerei, was wäre eigentlich wenn z.B. mein Host mit der PBS VM abraucht und ich nur noch den Datastore auf meinem Nas habe?
Kann ich einen neuen PBS aufsetzen und den Backup Datastore problemlos anbinden und die VMs wiederherstellen?
Wäre ja der gleiche Fall, wie wenn alles abraucht und ich den Storagebox Datastore an einen neuen PBS hängen müsste für ein Desaster Restore.

Wenn das alles zu Problemen führen könnte, wäre wahrscheinlich tuxis eine Lösung, da dort Speicher und PBS sind.
Wäre nur herauszufinden, wie man dem "Intialsync mitgeben, dass nur der letzte Restorepunkt übertragen wird"

Das mit dem wieder einbinden ist manueller Aufwand, den du im Desasterfall nicht haben willst. Deshalb habe ich meinen PBS als VM und mache vzdump Sicherungen auf eine USB NVMe. Die kann ich an jeden beliebigen PVE stecken und meinen PBS restoren. Dann ist der nach 2 Minuten wieder online.

 

[pt_it]

Das mit dem wieder einbinden ist manueller Aufwand, den du im Desasterfall nicht haben willst. Deshalb habe ich meinen PBS als VM und mache vzdump Sicherungen auf eine USB NVMe. Die kann ich an jeden beliebigen PVE stecken und meinen PBS restoren. Dann ist der nach 2 Minuten wieder online.

Wie genau konfiguriert man so eine Sicherung?
Also USB Device an PVE durchschleifen usw. klar, aber an welcher Stelle wird das Backup erstellt und wie bindet man im Desasterfall es ein?
Wie kann ich stelle ich dann den PBS wieder her?

 

[Falk R.]

Die NVME habe ich mit ext4 oder xfs formatiert, müsste ich erst nachschauen.
Dann ganz normal gemountet wie bei jedem Linux und als Directory Storage im PVE eingebunden.
Wenn du dann einen Backupjob konfigurierst mit dem Datastore als Ziel, macht er einfache VZDump Backups. In der VM Konfiguration erlaube ich auch nur das Backup von der OS vDisk. Die durchgeschliffene Disk wird nicht mit gebackupt.

Im Desasterfall stecke ich den Stick an einen PVE, mounte den und erstelle wieder ein Directory Storage, dann kann man direkt restoren.

 

[Falk R.]

Hab eben noch mal kurz geschaut, ich nutze XFS und den Mount kannst du dir sparen und das ganze kannst du auch direkt über die GUI erstellen und mounten.

 

[pt_it]

Danke, habe mal ne SSD per USB angebunden und als XFS formatiert und als Directory angebunden.
Backup vom Server habe ich jetzt darauf erstellt.
Man sollte doch meinen, man könnte dann einfach mit einem normalen mount Befehl das USB Device unmounten und spaßeshalber an dem anderen PVE über die Shell mounten.
Verstehe ich das so richtig oder wie wäre das Prozedere?
Würde das gerne mal komplett durchspielen, damit ich auch sicher bin, dass ich weiß was im Ernstfall zu tun ist.

 

[Falk R.]

Ja mit manuell geht das immer, kannst aber auch über die GUI mounten

 

[pt_it]

hm, habe jetzt folgende Schritte abarbeitet:
1. An PVE-1 über Directory die USB Platte angebunden
2. Habe dann die PBS VM über den PVE-1 angeklickt und im Menü Backup ein Backup erstellt auf die zuvor gemountete USB Platte.
3. Dann habe ich die Platte abgezogen und an PVE-2 gehangen.
4. Dort wird unter Disk die Platte erkannt, jedoch ohne Partition

5. Nun möchte ich die Platte mounten, aber wie, da er die Partition nicht erkennen kann?

Hab die Schritte schon zwei mal durchgeführt, jedesmal wird nur noch die Platte an sich erkannt, aber keine Partition.

 

[floh8]

Woran machstn das fest?

 

[pt_it]

Woran machstn das fest?

Reine Vermutung, kann das Gerät nicht mounten, weder an dem PVE-2 noch am ursprünglichen PVE.

 

[floh8]

dann hast du offenkundig auch keine eingerichet. machs noch mal richtig zB. über Proxmox UI und dann gehts auch. Am besten vorher wipen.

 

[pt_it]

Habe die Platte nun nochmal gewiped und wieder über den Menüpunkt "Directory" hinzugefügt.

Gleiche habe ich zuvor auch jedes mal gemacht. Also eine Partition hat die Platte wohl, sagt zumindest das GUI.

Per SSH:


Jetzt wäre mein nächster Schritt auf dieses angebundene Directory ein Backup meines PBS zu speichern.


So jetzt sollte doch alles richtig sein, oder? Bin auch stark überzeugt davon, dass ich es genauso vorher auch gemacht habe.