Frage zu Backups über WAN Strecke

[pleibling]

Hallo liebe Mitstreiter,

ich habe mal eine Frage. Ich bin vor kurzem auf Proxmox PVE mit PBS umgestiegen.

In meinem Heimnetz habe ich nun alle VMs auf einem lokalen PBS gesichert (ca. 1.5 TB) und diesen nun über eine DSL (40 MBit Upload) ins RZ gesichert.

Dies hat logischerweise mehrere Tage gedauert (initial seed, ca. 3-4) und alle 24 Stunden wurde die Leitung dank Zwangstrennung nachts neu verbunden.

Dabei sind natürlich Fehlermeldungen aufgetreten, wie diese hier:

2023-12-28T20:39:09+01:00: sync archive drive-virtio1.img.fidx
2023-12-28T21:04:32+01:00: percentage done: 99.35% (10/11 groups, 13/14 snapshots in group #11)
2023-12-28T21:04:32+01:00: sync group vm/199 failed - error:0A000119:SSL routines:ssl3_get_record:decryption failed or bad record mac:../ssl/record/ssl3_record.c:622:
2023-12-28T21:04:32+01:00: Finished syncing namespace , current progress: 10 groups, 13 snapshots
2023-12-28T21:04:32+01:00: TASK ERROR: sync failed with some errors.

Ich gehe mal davon aus, das dies die Zwangstrennung war (laut Fritzbox war diese um 1:10 Uhr).

Nun würde ich gerne wissen, wie verhält es sich bei den Backups? Wenn PBS merkt, das eine Backupdatei nicht "in Ordnung" ist - wird diese dann neu übertragen? Und prüft PBS auch die Dateien zwischendurch ob die in Ordnung sind, wenn ja wie (z.B. vergleich von Hash Werten)?

Danke für eure Unterstützung und noch einen schönen Tag wünsche ich euch .

 

[Falk R.]

Hi, der PBS weiß erst einmal nix von den Backups beim Sync. Er synchronisiert einfach die geänderten chunks. Wenn ein Chunk unvollständig übertragen wurde, dann wird der noch einmal übertragen.

 

[Dunuin]

Wenn PBS merkt, das eine Backupdatei nicht "in Ordnung" ist - wird diese dann neu übertragen?

Ja, also wenn ein Chunk fehlt oder Hashes nicht mehr passen wird der neu übertragen.

Und prüft PBS auch die Dateien zwischendurch ob die in Ordnung sind, wenn ja wie (z.B. vergleich von Hash Werten)?

Ja, dazu musst du dann einen regelmäßign (Re-)Verify Job laufen lassen.

Nun würde ich gerne wissen, wie verhält es sich bei den Backups?

Bin nicht sicher wie das beim Sync ist, aber ich meine beim Backup muss der ganze Backup Snapshot erneut übertragen werden, wenn die Verbindung abbricht.

 

[Falk R.]

Wenn die Verbindung abbricht, checkt er die übertragenen Chunks und überträgt dann die fehlenden. So konnte ich das bisher beobachten.

 

[pleibling]

Hallo @Dunuin, danke für deine schnelle Antwort.

Wenn die Dateien erneut übertragen werden, bin ich beruhigt - auch wenn ein ganzer Snapshot neu übertragen werden muss (das kann zwar im max. ein halber Terrabyte sein - aber besser als wenn die Datei beschädigt ist).

Denn Verify Job habe ich ja laufen, aber denn macht er doch nur über die eigenen lokalen Dateien und nicht gegenüber der Remoteseite oder?

 

[pleibling]

@Falk R. : Das wäre ja noch viel besser. Wenn dem wirklich so ist, dann bin ich echt mega zufrieden - schon am Anfang sieht das viel besser aus als zuvor mit Veeam. Auch wenn Sicherungen lokal neu erstellt wurden, dann hat die Datenmenge des Volumes sich kaum geändert (warhscheinlich, weil nur die geänderten Chunks gesichert wurden) und auch die Sicherung ist wesentlich schneller durch als zuvor mit Veeam.

Proxmox gefällt mir immer besser. War zwar eine Menge umzustellen - aber hat sich gelohnt. Mittlerweile beherbergt Proxmox meine gesamte Umgebung. Hier mal ein Screenshot, wie es derzeit aussieht. Als nächstes kommt nun PMG ins RZ und dann noch Mailcow auf dem Docker zuhause.

 

[Falk R.]

Hallo @Dunuin, danke für deine schnelle Antwort.

Wenn die Dateien erneut übertragen werden, bin ich beruhigt - auch wenn ein ganzer Snapshot neu übertragen werden muss (das kann zwar im max. ein halber Terrabyte sein - aber besser als wenn die Datei beschädigt ist).

Denn Verify Job habe ich ja laufen, aber denn macht er doch nur über die eigenen lokalen Dateien und nicht gegenüber der Remoteseite oder?

Der Verify ist immer lokal und muss auch beim Secondary eingerichtet werden.
Er synct nie ganze Snapshots, außer es sind alles neue Daten. Alle Chunks die schon bekannt und vorhanden sind, werden nicht neu übertragen.

 

[pleibling]

Danke @Falk R. nochmal für deine schnelle Antwort. Verify habe ich auf beiden Systemen eingerichtet. Dazu auch noch den Garbage Collector (ist doch ok, oder?).

Mit den Chunks habe ich mir fast gedacht - echt Mega!

 

[Falk R.]

@Falk R. : Das wäre ja noch viel besser. Wenn dem wirklich so ist, dann bin ich echt mega zufrieden - schon am Anfang sieht das viel besser aus als zuvor mit Veeam. Auch wenn Sicherungen lokal neu erstellt wurden, dann hat die Datenmenge des Volumes sich kaum geändert (warhscheinlich, weil nur die geänderten Chunks gesichert wurden) und auch die Sicherung ist wesentlich schneller durch als zuvor mit Veeam.

Proxmox gefällt mir immer besser. War zwar eine Menge umzustellen - aber hat sich gelohnt. Mittlerweile beherbergt Proxmox meine gesamte Umgebung. Hier mal ein Screenshot, wie es derzeit aussieht. Als nächstes kommt nun PMG ins RZ und dann noch Mailcow auf dem Docker zuhause.

Proxmox ist immer deutlich schneller bei Backup und Restore. Das liegt aber auch daran, dass der PBS direkt für den PVE entwickelt wurde und der Client direkt im Hypervisor läuft und auch über diesen angetriggert wird.

 

[Falk R.]

Danke @Falk R. nochmal für deine schnelle Antwort. Verify habe ich auf beiden Systemen eingerichtet. Dazu auch noch den Garbage Collector (ist doch ok, oder?).

Mit den Chunks habe ich mir fast gedacht - echt Mega!

Ja, auch GC und Prune müssen auf dem Secondary eingerichtet werden.

 

[pleibling]

Proxmox ist immer deutlich schneller bei Backup und Restore. Das liegt aber auch daran, dass der PBS direkt für den PVE entwickelt wurde und der Client direkt im Hypervisor läuft und auch über diesen angetriggert wird.

Einfach Hammer, habe ich mir schon fast gedacht - aber das dann auch in Echt zu sehen ist noch mal um einiges cooler.

GC und Prune sind nun auf beiden eingerichtet - danke dir.

 

[Dunuin]

Wenn die Verbindung abbricht, checkt er die übertragenen Chunks und überträgt dann die fehlenden. So konnte ich das bisher beobachten.

Also wenn ich mich an einen alten Thread zum Thema richtig erinnere, dann sollte PVE einfach jeden Chunk noch einmal hochladen und PBS stellt dann fest, dass der Chunk schon existiert und verwirft ihn.

Denn Verify Job habe ich ja laufen, aber denn macht er doch nur über die eigenen lokalen Dateien und nicht gegenüber der Remoteseite oder?

Ja, willst du sicher sein, dass deine Ausgangsdaten auf dem PVE heil sind nutze ein Dateisystem wie ZFS mit Checksumming und ECC RAM. Wenn du zu einem anderen PBS syncst musst du beim anderen PBS ebenfalls Verify-Jobs laufen lassen.

 

[Falk R.]

Eventuell schreibt mal jemand vom Staff dazu. Meiner Meinung wird nur eine Checksumme übertragen. Und dann geprüft.

 

[pleibling]

@Falk R. : Würde mich auch interessieren, wollte noch YouTube Beiträge auf meinem Kanal bringen bezüglich PVE, PBS und PMG - da wäre es klasse wenn ich verifizierte richtige Informationen verwenden könnte.

 

[Dunuin]

Also wenn ich mich an einen alten Thread zum Thema richtig erinnere, dann sollte PVE einfach jeden Chunk noch einmal hochladen und PBS stellt dann fest, dass der Chunk schon existiert und verwirft ihn.

Alten Thread gefunden: https://forum.proxmox.com/threads/large-backups-over-unreliable-network.134107/

Das war das, was ich noch im Kopf hatte:

As far as I understand uploaded but unreferenced chunks will only be deleted by the next GC. So unless 24 hours have passed and a GC was running the chunks should still be there and shouldn't be needed to be uploaded again when you run the backup again.

because right now, this is only half true. if you have this sequence of events:

1. successful backup
2. partial backup that got interrupted
3. new backup attempt

than 3 will directly (client-side) deduplicate with the chunks from 1 and skip uploading those chunks, but any new chunks that were uploaded by 2 before the interruption which are not part of the chunk list of snapshot 1 will only be deduplicated server-side (the client does not know about them, so it will upload them again, but the server will then see that they are already there in the chunk store, and discard them to save the write OP).

@fabian:
Ist das nur bei fehlgeschlagenen Backups der Fall oder auch bei fehlgeschlagenen Sync Jobs?

 

[Falk R.]

Ok, dann wird die Chunk List noch einmal gezogen. Aber das ist ja in der Regel extrem selten. Auf jeden Fall wird nix inkonsistent nur nicht vollständig, wenn die Übertragung abgebrochen wird.

 

[pleibling]

Mega, klingt gut - danke vielmal für eure Mühen. Möchte demnächst Videos in meinem Youtube Kanal zu PVE und PBS machen, da werde ich die Informationen dann weiterverwenden. Alles in allem war der Wechsel von VMWare zu Proxmox für mich eine gute Entscheidung - einmal wegen der Genialen Software, aber auch wegen der Community, insbesondere euch beiden @Falk R. und @Dunuin .

Danke vielmals .

 

[Tobias.F]

Ja, auch GC und Prune müssen auf dem Secondary eingerichtet werden.

Es gehen aber auch zwei Repositories mit einem PBS.
Seit Version 3.1 unterstützt PBS "lokale Sync Jobs". "Local" kann hier aber auch remote sein.

 

[Dunuin]

Seit Version 3.1 unterstützt PBS "lokale Sync Jobs". "Local" kann hier aber auch remote sein.

Das ging auch schon immer. Man musste als Remote halt einfach nur "localhost" angeben anstatt der IP eines weiteren PBS.

 

[Tobias.F]

Das ging auch schon immer. Man musste als Remote halt einfach nur "localhost" angeben anstatt der IP eines weiteren PBS.

Danke, wusste ich nicht.
Ich bin neu mit PVE unterwegs und war erst darüber verwundert, dass für eine zweite Kopie des Backups auch ein zweiter Backup Server notwendig ist. Über diese "neue Funktion2 habe ich mich dann gefreut.

Ein hieran anknüpfende Frage:
Ist mit einem zweiten Server eine Geschwindigkeitssteigerung bei Sicherung über eine langsame Verbindung zu rechnen? Ich habe z. Z. beim lokalen PBS als zweites Repository einen Remote Speicher über cifs eingebunden (Hetzner Storage Box) und synchronisiere über den lokalen PBS. Das klappt, aber das ist im Vergleich zu dem, was die Leitung hergibt grotten langsam.