Backupkonzept

[blubber]

Hallo zusammen,

derzeit werden die CTs und VMs täglich für jeweils 7 Tage gesichert. Dabei sind pro Sicherung ca 4TB in ca 6 Std. weg zuschreiben. Ein Großteil der Daten sind eher statisch Natur und mit geringem Änderungsanteil.

Das hat bekanntermaßen 2 Nachteile:

1. tar verwendet nur eine CPU/Thread, dauert daher auch ewig.
2. es werden aktuell 30tb backup Storage(ext4) benötigt. Dieser ist als lokaler Storage eingebunden.

Nun steht neben dem jetzigem Konzept(Fullbackup) das Inkrementelle Backup entgegen. Ziel soll es sein, dass es jede Woche ein Fullbackup erstellt wird und darauf aufbauend nur die Änderungen geschrieben werden (Inkrementell). Nach der Suche im Inet und hier im Forum gibt es div. Ansätze /patch um das Thema. Jedoch ist für mich entscheidend, welche offizielle Lösung hier möglich ist, welche auch supported ist/wird.

Meine Hoffnung war nun, dass, wie auch bei dem vm/ct pool, der Backup pool als zfs angelegt wird/ist. Nun einfach die Intelligenz von zfs dafür sorge trägt, dass Dubletten innerhalb der lzo erkannt werden und dadurch die Platzbedarf reduziert wird. Optimalerweise ist der Restore dann auch über die Gui managedbar.

Wie macht ihr das?

Danke im Voraus

 

[LnxBil]

Meine Hoffnung war nun, dass, wie auch bei dem vm/ct pool, der Backup pool als zfs angelegt wird/ist.

Genau, dann macht man am geschicktesten ein Backup über ZFS direkt (Snapshot anlegen und übertragen), denn dann wird immer nur die Differenz übertragen und dein System ist in wenigen Minuten gebackupt. Proxmox VE Backup Dateien und ZFS hat keinen Vorteil, auch keinen wenn du Deduplizierung verwendest. Aber siehe dazu weiter unten.

Wie macht ihr das?

So machen wir das.

 

[blubber]

Vielen Dank für deinen Beitrag und den Link zur Präsentation. Hieraus bilden sich zwei Aussagen, bitte korrigieren wenn falsch bzw. nicht zutreffend.

1. VE nutzt die Vorteile eines ZFS Storage bei einem Backup über die WebGUI nicht automatisiert. Somit ist ein eigene Skripting notwendig (basierend auf den Tools von zfs)
2. Hier geht die Frage eher an Proxmox selbst. Im Falle eines fehlerhaften Restores (mit zfs tools), wird hier nur die in der WebGUI implementierten Backuplösung bei aktiver Subscription supportet, oder auch Unterstützung geleistet bei den zfs tools? Wie weit geht der Support an dieser Stelle.

Ich weiß, das mag etwas an den Haaren herbei gezogen worden sein, aber ich schnalle mich bei schneller Fahrt auch gerne mal an und ein funktionierendes Backup ist schön, wenn im Fehlerfall auch der AirBag aufgeht.

Zum anderen Frage ich mich, warum es diese Option "ZFS über NFS" in der Webgui gibt, wenn die Vorteile von ZFS nur per Tools(eines Skripting) zum Vorschein kommen. Wenn beide Pools (vm/ct) und der Backup Pool ein zfs ist, dann wäre es logisch das auch die zfs Tools automatisch zum Einsatz kommen. Auch könnte bei dem Backup Typ dann Snapshot eine andere Bedeutung haben.

 

[LnxBil]

1. VE nutzt die Vorteile eines ZFS Storage bei einem Backup über die WebGUI nicht automatisiert. Somit ist ein eigene Skripting notwendig (basierend auf den Tools von zfs)

Wie genau soll ein Backup auf ZFS-basis auf dem Server selbst funktionieren? Backups müssen ja vom Server weg, sonst sind sie keine richtigen Backups. Proxmox VE schreibt intern immer Backup-Dateien (vzdump), die dann am besten extern abgelegt werden sollen. Dies kann man entweder direkt über das Einbinden via NFS/CIFS erreichen, sodass die Datei gleich entfernt geschrieben wird oder man muss sich selbst was bauen (z.B. über backup-hook-Skript). ZFS hat hier den Vorteil, wenn du die VM direkt lokal im ZFS hast kannst du diese auch entsprechend mit ZFS send/receive auf einen anderen (entfernten) Pool replizieren und hast dann per se ein Backup auf einem anderen Rechner. Hierbei aber wichtig, dass die VM hierfür aber ähnlich wie beim Backup selbst davon mit bekommt, dass jetzt gleich ein Backup gemacht wird - über den QEmu-Guest-Agent.

2. Hier geht die Frage eher an Proxmox selbst. Im Falle eines fehlerhaften Restores (mit zfs tools), wird hier nur die in der WebGUI implementierten Backuplösung bei aktiver Subscription supportet, oder auch Unterstützung geleistet bei den zfs tools? Wie weit geht der Support an dieser Stelle.

Auch wenn ich natürlich nicht für Proxmox Staff sprechen kann, was meinst mit mit fehlerhaften Restore? Über die GUI kann man vzdump-Dateien einbinden, sonst nichts. Dafür gibt es Support. Dir geht es also darum, dass du im Fehlerfall ein entferntes ZFS auf dein PVE zurückreplizieren willst und dafür gerne Support hättest?

 

[thoe]

Moin,
ich mache das Backup bei uns etwas anders.
Die Snapshots werden täglich gemacht, nur einer lokal abgelegt und dann per Borgbackup auf den store gesichert.
Für die nächsten 24h haben wir das Backup also einmal noch lokal liegen und einmal auf dem store.
Das läuft bei uns ganz gut und stabil. Demnächst bald noch etwas flinker, da das Netzwerk auf TGBit ausgebaut wird.

Schönen 2.Advent noch.
Thomas

 

[blubber]

Hallo Thomas,

wenn du von Snapshot redest, redest du dann von zfs snapshots mittels send / receive oder die Snapshots, welche in der GUI verfügbar ist?

Danke im Voraus

 

[Thomas Stofer]

Hallo,
ich sichere mit pve-zsync, mit dem sich incrementiell via Snapshots sichern lässt. Dafür habe ich für meine Kunden ein HP-Mircoserver angeschafft, Proxmox mit zfs installiert. Dann kann man mit pve-zsync jobs einrichten und sie an den Hp senden. Versionierung übernimmt Zsync. Einzelne Dateinen lassen sich mit zfs clone und dem Einbinden derselben sehr leicht wiederherstellen. Auch die ganze VM ist kein Problem.
Bei manchen Kunden sichere ich auch auf USB mit zfs auf die gleiche Art und weise. Das auch mit wechselnden Platten und einem Script..
Dann noch ein Script das den Status von zsync per mail jeden Morgen rüberschickt. Ich kann gut damit leben, es ist sehr zuverlässig!

LG
Thomas