Backupkonzept

blubber

New Member
Nov 7, 2019
21
0
1
23
Hallo zusammen,

derzeit werden die CTs und VMs täglich für jeweils 7 Tage gesichert. Dabei sind pro Sicherung ca 4TB in ca 6 Std. weg zuschreiben. Ein Großteil der Daten sind eher statisch Natur und mit geringem Änderungsanteil.

Das hat bekanntermaßen 2 Nachteile:

1. tar verwendet nur eine CPU/Thread, dauert daher auch ewig.
2. es werden aktuell 30tb backup Storage(ext4) benötigt. Dieser ist als lokaler Storage eingebunden.

Nun steht neben dem jetzigem Konzept(Fullbackup) das Inkrementelle Backup entgegen. Ziel soll es sein, dass es jede Woche ein Fullbackup erstellt wird und darauf aufbauend nur die Änderungen geschrieben werden (Inkrementell). Nach der Suche im Inet und hier im Forum gibt es div. Ansätze /patch um das Thema. Jedoch ist für mich entscheidend, welche offizielle Lösung hier möglich ist, welche auch supported ist/wird.

Meine Hoffnung war nun, dass, wie auch bei dem vm/ct pool, der Backup pool als zfs angelegt wird/ist. Nun einfach die Intelligenz von zfs dafür sorge trägt, dass Dubletten innerhalb der lzo erkannt werden und dadurch die Platzbedarf reduziert wird. Optimalerweise ist der Restore dann auch über die Gui managedbar.

Wie macht ihr das?

Danke im Voraus
 

LnxBil

Famous Member
Feb 21, 2015
6,495
831
163
Saarland, Germany
Meine Hoffnung war nun, dass, wie auch bei dem vm/ct pool, der Backup pool als zfs angelegt wird/ist.

Genau, dann macht man am geschicktesten ein Backup über ZFS direkt (Snapshot anlegen und übertragen), denn dann wird immer nur die Differenz übertragen und dein System ist in wenigen Minuten gebackupt. Proxmox VE Backup Dateien und ZFS hat keinen Vorteil, auch keinen wenn du Deduplizierung verwendest. Aber siehe dazu weiter unten.

Wie macht ihr das?

So machen wir das.
 

blubber

New Member
Nov 7, 2019
21
0
1
23
Vielen Dank für deinen Beitrag und den Link zur Präsentation. Hieraus bilden sich zwei Aussagen, bitte korrigieren wenn falsch bzw. nicht zutreffend.

1. VE nutzt die Vorteile eines ZFS Storage bei einem Backup über die WebGUI nicht automatisiert. Somit ist ein eigene Skripting notwendig (basierend auf den Tools von zfs)
2. Hier geht die Frage eher an Proxmox selbst. Im Falle eines fehlerhaften Restores (mit zfs tools), wird hier nur die in der WebGUI implementierten Backuplösung bei aktiver Subscription supportet, oder auch Unterstützung geleistet bei den zfs tools? Wie weit geht der Support an dieser Stelle.

Ich weiß, das mag etwas an den Haaren herbei gezogen worden sein, aber ich schnalle mich bei schneller Fahrt auch gerne mal an ;) und ein funktionierendes Backup ist schön, wenn im Fehlerfall auch der AirBag aufgeht.

Zum anderen Frage ich mich, warum es diese Option "ZFS über NFS" in der Webgui gibt, wenn die Vorteile von ZFS nur per Tools(eines Skripting) zum Vorschein kommen. Wenn beide Pools (vm/ct) und der Backup Pool ein zfs ist, dann wäre es logisch das auch die zfs Tools automatisch zum Einsatz kommen. Auch könnte bei dem Backup Typ dann Snapshot eine andere Bedeutung haben.
 

LnxBil

Famous Member
Feb 21, 2015
6,495
831
163
Saarland, Germany
1. VE nutzt die Vorteile eines ZFS Storage bei einem Backup über die WebGUI nicht automatisiert. Somit ist ein eigene Skripting notwendig (basierend auf den Tools von zfs)

Wie genau soll ein Backup auf ZFS-basis auf dem Server selbst funktionieren? Backups müssen ja vom Server weg, sonst sind sie keine richtigen Backups. Proxmox VE schreibt intern immer Backup-Dateien (vzdump), die dann am besten extern abgelegt werden sollen. Dies kann man entweder direkt über das Einbinden via NFS/CIFS erreichen, sodass die Datei gleich entfernt geschrieben wird oder man muss sich selbst was bauen (z.B. über backup-hook-Skript). ZFS hat hier den Vorteil, wenn du die VM direkt lokal im ZFS hast kannst du diese auch entsprechend mit ZFS send/receive auf einen anderen (entfernten) Pool replizieren und hast dann per se ein Backup auf einem anderen Rechner. Hierbei aber wichtig, dass die VM hierfür aber ähnlich wie beim Backup selbst davon mit bekommt, dass jetzt gleich ein Backup gemacht wird - über den QEmu-Guest-Agent.

2. Hier geht die Frage eher an Proxmox selbst. Im Falle eines fehlerhaften Restores (mit zfs tools), wird hier nur die in der WebGUI implementierten Backuplösung bei aktiver Subscription supportet, oder auch Unterstützung geleistet bei den zfs tools? Wie weit geht der Support an dieser Stelle.

Auch wenn ich natürlich nicht für Proxmox Staff sprechen kann, was meinst mit mit fehlerhaften Restore? Über die GUI kann man vzdump-Dateien einbinden, sonst nichts. Dafür gibt es Support. Dir geht es also darum, dass du im Fehlerfall ein entferntes ZFS auf dein PVE zurückreplizieren willst und dafür gerne Support hättest?
 

thoe

Active Member
Feb 1, 2018
63
7
28
49
Moin,
ich mache das Backup bei uns etwas anders.
Die Snapshots werden täglich gemacht, nur einer lokal abgelegt und dann per Borgbackup auf den store gesichert.
Für die nächsten 24h haben wir das Backup also einmal noch lokal liegen und einmal auf dem store.
Das läuft bei uns ganz gut und stabil. Demnächst bald noch etwas flinker, da das Netzwerk auf TGBit ausgebaut wird.

Schönen 2.Advent noch.
Thomas
 

blubber

New Member
Nov 7, 2019
21
0
1
23
Hallo Thomas,

wenn du von Snapshot redest, redest du dann von zfs snapshots mittels send / receive oder die Snapshots, welche in der GUI verfügbar ist?

Danke im Voraus
 
Oct 29, 2017
113
4
38
54
Hallo,
ich sichere mit pve-zsync, mit dem sich incrementiell via Snapshots sichern lässt. Dafür habe ich für meine Kunden ein HP-Mircoserver angeschafft, Proxmox mit zfs installiert. Dann kann man mit pve-zsync jobs einrichten und sie an den Hp senden. Versionierung übernimmt Zsync. Einzelne Dateinen lassen sich mit zfs clone und dem Einbinden derselben sehr leicht wiederherstellen. Auch die ganze VM ist kein Problem.
Bei manchen Kunden sichere ich auch auf USB mit zfs auf die gleiche Art und weise. Das auch mit wechselnden Platten und einem Script..
Dann noch ein Script das den Status von zsync per mail jeden Morgen rüberschickt. Ich kann gut damit leben, es ist sehr zuverlässig!

LG
Thomas
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!