VM Backups Zeitpläne

[goifalracer]

Hallo,

anscheinend stelle ich mich zu blöd an.
Ich möchte meine VM,s auf eine NFS Freigabe via Snapshot backuppen.

Ich habe zwei Jobs angelegt, auf die gleiche Freigabe.
Der eine soll jeden Tag um 3:30 einen Snapshot machen und soll jeden max 7 Tage behalten.
Der zweite Job soll jeden Monat einen Snapshot machen und soll diese mindestens 6 Monate behalten, dann kann jedes Monat der älteste gelöscht werden.
ich bringe es nicht hin, die Snapshots werden zu früh gelöscht....

Wie muss ich das konfigurieren?
Anbei sind Screenshots.

Danke.

 

[sterzy]

Hi,

Der eine soll jeden Tag um 3:30 einen Snapshot machen und soll jeden max 7 Tage behalten.

Das sollte dann vermutlich eher "Keep daily: 7" sein. Damit würde für die letzten sieben Tage je ein Backup behalten werden.

Der zweite Job soll jeden Monat einen Snapshot machen und soll diese mindestens 6 Monate behalten, dann kann jedes Monat der älteste gelöscht werden.

Das dann eher "Keep Monthly: 6".

Wenn die beiden Jobs auf den gleichen Storage die Backups speichern, wird allerdings der aggressivere der beiden Prune Jobs fällig. Eventuell ergibt hier ein Backup Job mit "Keep Daily: 7" und "Keep Monthly: 6" mehr Sinn.

Eventuell hilft hier auch der Prune Simulator [1] beim visualisieren der Prune Jobs.

[1]: https://pbs.proxmox.com/docs/prune-simulator/

 

[ubu]

GAAANZ dringede Empfehlung, nimm proxmox backup server, kannst du auf einem separaten Rechner, auf deinem Proxmox Host selbst oder in einer vm auf deinem Proxmox installieren. Du kannst dort auch dein NAS als Storage einbinden. Mi dem PBS bekommst du inkrementelle Backups und kannst die Aufbewahrungszeiten flexibel konfigurieren.

 

[goifalracer]

Danke für eure Antworten, ich teste mal weiter und werde ggf. für monthly noch eine extra Freigabe einrichten.

Den PBS hätte ich auch schon ins Auge gefasst.
Aber ich wollte kein extra Blech dafür.

Ich habe zwei nucs und die werde ich in einem cluster ohne quorum betreiben. Bei Ausfall eines Nucs muss ich die VM dann halt per Hand verschieben.

Wäre es eine Alternative den PBS auf einem der beiden Nucs zu betreiben, die Backups auf ein NAS zu sichern und im Fall eines Ausfalles die aktiven VM,s sowie die PBS Vm zu verschieben?
Das sollte doch funktionieren oder?
Nachteil ohne quorum, ich muss per Hand verschieben..

 

[Dunuin]

Ich habe zwei nucs und die werde ich in einem cluster ohne quorum betreiben. Bei Ausfall eines Nucs muss ich die VM dann halt per Hand verschieben.

Dann lieber kein Cluster und zwei unabhängige Nodes. Geht dir ein Node offline und es ist kein Quorum da, dann hört der andere Node auch auf zu ordungsgemäß zu arbeiten (du kannst keine VMs mehr starten etc weil das pmxcfs gelockt wird). Da müsstest du dann mit zwei Nodes schon tricksen (expected votes 1), was abern icht empfehlenswert ist und zu Datenverlust führen kann.
Oder du holst dir noch einen Raspberry Pi Zero W oder ähnliches (z.B. VM auf NAS) und nutzt den als Qdevice, damit du einen dritten Voter für das Quorum hast.

Und PBS mit NFS und HDDs im NAS ist so eine Sache. Mache ich hier so (zwei privilegierte PBS LXCs auf verschiedenen PVE Nodes mit Datastores auf NFS Shares von zwei TrueNAS VMs auf verschiedenen PVE Nodes und dann syncen sich beide PBS gegenseitig, dass da immer ein PBS verfügbar ist, egal welcher PVE Node ausfällt und ich Ransomware-Protection habe), aber würde ich nicht bei größeren Datenmengen empfehlen. Das ist einfach zu lahm wegen der fehlenden IOPS Performance, wenn man mehrere TBs an Backups haben will. 1-2TB sind da bei mir schon die Schmerzgrenze, sonst werden die GC und Verify Jobs nicht mehr über Nacht fertig und dann wäre das NAS tägsüber nicht zu gebrauchen, wenn der PBS die HDDs pausenlos an 100% Auslastung bringt.

 

[ivenae]

Proxmox Backup server als VM installieren ist – wie ich das hier gelesen hatte – keine gute Option. Das funktioniert, solange du nur einzelne Dateien oder Maschinen restoren willst. Aber wenn dir dein Server komplett abschmiert, ist das Recovery schwer, weil das Proxmox Backup auch weg ist. Dann stehst du vor rauchenden Trümmern.

Der Mehraufwand an der Infrastruktur ist erheblich: Statt externer Festplatten gleich einen zweiten Server zzgl. der doch arg teuren Proxmox Backup Preise. Klar, kann man als Open Source betreiben und ist auch nicht teurer als die Mitbewerberprodukte. Ich will das gar nicht schlecht reden. Aber wenn man das seriös kalkuliert, kostet ein Proxmox Backup Server für die 5 Jahre, die ein Server im Einsatz ist inkl. Hardware, Einrichtung und Lizenzen gut 5.000 € netto. Das kostet bei mir oft nichtmal das Hauptprojekt, pardon. So ein vzdump ist da doch sehr charmant.

 

[goifalracer]

@Dunuin
Ich kann zwar nicht 100 % nachvollziehen was du da genau machst. Bei mir handelt es sich lediglich um eine Ubuntu Vm mit IP symcon als Homeautomation und grafana als Grafen Visu.

PBS soll a einmal am Tag ein Inkrementielles Backup von beiden VM,s auf den den 2 NUCs machen.
Das dürfte Performance Technisch funktionieren.

Wenn das alles mal läuft und ich mit Proxmox in der Handhabe fitter bin, lässt sich über einem PI fürs Quorum und HA nachdenken.
Geil wäre es schon, wenn jetzt die PV anlage noch drauf ist, ist der Stromverbrauch auch nicht mehr so relevant.

 

[goifalracer]

@ivanae
Heißt das; wenn mein NUC mit der PBS VM abschmiert, kann ich dann das Backup der VM mittels PBS auf dem anderen NUC nicht wiederherstellen?

 

[goifalracer]

Also mein Vorhaben sollte doch gelingen. Einen kompletten Server wiederherstellen will ich nicht.
Warum sollte Proxmox als open Source nicht gut sein?
Für den Privatbereich sollte das doch passen?

 

[ivenae]

Also mein Vorhaben sollte doch gelingen. Einen kompletten Server wiederherstellen will ich nicht.
Warum sollte Proxmox als open Source nicht gut sein?
Für den Privatbereich sollte das doch passen?

Ja, die Open Source Variante ist super, insbesondere im Heimbereich – aber da tuts fast immer auch ein vzdump.

Was ich hier aufgeschnappt habe – korrigiert mich, wenn ich falsch liege – ist, dass der Storage vom Proxmox Backup Server alleine nicht für eine Wiederherstellung ausreicht, sondern der Proxmox Backup Server selbst auch benötigt wird.

Wenn also dein Hauptserver kaputt ist, und dort lief der Proxmox Backup Server drauf, dann kannst du deine Daten nicht trivial wiederherstellen. Daher ist es keine gute Idee, den Proxmox Backup Server als VM auf dem eigentlich zu sichernden Server zu installieren. Er hat Meta-Daten gespeichert, die zur Wiederherstellung benötigt werden. Das ist die Aussage, die ich hier im Forum gelesen habe.

Willst du etwas sinnvolles mit dem Proxmox Backup Server aufbauen, was besser ist als ein VZdump, dann musst du einen eigenständigen Rechner haben, auf dem Proxmox Backup läuft. Das macht es immer dann unwirtschaftlich, wenn es nichts kosten darf – z.B. im Heimbereich.

Möchtest du das nicht ausgeben, dann lass es mit dem Proxmox Backup Server und nutze lieber VZdump (oder die Backup-Funktion des Proxmox, die darauf aufbaut). Wenn deine Infrastruktur 5-stellig gekostet hat, dann lohnt sich der Proxmox Backup Server. Aber skaliert eben nicht für kleine Umgebungen.

EDIT: Ich finde dazu nichts konkretes. Hat jemand Doku dazu, inwiefern der Proxmox Backup Storage ohne den PBS noch brauchbar ist für eine Wiederherstellung? Das war mein letzter Stand, wenn es tatsächlich anders wäre, würden sich auch für mich deutlich mehr Einsatzszenarien dafür ergeben, weil dann eine einfach, externe USB Platte ausreicht, anstatt einen zweiten Server vorzuhalten.

EDIT2:
https://pbs.proxmox.com/docs/installation.html#install-proxmox-backup-server-on-proxmox-ve

"
Caution
Installing the backup server directly on the hypervisor is not recommended. It is safer to use a separate physical server to store backups. Should the hypervisor server fail, you can still access the backups.
"

Hier steht es. Separater Server, sonst kein Desaster Recovery. Für ein Backup ist das ein No-Go!

 

[Dunuin]

@ivanae
Heißt das; wenn mein NUC mit der PBS VM abschmiert, kann ich dann das Backup der VM mittels PBS auf dem anderen NUC nicht wiederherstellen?

Ohne laufenden PBS auch kein Restore. Da müssest du dann erst ein PBS neu aufsetzen und neu einrichten oder ein VZDump-Backuk deines PBS wiederherstellen. Erst wenn der PBS dann wieder läuft wurdest du an die Backups kommen, die mit PBS gemacht wurden.

 

[goifalracer]

Muss ich mal testen. Den Vorteil von PBS sehe ich in dem inkrementellen Backups.

 

[Dunuin]

Muss ich mal testen. Den Vorteil von PBS sehe ich in dem inkrementellen Backups.

Ja. Hast du 1TB an VMs/LXCs und da ändert sich nur 50GB am Tag, dann kannst du bei 2TB Backup-Storage mit VZdump halt 1-2 tägliche Backups haben und bei PBS 21 tägliche Backups. Das ist dann schon ein deutlicher Vorteil was den Platz angeht für Langzeit-Backups. Und wenn man nur 50GB am Tag sichern muss statt jeden Tag den vollen TB, dann sind die Backups natürlich auch viel schneller durch.

 

[ivenae]

Ja, da hast du vollkommen recht. Genau das ist die Stärke des PBS.

Aus meiner Sicht gibt es die folgenden Backup Szenarien, die ohne PBS auskommen:
- VZdump und Vollbackups: Funktioniert vernünftig bis ~ 400 GB Gesamtdaten über alle VMs. Mit steigender Größe dauern Backups zu lange, belasten die Hardware zu viel und Sicherungsmedien werden plötzlich deutlich teuer, wenn man Backups für eine ganze Woche bevorraten will.

- Nutzdaten auf eine zweite, virtuelle Festplatte legen, die nicht via VZdump gesichert wird. Diese Daten dann anders aus der VM wegsichern, z.B. mit rsync auf ein Netzwerk-Device. Im Zweifel über Netzwerk auf ein Samba, der auf dem Hypervisor liegt. Von dort kann man es auf für andere Systeme nicht zugängliche, externe Festplatten Ransomware-sicher speichern.

Ist das 'besser' als ein PBS? Ist es nicht. Es ist eine Krücke, aber ich habe es mal eingesetzt zu Zeiten, in denen es noch kein PBS gab.
Du kommst große Datenmengen ohne Proxmox Backup differentiell und Ransomware-sicher gesichert und hast deine Daten auch ohne Zweitserver im Desaster Recovery Fall ohne Umwege im Klartext direkt lesbar. Darüber hinaus ist das zurücksichern einzelner Dateien sehr schnell machbar. Und es ist halt dennoch spott-billig in der Einrichtung und im Betrieb.
Denn genau das ist der Pferdefuß beim PBS, wenn er nicht auf einem separaten Server liegt: In einer Situation, in der gerade ohnehin der A*** auf Grundeis geht die Daten schnell verfügbar zu haben.

 

[Dunuin]

Aus meiner Sicht gibt es die folgenden Backup Szenarien, die ohne PBS auskommen:
- VZdump und Vollbackups: Funktioniert vernünftig bis ~ 400 GB Gesamtdaten über alle VMs. Mit steigender Größe dauern Backups zu lange, belasten die Hardware zu viel und Sicherungsmedien werden plötzlich deutlich teuer, wenn man Backups für eine ganze Woche bevorraten will.

Ja und wer paranoid genug ist (oder Rechtsvorgaben zu befolgen hat und Daten 10 Jahre sichern muss) will die vielleicht sogar für Jahre behalten. Dann wirds richtig teuer mit VZDump^^

Vorteil bei VZDump sehe ich als Ergänzung zum PBS. Nur auf ein Backupsystem sollte man sich ja nie verlassen. Vielleicht ist da ja mal ein richtig fieser Bug im PBS der Daten löscht/korrumpiert und dann hilft es auch nichts, wenn man da 2 oder 3 PBS hat die sich gegenseitig syncen, wenn dann alle ihre Backups verlieren. Da ist es dann gut, wenn man als Notlösung noch gelegendlich über andere Wege seine Backups erzeugt. Z.B. mit VZDump oder Rsync auf eine externe HDD oder ähnliches. Da ist es dann auch nicht so wild, wenn das länger dauert oder mehr Platz braucht, wenn man das nur alle paar Wochen mal laufen lässt und dann nur 1-2 Kopien für den Notfall behält, damit man nicht komplett leer dasteht, wenn es mal zum GAU kommt.

Denn genau das ist der Pferdefuß beim PBS, wenn er nicht auf einem separaten Server liegt: In einer Situation, in der gerade ohnehin der A*** auf Grundeis geht die Daten schnell verfügbar zu haben.

Ja, daher hab ich hier mehrere PVE Server und da passt es dann auch mit PBS als LXC, weil dann immer zwei gesyncte PBS LXCs mit eigenem Datasore auf verschiedenen PVE Nodes laufen. Egal welcher PVE Node dann ausfällt, da läuft dann immer noch ein anderer PVE Node mit einem PBS und ich kann mir dann von dem PBS LXC ein recht aktuelles Backup der ausgefallenen Gäste auf dem verbleibenden PVE Node wiederherstellen, dass da die wichtigsten Dienste nicht all zu lange down sind.
Und von den Rechten habe ich das so gelöst, dass von dem einem PBS immer nur wiederhergestellt aber nichts gesichert oder gelöscht werden kann. Wenn dann mal Nutzerfehler oder Ransomware einen PVE Node betroffen haben, dann hat der PVE Node wenigstens keine Rechte um auf beiden PBS die Backups löschen/überschreiben zu können.

 

[ivenae]

Ja, daher hab ich hier mehrere PVE Server und da passt es dann auch mit PBS als LXC, weil dann immer zwei gesyncte PBS LXCs mit eigenem Datasore auf verschiedenen PVE Nodes laufen. Egal welcher PVE Node dann ausfällt, da läuft dann immer noch ein anderer PVE Node mit einem PBS und ich kann mir dann von dem PBS LXC ein recht aktuelles Backup der ausgefallenen Gäste auf dem verbleibenden PVE Node wiederherstellen, dass da die wichtigsten Dienste nicht all zu lange down sind.

Extrem charmante Lösung. Skaliert natürlich auch erst ab dem zweiten Hardwareserver, also wieder nichts für mach ich mal zuhause, darf aber alles nichts kosten. Werde ich mir aber beim nächsten, größeren Kunden auch so aufsetzen.
Brauche ich dann zwei Lizenzen für den PBS?

Nur auf ein Backupsystem sollte man sich ja nie verlassen.

Deshalb mag ich die VZdumps so sehr. Die sind verhältnismäßig unkompliziert. Wenn man die Größe trackt und gelegentlich auch mal in die erfolgreichen Backup-Logs schaut, würde ich behaupten, dass es ziemlich unwahrscheinlich ist, dass da was im argen ist.
Bei einem PBS ist die Komplexität um Größenordnungen höher. Dem traue ich das deutlich eher zu.

 

[ubu]

Proxmox Backup server als VM installieren ist – wie ich das hier gelesen hatte – keine gute Option. Das funktioniert, solange du nur einzelne Dateien oder Maschinen restoren willst. Aber wenn dir dein Server komplett abschmiert, ist das Recovery schwer, weil das Proxmox Backup auch weg ist. Dann stehst du vor rauchenden Trümmern.

Wenn der backup Store auf einem NAS liegt (wie hier der Fall) kann man im Katastrophenfall einen PBS installieren, des NAS einbinden und loslegen.
Nicht optimal, geht aber.

Ein eigener PBS ist natürlich besser, bequemer und sicherer, da hast du recht

Der Mehraufwand an der Infrastruktur ist erheblich: Statt externer Festplatten gleich einen zweiten Server zzgl. der doch arg teuren Proxmox Backup Preise. Klar, kann man als Open Source betreiben und ist auch nicht teurer als die Mitbewerberprodukte. Ich will das gar nicht schlecht reden. Aber wenn man das seriös kalkuliert, kostet ein Proxmox Backup Server für die 5 Jahre, die ein Server im Einsatz ist inkl. Hardware, Einrichtung und Lizenzen gut 5.000 € netto. Das kostet bei mir oft nichtmal das Hauptprojekt, pardon. So ein vzdump ist da doch sehr charmant.

Damit machst du halt nur Fullbackups, keine deduplizierten inkrementellen Backups, aber klar, es funktioniert, wenn man genug Storage Space hat