Offtopic-Frage: Wie backupt ihr eure VMs und Files?

M

maze-m

Member
Nov 26, 2024
70
6
8
Hallo zusammen!

Ich habe mein Proxmox VE mittlerweile mit einer VM (Nextcloud) und drei LXC-Containern (Jellyfin, Photoprism und NFS-Server als Alma Linux 9 Container) am laufen und bin soweit zufrieden.

Da ich mein Setup noch nicht wirklich "Produktiv" laufen haben, bin ich bezüglich eines Backup-Konzepts am überlegen.

Ich habe auf dem NFS-Server drei Mounts (Musik, Videos und Fotos) erstellt, wo die Files alles auf meinem ZFS-Pool "Datengrab" liegen.
Ich würde gerne die Fotos extern (ggf. auf nem zusätzlichen NFS-Share (auf einer extra TrueNAS-VM?) oder in nem RZ verschlüsselt bzw. erstmal auf ner externen Platte) sichern und die Musik und Videos eventuell auf ner extra Platte.

- Wie sichert ihr eure VMs und Zeug (ZFS-Snapshot, Proxmox Backup Server)?
- Was nutzt ihr zum Sichern von euren Files (Borgbackup oder was Anderes?)?
- Welche Backupstrategie nutzt ihr?

Ich hoffe, ihr könnt mir Tipps zu meinem Vorhaben geben und wäre euch sehr dankbar :)
 
Es kommt ja hauptsächlich auf die Datenmenge an und wie intensiv man sich beschäftigen möchte. Ebenso die Anwendung.
Und auch, wie Backupsüchtig man ist.
Auch noch, ob man ein Reservesystem mit PVE parat haben möchte und aus welcher Hardware der Backup-Server besteht und.
Und und und...






Bei mir als Heimanwender, in der Kurzform, und sicherlich besser machbar:
PVE als Homeserver auf Eigenbauzusammenstellung.
SSDs im Raid1 mit ZFS.


Vorheriges Synology DS923+ als Backupserver. Darauf installiert in PBS VM und als Reserver PVE VM.
SSDs dafür im Raid1 BTRFS.
Storage: HDDs, Raid1, BTRFS.
Die vielen Laufwerke sind ja eigentlich unnötig, aber wenn in 6 Monaten oder in 5 Jahren mal ein Laufwerk versagt, weiß ich womöglich nicht mehr den Unterschiedzwischen HDD und SSD..... :D

PBS zieht sich die Vms.
Rsync schiebt die ausgemounteten ausgewählten Verzeichnisse versioniert von PVE zur DS923. Die etwa 30 GB Vorschaubilder von Immich habe ich ausgeschlossen.
Rsync erstellt noch einen Ordner "aktuell" mit Hardlinks meiner "notwendigsten" Dateien. Das nutze ich und kopiere von derDS923+ mit Hyper Backup auf ein USB NTFS Laufwerk. Davon auch das aller nötigste mit Hyper Backup in eine Cloud eines E-Mail Anbieters.

Externes Backup habe ich noch immer nicht. Habe zwar noch ne miniDS von Synology die ich bei Bekannten aufstellen würde, doch ist meine Internetverbindung langsam.
Stattdessen denke ich über ein USB Gehäuse für austauschbare Festplatten nach, das alle 6 Monate mal zu machen. Würde ich ebenfalls verschlüsselt mit Hyperbackup von der DS923+ umsetzen.


edit: #####---> keine Experimente mit Hyper Backup und dem PBS Storage <--- #####


Was es noch gibt, wenn man vollständig auf PBS setzen möchte ist PBC (Proxmox Backup Client, eine Kommandozeilenanwendung in PVE,speichert zu PBS). Aber das Thema ist im deutschsprachigen Raum sehr dünn und auf Youtube auch iwie Mangelware. Bin ja selbst nur Laie.
Es ist auch nicht ausgeschlossen, dass mich diese KI Bots wieder mal auf eine falsche Fährte lenken.
 
Last edited:
  • Like
Reactions: Johannes S, Browbeat and maze-m
@DeuSimon

Zunächst einmal vielen lieben Dank dir für deine ausführliche Erklärung.

Ja, so ähnlich bin wie dein Szenario beschrieben habe ich mir das für mich auch schon gedacht.
Ich werde meinen Fujitsu Primergy RX300 S8 ins 24 Zoll Rack in den Keller im Heizungsraum hängen. Da wir jedoch auch schon einen Wasserschaden im Keller hatten, bin ich am überlegen, im Dachgeschoss ebenfalls ein kleines Rack aufzuhängen wo ich dann etwas Ähnliches wie deine Synology DS923+ als "Zweitbackup" hinsetze und zusätzlich die wichtigen Files bei einem deutschen Anbieter sichere.

Natürlich wäre dann ebenfalls ein Offsite-Backup bei Freunden / meinen Eltern über VPN angedacht, aber ich weiß noch nicht so ganz, wie ich das umsetzen soll :/....

Vielleicht kann ja noch jemand weitere Ansätze liefern :)....
 
Ich fahre zweigleisig, für VMs und LXCs nehme ich den ProxmoxBackupServer, für Rohdaten ein anderes Backuptool (restic in meinen Fall, aber es gibt ja viele Möglichkeiten (duplicati, rsnapshot, zfs send/receive, borg...)

  • VMs/LXCs:
    • Ich habe einmal PBS lokal bei mir als VM direkt auf den ProxmoxVE-Host, um meine VMs und LXCs schnell wieder herstellen zu können, ohne den ProxmoxBackupServer hochfahren zu müssen. Der synchronisiert diese Backups per sync-job auf eine von der auf dem gleichen Host laufenden TrueNAS-VM bereitgestellte ISCSI-Freigabe, die auf den RAID-Mirror der TrueNAS-VM zeigt (zwei SSDs, an einen dezidierten SATA-Controller der über PCI-passtrhough an die NAS-Vm durchgereicht wurde). Damit habe ich zwar zwei Kopien (gut), aber die liegen auf dem gleichen Computer, der darf also nicht kaputt gehen (schlecht)
    • Im gleichen Netzwerk gibt es einen alten HP-MiniPC auf dem der ProxmoxBackupServer läuft. Der wird von Zeit zu Zeit angeschaltet und eine manuelle Synchronisation von der PBS-VM angestoßen. Damit habe ich also drei Kopien auf zwei verschiedenen Geräten (gut), aber immer noch beide in meiner Wohnung (schlecht, weil bei Brand/Einbruch o.ä. trotzdem alles weg ist) und ich muss daran denken, das zu tun (schlecht, ich plane darum zu automatisieren, inklusive anschalten, ausmachen und der housekeeping (garbage collection, verify) Tasks)
    • Für das offsite-Backup habe ich mir bei netcup einen günstigen Vserver gemietet, auf den ein PBS läuft, der zieht sich automatisiert jede Nacht die neuen Backups von der PBS-VM (damit ich den Backupserver dafür nicht extra anschalten muss). Leider ist es budgetär nicht möglich alle Daten, die ich sonst noch so habe auf diesen Server zu packen, da brauchte es also eine andere Lösung
  • Rohdaten: Damit meine ich einerseits den Kram auf meinen Notebook und den TrueNAS-Festplatten. TrueNAS stellt auch Netzwerkfreigaben zur Verfügung, die von den Anwendungen auf den VMs und Containern (jellyfin, paperless etc) für ihren Datenbestand genutzt werden. Da das insgesamt leider viel zu viel für den Vserver ist und ich außerdem gerne die Daten vom Notebook auch ohne laufenden PBS wieder herstellen will, mache ich das hier mit einen anderen Backuptool, dann muss ich für den restore nämlich nur das installieren und die Zugangsdaten/Passwörter irgendwo hinlegen, dass ich auch im Notfall dran komme:
    • Erste Kopie sind die Daten selbst auf dem Notebook oder den Festplatten der TrueNAS VM
    • Als zweite Kopie nutze ich den bereits erwähnten MiniPC, auf dem auch der PBS läuft. Dort ist ZFS eingerichtet, das ermöglicht mir TruenAS eingebautes Features zur Datensicherung zu nutzen: Es werden regelmäßig (täglich, wöchentlich, monatlich) zu festgelegten Zeiten Snapshots erzeugt, die von Zeit zu Zeit händisch auf den Backupserver mit zfs send/receive synchronisiert werden. Damit habe ich eine zweite Kopie auf einen anderen Gerät (gut), muss das aber manuell anstoßen (schlecht, darum soll auch das automatisiert werden)
    • Prinzipiell könnte ich mit restic auch auf den vserver sichern leider ist das vom Budget nicht praktikabel. Darum habe ich mir dafür eine hetzner-storagebox geholt, da sichert restic regelmäßig die Daten meines Notebooks und der TrueNAS VM hin.
  • Geplant, aber noch nicht umgesetzt:
    • Die Automatisierung, damit der Backupserver für die Synchronisation von der TrueNAS VM und dem PBS angeschaltet und nach Beendigung wieder abgeschaltet wird.
    • Zusätzliche Sicherung auf eine externe Festplatte (mit PBS und restic möglich), ich habe eine externe Festplatte, bin aber noch nicht zum Einrichten der Backups darauf gekommen.
    • Regelmäßiger Restore-Test, idealerweise automatisiert (eigentlich will niemand Backup, sondern Restore...)

Das Setup ist so nichts, was ich im Arbeitsumfeld einsetzen wollen würde (viel zu viel manuelle Arbeit, viel zu kompliziert), aber für meine Bedürfnisse als Privatperson mit privaten Budget tut das ok. Aber: Den Ernstfall hatte ich noch nicht, kann also sein, dass mir das noch auf die Füße fällt :)

Ansonsten würde ich noch das Lesen folgender Teile der PBS-Doku empfehlen:
https://pbs.proxmox.com/docs/storage.html#the-3-2-1-rule-with-proxmox-backup-server
https://pbs.proxmox.com/docs/storage.html#ransomware-protection-recovery
 
  • Like
Reactions: UdoB
Wenn Du es mit Synology Geräte machen möchtest, könntest du Quick connect nutzen.Hyper Backup und Hyper Backup Vault. Das einfachste. Das unterstützen auch die einfachen Synology Modelle (ohne +). Das ist wohl aber auch nicht so schnell in der Übertragung.
Damit hänge ich mich nun weit raus, da ich keine Praxiserfahrungen habe:
Oder mit Wireguard, da reicht dann von Synology ein nicht + Modell nicht aus, da darauf kein Wireguard installiert werden kann.

Fritzboxen vorhanden? Man kann 2 Fritzboxen miteiander mit VPS Wireguard verbinden. Beide Seiten müssen aber dann ipv6 haben, oder beide Seiten ipv4. Fritzbox/Freigaben/VPN Wireguard.
Einstellbar, welche Geräte die Verbindung nutzen dürfen.
Die IP Adressen in den Netzwerken müssen unterschiedlich sein.
Erklärvideo von AVM: https://www.youtube.com/watch?v=HMM9l1rNfKk
Läuft über die CPU der FB.
edit: DynDNS braucht man da wohl nicht, aber MyFritz.
 
Last edited:
Das HyperBackup würde ich aber nicht zum Sichern von PBS Datastores nutzen, das wäre mir zu heikel, dass ich das dann nicht mehr wiederhergestellt kriege
 
Johannes S said:
Das HyperBackup würde ich aber nicht zum Sichern von PBS Datastores nutzen,
Click to expand...
Ich nehme an, du meinst bei Versionierung von Hyper Backup in eine .hbk Datei?
Mit Hyper Backup kann man unversioniert kopieren, d. h. da wird nichts gepackt. Beim ausprobieren ging es auch nicht versioniert.
PBS zu PBS ist natürlich empfohlen für garantierte Konsistenz.
 
DeuSimon said:
Ich nehme an, du meinst bei Versionierung von Hyper Backup in eine .hbk Datei?
Click to expand...

Ich meine die Sicherung des Datastore damit, eben wegen der Konsistenz. Hier gab es schon öfter Berichte, wie Leute durch Syncen mit anderen Tools wie rclone sich ihre Backups zerschossen haben. Es gibt Workarounds dafür, aber selbst damit wäre mir das zu heikel und sie sind auch nicht gerade newbie-freundlich.
 
maze-m said:
- Wie sichert ihr eure VMs und Zeug (ZFS-Snapshot, Proxmox Backup Server)?
Click to expand...

Über die integrierte Backup Funktion auf einen gebuchten Proxmox Backup Service (xaweho.de).

maze-m said:
- Was nutzt ihr zum Sichern von euren Files (Borgbackup oder was Anderes?)?
Click to expand...

Über den proxmox-backup-client auf den selben gemieteten Proxmox Backup Service.

maze-m said:
- Welche Backupstrategie nutzt ihr?
Click to expand...

Tägliche Sicherung mit den in der Anleitung empfohlenen Retention Settings.
 
  • Like
Reactions: Johannes S
Johannes S said:
Ich meine die Sicherung des Datastore damit, eben wegen der Konsistenz. Hier gab es schon öfter Berichte, wie Leute durch Syncen mit anderen Tools wie rclone sich ihre Backups zerschossen haben. Es gibt Workarounds dafür, aber selbst damit wäre mir das zu heikel und sie sind auch nicht gerade newbie-freundlich.
Click to expand...
Eigentlich war ich ja so zufrieden, doch leider...Ich stimme Dir zu.
Habe etwas mit Hyper Backup herumversucht.
Ich werde von dem Gedanke Abstand nehmen und lieber die vzdumps von pve ab und zu offline sichern, anstatt Hyper Experimente durchs Internet.
 
Hallo zusammen!

Nachdem ich auch lange auf der Suche nach einer einfachen Backup-Lösung war habe ich jetzt ein Synology DSM Paket entwickelt, das sich an Active Backup for Business anlehnt und meine Proxmox VMs regelmäßig sichert. Vielleicht ist die App für euch auch nützlich.

https://pvebackup.app

Hier die Kernfunktionen:
- Inkrementelle Backups - nach dem ersten Backup werden nur noch Änderungen übertragen
- Geplante Backups AND Restores (meine VMs sollen nach der Sicherung direkt auf einen standby Proxmox Host übertragen)
- Backups können als OVA exportiert werden
- Agentless (nur Proxmox SSH Login notwendig)
- Nur 3 MB
- Für Synology Intel/AMD and 64-bit ARM NAS models
- Komplett Oflline

overview.png
 
  • Like
Reactions: ThoSo
Marco W. said:
Hallo zusammen!

Nachdem ich auch lange auf der Suche nach einer einfachen Backup-Lösung war habe ich jetzt ein Synology DSM Paket entwickelt, das sich an Active Backup for Business anlehnt und meine Proxmox VMs regelmäßig sichert. Vielleicht ist die App für euch auch nützlich.

https://pvebackup.app

Hier die Kernfunktionen:
- Inkrementelle Backups - nach dem ersten Backup werden nur noch Änderungen übertragen
- Geplante Backups AND Restores (meine VMs sollen nach der Sicherung direkt auf einen standby Proxmox Host übertragen)
- Backups können als OVA exportiert werden
- Agentless (nur Proxmox SSH Login notwendig)
- Nur 3 MB
- Für Synology Intel/AMD and 64-bit ARM NAS models
- Komplett Oflline

View attachment 100116
Click to expand...
Uff. Hier mal eben unverfroren Werbung für eine Blackbox bzgl. Datensicherung zu machen ist blauäugig und nervig. Das ganze garniert mit einer nichtssagenden, automatisch generierten Webseite.
Ich wette, den Rotz gibt es mindestens noch in Synology-Foren.
 
A. Wie immer mit der ausgesuchten Höflichkeit, für die du so geschätzt wirst.
B. In welchem Forum soll man sonst auf sowas aufmerksam machen?
C. Vor x Jahren war Proxmox auch eine Blackbox für VMs. Und dieses Windos oder wie das heißt, auch.
 
Last edited:
  • Like
Reactions: Johannes S and ThoSo
TErxleben said:
Uff. Hier mal eben unverfroren Werbung für eine Blackbox bzgl. Datensicherung zu machen ist blauäugig und nervig. Das ganze garniert mit einer nichtssagenden, automatisch generierten Webseite.
Ich wette, den Rotz gibt es mindestens noch in Synology-Foren.
Click to expand...
Hallo und danke für die "netten" Worte!
Ja - wenn du es so willst, dann nennen wir es Werbung. Ich selbst habe lange und immer wieder nach einer Software gesucht, um meine Proxmox VMs wie zuvor meine ESXi VMs mit ABB zu sichern und es wäre mir völlig egal gewesen wenn jemand eine Backup-Software ähnlich "beworben" hätte. Sorry, wenn dich das so massiv stört.

Ich finde die Homepage zur App zeigt kürz und bündig die wesentlichen Funktionen der App, inwiefern sie "nichtssagend" ist möge dein Geheimnis bleiben. Und natürlich is die Website KI generiert - wer bitte würde heute so eine 0815 Website noch selber schreiben!?
 
  • Like
Reactions: ThoSo
GMBauer said:
A. Wie immer mit der ausgesuchten Höflichkeit, für die du so geschätzt wirst.
Click to expand...
Nenne es doch lieber direkt.
GMBauer said:
B. In welchem Forum soll man sonst auf sowas aufmerksam machen?
Click to expand...
Reklame ist nun eher Verbraucherinformation?
GMBauer said:
C. Vor x Jahren war Proxmox auch eine Blackbox für VMs. Und dieses Windos oder wie das heißt, auch.
Click to expand...
Das war Proxmox nie. Es war immer eine WebGUI, die auf bewährten Techniken fußt.
Das ist ein ganz anderer Schuh. Hier wird ein Screenshot gepostet, welcher 0,0 Aussage macht, WIE das ganze passiert. Selbst der beigesteuerte Link klärt nicht mal im Ansatz auf.
Nur zu, wenn du mit sowas deine Backups machen möchtest.
Marco W. said:
Hallo und danke für die "netten" Worte!
Ja - wenn du es so willst, dann nennen wir es Werbung. Ich selbst habe lange und immer wieder nach einer Software gesucht, um meine Proxmox VMs wie zuvor meine ESXi VMs mit ABB zu sichern und es wäre mir völlig egal gewesen wenn jemand eine Backup-Software ähnlich "beworben" hätte. Sorry, wenn dich das so massiv stört.

Ich finde die Homepage zur App zeigt kürz und bündig die wesentlichen Funktionen der App, inwiefern sie "nichtssagend" ist möge dein Geheimnis bleiben. Und natürlich is die Website KI generiert - wer bitte würde heute so eine 0815 Website noch selber schreiben!?
Click to expand...
Auch KI-generierte Webseiten kann man mit Inhalten füllen.
Wie wäre es, den technischen Ablauf deines Tools zu beschreiben?
Ohne das wirst du m.E. nichts bei heiklen Backupthemen.
Ein Tool, welches lediglich den letzten vzdump übers Netzwerk sichert ohne Tonnen an Daten zu schicken, fehlt in PVEs tatsächlich. Das lässt sich aber mit 50 Zeilen script erledigen. Dahinter arbeitet dann rsync und Links.
 
GMBauer said:
Mach mal bitte einen neuen Thread auf für deine App. Das ist m.E. zu interessant um hier unterzugehen.

Erste Frage: Welche Rechte braucht der Zugang auf dem PVE. Ein Root wird's ja nicht sein.
Click to expand...
Hallo!

Ich habe hier hauptsächlich deshalb gepostet, weil ich diesen Thread selbst mitgelesen habe, als ich auf der Suche nach einer Backup-Lösung war. Da ich nicht noch mehr "unverfrorene" Werbung machen möchte, belasse ich es dabei.

Leider benötigt die App root Rechte. Ich habe sie ursprünglich nur für mich entwickelt und keine einfache Lösung gefunden, um ohne root schnelle, inkrementelle Backups zu erstellen (ohne PBS oder NFS-Shares). Die App braucht Zugriff auf die „Dirty Bitmaps“ von QEMU über dessen Control-Socket und das geht nur mit Root-Rechten.

Man kann aber einen SSH-Schlüssel verwenden und ihn auf die IP-Adresse des NAS beschränken. Mir ist klar, dass das nicht ideal ist, aber für mich überwiegen bei diesem Kompromiss die Vorteile.

Ich werde auf der Website genau beschreiben, wie die App technisch funktioniert.
 
  • Like
Reactions: ThoSo
TErxleben said:
Auch KI-generierte Webseiten kann man mit Inhalten füllen.
Wie wäre es, den technischen Ablauf deines Tools zu beschreiben?
Ohne das wirst du m.E. nichts bei heiklen Backupthemen.
Click to expand...
Hast Du Dir mal in den letzten Jahren Webseiten von "Profiprodukten" angesehen - das Informationsmaterial um abzuschätzen ob eine Software interessant sein kann oder nicht, wird doch über nichtssagende Screenshots und Fetten Highlights abgebildet. Demo Versionen werden hinter eMail-Kontakt-Formularen versteckt, damit dich der nächste Türklinkenputzer gleich nerven kann.

Und eine Funktionsbeschreibung hat Marco auch auf der Webseite - oder ist die gerade seitens der KI reingelaufen.

Nix für Ungut - was mich mehr stört, ist das heute alles in Neu-Deutsch sein muss.
Da ich kein DSM einsetze (und auch mir auch keine VM DSM auf die Schiene nagle) ist das ganze für mich (ohne Test) schon erledigt.
 
  • Like
Reactions: Johannes S
You must log in or register to reply here.
Top Bottom
Back