Auf Ideensuche: Best Practise Backup und Synchronisation

[shirocko]

Hallo zusammen,

ich bin auf der Suche nach ein paar Ideen und Geistesblitzen, auf die ich selbst bisher nicht gekommen bin.
Ich erläutere zunächst kurz mein aktuelles Setup und dann dazu die Frage.

Der wichtigste Part für diese Frage.
Ich betreibe 2 Proxmox Hosts im Cluster (2 Mini PCs), wovon jeder eine 1TB SSD verbaut hat und auch intern kein weiterer Platz für eine Aufrüstung oder weitere Redundanz vorhanden ist. Daher wird jetzt der Punkt Backup umso relevanter.
Auf den Proxmox Servern betreibe ich verschiedene Container und VMs.
Die wichtigsten Dinge laufen in einer Ubuntu VM mit Docker Installation und darin laufen mehrere Container.
u,a, acme.sh, Nextcloud, Paperless NGX, NPM
Also Speichergrundlage für die Docker VMs nutze ich ein NFS Share, welches von einer weiteren Open Media Vault VM im Proxmox Cluster bereitgestellt wird.
Diese NFS Share wird beim Boot in der Ubuntu (Docker) VM gemountet und beherbergt alle Docker Daten.
Diesen Schritt bin ich gegangen, um die Daten besser sichern zu können und um die Shares notfalls auch vom PC aus direkt einbinden und bearbeiten zu können.
Ich überlege derzeit noch OMV gegen TrueNAS zu ersetzen, aber das nur am Rande.

Am wichtigsten sind für mich die Daten in Paperless NGX und Nextcloud.
Derzeit exportiere ich daher einmal in der Nacht die Datenbank und die Dokumente über die Export Funktion von Paperless.
Zusätzlich sichere ich das gesamte Docker Verzeichnis mittels Skript und transferiere beide Sicherungen auf mein Synology NAS.
Diese wiederum hat eine tägliche Backup Routine auf eine USB Festplatte und zu einer entfernten NAS.

Grundsätzlich funktioniert die Lösung, aber optimal finde ich sie nicht, da ich mit verschiedenen VMs/Container auf Proxmox hantieren muss über verschiedene Mounts und irgendwann verliert man den Überblick. Außerdem habe ich schon festgestellt, dass es im Falle einer Wiederherstellung von Daten manchmal durchaus knifflig werden kann die Daten wieder korrekt zurück zu sichern und auch die Rechte korrekt anzupassen.

Da die Frage vermutlich kommen wird, warum ich das Synology NAS nicht dauerhaft als Share nutze:
Zum einen ist der NVMe Storage im Proxmox selbst deutlich performanter und zieht weniger Strom. Außerdem möchte ich, dass die Festplatten nicht ständig aktiv sind und auch mal in den Ruhezustand gehen können. Außerdem schalte ich das Synology NAS nachts ab um Strom zu sparen. (Ja ich weiß der Plattenverschleiß beim Spin-Up...aber damit kann ich leben).

Ich bin gespannt welche Lösungen ihr bei euch umsetzt und welche Vorschläge so zustande kommen.

Danke schon im Voraus
shirocko

 

[Joe77]

Hallo,

also ich persönlich finde den Proxmox Backup Server ganz schick. Da kannst Du deine Backup Jobs nach belieben einrichten und bei Bedarf oder Umzug ohne großen Aufwand zurücksichern. Zeitpunkt (Backup auswählen), Speichervolume auswählen und Rücksicherung starten. Die VMs und Container müssen nicht heruntergefahren werden.

Bei mir läuft ein billiges Terramaster NAS mit 2 Festplatten dafür. Stromverbrauch ist erträglich aber natürlich mehr als wenn es ausgeschaltet ist

Das ist mir ein funktionierendes automatisches Backup aber wert.

Gruß Jochen

 

[news]

Nun alles was nicht mindestens als ZFS Mirror (Raid1) läuft ist in meinen Augen nicht zu gebrauchen.
Das Proxmox VE oder der BS kann man einfach auf kleinere Kingston DC600M (SATA3) installieren und die LXC, VM Daten dann auf mehrere SSD (SATA3), als 2x VDEV0/1 2x SSD alsZFS Mirror installieren. So erhält man Geschwindigkeit mit Zuverlässigkeit gepaart.

Eine 1 Speicherlösung ist nicht für die Ewigkeit gemacht!
SoHo NVMe, M.2 funktionieren nicht so, wie man es erwarten würde in einem Server.
Random 4k read/write sind der standard und hier brechen sie massiv ein.
Bei einem Setup von mir auf unter 50 MByte/s write und 20 MByte/s read.

 

[shirocko]

Das Proxmox VE oder der BS kann man einfach auf kleinere Kingston DC600M (SATA3) installieren und die LXC, VM Daten dann auf mehrere SSD (SATA3), als 2x VDEV0/1 2x SSD alsZFS Mirror installieren. So erhält man Geschwindigkeit mit Zuverlässigkeit gepaart.

In den beiden Mini PC die ich besitze (Dell Wyse 5070 und Fujitsu Q556/2) kann ich nur eine SSD einbauen.
Nur der Fujitsu könnte noch eine 2. SSD aufnehmen, aber nicht der Dell.
Daher ist das derzeit keine Option und ich möchte nicht Unmengen an Geld derzeit investieren, da die aktuelle Lösung als quasi Active/Passive Lösung gut läuft.

Eine 1 Speicherlösung ist nicht für die Ewigkeit gemacht!
SoHo NVMe, M.2 funktionieren nicht so, wie man es erwarten würde in einem Server.
Random 4k read/write sind der standard und hier brechen sie massiv ein.
Bei einem Setup von mir auf unter 50 MByte/s write und 20 MByte/s read.

Auch das ist in Ordnung. Die paar VMs und Container brauchen keine massive Schreibgeschwindigkeit und die Comsumer SSD/NVMe sind hier preislich aktuell sehr lukrativ und bei einem Ausfall spiele ich halt ein Backup auf eine neue SSD zurück.

also ich persönlich finde den Proxmox Backup Server ganz schick

Der Proxmox Backup Server läuft bei mir derzeit auf dem Synology NAS als VM ich ziehe damit sporadisch Backups, wenn ich größere Änderungen vorgenommen habe.
Eine Wiederherstellung einer kompletten VM geht mit dem PBS natürlich super schnell und entspannt.
Was leider nicht so gut klappt ist die selektive Wiederherstellung.
Wenn ich in der Ubuntu Docker VM mehrere Container habe und dort z.B. nur Nextcloud samt Festplatte und Datenbank wiederherstellen möchte, dann wird es schon knifflig. Hier ist dann vermutlich eine Rücksicherung eines Backups auf Dateisystemebene deutlich schneller und effizienter.
Aber darüber den PBS dauerhaft laufen zu lassen und regelmäßig Sicherungen zu ziehen, habe ich auch schon nachgedacht.

 

[Johannes S]

Naja, man kann bei in einen PBS liegenden Backup (auch bei VMS) doch auch einzelne Dateien wieder herstellen? Diskimage auswählen und da dann durch die Verzeichnisse hangeln. Für Datenbanken hilft das natürlich wenig, aber da kann man dann ja innerhalb der vm mit mysdump oder pg_dump datenbank dumps erzeugen und dann wieder vom PBS job wegsichern lassen.

Wenn man zusätzlich diese Dumps oder auch andere Daten wegsichern möchte, kann man dafür im Grunde jedes auf den jeweiligen Gastbetriebssystem laufende Backuptool nehmen, ich nehme für sowas gerne restic mit resticprofile zur einfacheren Konfiguration. Aber welches Backuptool man dann nimmt, ist dann am Ende auch nur eine weitere Glaubensfrage neben Linux versus Windows oder vim versus emacs

 

[thearona]

hab auch 2 PVEs (1 mini PC, 1 Notebook) am laufen (1 Consumer NVMe SSD fürs PVE, 1 Enterprise 2,5" SSD für die VMs/LXCs), allerdings im HA mit ZFS replication zwecks höherer Verfügbarkeit (Daten liegen bei mir direkt in der VM, raspberry pi für quorum gibts auch, direkte 2,5G Verbindung zwischen den beiden Nodes für schnellere Migration bzw. Unabhängigkeit vom Switch ist auch vorhanden). Für Backups hab ich eine PBS VM mit einer durchgereichten USB SSD auf die stündlich alle VMs/LXCs gesichert werden (läuft nur auf einem Node, kein HA). Zusätzlich gibts noch einen alten PC, auf dem auch ein PBS läuft, der in der Nacht per WoL gewecket wird, ein pull sync vom virtuellen PBS macht und sich nach 3h wieder schlafen legt. Zusätzlich sichert die VM, wo nextcloud, paperless, ... läuft einmal in der Nacht per restic (bzw backrest wegen GUI) eine Sicherung aller relevanten Daten/DBs/... zu einer Hetzner Storagebox (verschüsselt und mit Snapshots).

Bis jetzt bin ich mit der Lösung zufrieden und braucht auch relativ wenig Strom (0,7kWh für beide PVEs, 0,15kWh für den PBS jeweils pro Tag).