Getrenntes Backup Node – Storage Typ/System Überlegungen

Progratron

Active Member
Feb 27, 2019
40
4
28
40
Hallo,

Ich nutze PVE Cluster, jedoch ohne Shared-Storage, da sich die Knoten in verschiedenen Rechenzentren auf der ganzen Welt befinden. Meistens fungiert der Cluster als zentrale Verwaltungslösung und nützliches GUI-Tool für VM-nicht-Live-Migrationen.

Ich plane die Installation eines separaten Nodes nur für Backupszwecke aller anderen Nodes und kann für meinen Fall nicht den besten Shared-Storage-Typ / das beste technologische Setup auswählen. Meine Überlegungen:

1) Da ich ZFS verwende plane ich pvezsync für die letzten Wochen als Level-1-Backup mit Snapshots aller VMs zu verwenden. Dies funktioniert und ist eigentlich die beste Lösung für mich. Shared Storage ist hier überhaupt nicht nötig. In meinem Fall gibt es aber leider ein Problem. Da logischerweise sowohl der ursprüngliche Host als auch der Backuphost alle gespeicherten inkrementellen Snapshots exakt auf dem gleichen Stand halten müssen, wird mir auf meinen ursprünglichen Hosts sehr schnell der Speicherplatz ausgehen. Der Backup-Host ist mit einer Reihe von Festplatten geladen und der Speicher ist dort kein Problem, aber auf Original-Hosts verwende ich NVMes. Aufgrund der Art der Daten (es ist ziemlich dynamisch, die wöchentliche Änderung beträgt ungefähr 60%, aber die Menge ist permanent - ungefähr 400 GB pro Host) - kostet es mit NVMes einfach zu viel.

2) Als Level-2 habe ich vor wöchentlich standarde Backups auf Shared Storage durchzuführen. Und nun meine Frage: Was ist die beste Vorgehensweise bzw. die empfohlene Methode zum Konfigurieren eines separaten Backup-Node mit dem einzigen Zweck, einen Shared-Storage bereitzustellen? Es scheint mir, dass Ceph und Guster für eine solche Verwendung übertrieben sind ... Ich denke darüber nach dort ein kleines Debian-KVM mit Docker-Samba-Container mit einer einfachen CIFS-Freigabe zu starten. Gibt es vielleicht eine bessere Möglichkeit, was ich im Moment übersehe?

Danke für all eure Ideen :)
 
Zuerst mal, sehr interessant was du da schreibst. Ich hätte da noch ein paar Fragen:
Wie ist denn die Internetanbindung zu den Standorten? Wie schätzt du die Stabilität ein?
Pingzeiten sind nehme ich mal an unter 2ms, sonst würde es den Cluster permanent zerreißen.
Ich nehme mal an das ganze hängt mit VPNs zusammen?
 
Wie ist denn die Internetanbindung zu den Standorten? Wie schätzt du die Stabilität ein?

Es sind gemietete Server in verschiedenen Rechenzentren, mehrere in EU, paar in USA und in einigen anderen Ländern.

Pingzeiten sind nehme ich mal an unter 2ms, sonst würde es den Cluster permanent zerreißen.

Überhaupt nicht. Durchschnittlich liegen wir bei ca. 25-30ms, aber es geben auch einige Stellen wo wir schon bei 100ms sind. Problemen mit Cluster hatte ich nie gehabt bis jetzt, es läuft so seit ca. 2 Jahren. Früher hatten wir VPN benutzt, jetzt (seit PVE 6.0) läuft der corosync separat direkt über WAN (VPN existiert aber für andere Zwecke). Aber wie ich bereits sagte, wir nutzen weder HA, noch Live-Migration oder Shared-Storage (Ceph o.a.).

Ich nehme mal an das ganze hängt mit VPNs zusammen?

s. Oben
 
Verstehe. Der einfachhalberheit, würde ich es mal mit Samba testen. Eine weitere Möglichkeit wäre Backups lokal auf einen Speicher zu spielen und mittels rsync ab zu holen. Oder du holst dir nicht die ganzen VM's sondern syncst nur die Daten per rsync. Backuppc fällt mir dazu ein.
 
Verstehe. Der einfachhalberheit, würde ich es mal mit Samba testen. Eine weitere Möglichkeit wäre Backups lokal auf einen Speicher zu spielen und mittels rsync ab zu holen. Oder du holst dir nicht die ganzen VM's sondern syncst nur die Daten per rsync. Backuppc fällt mir dazu ein.

Ja, die Wege kenne ich. Borgbackup nutzte ich auch ziemlich oft für andere Zwecke. Meine Überlegung war, vielleicht gibt es was über GUI oder so "Standardmäßig" ;) Aber OKay, ich probiere einfach mit dockerized Samba. Für große Dateien, was VM-Backups sind, ist SMB auch übers WAN schnell genug.
 
Hallo,

Ich nutze PVE Cluster, jedoch ohne Shared-Storage, da sich die Knoten in verschiedenen Rechenzentren auf der ganzen Welt befinden. Meistens fungiert der Cluster als zentrale Verwaltungslösung und nützliches GUI-Tool für VM-nicht-Live-Migrationen.

Ich plane die Installation eines separaten Nodes nur für Backupszwecke aller anderen Nodes und kann für meinen Fall nicht den besten Shared-Storage-Typ / das beste technologische Setup auswählen. Meine Überlegungen:

1) Da ich ZFS verwende plane ich pvezsync für die letzten Wochen als Level-1-Backup mit Snapshots aller VMs zu verwenden. Dies funktioniert und ist eigentlich die beste Lösung für mich. Shared Storage ist hier überhaupt nicht nötig. In meinem Fall gibt es aber leider ein Problem. Da logischerweise sowohl der ursprüngliche Host als auch der Backuphost alle gespeicherten inkrementellen Snapshots exakt auf dem gleichen Stand halten müssen, wird mir auf meinen ursprünglichen Hosts sehr schnell der Speicherplatz ausgehen. Der Backup-Host ist mit einer Reihe von Festplatten geladen und der Speicher ist dort kein Problem, aber auf Original-Hosts verwende ich NVMes. Aufgrund der Art der Daten (es ist ziemlich dynamisch, die wöchentliche Änderung beträgt ungefähr 60%, aber die Menge ist permanent - ungefähr 400 GB pro Host) - kostet es mit NVMes einfach zu viel.

2) Als Level-2 habe ich vor wöchentlich standarde Backups auf Shared Storage durchzuführen. Und nun meine Frage: Was ist die beste Vorgehensweise bzw. die empfohlene Methode zum Konfigurieren eines separaten Backup-Node mit dem einzigen Zweck, einen Shared-Storage bereitzustellen? Es scheint mir, dass Ceph und Guster für eine solche Verwendung übertrieben sind ... Ich denke darüber nach dort ein kleines Debian-KVM mit Docker-Samba-Container mit einer einfachen CIFS-Freigabe zu starten. Gibt es vielleicht eine bessere Möglichkeit, was ich im Moment übersehe?

Danke für all eure Ideen :)
Hi,
das ist aber nur bedingt ein Backup...
Aber Du könntest znapzend von Tobias Oetiker verwenden https://github.com/oetiker/znapzend
Damit kannst Du ein Plan erstellen, welche snapshots auf dem Ziel existieren sollen (nicht auf der Quelle).
Damit benötigst Du nur (massenhaft) Platz auf dem Zielsystem.
Z.B. jede Stunde ein Snapshot für ein Tag, dann alle 6 h ein Snapshot für die letzte Woche, dann ein snapshot täglich für den letzten Monat, usw... (znapzend kümmert sich drum.
Mache ich mit einigen VM-Disks so. Die richtig großen ( > 1TB) synce ich allerdings per rsync auf einen fileserver, von dem genauso snapshots angelegt werden.

znapzend ist allerdings nicht mit der proxmox-rplikation kompatible (jedenfalls vor einiger Zeit nicht). Kann aber parallel gut mit pve-zsync verwendet werden.

Udo
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!