Backup von ZFS -> BTRFS?

[whiterabbit]

Hi.
Wir haben hier einen Proxmox-Server, der eine ständig wachsende Nextcloud-VM hält. Das ganze läuft auf auf einem ZFS-Pool und wird im Moment nachts im Wechsel auf zwei Backup-Platten kopiert (was immer länger dauert und aufgrund der Nutzung von ZFS auch schneller gehen könnte).

Nun ist es so, dass ich über die Anschaffung größerer Platten für den Server nachdenke, da der Plattenplatz in der Nextcloud allmählich knapp wird. Es wäre also z.B. möglich, dass ich in den Server (ein IBM x3560 M4) größere SSD-Platten stecke, um dort mehr Speicherplatz in der Hinterhand zu haben. Leider ist der Preis von SSD-Platten seit Anfang des Jahres aber sehr stark gestiegen. Daher denke ich über ein paar Alternativen nach und frage mich wie gut die funktionieren würden (falls überhaupt).

Also fangen wir mal an: Meine erste Idee war, dass ich 3 große SSD-Platten nehme -- zwei davon als ZFS-Pool (RAID-Z irgendwas) und eine als Backup. Der stark gestiegene Preis hält mich im Moment aber davon ab. Davon abgesehen machen die Samsung-Platten (PM...-Serie) offenbar irgendwie Stress im Zusammenhang mit ZFS!??

Die zweite Idee: Den IBM-M4 (der nur 2.5" Platten aufnimmt) vorerst so lassen und das Backup der Nextcloud anders gestalten. Natürlich funktioniert ein Backup per PBS wunderbar -- erfordert aber normalerweise einen zweiten Server. Da bei uns in nächster Zeit eh eine Synology Diskstation frei wird, in die wir große und im Vergleich günstigere 3.5" Platten stecken könnten, frage ich mich, ob ich das Backup nicht auch dorthin schieben kann.
Schön wäre es, wenn das inkrementell funktionieren würde anstellle der riesigen Full-Backups der Nextcloud. Und jetzt kommt endlich die Frage: Meines Wissens kann man bei den Synology Diskstations "nur" BTRFS aber kein ZFS verwenden, richtig? Ist es möglich, dass man dann trotzdem inkrementell sichert? Würde also ein Backup von ZFS -> BTRFS auch inkrementell funktionieren oder sind sich die beiden Dateisysteme doch nicht so ähnlich, dass das klappt?

 

[UdoB]

Würde also ein Backup von ZFS -> BTRFS auch inkrementell funktionieren

Mit PBS: ja. Allerdings ist "inkrementell" irreführend: jedes Backup ist ein Vollbackup. Aber es werden nur Daten transportiert, die sich geändert haben. Und ja, De-Duplizierung funktioniert hervorragend.

PBS ist ziemlich dateisystem-agnostisch, was den .chunks-Storage angeht. Darum klappt das ganze notfalls auch via NFS oder anderen Speichern.

Aber die offizielle Empfehlung ist klar: lokale SSDs sind gewünscht ;-)

Der "begrenzende Faktor" entsteht meist hinsichtlich der realen IOPS...

 

[whiterabbit]

Hallo und danke.
Wie ist das denn, wenn eine Backup-Platte, die ebenfalls ZFS-formatiert wurde, im gleichen Server steckt, so dass die Backups nicht nachts über das Netzwerk gehen müssen: Spielt dann ZFS sozusagen "automatisch" seine Trümpfe aus und kopiert nur die Änderungen oder sind es dann wieder Vollbackups der gesamten VM? Anders gefragt: Geht das Backup dann flott oder dauert es die halbe Nacht bei einer ~ 1TB großen VM?

Der "begrenzende Faktor" entsteht meist hinsichtlich der realen IOPS...

Das musst Du nochmal genauer erklären ... wie meinst Du das?

Ich weiß, dass man notfalls den PBS auch direkt neben die PVE installieren kann -- ist vielleicht nicht elegant aber dann liefen beide Dienste auf der gleichen Kiste. Aber ob das auch empfehlenswert ist? Mit geht's ja "nur" darum, dass die Backlups der Nextcloud-VM schneller und effektiver durchgeführt werden können anstatt jede Nacht immer alles neu weg zu sichern.

 

[UdoB]

Das musst Du nochmal genauer erklären ... wie meinst Du das?

PBS zerlegt die großen virtuellen Festplatten in handliche 2 (oder sind es 4?) MiB große Häppchen. Diese werden dann auf der Festplatte abgespeichert; und auf dieser Ebene funktioniert die Platz-Reduktion mittels Deduplikation.

Wenn du also eine virtuelle 100 GB Festplatte hast, werden 25000 bis 50000 Dateien abgespeichert. Und weil zu den Daten auch noch Meta-Daten (Directory) hinzukommen, sind meist sogar mehrere Zugriffe notwendig.

Bleiben wir bei 50000 Dateien ohne "drumherum".

Um dies zu tun muss eine mechanische Festplatte ebensoviele Kopfbewegungen machen. Bei einer Zugriffszeit von (der Einfachheit halber etwas zu hoch angesetzten) 10 ms sind das also 100 G / 2 M = 50000 Chunks; 50000 / 100 = 500 Sekunden = sechs Minuten.

Wenn man blauäugig nur auf die beworbene Daten-Transferrate der Festplatte schaut, würde man viel weniger erwarten. Nimmt man 200 MB/s an, wären in meinem Beispiel nur 100 GB / 2 MB/s = 50 Sekunden notwendig.

Die Zugriffszeiten (bzw Input/Output Operationen Per Second) sind bei SSDs um einen Faktor 100 bis 10000 geringer...

Dazu kommt: wenn das ganze System durch eine zunehmende Datenmenge immer langsamer wird, treten irgendwann Timeouts auf - PBS will nicht minutenlang auf angeforderte Daten warten und verweigert gerechtfertigter Weise die weitere Mitarbeit.

Kurzum: man will SSDs/NVMe haben - nicht wegen der Datentransferrate, sondern wegen der IOPS.

Alles klar? ;-)

 

[UdoB]

Ich weiß, dass man notfalls den PBS auch direkt neben die PVE installieren kann -- ist vielleicht nicht elegant aber dann liefen beide Dienste auf der gleichen Kiste. Aber ob das auch empfehlenswert ist?

Naja, auf Backups will man zugreifen können, wenn der originale Speicherort (also der PVE-Node/Host) stirbt. Wenn man beides auf derselben Kiste macht... klappt das nicht.

Ansonsten: jedes Backup ist besser als gar keines. Und dann mach zusätzlich - wöchentlich oder so - Backups auf eine separates, unabhängiges Medium. Oder auf einen zweiten PBS. Oder...

Viele Grüße

 

[Dunuin]

Spielt dann ZFS sozusagen "automatisch" seine Trümpfe aus und kopiert nur die Änderungen oder sind es dann wieder Vollbackups der gesamten VM? Anders gefragt: Geht das Backup dann flott oder dauert es die halbe Nacht bei einer ~ 1TB großen VM?

Du könntest mit "zfs send | zfs recv" arbeiten um Daten schnell und inkrementell zwischen zwei ZFS Pools zu kopieren. Aber da würde ich die dritte SSD dann schon lieber für einen PBS (VM oder bare metal neben PVE) nehmen. Und da dir Backups im selben Server nichts bei Ransomware/Hardwaredefekt/Katastrophen bringen, dann noch offsite einen weiteren PBS der sich die Backups dann pullt/synct.