Empfehlung für einen Neuling - Sicherung ein ca. 20 TB VM eines PVE auf einem PBS und anschließend auf Band

[blueman]

Hallo an alle!

Ich hoffe auf eine Empfehlung für folgende Situation:

Es gibt einen PVE, auf dem laufen mehrere VMs. Eine davon dient unter anderem als Fileserver mit rund 20 TB Kapazität (3x 10 TB im Raid 5, ZFS). Die VMs sollen auf einen PBS gesichert werden, im Bedarfsfall aber das System wiederhergestellt werden können, ohne das die Daten ebenfalls wiederhergestellt werden. Ich habe bislang nur die Dateiwiederherstellung gefunden oder alles zurückspielen aber keine Möglichkeit, nur die Systemplatte ohne den 20 TB Daten wiederherzustellen. Eine Wiederherstellung vom Band geht anscheinend nur komplett ... oder? Damit könnte ich aber leben, da dies ja nur beim Totalausfall des PBS benötigt wird.
Wichtig ist, dass die Backupjobs und die Verifizierung in vertretbarer Zeit abgeschlossen ist. Anfänglich waren die Daten-HDDs per passthrough eingebunden, mit dem Effekt, dass nach einem weiteren Backupjob die Verifizierung wieder alles überprüft hat. Jetzt sind die HDDs direkt der VM zugeordnet und die Verifizierung ist deutlich schneller - das passt. Inzwischen teste ich noch den proxmoxbackup-client, um die 20 TB separat zu sichern und habe die Sicherung im Backupjob dafür deaktiviert (für virtiio1), sodass nur das reine VM-System gesichert wird.
So richtig toll ist das alles aber nicht und wird auch aufwändig in der Verwaltung.
Deshalb meine Frage, ob es eine bessere Lösung gibt, die auch möglichst einfach umsetzbar ist. Wie gesagt, bin absoluter Neuling bei proxmox.

Auch möchte ich gern die Konfiguration des PVE und des PBS sichern, um im Notfall diese wieder zurückspielen zu können.

Vielen Dank für einen Tipp (oder zwei)!

 

[ThoSo]

Wie wäre es mit einer Backup Software?
Bsp.: Veeam, ToDoBackup

 

[news]

@blueman tip top lies Dir bitte mal die Beschreibung zum Proxmox BS durch.
Und was dann primäre seine Aufgabe und die Hardaware-Anfoderungen sind.

 

[blueman]

@blueman tip top lies Dir bitte mal die Beschreibung zum Proxmox BS durch.
Und was dann primäre seine Aufgabe und die Hardaware-Anfoderungen sind.

Im Zweifel muss ich mit meiner Lösung leben, dachte aber, die Profis unter Euch haben einen Tipp, wie es elegant gelöst werden kann. Was meinst du mit, ... was die Hardwareanforderungen sind?

 

[blueman]

Wie wäre es mit einer Backup Software?
Bsp.: Veeam, ToDoBackup

Kann/sollte Veeam auf dem PBS mit installiert werden? Habe es bisher nur auf einem PC. ToDoBackup sehe ich mir an, was die Installation auf dem PBS angeht, hätte ich dann die gleiche Frage.

 

[Johannes S]

Es gibt einen PVE, auf dem laufen mehrere VMs. Eine davon dient unter anderem als Fileserver mit rund 20 TB Kapazität (3x 10 TB im Raid 5, ZFS). Die VMs sollen auf einen PBS gesichert werden, im Bedarfsfall aber das System wiederhergestellt werden können, ohne das die Daten ebenfalls wiederhergestellt werden. Ich habe bislang nur die Dateiwiederherstellung gefunden oder alles zurückspielen aber keine Möglichkeit, nur die Systemplatte ohne den 20 TB Daten wiederherzustellen. Eine Wiederherstellung vom Band geht anscheinend nur komplett ... oder? Damit könnte ich aber leben, da dies ja nur beim Totalausfall des PBS benötigt wird.

Wie genau hast du den Storage für den Dateiserver konfiguriert und was für ein Betriebssystem läuft darauf? Ist das per durchgereichten Storage-Controller oder über virtuelle Laufwerke? Je nachdem gibt es verschiedene Optionen.

 

[blueman]

Wie genau hast du den Storage für den Dateiserver konfiguriert und was für ein Betriebssystem läuft darauf? Ist das per durchgereichten Storage-Controller oder über virtuelle Laufwerke? Je nachdem gibt es verschiedene Optionen.

Der Storage ist auf dem PVE als ZFS angelegt, welcher einem Openmediavault zur Verfügung gestellt wird. Erst waren die HDDs per passthrough eingebunden aber wie bereits geschrieben, hat mich das vor andere Probleme gestellt. Jetzt sind sie virtuell eingebunden.

 

[Johannes S]

Der Storage ist auf dem PVE als ZFS angelegt, welcher einem Openmediavault zur Verfügung gestellt wird. Erst waren die HDDs per passthrough eingebunden aber wie bereits geschrieben, hat mich das vor andere Probleme gestellt. Jetzt sind sie virtuell eingebunden.

Yikes, das finde ich kein gutes Setup, weil NAS-Betriebssysteme eigentlich erwarten direkt auf die Laufwerke zugreifen zu können:
https://www.truenas.com/community/r...guide-to-not-completely-losing-your-data.212/

Auch die OMV-Entwickler raten von solchen Setups (jenseits von Tests) ab:
https://forum.openmediavault.org/in...ual-machine-for-omv-seeking-advice-and-exper/

Wie genau stellst du denn den Storage zur Verfügung? Indem du virtuelle Laufwerke erstellt hast und die in OMV als ZFS formatiert hast? Das wäre doppelt gemoppelt und schon wegen der damit verbundenen Schreiblast keine gute Idee. Oder als ext4 oder xfs? Dann hast du immer noch das Problem, dass das am Idee eines NAS-Systems vorbei geht.

So oder so würde ich 20TB (!) Rohdaten nicht per PBS sichern wollen, der funktioniert am Besten für VMs und lxcs. Ich würde also die Laufwerke aufteilen: Eins für das Betriebssystem, das wird auch mit PBS gesichert (Haken Backup anmachen). Bei den Datenlaufwerken würde ich den Haken dagegen deaktivieren, sodass die mit PBS nicht mitgesichert werden. Bei Passthrough kann ich mir das schenken, da werden die Laufwerke ja so oder so nicht mitgesichert. Diese Rohdaten würde ich dann aus der VM mit dem Backuptool meiner Wahl sichern, welches man dann nimmt ist dann Geschmackssache. Ich persönlich mag restic, was allerdings nicht wirklich für Tape-Backups geeignet ist (außer man arbeitet am CERN, dort wird ein (leider nicht veröffentlichter) Fork mit Unterstützung für Tape als cold-storage). Für die Sicherung auf andere Festplatten (z.B. USB_Storage) oder Cloudspeicher (so ziemlich alles was rclone oder s3 unterstützt) ist es dagegen ganz gut und ähnlich platzsparend wie PBS (da es auch Deduplizierung und Komprimierung kann). kopia soll ähnliches leisten, teilweise performanter sein und bringt eine GUI mit, das habe ich aber bisher nicht verwendet und kann daher zu nicht wirklich was sagen.

 

[IsThisThingOn]

Eine davon dient unter anderem als Fileserver mit rund 20 TB Kapazität (3x 10 TB im Raid 5, ZFS).

Mein Tipp: Tue es nicht!

Schau, deine VM zu sichern mit PBS, heisst Blockstorage zu sichern.
Blockstorage zu sichern ist extrem nervig. Es dauert ewigs. Die kompletten 20TB müssen gelesen werden, eine checksum berechnet werden, die veränderten checksums geschicht (das ist easy und schnell) und im Schadensfall hast du noch nicht mal irgend ein Versioning, sondern musst quälend langsam 20TB zurückspielen. PBS ist cool um VMs zu sichern, nicht um Dateien zu sichern, die viel besser auf anderem Weg gesichert werden können.

Setz also auf Dateien anstelle von Blockstorage!
Wie? Nun da gibt es viele Möglichkeiten. Du kannst eine USB Festplatte durchreichen und mittels Windows Backup auf diese sichern. Du kannst VEEAM in der VM installieren und von dort auf SMB, Festplatte, Band oder was auch immer sichern.
Mein persönlicher Favorit ist bisschen komplizierter, aber super im Gebrauch. Hol dir ein TrueNAS (bare metal keine VM). Dann bindest du diese in die Windows AD ein. Die Sicherung machst du mittels ZFS Snapshot auf ein remote TrueNAS. Und mit S3 backup auf Backblaze oder ähnliches, machst du die zweite Sicherung. Nix mit nervigem Band wechseln, Backups sind extrem schnell, integiertes Versioning, ZFS Geschwindigkeit...

 

[boisbleu]

Es gibt einen PVE, auf dem laufen mehrere VMs. Eine davon dient unter anderem als Fileserver mit rund 20 TB Kapazität (3x 10 TB im Raid 5, ZFS).

Du schreibst von 20 TB Kapazität. Über wieviele Daten netto sprechen wir? Und wie schnell ist das Netzwerk?

 

[blueman]

Yikes, das finde ich kein gutes Setup, weil NAS-Betriebssysteme eigentlich erwarten direkt auf die Laufwerke zugreifen zu können:
https://www.truenas.com/community/r...guide-to-not-completely-losing-your-data.212/

Auch die OMV-Entwickler raten von solchen Setups (jenseits von Tests) ab:
https://forum.openmediavault.org/in...ual-machine-for-omv-seeking-advice-and-exper/

Wie genau stellst du denn den Storage zur Verfügung? Indem du virtuelle Laufwerke erstellt hast und die in OMV als ZFS formatiert hast? Das wäre doppelt gemoppelt und schon wegen der damit verbundenen Schreiblast keine gute Idee. Oder als ext4 oder xfs? Dann hast du immer noch das Problem, dass das am Idee eines NAS-Systems vorbei geht.

So oder so würde ich 20TB (!) Rohdaten nicht per PBS sichern wollen, der funktioniert am Besten für VMs und lxcs. Ich würde also die Laufwerke aufteilen: Eins für das Betriebssystem, das wird auch mit PBS gesichert (Haken Backup anmachen). Bei den Datenlaufwerken würde ich den Haken dagegen deaktivieren, sodass die mit PBS nicht mitgesichert werden. Bei Passthrough kann ich mir das schenken, da werden die Laufwerke ja so oder so nicht mitgesichert. Diese Rohdaten würde ich dann aus der VM mit dem Backuptool meiner Wahl sichern, welches man dann nimmt ist dann Geschmackssache. Ich persönlich mag restic, was allerdings nicht wirklich für Tape-Backups geeignet ist (außer man arbeitet am CERN, dort wird ein (leider nicht veröffentlichter) Fork mit Unterstützung für Tape als cold-storage). Für die Sicherung auf andere Festplatten (z.B. USB_Storage) oder Cloudspeicher (so ziemlich alles was rclone oder s3 unterstützt) ist es dagegen ganz gut und ähnlich platzsparend wie PBS (da es auch Deduplizierung und Komprimierung kann). kopia soll ähnliches leisten, teilweise performanter sein und bringt eine GUI mit, das habe ich aber bisher nicht verwendet und kann daher zu nicht wirklich was sagen.

War gestern zu spät, habe vergessen es abzuschicken. :-|

Danke für deine ausführliche Antwort! Erst waren die HDDs durchgereicht, was an anderer Stelle nicht optimal war. Im OMV wird xfs verwendet. Die komplette Sicherung, also inkl. der Nutzdaten durch den PBS habe ich bewusst gewählt, da das Bandlaufwerk an dem hängt und so alle Daten auch dort landen. Bislang gibt es noch einen zweiten OMV (Bare Metal), auf dem die Daten gespiegelt werden und die allseits "beliebten" Backups auf externe HDDs. Alles Krampf, deshalb das Bandlaufwerk. Alles drauf und gut! kopia und restic sehe ich mir an aber ... kann ich die auf dem PBS installieren? Denke der Bandlaufwerkzugriff wird exklusiv sein müssen.
Im Moment wird nur das OS der VM gesichert und die Daten der zweiten virtuellen "Platte" werden durch den proxmox-backup-client gesichert. Funktioniert soweit, bin aber bei Details der Umsetzung noch nicht fertig.

Im Grunde hätte ich gern zwei Sicherungsjob für die gleiche VM. Einmal nur das OS sichern und einmal nur den Daten-Storage. Das wäre für mein Vorhaben perfekt.

Update:
Bin gerade am prüfen, ob ich evtl. etwas übersehen habe. Wenn ich nur local-lvm (Screenhot) rücksichere, bleiben die Nutzdaten des OMV, welche im datapool liegen, doch unberührt ... und das wäre somit meine Lösung.

Es geht um tatsächlich auch knapp 20 TB Daten, das Netzwerk ist aktuell noch der Flaschenhals mit 1 GBit/s, soll aber geändert werden.

Edit: Die Angabe des Storage gibt wohl nur an, wohin rückgesichert wird, nicht was .... War ich zu schnell und werde noch bissl weiter überlegen (müssen).

 

[Johannes S]

Danke für deine ausführliche Antwort! Erst waren die HDDs durchgereicht, was an anderer Stelle nicht optimal war. Im OMV wird xfs verwendet.

Warum überhaupt OMV? Wenn es dir um eine GUI für Dateifreigaben gibt, dafür tut es dann auch eine Debian-VM mit Webmin oder Cockpit. Oder ein lxc-Container mit den turnkey-fileserver o.ä, etwa https://github.com/bashclub/zamba-lxc-toolbox

Die komplette Sicherung, also inkl. der Nutzdaten durch den PBS habe ich bewusst gewählt, da das Bandlaufwerk an dem hängt und so alle Daten auch dort landen. Bislang gibt es noch einen zweiten OMV (Bare Metal), auf dem die Daten gespiegelt werden und die allseits "beliebten" Backups auf externe HDDs. Alles Krampf, deshalb das Bandlaufwerk. Alles drauf und gut! kopia und restic sehe ich mir an aber ... kann ich die auf dem PBS installieren? Denke der Bandlaufwerkzugriff wird exklusiv sein müssen.

restic und kopia sind ja erstmal nur die Clients, die Backups werden in sogenannten Repositories gespeichert. Die können entweder in einen beliebigen Verzeichnis liegen, einen per sftp erreichbaren Server oder eben S3-Cloudstorage. Bei sftp will man denen einen eigenen User geben, damit jemand der dessen Zugangsdaten bekommt, nur diese Backups kaputt machen kann und keine anderen
Beide haben auch die Option einen Server zu betreiben (was ich auch machen würde), es ist aber nicht zwingend nötig. Diese Repositories könnte man nun natürlich auch auf Band speichern (etwa mit tar), aber sie sind dafür halt nicht wirklich gedacht und es ist auch kein sehr robustes Vorgehen.
Am CERN wird restic für sehr große Datenmengen (im Petabytebereich) eingesetzt, die nutzen aber noch eine eigene Anpassung, um Daten irgendwann auf Magnetband zu archivieren. Konkret werden die Daten dafür aus Backups wiederhergestellt, dann gezippt und dieses zip-Archiv dann aufs Band geschoben, im restic-Backup ist dann nur noch ein Verweis auf das jeweilige Magnetband. Leider scheinen sie das nie veröffentlicht zu haben (wohl keine Lust auf den anfallenden Supportaufwand, in erster Linie machen die Leute da ja Physik-Grundlagenforschung nicht Softwareentwicklung ).

Zum Thema Krampf. Ich finde Bandsicherung ja auch sehr krampfig, man muss Medien wechseln und katalogisieren (und darf es nicht vergessen), Wiederherstellung dauert lange, ich habe keinen wahlfreien Zugriff (etwa um eine bestimmte Datei wiederherzustellen). Wofür Bandlaufwerke gut sind: Langzeitarchivierung in Firmen, etwa um gesetzliche Fristen einzuhalten. Das ist dann das einzige Backup, wo der Restore weniger wichtig ist als das Backup selbst Oder weil man (wie am Cern) sehr große Datenmengen vorhalten muss, da sind Magnetbänder immer noch deutlich günstiger pro TB. Aber auf wieviele Firmen und Privatanwender trifft das zu? Und da du OMV nutzt (in Firmen eher selten anzutreffen) gehe ich dreisterweise davon aus, dass du ein Privatanwender bist.

Generell finde ich, dass man Backups automatisieren muss (inklusive Restore-Test, der Teil fehlt mir noch), sonst vergisst man es und macht es nicht oder zu selten (was aufs gleiche hinauskommt).

Zu externen Laufwerken: Der PBS hat mittlerweile Unterstützung für externe Laufwerke, auch so dass nach Anstecken des Laufwerks automatisch das Syncen getriggert wird. Für die Dateibackups (siehe @IsThisThingOn Beitrag) muss man dann noch sich was anderes überlegen. Generell spricht gegen externe Laufwerke (wie auch gegen Bänder), dass da wieder ein manueller Prozess dazu gehört.

Sofern man also das Budget hat, finde ich Cloud-Storage, ein PBS auf einen vserver oder so sachen wie die managed PBS von tuxis.nl oder inett deutlich praktikabler. Wenn man dafür das Geld nicht hat, könnte man ja auch auf einen Backupserver bei einen Freund oder Familienmitglied sichern, dauern die Sync dann halt lange im digitalen Entwicklungsland Deutschland

 

[news]

@blueman wie sieht denn dein ZFS Pool aus?

zpool status
zpool list -v

Bei HDDs Ich hoffe 7.200 RPM NAS Drives mit CMR Speichermethode.

Evtl. ein Rad10 ähnliches Setup mit 4x HDDs?

Wurde dem ZFS Pool noch SSDs als ZFS Special Device mit mind. VDEV ZFS Mirror aus mind. 2 Drives hinzugefügt?

Wenn dem so ist, dass sollte man ca. 300 MB/s lesen können, die Daten werden dabei auch dekompremiert..
und beim Übertragen evtl. wieder komprimiert.

So dass man bei einem 2.5 GBit/s Netzwerk von ca. 280 MB/s Durchsatz ausgehen könnte.

Datenmengen:
20 TB ~ 20971520 MB

Zeitverhalten:
t = 20971520 MB / 280 MB/s ~ 74899 Sekunden ~ 20,8 Stunden

Sportlich.

 

[blueman]

Hallo Johannes S,

du hast mit deinen Annahmen recht, ich bin Privatanwender, absoluter Neuling bei Proxmox und versuche eine für mich passende Lösung zu finden.
OMV nutze ich schon viele Jahre und Proxmox ist nun vor kurzem hinzu gekommen, um die Sicherung von einigen anderen Servern zu vereinfachen.
Insgesamt gefällt mir das System, habe aber noch einige offene Fragen bzw. Wünsche, die ich gern, für mich passend, umsetzen möchte.
Die Daten des OMV liegen auch noch auf einem zweiten OMV, der nur "per Hand" synchronisiert wird und dann wieder offline geht, weiterhin noch auf USB-HDDs und nun auch noch auf Band, was in meinen Augen einen Gewinn an Sicherheit darstellt.

restric, kopia usw. habe ich mir angesehen, mir(!) erscheint es momentan aber als gute Lösung, nur den PBS zu verwenden und keine weitere Software zum sichern.

Kannst du mir sagen, ob mein Gedanke (Screenshot vorheriger Post) funktionieren würde, wenn ich also sowohl die virtuelle Platte des OS und die virtuelle Platte der Daten auf den PBS sichere, könnte ich dann nur die Platte des OS wiederherstellen?

 

[news]

Problem wird für dich sein, dass Du kein Proxmox BS rein NVMe 3.0/4.0 aus N Datenspeichern hast.
So wird der PBS mit reinen ZFS VDev 2x HDDs ca. 80 MB/s read/write liefern.
Beim Rücksichern wird das noch weniger sein können.

 

[blueman]

Die Geschwindigkeit der Rücksicherung ist für mich als Privatanwender nicht sooo kritisch bzw. muss ich akzeptieren, da es eine Frage des Budget ist.

 

[blueman]

Die sportlichen 20,8 h schaffe ich nicht, sondern mehr als das Doppelte. Aber nur bei der ersten Sicherung, danach sind es zwischen 1-4 h, da selten mehr als 1 TB an Daten verändert wird. Immer noch nicht schnell aber 1 GBit-LAN limitiert hier eben. Soll aber geändert werden. ;-)

 

[ThoSo]

Wenn du schon eine extra Kiste mit Bandlaufwerk hast, wären evtl. auch die Community Lösungen von SEP SESAM, Bacula oder Bareos interessant - die können meines Wissens alle Backup-Disk-to Tape und laufen unter Linux-OS.

 

[TErxleben]

Ich stelle mir folgende Fragen:

• Hast du ein LTO10-Laufwerk?
• Warum nutzt du nicht den internen rsync-Dienst von OMV?
• Wieviele TB sind Bewegungsdaten?
• Sind es vorwiegend große Dateien?
• Wie gut komprimierbar sind die Daten?

Eine Lösung, die zusätzlich noch Deduplizierung, Dateiversionisierung, und sicheren (TOTP) externen Dateizugriff bietet ist Seafile. Dazu:

• Seafile einstallieren (vielleicht auf deinem zweiten PVE)
• Innerhalb der OVM Maschine den Seafile-client installieren.
• Die zu synchronisierenden Ordner definieren.
• Geduld bei der initialen Synchronisierung haben, sind schließlich 20TB
• Sich auf jedem Gerät über Datenzugriff freuen, das mit einem Seafile-client versorgt wird. Das sind eine ganze Menge.

Keine klassische Datensicherung im klassischen Sinne, aber eine zuverlässige Art seine Daten simpel, schnell, zuverlässig und zeitnah erheblich abzusichern.

 

[blueman]

Ich stelle mir folgende Fragen:

• Hast du ein LTO10-Laufwerk?
• Warum nutzt du nicht den internen rsync-Dienst von OMV?
• Wieviele TB sind Bewegungsdaten?
• Sind es vorwiegend große Dateien?
• Wie gut komprimierbar sind die Daten?

Eine Lösung, die zusätzlich noch Deduplizierung, Dateiversionisierung, und sicheren (TOTP) externen Dateizugriff bietet ist Seafile. Dazu:

• Seafile einstallieren (vielleicht auf deinem zweiten PVE)
• Innerhalb der OVM Maschine den Seafile-client installieren.
• Die zu synchronisierenden Ordner definieren.
• Geduld bei der initialen Synchronisierung haben, sind schließlich 20TB
• Sich auf jedem Gerät über Datenzugriff freuen, das mit einem Seafile-client versorgt wird. Das sind eine ganze Menge.

Keine klassische Datensicherung im klassischen Sinne, aber eine zuverlässige Art seine Daten simpel, schnell, zuverlässig und zeitnah erheblich abzusichern.

Ich glaube, es gibt noch gar keine LTO-10 Laufwerke, bislang habe ich nur Tapes gesehen. Also nein, kein LTO-10 Laufwerk! ;-)
rsync nutze ich zwischen den beiden OMVs.
Bewegungsdaten zwischen 100 Gb und 1 TB in der Woche. Eher kleine Dateien, viele Bilder, die kaum komprimiert werden können.

Bei Seafile habe ich schon mal überlegt, ist noch nicht geworden, vielleicht auch, weil eine Nextcloud im Einsatz ist. Allerdings hat Seafile durchaus bestimmte Vorteile ....
Ursächlich geht es mir aber um meine Proxmox-"Geschichte". Bareos war schon mal Thema aber im Moment weiß ich nicht, wie ich das Bandlaufwerk damit nutzen kann, wenn es am PBS hängt.