Empfehlung für einen Neuling - Sicherung ein ca. 20 TB VM eines PVE auf einem PBS und anschließend auf Band

[TErxleben]

Ich glaube, es gibt noch gar keine LTO-10 Laufwerke, bislang habe ich nur Tapes gesehen. Also nein, kein LTO-10 Laufwerk! ;-)
rsync nutze ich zwischen den beiden OMVs.
Bewegungsdaten zwischen 100 Gb und 1 TB in der Woche. Eher kleine Dateien, viele Bilder, die kaum komprimiert werden können.

Bei Seafile habe ich schon mal überlegt, ist noch nicht geworden, vielleicht auch, weil eine Nextcloud im Einsatz ist. Allerdings hat Seafile durchaus bestimmte Vorteile ....
Ursächlich geht es mir aber um meine Proxmox-"Geschichte". Bareos war schon mal Thema aber im Moment weiß ich nicht, wie ich das Bandlaufwerk damit nutzen kann, wenn es am PBS hängt.

Dazu nochmal meine Gedanken:

• Backups, die du auf mehrere Bänder verteilt musst, sind Riesenmist
• Bänder sind sowieso ein totes Pferd und nur in ganz engen Nischen alternativlos
• Änderungen des Workflows helfen häufig immens ohne hohe Kosten zu verursachen.
• Zerlege doch deinen bisherigen VM-Fileserver in einen fs-work und einen fs-archiv.
• Dann könntest du die Sicherungsfrequenz der vermuteten fetten Datenmengen von fs-archiv erheblich reduzieren.
• Wie lange dauert denn die rsync-Sicherung zwischen den beiden OMV-Servern?
• In Kombination mit der beschrieben Seafile-Möglichkeit auf dem Zweitserver erbst du automatisch eine Dateiversionierung.
• Seafile rennt Kreise um nextcloud.
• Hat aber keinen Terminkalender
• da dich manuell nötige Eingriffe nicht zu stören scheinen, nutze statt Bändern externe USB-Laufwerke
• Günstiger, schneller und zeitgemäß.

 

[blueman]

Dazu nochmal meine Gedanken:

• Backups, die du auf mehrere Bänder verteilt musst, sind Riesenmist
• Bänder sind sowieso ein totes Pferd und nur in ganz engen Nischen alternativlos
• Änderungen des Workflows helfen häufig immens ohne hohe Kosten zu verursachen.
• Zerlege doch deinen bisherigen VM-Fileserver in einen fs-work und einen fs-archiv.
• Dann könntest du die Sicherungsfrequenz der vermuteten fetten Datenmengen von fs-archiv erheblich reduzieren.
• Wie lange dauert denn die rsync-Sicherung zwischen den beiden OMV-Servern?
• In Kombination mit der beschrieben Seafile-Möglichkeit auf dem Zweitserver erbst du automatisch eine Dateiversionierung.
• da dich manuell nötige Eingriffe nicht zu stören scheinen, nutze statt Bändern externe USB-Laufwerke
• Günstiger, schneller und zeitgemäß.

Eine Vollsicherung braucht im Moment 2 Bänder, damit kann ich leben und die Diffs. sind dann nicht das Thema, auch wenn es unbestritten schöner wäre, mit einem Band auszukommen. Aber irgendwann ist auch dieses zu klein. Ich kann mich noch erinnern, als ich vor über 30 Jahren DDS-Bänder benutzt hatte .... Auch wenn viele Bänder als veraltet ansehen, ist es in meinen Augen ein recht sicheres und langlebiges Speichermedium und bietet Schutz vor Randsomsoftware und als Archiv eine gute Lösung.

"Zerlege doch deinen bisherigen VM-Fileserver in einen fs-work und einen fs-archiv. Dann könntest du die Sicherungsfrequenz der vermuteten fetten Datenmengen von fs-archiv erheblich reduzieren." Das habe ich nicht durchblickt. Wenn der PBS nur die Änderungen schreibt, ist bei deiner genannten Lösung der Vorteil, dass der Check, ob etwas geändert wurde entfällt und dadurch ein erheblicher Geschwindigkeitsvorteil zu erwarten ist? Wie gesagt, bin erst ganz neu bei Proxmox aber die zweite Sicherungsdauer entsprach in etwa dem Datenvolumen was geändert wurde und durch eine 1 GBit-Leitung max. geht. Deshalb habe ich das als zu vernachlässigen angesehen, ob das nun 10 Minuten länger dauert oder nicht. Ob und wie viel der Sync zwischen den beiden OMVs schneller ist kann ich nicht sagen. Wie wäre es, wenn ich omv mit zfs verwende, dann hätte ich die Versionierung (was mir gefallen würde) ... und die Frage, wie HDDs im Proxmox am besten eingebunden werden. 2x ZFS macht ja keinen Sinn.
Die Verwendung von Seafile überlege ich mir noch einmal!
Manuelle Eingriffe möchte auch ich gern vermeiden. Das USB-Laufwerke dies gegenüber Bändern reduzieren, sehe ich für mich (noch) nicht.

Ich lass den Input erst einmal sacken. Bis hierhin schon mal vielen Dank für die Anregungen und Empfehlungen.

 

[IsThisThingOn]

Wenn der PBS nur die Änderungen schreibt, ist bei deiner genannten Lösung der Vorteil, dass der Check, ob etwas geändert wurde entfällt und dadurch ein erheblicher Geschwindigkeitsvorteil zu erwarten ist?

Ja, aber das ist noch immer Mist.
Nehmen wir mal an, du hättest nur 100 Fotos à 10MB also 1GB an Daten.

PBS, erste Sicherung:
Liest die komplette 1GB. Macht ca. 4MB chucks, sichert die weg.

PBS, zweite Sicherung:
Liest nochmals die kompletten 1GB. Prüft das gegen eine checksum table, stellt fest, da ist schon alles am Ziel, ist fertig.

Dateibasierte erste Sicherung:
Liest die komplette 1GB. Sichert die weg.

Dateibasierte zweite Sicherung:
Liest die metadaten der 1GB. Stellt fest, da ist schon alles am Ziel, ist fertig.




Jetzt ziehen wir das ganz noch ein bisschen grösser.
Machen wir 20TB und sagen wir, wir sind bei zweiten Durchgang.

- Du (PBS) liest 20TB aus und machst davon checksums. Das dauert eeeeewwwwiiigs! Selbst wenn du 20TB SSD storage hast!

- @TErxleben macht ein Syncting oder rsyc backup. Dafür liest er die metadaten von 20TB aus. Das dauert auf HDD ewig, auf SSD ok.

- Ich mach ein ZFS snapshot. Das dauert keine Sekunde.

Darum schlagen dir hier alle vor, blockstorage von Dateien zu trennen.

 

[blueman]

Ich bin für jeden Tipp dankbar, wie ich das besser umsetzen kann. ZFS für den OMV möchte ich sehr gerne nutzen.
Aber entweder habe ich es überlesen oder begreife es einfach nicht, wie ich das mit PVE und PBS umsetzen sollte. :-(

 

[Johannes S]

Haben doch schon mehrere Leute geschrieben?

• Lass OMV weg, wenn du keine Hardware durchreichst, nimm besser eine VM oder lxc mit samba/nfs und Cockpit oder Webmin zur Administration
• Packe deine Daten auf eigenen virtuellen Storage und sichere den als Dateibackup ( mit spezifischen Tool oder den proxmox-backup-client) oder zfs send/receive

 

[blueman]

Ich versuche mich an der Umsetzung, muss halt noch entscheiden wie im Detail ....

Vielen Dank!