Auf der Suche nach möglichen Fußfehlern...

[TErxleben]

Ich habe in kleineren Umgebungen folgendes Szenario:

• Mehre PVEs bewusst ohne Cluster
• ein PVE beherbergt eine externe 16TB-Disk, auf der ausschließlich ein PBS-VM installiert ist.
• Diese PBS-VM hebt die letzten 30 Tage, 12 Wochen und 12 Monate auf.
• So kann ich jeweils einen Monat täglich, 3 Monate wöchentlich und 12 Monate jährlich zurücksichern. (hoffe ich zumindest )
• Fällt der PVE mit der 16TB-Platte aus, kann ich den ohne Probleme innerhalb des Netzes an jeden weiteren vorhanden und vorbereiteten PVE umstecken und nutzen.
• Nun hätte ich wegen Brand, Blitzschlag, Hochwasser, Diebstahl, bösen Buben oder Al-Quaida gerne eine zuverlässige Offsite-Kopie der PBS-VM per RSync sonstwo anders.
• So sichere ich eben die Dateien der (Master)PBS-VM per rsync sehr bandbreiteneffektiv.
• Zusätzlich bietet rsync als Benefit ja sogar auch im Inet eine sehr kleine Angriffsfläche

Schieße ich mir mit mit meinem Vorgehen irgendwo massiv ins Knie? Oder geht es anders vielleicht sogar effektiver?

 

[TErxleben]

Hallo, der Proxmox BS speichert Backups in Chunks mit maximal 4 MB Größe, dadurch werden die Chunk-Daten nur einmal gespeichert. So spart man sich sehr viel Speicherplatz auf kosten von sehr vielen IOPS die man benötigt.
Also ein ZFS Pool über 2x VDEV0 und VDEV1 mit 2x ZFS Mirror mit SSD (SATA3) für den Proxmox BS wäre meine Wahl.

Nur eine externe USB3 Disk, ext4 ist kein Backup und würde ich nie so nennen oder darüber nachdenken!

Rsync der lokalen Proxmox VE Backups auf andere Rechner, das ist ok.
Und auch eine gute Wahl, um lokale Kopien mit anderen Servern zu teilen. Kann man so machen.

Deduplication ist ja nun nicht plötzlich vom Himmel gefallen. Betreibe ich gerade für Backups seit Jahrzehnten z.B. mit ZBackup. So ein ZBackup-Set dann per rsync irgendwohin zu kopieren hat immer gut funktioniert. Beim Rücksichern aus einem ZBackup wird es halt unpraktisch.
Da ist ein PBS natürlich meilenweit überlegen. Deshalb meine Überlegung eine komplette PBS-VM mit all ihren Vorteilen komplett zu sichern, ohne administratives Geraffel zu erben (ZFS, LVM etc.pp.), um im schlechtesten Fall möglichst schnell an Sicherungen zu kommen. Da tausche ich dann nur den Teufel gegen einen Beezelbub.
ZFS ist ja nun das modernste Schwein im Stall. Funktioniert aber ohne "schmutzige" Tricks nur maschinenzentriert, wenn man den Resourcenhunger ignoriert.
Ganz ohne administrativen Overhead fette Dateien, nichts anderes sind VMs, ganz oldaged per z.B. rsync sehr effektiv zu übertragen, steht bei mir im Vordergrund.
Also ZFS ist garantiert raus. LVM sogar auch.

Trotzdem freut mich Dein Lesen und Rückmeldung natürlich sehr.

 

[TErxleben]

Nun irgendwann sollte man sich der Virtualisierung komplett annähern. Ich verbleibe nicht in den 80er Jahren.
Mir ist die Datenintegrität es Wert überall ZFS zu verwenden.
"ZFS ist ja nun das modernste Schwein im Stall." und so schlimm es es auch nicht bei den Preisen für DDR4
Ram.

Du brauchst aber immerhin die doppelte Zahl an Speichermedien, um die Vorteile von ZFS überhaupt nutzen zu können. In den entsprechenden Systemen kann man das ja je nach Gusto machen. Mach ich i.ü. auch.
Hier geht es um Rohdaten und nicht irgendwelche Systeme, die davon profitieren.
Hast du schon mal einen USB-Stick mit ZFS "formatiert" um die darauf gesicherten Daten dann an einen beliebigen anderen Rechner zu stecken, um diese in ein ZFS-fähiges Zielsystem zu kopieren?

 

[UdoB]

Schieße ich mir mit mit meinem Vorgehen irgendwo massiv ins Knie?

Nicht unbedingt, aber rsync ist hier meiner Einschätzung nach schlicht unpassend. PVE sync ist hingegen das korrekte Mittel der Wahl. https://pbs.proxmox.com/docs/managing-remotes.html#sync-jobs

Irgendwie vermute ich, du kanntest meine Antwort bereits...?

 

[UdoB]

Du brauchst aber immerhin die doppelte Zahl an Speichermedien, um die Vorteile von ZFS überhaupt nutzen zu können.

Wie kommst du denn auf diese Idee?

ZFS funktioniert gut mit einem Device. Mindestens genauso gut wie die meisten anderen Systeme - und es stellt einen integralen Integritätscheck, transparente Kompression, technisch "billige" Snapshots und so weiter zur Verfügung. Mit einer Disk.

Aber es funktioniert nochmals viel, viel besser mit Redundanzen und mit multiplen "vdevs"...

 

[TErxleben]

Nicht unbedingt, aber rsync ist hier meiner Einschätzung nach schlicht unpassend. PVE sync ist hingegen das korrekte Mittel der Wahl. https://pbs.proxmox.com/docs/managing-remotes.html#sync-jobs

Irgendwie vermute ich, du kanntest meine Antwort bereits...?

Den Inhalt deines Links kenne ich schon. Aber da brauche ich auf beiden Enden doch eine funktionierende PVE-Struktur oder ich habe es überlesen?
Ich will 16TB+ einfach nur roh möglich effektiv übertragen.

 

[UdoB]

Aber da brauche ich auf beiden Enden doch eine funktionierende PVE-Struktur oder ich habe es überlesen?

Ja. Wobei das laufende PBS und der Storage als solches ja auch an zwei verschiedenen Orten sein kann. Das wiederum erzeugt neue Probleme und ist pauschal nicht empfehlenswert.

Ich will 16TB+ einfach nur roh möglich effektiv übertragen.

Dann nimm "vzdump"-Dateien, die sind rsync-kompatibel.

 

[TErxleben]

Wie kommst du denn auf diese Idee?

ZFS funktioniert gut mit einem Device. Mindestens genauso gut wie die meisten anderen Systeme - und es stellt einen integralen Integritätscheck, transparente Kompression, technisch "billige" Snapshots und so weiter zur Verfügung. Mit einer Disk.

Aber es funktioniert einfach viel, viel besser mit Redundanzen und mit multiplen "vdevs".

Klar funktioniert ZFS auch auf einem Device. Auf einem Einzeldevice erbe ich aber einen Verwaltungsaufwand (SW-Schicht), die ich eigentlich nicht brauche und mir ggü. schnödem ext4/LVM nichts bringt.

 

[TErxleben]

Ja. Wobei das laufende PBS und der Storage als solches ja auch an zwei verschiedenen Orten sein kann. Das wiederum erzeugt neue Probleme und ist pauschal nicht empfehlenswert.

Dann nimm "vzdump"-Dateien, die sind rsync-kompatibel.

• Gerade diese Problematik mit Problemen laufender PVE/PBS-Struktur und Storages einzubinden will ich ja minimieren.
• Deshalb möchte ich keinesfalls Einzelstorages syncen. Da ist mir ein kompletter PBS als VM viel lieber, den ich täglich syncen kann ohne das mir die Stunden pro Tag ausgehen um das Zeug per schmalbrüstiger Leitungen irgendwo sichern zu können.
• vzdump geht ja. Da fehlt mir aber bis heute eine Möglichkeit, ein vzdump-latest irgendwo mittels rsync ohne Affenaufwand hin "pumpen" zu können, ohne rsync zu konterkarieren.

 

[Falk R.]

Den Inhalt deines Links kenne ich schon. Aber da brauche ich auf beiden Enden doch eine funktionierende PVE-Struktur oder ich habe es überlesen?
Ich will 16TB+ einfach nur roh möglich effektiv übertragen.

Du brauchst auf beiden Seiten eine PBS Instanz, aber das ist ja keine Raketenwissenschaft. Ich kenne keine effektivere und Bandbreitenschonendere Möglichkeit PBS Backups zu synchronisieren. Außerdem kannst du damit auch sehr einfach Ransomware und Hackerschutz realisieren.

 

[Falk R.]

• Gerade diese Problematik mit Problemen laufender PVE/PBS-Struktur und Storages einzubinden will ich ja minimieren.
• Deshalb möchte ich keinesfalls Einzelstorages syncen. Da ist mir ein kompletter PBS als VM viel lieber, den ich täglich syncen kann ohne das mir die Stunden pro Tag ausgehen um das Zeug per schmalbrüstiger Leitungen irgendwo sichern zu können.
• vzdump geht ja. Da fehlt mir aber bis heute eine Möglichkeit, ein vzdump-latest irgendwo mittels rsync ohne Affenaufwand hin "pumpen" zu können, ohne rsync zu konterkarieren.

Alle diese Methoden erzeugen garantiert mehr Last auf deiner Leitung als ein PBS Sync.

 

[TErxleben]

Du brauchst auf beiden Seiten eine PBS Instanz, aber das ist ja keine Raketenwissenschaft. Ich kenne keine effektivere und Bandbreitenschonendere Möglichkeit PBS Backups zu synchronisieren. Außerdem kannst du damit auch sehr einfach Ransomware und Hackerschutz realisieren.

DAS ist das Problem. Eine komplette VM auf einem beliebigen Speicherpaltzanbieter abzulegen, geht eben NICHT, wenn ich eine laufende Struktur dahinter brauche. Ich spreche hier auch nur über den allerletzen Notnagel. Dort möchte ich SCHNELL aktualisieren und warte gerne 2 Tage, bis ich die Daten zurück habe. Nicht schön, aber Notnagel, der zu meinen Bewegungsdaten passt.

 

[TErxleben]

Alle diese Methoden erzeugen garantiert mehr Last auf deiner Leitung als ein PBS Sync.

Im Leben nicht. Hat Proxmox nun einen Zauberalgorithmus, der nicht an rsync hängt?
Mir geht es um einen PBS, den ich als lokales Sicherungsziel sehr schätze. Ich will lediglich erhebliche Datenmengen in die "Welt" pusten, ohne an jedem Ziel ein erhebliche Infrastruktur etablieren zu müssen. Wie geht das besser, als einen kompletten Server aka VM irgendwohin zu kopieren?

 

[Falk R.]

Im Leben nicht. Hat Proxmox nun einen Zauberalgorithmus, der nicht an rsync hängt?

Der PBS weiß was sich geändert hat und selbst wenn ein Junk neu erzeugt wurde, wird dieser nicht zwingend zum zweiten PBS übertragen, wenn eine gleicher Junk, z.B. von einem älteren Backup schon auf der Zielseite vorhanden ist.

DAS ist das Problem. Eine komplette VM auf einem beliebigen Speicherpaltzanbieter abzulegen, geht eben NICHT, wenn ich eine laufende Struktur dahinter brauche. Ich spreche hier auch nur über den allerletzen Notnagel. Dort möchte ich SCHNELL aktualisieren und warte gerne 2 Tage, bis ich die Daten zurück habe. Nicht schön, aber Notnagel, der zu meinen Bewegungsdaten passt.

Dann sag uns doch mal auf was für ein Ziel du synchronisieren willst.

 

[TErxleben]

Der PBS weiß was sich geändert hat und selbst wenn ein Junk neu erzeugt wurde, wird dieser nicht zwingend zum zweiten PBS übertragen, wenn eine gleicher Junk, z.B. von einem älteren Backup schon auf der Zielseite vorhanden ist.

Dann sag uns doch mal auf was für ein Ziel du synchronisieren willst.

Ich vermute, ein PBS arbeitet auch mit rsync und alle anderen aufgebohrten Systemen, um rsync eleganter nutzbar zu machen.
Ich möchte gerne 16TB+ einer KOMPLETTEN virtuellen PBS-Maschine mit schmalbrüstigen Leitungen täglich sichern, ohne das mir rechnerisch die Sekunden ausgehen. Wie ich die im absoluten Notfall zurückbekomme, steht auf einem ganz anderen Blatt.

 

[TErxleben]

Ich komme nochmal durch die Tür.

• ich betreibe eine komplette PBS-VM auf einer lahmarschigen aber dafür fetten externen USB-Platte.
• für mein Datenaufkommen funktioniert das sogar sehr gut. Ganz ohne ZFS und Konsorten, sondern auf schnöder externer ext4-Platte als Komplett-VM.
• Selbige PBS-VM "kopiere" ich sogar per rsync ausreichend schnell auf eine andere interne USB-Platte, da ich berechtigte Angst vor HW-Ausfällen habe.
• Dazu braucht es aber einen Sack an scripts.
• Wäre in der GUI durchaus machbar, ohne Raketentechnologie zu sein.
• Das fehlt mir einfach in der GUI eines PVE-hosts.
• Nur darum meine Eingangsfrage.

Also nochmal ganz eingedampft gefragt: Wie bekommt ihr 16TB+ in adäquater Zeit gesichert? Am besten per GUI?

 

[Johannes S]

Ich vermute, ein PBS arbeitet auch mit rsync und alle anderen aufgebohrten Systemen, um rsync eleganter nutzbar zu machen.

Tut er nicht:

missing chunks are possible if your manual sync processes files in the wrong order.. that's why we have a built-in sync that ensures indices and chunks are processed in a logical fashion

Post in thread 'Datastore synced with Rclone broken?'

Sep 20, 2024

missing chunks are possible if your manual sync processes files in the wrong order.. that's why we have a built-in sync that ensures indices and chunks are processed in a logical fashion

• fabian

• 

Ich möchte gerne 16TB+ einer KOMPLETTEN virtuellen PBS-Maschine mit schmalbrüstigen Leitungen täglich sichern, ohne das mir rechnerisch die Sekunden ausgehen. Wie ich die im absoluten Notfall zurückbekomme, steht auf einem ganz anderen Blatt.

Naja, Backup ohne getestetes funktionierendes restore ist eh sinnlos.

Also nochmal ganz eingedampft gefragt: Wie bekommt ihr 16TB+ in adäquater Zeit gesichert? Am besten per GUI?

Meine Datenmengen sind nicht so groß, aber ich würde dafür PBS native sync-Funktionen nehmen, bei einer externen Platte dann mit der Funktion für removable datastores. Zusätzlich würde ich von der PBS VM ein vzdump auf die externe Platte packen.

Aber diese Antwort wurde dir schon mehrmals gegeben, du willst aber was anderes hören oder dass die Entwickler was entsprechendes einbauen.
Für den ersten Fall gibt es keine Lösung (du wirst deine Meinung nicht ändern, der Rest der Community wird es wohl auch nicht), für den zweiten Fall könntest du einen Featurerequest auf bugzilla.proxmox.com aufmachen. ich würde es aber besser finden, wenn die Entwickler ihre Energie für die Imlementierung von rclone-Support o.ä. aufwenden. Damit hätte man nämlich auch Datensicherung in die Cloud abgefrühstückt, was (vermute ich) mehr Leute interessieren dürfte, als deine (nicht böse gemeint) doch eher exotischen Usecases.