Hm, okay. Dann könnte ich ja auch gleich alles neu installieren. Kann ich denn wenn ich Proxmox diesmal mit ZFS installiere die alten Snapshots aus der LVM Proxmox Installation nutzen? Dann kann ich ja alle Snapshots abspeichern, alles platt machen und die Snapshots dann wieder einspielen.
Backup Größe verringern - Vergleich mit TrueNAS
- Thread starter TrueMox
- Start date
In meinem Fall sind die Snapshots doch komplette Backups, oder nicht? Es wird ja jedes mal komplett alles gesichert. Deshalb hatte ich mich ja hier auch wegen der Dateigröße beschwert. Hätte ich jetzt ZFS, dann wären die Snapshots ganz klein und dann würde diese Snapshot Datei nicht für die Wiederherstellung ausreichen.
Alles eine Frage der Terminologie. Snapshots sind keine vollen Backups, sondern nur ein Schnappschuss eines Zustands zu einer bestimmten Zeit und meist fester Teil des Dateisystems/Storages und inkrementell. Machst du die Disk platt (z.B. wegen PVE Neuinstallation), sind auch all deine Snapshots weg.
Wie hast du deine "Snapshots" denn erstellt und wohin hast du die gespeichert? Falls es Backups von VMs/LXCs auf "local-lvm" sind solltest du die übrigens nicht nach "local" speichern. Dann sind sowohl deine VMs/LXCs als auch deine Backups weg, wenn dir mal die Platte ausfällt oder du PVE neu aufsetzt. Sowas speichert man besser auf einer eigenen Platte rein für Backups oder besser noch extern auf einem NAS/PBS.
Last edited:
Das sind dann aber "VZDump Backups" und keine Snapshots. Und du speicherst sie auf die selbe Disk wie deine VMs/LXCs. Wenn du da PVE neu aufsetzt oder dir die Disk wegstirbt ist also alles weg...
Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS.
PVE hat keine automatischen Snapshots eingebaut. Wenn man sowas will müsste man per CLI mit Skripten arbeiten wie cv4pve-autosnap: https://github.com/Corsinvest/cv4pve-autosnap
Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS.
PVE hat keine automatischen Snapshots eingebaut. Wenn man sowas will müsste man per CLI mit Skripten arbeiten wie cv4pve-autosnap: https://github.com/Corsinvest/cv4pve-autosnap
Last edited:
Wie gesagt, ich habe alles sowieso noch woanders. Es kann ruhig alles kaputt gehen. Es geht jetzt nur darum, ob ich mit dem Snapshot alles wieder herstellen kann. Und ich denke, dass dies geht, weil diese ja auch immer genauso groß wie die VM selber sind. Also nicht inkrementell.
Das hat nichts mit Abnutzung zu tun. Da gibt es die berühmte Kurve im Diagramm, wo Probleme sehr oft direkt nach dem Kauf auftreten, dann fällt die Wahrscheinlichkeit für Probleme langsam ab, bis sie zum Ende der erwarteten Lebenszeit wieder stark ansteigt. Ohne ECC kannst du dich nie darauf verlassen, dass sich da deine CPU nicht verrechnet oder die Disks was falsches schreiben. Bei ganz neuem und ganz altem RAM steigt die Wahrscheinlichkeit nur sehr stark.
Nein, deshalb nennt man das ja "schleichenden Dateiverfall", weil man es eben nicht mitbekommt. Und es betrifft dann auch alte Daten, falls du die editierst oder von A nach B kopierst.
Seh das wie Krebs. Erkennt man ohne regelmäßige Vorsorgeuntersuchungen erst wenn es zu spät ist und dann ist einem auch kaum noch zu helfen. Kann man sich natürlich sagen "Ich Rauche nicht...die Vorsorgeuntersuchungen kann ich mir sparen...bekomme ich bestimm eh nicht", heißt dann aber nicht, dass man nicht vielleicht doch am Arsch ist wenn es doch und dann unvorbereitet passiert. Mit 30 Jahren vielleicht eher unwahrscheinlich, mit 5 oder 65 Jahren aber nicht.
Reales Beispiel von mir:
Ich hatte ein TrueNAS Server mit ECC RAM und ZFS der mir per SMB viele TBs an Jahrzehnte alten Daten im Heimnetz bereitgestellt hat. Auf diese SMB Shares habe ich mit einem alten PC zugegriffen wo der RAM (4 DIMMs) schon in die Jahre gekommen (so 10-12 Jahre alt) ist. Mit dem PC habe ich also täglich alte Daten vom NAS gelesen, neue Daten draufgeschrien, auch mal Ordner von A nach B kopiert oder alte Dateien geöffnet und editiert. Alles total unauffällig und sah alles normal aus. Irgendwann hat der PC angefangen Bluescreens zu bekommen. Die ersten habe ich ignoriert da die nur alle paar Tage mal gekommen sind. Dann wurden die Bluescreens immer häufiger, Videos blieben hängen etc bis der PC dann nach Wochen nur noch wenige Minuten ohne Bluescreen lief. Ein Test mit memtest86+ zeigte hunderttausende von RAM Fehlern. Habe ich das defekte RAM Modul ausgebaut und alles lief wieder normal. Dann habe ich auf dem NAS geguckt, ob mir das unmerkt vielleicht was da Daten zerschossen hat. Bin ich also alle Dateien durch die laut dem Änderungsdatum in den letzten Wochen/Monaten von mir erstellt oder editiert wurden. Und in der Tat hat da der defekte RAM über knapp 2 Monate unbemerkt meine Daten auf dem NAS kaputt gemacht. Fotos fehlten eine hälfte des Bildes, Videos blieben in der Mitte hängen, ISOs wollten sich nicht mehr installieren lassen, ...
Und selbst Daten, die ich Wochen vor dem ersten Auftreten eines Bluescreens erstellt/editiert habe, waren kaputt. Da hatte ich also über Wochen überhaupt keine Chance irgendwie zu erkennen, dass da heimlich meine Daten zerschossen werden, wenn ich nicht zufällig ein Foto angucke und mich wundere, warum da was fehlt.
Das gleiche ist dann noch 2 weitere male passiert, weil sich insgesammt 3 von 4 RAM-Modulen verabschiedet haben. Am Ende musste ich da hunderte GBs an Daten aus 2 Monate alten Backups zurückspielen, was natürlich alles zunichte gemacht hat, was in den 2 Monaten erstellt/editiert/verschoben wurde (also auch echt alte Daten wie 20 Jahre alte Fotos und so und nicht nur aktuelles)...und wenn ich die Backups nicht für Monate ohne übertschreiben behalten hätte, wäre ich da echt am Arsch gewesen.
Da hilft dir wirklich nur, wenn ALLE Geräte, die irgendwie Schreibrechte auf deine wichtigen Daten haben, auch wirklich ECC RAM verwenden. Zum einen, damit die Fehler sich garnicht erst bemerkbar machen weil sie direkt vom RAM selbst korrigiert werden. Zum anderen weil ECC diese Fehler auch überwacht und an das OS meldet. Bis auf Laptop und Handy, wo es keine ECC Optionen gibt, hat bei mir inzwischen alles ECC. Selbst der RGB Gaming PC. Sowas kann mir also nicht noch ein viertes mal passieren.
Und "einfach ein Snapshot einspielen" ist auch so eine Sache. Weder Snapshots noch Raid ersetzen vernünftige Backups die man über Jahre behält. Ich hatte da z.B. mal einen ZFS Bug und musste dann alle Disks des Pools wipen, weil ZFS selbst das Löschen des Pools mit "zpool destroy" verweigert hat. Das hat dann natürlich auch alle Snapshots und gespiegelten Daten mit zerstört. Und vor kurzem wurde bei ZFS doch z.B. auch bekannt, dass es da seit vielen Jahren unbemerkt einen Bug gab, der dir heimlich die Daten zerschießen konnte. Wenn dir da was den Pool zerschießt oder ZFS selbst über Jahre unbemerkt deine Daten zerstört, dann helfen dir auch keine Snapshots.
Und über Backups kann ich auch Geschichten erzählen...
Da ist mir mal die Platte im PC abgeraucht. Dachte ich mir "Gut, du hast ja alles noch als Backup auf einer USB-HDD". Ich habe zu lange gebraucht bis ich mir eine neue Platte gekauft habe. Als ich die dann ausgetaucht hatte und Daten aus dem Backup zurückspielen wollte, da war dann auch die USB-HDD tot. Folge war dann dort, dass ich nun aus 10 Jahren meines Lebens keinerlei Fotos mehr habe, da ich zu doof/geizig war mehrfache Backups anzulegen, nie aus audgedruckt habe und nicht der 3-2-1 Backup-Regel gefolgt habe. Dass man immer mindestens 3 Kopien von allem haben sollte, auch wenn das dann natürlich heißt, dass man für alles 3-fach zahlt.
Last edited:
Ich habe es nun geschafft Proxmox mit ZFS zu installieren und alle meine Daten zu übertragen. Jetzt habe ich mehrmals Backups erstellt und irgendwie klappt das immer noch nicht mit den kleineren Backupgrößen... Es wird weiterhin der gesamte Container gesichert. Thin Provisioning ist ausgewählt. Anbei mal ein paar Screenshots, wie es nun aussieht. Hatte auch mal zum testen die Komprimierung bei den Backups deaktiviert gehabt. Aber ich bekomme es einfach nicht zum laufen... was mache ich falsch?
Attachments
Wenn du vzdump Backups machst, sind das immer Fullbackups. Die werden nicht kleiner. Wenn du inkrementelle Backups willst, dann den PBS nutzen. Alternativ kannst du auch ZFS Send nutzen um die Daten zu replizieren, ist dann aber kein Backup.
Hm... ok, habe es nun verstanden. Tatsächlich erwähnte der andere User das auch, was mir aber entgangen ist:
"Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS."
Kann ich PBS auf den gleichen Server installieren und diesen dann über eine andere Oberfläche aufrufen und verwalten? Für mich macht es ja keinen Sinn mehrere Server zu haben. Backups sichere ich sowieso ab und an extern. Mir geht es aber darum bei manchen Containern alle 12 Stunden ein Abbild zu machen. Und wenn diese jedes mal große Backups sind, dann läuft mir der Speicher voll.
Aber habe ich es mit dem PBS denn genauso einfach wie bei den jetzigen Backups, wenn ich ein Backup einspielen will? Oder muss ich da erst Dateien hin und her schieben, anstatt nur einen Klick?
"Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS."
Kann ich PBS auf den gleichen Server installieren und diesen dann über eine andere Oberfläche aufrufen und verwalten? Für mich macht es ja keinen Sinn mehrere Server zu haben. Backups sichere ich sowieso ab und an extern. Mir geht es aber darum bei manchen Containern alle 12 Stunden ein Abbild zu machen. Und wenn diese jedes mal große Backups sind, dann läuft mir der Speicher voll.
Aber habe ich es mit dem PBS denn genauso einfach wie bei den jetzigen Backups, wenn ich ein Backup einspielen will? Oder muss ich da erst Dateien hin und her schieben, anstatt nur einen Klick?
Last edited:
Nicht empfehlenswert, aber ja...geht. Entweder beides Bare Metal parallel (siehe hier: https://pbs.proxmox.com/docs/installation.html#install-proxmox-backup-server-on-proxmox-ve) oder als VM. PBS als LXC sollte man eher meiden.
Ist auch nur ein Klick, aber zu beachten ist, dass du mit PBS keine eigenständig nutzbaren Backup-Archive hast. Läuft dein PBS nicht, kannst du auch nichts mit den existierenden Backups anfangen, selbst wenn die auf einem NAS, externer Disk oder sonst was liegen. Ohne lauffähigen PBS kein Restore, daher nicht toll das auf dem gleichen Server zu haben wie dein PVE. Außerdem nicht vergessen, dass PBS IOPS-Performance braucht. Sobald du in den Terrabyte-Bereich an Backups kommst hast du mit HDDs keinen großen Spaß mehr.
Last edited:
Ich sichere dann also auch nicht Container XY, sondern das gesamte Laufwerk local-zfs. Sehe ich das richtig? Dann habe ich also über PBS einen alten Zustand meines Laufwerks local-zfs. Wenn ich diesen Zustand dann wiederherstellen möchte, dann stelle ich ja auch alte Zustände anderer Container her, obwohl ich ja nur einen bestimmten Container zurückspielen möchte.
Vielleicht kannst du mir kurz aufzeigen, wie der Ablauf in meinem Fall wäre, wenn ich 3 Container habe, jeden Tag via PBS Backups mache und dann nur einen Container auf den Zustand von vor 2 Tagen zurückspielen will. Wäre sehr nett, vielen Dank!
Nein, du sicherst immer deine VMs oder Container.
Du kannst beim PBS Backup auch einzelene Dateien aus VMs/LXC restoren, sowie jeder VM wie du möchtest.
Am besten mal ein Backup machen, dann siehst du das schon, oder mal das Wiki lesen.
Kannst dir auch die vielen YT Videos angucken, aber da darfst du nicht immer alles glauben. Hab da auch schon ganz schlechte gesehen.