Hm, okay. Dann könnte ich ja auch gleich alles neu installieren. Kann ich denn wenn ich Proxmox diesmal mit ZFS installiere die alten Snapshots aus der LVM Proxmox Installation nutzen? Dann kann ich ja alle Snapshots abspeichern, alles platt machen und die Snapshots dann wieder einspielen.
Backup Größe verringern - Vergleich mit TrueNAS
- Thread starter TrueMox
- Start date
In meinem Fall sind die Snapshots doch komplette Backups, oder nicht? Es wird ja jedes mal komplett alles gesichert. Deshalb hatte ich mich ja hier auch wegen der Dateigröße beschwert. Hätte ich jetzt ZFS, dann wären die Snapshots ganz klein und dann würde diese Snapshot Datei nicht für die Wiederherstellung ausreichen.
Alles eine Frage der Terminologie. Snapshots sind keine vollen Backups, sondern nur ein Schnappschuss eines Zustands zu einer bestimmten Zeit und meist fester Teil des Dateisystems/Storages und inkrementell. Machst du die Disk platt (z.B. wegen PVE Neuinstallation), sind auch all deine Snapshots weg.
Wie hast du deine "Snapshots" denn erstellt und wohin hast du die gespeichert? Falls es Backups von VMs/LXCs auf "local-lvm" sind solltest du die übrigens nicht nach "local" speichern. Dann sind sowohl deine VMs/LXCs als auch deine Backups weg, wenn dir mal die Platte ausfällt oder du PVE neu aufsetzt. Sowas speichert man besser auf einer eigenen Platte rein für Backups oder besser noch extern auf einem NAS/PBS.
Last edited:
Das sind dann aber "VZDump Backups" und keine Snapshots. Und du speicherst sie auf die selbe Disk wie deine VMs/LXCs. Wenn du da PVE neu aufsetzt oder dir die Disk wegstirbt ist also alles weg...
Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS.
PVE hat keine automatischen Snapshots eingebaut. Wenn man sowas will müsste man per CLI mit Skripten arbeiten wie cv4pve-autosnap: https://github.com/Corsinvest/cv4pve-autosnap
Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS.
PVE hat keine automatischen Snapshots eingebaut. Wenn man sowas will müsste man per CLI mit Skripten arbeiten wie cv4pve-autosnap: https://github.com/Corsinvest/cv4pve-autosnap
Last edited:
Wie gesagt, ich habe alles sowieso noch woanders. Es kann ruhig alles kaputt gehen. Es geht jetzt nur darum, ob ich mit dem Snapshot alles wieder herstellen kann. Und ich denke, dass dies geht, weil diese ja auch immer genauso groß wie die VM selber sind. Also nicht inkrementell.
Das hat nichts mit Abnutzung zu tun. Da gibt es die berühmte Kurve im Diagramm, wo Probleme sehr oft direkt nach dem Kauf auftreten, dann fällt die Wahrscheinlichkeit für Probleme langsam ab, bis sie zum Ende der erwarteten Lebenszeit wieder stark ansteigt. Ohne ECC kannst du dich nie darauf verlassen, dass sich da deine CPU nicht verrechnet oder die Disks was falsches schreiben. Bei ganz neuem und ganz altem RAM steigt die Wahrscheinlichkeit nur sehr stark.
Nein, deshalb nennt man das ja "schleichenden Dateiverfall", weil man es eben nicht mitbekommt. Und es betrifft dann auch alte Daten, falls du die editierst oder von A nach B kopierst.
Seh das wie Krebs. Erkennt man ohne regelmäßige Vorsorgeuntersuchungen erst wenn es zu spät ist und dann ist einem auch kaum noch zu helfen. Kann man sich natürlich sagen "Ich Rauche nicht...die Vorsorgeuntersuchungen kann ich mir sparen...bekomme ich bestimm eh nicht", heißt dann aber nicht, dass man nicht vielleicht doch am Arsch ist wenn es doch und dann unvorbereitet passiert. Mit 30 Jahren vielleicht eher unwahrscheinlich, mit 5 oder 65 Jahren aber nicht.
Reales Beispiel von mir:
Ich hatte ein TrueNAS Server mit ECC RAM und ZFS der mir per SMB viele TBs an Jahrzehnte alten Daten im Heimnetz bereitgestellt hat. Auf diese SMB Shares habe ich mit einem alten PC zugegriffen wo der RAM (4 DIMMs) schon in die Jahre gekommen (so 10-12 Jahre alt) ist. Mit dem PC habe ich also täglich alte Daten vom NAS gelesen, neue Daten draufgeschrien, auch mal Ordner von A nach B kopiert oder alte Dateien geöffnet und editiert. Alles total unauffällig und sah alles normal aus. Irgendwann hat der PC angefangen Bluescreens zu bekommen. Die ersten habe ich ignoriert da die nur alle paar Tage mal gekommen sind. Dann wurden die Bluescreens immer häufiger, Videos blieben hängen etc bis der PC dann nach Wochen nur noch wenige Minuten ohne Bluescreen lief. Ein Test mit memtest86+ zeigte hunderttausende von RAM Fehlern. Habe ich das defekte RAM Modul ausgebaut und alles lief wieder normal. Dann habe ich auf dem NAS geguckt, ob mir das unmerkt vielleicht was da Daten zerschossen hat. Bin ich also alle Dateien durch die laut dem Änderungsdatum in den letzten Wochen/Monaten von mir erstellt oder editiert wurden. Und in der Tat hat da der defekte RAM über knapp 2 Monate unbemerkt meine Daten auf dem NAS kaputt gemacht. Fotos fehlten eine hälfte des Bildes, Videos blieben in der Mitte hängen, ISOs wollten sich nicht mehr installieren lassen, ...
Und selbst Daten, die ich Wochen vor dem ersten Auftreten eines Bluescreens erstellt/editiert habe, waren kaputt. Da hatte ich also über Wochen überhaupt keine Chance irgendwie zu erkennen, dass da heimlich meine Daten zerschossen werden, wenn ich nicht zufällig ein Foto angucke und mich wundere, warum da was fehlt.
Das gleiche ist dann noch 2 weitere male passiert, weil sich insgesammt 3 von 4 RAM-Modulen verabschiedet haben. Am Ende musste ich da hunderte GBs an Daten aus 2 Monate alten Backups zurückspielen, was natürlich alles zunichte gemacht hat, was in den 2 Monaten erstellt/editiert/verschoben wurde (also auch echt alte Daten wie 20 Jahre alte Fotos und so und nicht nur aktuelles)...und wenn ich die Backups nicht für Monate ohne übertschreiben behalten hätte, wäre ich da echt am Arsch gewesen.
Da hilft dir wirklich nur, wenn ALLE Geräte, die irgendwie Schreibrechte auf deine wichtigen Daten haben, auch wirklich ECC RAM verwenden. Zum einen, damit die Fehler sich garnicht erst bemerkbar machen weil sie direkt vom RAM selbst korrigiert werden. Zum anderen weil ECC diese Fehler auch überwacht und an das OS meldet. Bis auf Laptop und Handy, wo es keine ECC Optionen gibt, hat bei mir inzwischen alles ECC. Selbst der RGB Gaming PC. Sowas kann mir also nicht noch ein viertes mal passieren.
Und "einfach ein Snapshot einspielen" ist auch so eine Sache. Weder Snapshots noch Raid ersetzen vernünftige Backups die man über Jahre behält. Ich hatte da z.B. mal einen ZFS Bug und musste dann alle Disks des Pools wipen, weil ZFS selbst das Löschen des Pools mit "zpool destroy" verweigert hat. Das hat dann natürlich auch alle Snapshots und gespiegelten Daten mit zerstört. Und vor kurzem wurde bei ZFS doch z.B. auch bekannt, dass es da seit vielen Jahren unbemerkt einen Bug gab, der dir heimlich die Daten zerschießen konnte. Wenn dir da was den Pool zerschießt oder ZFS selbst über Jahre unbemerkt deine Daten zerstört, dann helfen dir auch keine Snapshots.
Und über Backups kann ich auch Geschichten erzählen...
Da ist mir mal die Platte im PC abgeraucht. Dachte ich mir "Gut, du hast ja alles noch als Backup auf einer USB-HDD". Ich habe zu lange gebraucht bis ich mir eine neue Platte gekauft habe. Als ich die dann ausgetaucht hatte und Daten aus dem Backup zurückspielen wollte, da war dann auch die USB-HDD tot. Folge war dann dort, dass ich nun aus 10 Jahren meines Lebens keinerlei Fotos mehr habe, da ich zu doof/geizig war mehrfache Backups anzulegen, nie aus audgedruckt habe und nicht der 3-2-1 Backup-Regel gefolgt habe. Dass man immer mindestens 3 Kopien von allem haben sollte, auch wenn das dann natürlich heißt, dass man für alles 3-fach zahlt.
Last edited:
Ich habe es nun geschafft Proxmox mit ZFS zu installieren und alle meine Daten zu übertragen. Jetzt habe ich mehrmals Backups erstellt und irgendwie klappt das immer noch nicht mit den kleineren Backupgrößen... Es wird weiterhin der gesamte Container gesichert. Thin Provisioning ist ausgewählt. Anbei mal ein paar Screenshots, wie es nun aussieht. Hatte auch mal zum testen die Komprimierung bei den Backups deaktiviert gehabt. Aber ich bekomme es einfach nicht zum laufen... was mache ich falsch?
Attachments
Wenn du vzdump Backups machst, sind das immer Fullbackups. Die werden nicht kleiner. Wenn du inkrementelle Backups willst, dann den PBS nutzen. Alternativ kannst du auch ZFS Send nutzen um die Daten zu replizieren, ist dann aber kein Backup.
Hm... ok, habe es nun verstanden. Tatsächlich erwähnte der andere User das auch, was mir aber entgangen ist:
"Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS."
Kann ich PBS auf den gleichen Server installieren und diesen dann über eine andere Oberfläche aufrufen und verwalten? Für mich macht es ja keinen Sinn mehrere Server zu haben. Backups sichere ich sowieso ab und an extern. Mir geht es aber darum bei manchen Containern alle 12 Stunden ein Abbild zu machen. Und wenn diese jedes mal große Backups sind, dann läuft mir der Speicher voll.
Aber habe ich es mit dem PBS denn genauso einfach wie bei den jetzigen Backups, wenn ich ein Backup einspielen will? Oder muss ich da erst Dateien hin und her schieben, anstatt nur einen Klick?
"Und "VZDump Backups" nehmen immer die volle Größe weg, egal ob du die nun auf ext4/LVM oder ZFS speicherst. Willst du inkrementelle Backups brauchst du den PBS."
Kann ich PBS auf den gleichen Server installieren und diesen dann über eine andere Oberfläche aufrufen und verwalten? Für mich macht es ja keinen Sinn mehrere Server zu haben. Backups sichere ich sowieso ab und an extern. Mir geht es aber darum bei manchen Containern alle 12 Stunden ein Abbild zu machen. Und wenn diese jedes mal große Backups sind, dann läuft mir der Speicher voll.
Aber habe ich es mit dem PBS denn genauso einfach wie bei den jetzigen Backups, wenn ich ein Backup einspielen will? Oder muss ich da erst Dateien hin und her schieben, anstatt nur einen Klick?
Last edited:
Nicht empfehlenswert, aber ja...geht. Entweder beides Bare Metal parallel (siehe hier: https://pbs.proxmox.com/docs/installation.html#install-proxmox-backup-server-on-proxmox-ve) oder als VM. PBS als LXC sollte man eher meiden.
Ist auch nur ein Klick, aber zu beachten ist, dass du mit PBS keine eigenständig nutzbaren Backup-Archive hast. Läuft dein PBS nicht, kannst du auch nichts mit den existierenden Backups anfangen, selbst wenn die auf einem NAS, externer Disk oder sonst was liegen. Ohne lauffähigen PBS kein Restore, daher nicht toll das auf dem gleichen Server zu haben wie dein PVE. Außerdem nicht vergessen, dass PBS IOPS-Performance braucht. Sobald du in den Terrabyte-Bereich an Backups kommst hast du mit HDDs keinen großen Spaß mehr.
Last edited:
Ich sichere dann also auch nicht Container XY, sondern das gesamte Laufwerk local-zfs. Sehe ich das richtig? Dann habe ich also über PBS einen alten Zustand meines Laufwerks local-zfs. Wenn ich diesen Zustand dann wiederherstellen möchte, dann stelle ich ja auch alte Zustände anderer Container her, obwohl ich ja nur einen bestimmten Container zurückspielen möchte.
Vielleicht kannst du mir kurz aufzeigen, wie der Ablauf in meinem Fall wäre, wenn ich 3 Container habe, jeden Tag via PBS Backups mache und dann nur einen Container auf den Zustand von vor 2 Tagen zurückspielen will. Wäre sehr nett, vielen Dank!
Nein, du sicherst immer deine VMs oder Container.
Du kannst beim PBS Backup auch einzelene Dateien aus VMs/LXC restoren, sowie jeder VM wie du möchtest.
Am besten mal ein Backup machen, dann siehst du das schon, oder mal das Wiki lesen.
Kannst dir auch die vielen YT Videos angucken, aber da darfst du nicht immer alles glauben. Hab da auch schon ganz schlechte gesehen.
Ich habe nochmal 2 Fragen dazu...
Und ich habe den genauen Grund noch nicht verstanden, wieso man mit PVE nicht einfach inkrementelle Backups machen kann und nur volle Backups. Wenn man doch schon die Backupfunktion in PVE integriert, wieso nicht eine inkrementelle Variante?
Ich will nämlich bald dann zu Proxmox switchen. Und dann habe ich 3 SSDs in meinem Server. Auf der einen läuft PVE und PBS. Die VMs und Container liegen auf SSD 2 und auf SSD 3 liegen dann die Backupfiles von PBS. Redundanz brauche ich im privaten Gebrauch nicht, weshalb ich deshalb meinem NAS System den Rücken kehre. Wenn eine SSD kaputt geht, dann habe ich sowieso noch Backups auf einer anderen SSD und extern auch nochmal.
Wenn ich nun PBS auf dem selben Server wie PVE laufen lasse und alles kaputt geht und ich nur noch die Backups habe ohne laufendes PBS und PVE, dann kann ich doch einfach alles wiederherstellen, wenn ich alles neu installiere, oder nicht? Ich setze einen neuen Server auf, installiere PVE und PBS und schiebe die zuvor gemachten PBS Backup Dateien auf den neuen Server.
Und ich habe den genauen Grund noch nicht verstanden, wieso man mit PVE nicht einfach inkrementelle Backups machen kann und nur volle Backups. Wenn man doch schon die Backupfunktion in PVE integriert, wieso nicht eine inkrementelle Variante?
Ich will nämlich bald dann zu Proxmox switchen. Und dann habe ich 3 SSDs in meinem Server. Auf der einen läuft PVE und PBS. Die VMs und Container liegen auf SSD 2 und auf SSD 3 liegen dann die Backupfiles von PBS. Redundanz brauche ich im privaten Gebrauch nicht, weshalb ich deshalb meinem NAS System den Rücken kehre. Wenn eine SSD kaputt geht, dann habe ich sowieso noch Backups auf einer anderen SSD und extern auch nochmal.
Ja, das geht prinzipiell. Solange du deinen kompletten Datastore noch fehlerfrei vorliegen hast und du ggf. deinen Encryption Key gesichert sofern Verschlüsselung aktiv ist. Du hast aber echt viel Downtime da erst einmal alles neu aufzusetzen. Auch das Ändern der Ownership von all den Bakup Snapshots nervt, wenn man sich da dein Script für bastelt. Ich musste da für tausende von Backup Snapshots händisch für jeden einzelnen übers WebUI den Besitzer ändern.
Man sollte immer einen guten Disaster-Recovery-Plan haben. Ob im Ernstfall eine nicht mehr erreichbare Backup-Infrastruktur für dich noch als "gut" durchgeht, bleibt da jedem selbst überlassen.
PBS ist immer inkrementell und gleichzeitig immer ein volles Backup. PBS nutzt Deduplikation und nicht differenzielle Backups um inkrementell zu sichern.
Weil man für inkrementelle Backups eine gewisse Intelligenz benötigt. Bei PBS erledigt der Proxmox Backup Client dies und das intelligente ablegen der Daten übernimmt der PBS.
Die eingebaute Funktion im PVE ist ein einfacher VZDump (Zip Archiv erstellen). Das ist leicht transportierbar und einfach wiederherstellbar, weil null intelligenz benötigt wird.
Du hast die Wahl.
Danke euch beiden, dass ihr mir helft das besser zu verstehen.
Mit "kompletten Datastore" meinst du, dass ich den initialen Backup und alle darauffolgende inkrementellen Backups noch habe - korrekt? Und Passwörter für Verschlüsselungen bewahre ich sowieso immer sicher auf. Das ist dann natürlich klar, dass ich dann alle Daten verliere, wenn ich den Schlüssel nicht mehr habe
Was genau ist damit gemeint? Bei PVE kann ich einfach Backups vom Server ziehen und bei Bedarf einfach wieder auf den Server hochladen, um dann einen Backup einzuspielen. Da muss ich dann nichts ändern. Gleiches würde ich dann auch mit PBS machen. Backupdateien sichern, irgendwann crasht alles, ich richte PBS neu ein und lade die Backupdateien hoch, um diese wiederherszustellen. Mit Ownership meinst du vermutlich, dass der Nutzer mit dem PBS läuft auch die Rechte für die hochgeladenen Backupdateien hat und diese sehen kann, oder? Wäre aber dann ja ein normale Linux Sache, wobei ich dann deinen Hinweis mit der WebUI nicht verstehe
Der PBS ist etwas komplexer aufgebaut. Er speichert alles in kleine 4MB Chunks um die Deduplizierung zu ermöglichen und es hat in der Regel nur ein User ZUgriff auf die Backups. Wenn du den PBS neu installierst, musst du dann den Ownership über die Millionen kleinen Dateien übernehmen.
Ich sichere daher meine PBS OS Disk per VZDump auf ein USB Medium um die Neueinrichtung des PBS zu umgehen. Ich muss nur den PBS restoren, die Datendisk wieder einhängen und kann dann direkt restoren.
Alle Daten ALLER Backup Snapshots sind dedupliziert. Du brauchst also alles was der PBS je gespeichert hat. Sprich alle Backups von Allem, also deinen kompletten Datastore-Ordner mit den Millionen über Millionen von Chunk Files in zehntausenden von Unterordnern. Weil Backups von verschiedenen VMs werden auch untereinander dedupliziert. Heißt dann auch wieder, ist da ein einzelner Chunk defekt, kann das dutzende/hunderte von Backup Snapshots und auch Backups von verschiedenen VMs beeinträchtigen. Also am besten immer alles in zwei verschiedenen Datastores sichern. Und wenn man das eh schon machen sollte, dann die zwei Datastores am besten gesynct auf zwei getrennten PBS. Oder du machst halt gelegendlich noch VZDump Backups von allen VMs auf ein NAS um nicht alles auf ein Pferd zu setzen.
Ja. Du legst normal im PBS einen Backup User im PBS Realm an und der PVE nutzt dann diesen Benutzer um die Backups zum PBS zu schicken. Das hat aber nichts mit Linux-Rechten zu tun, sondern den Rechten innerhalb von PBS. Sonst könnte man ja einfach ein "chown -R" machen. Ist halt doof wenn die Backup Snapshots vor dem Crash Benutzer A gehörten und du setzt den PBS dann mit Benutzer B neu auf, der die Backups aber nicht mehr wiederherstellen kann, da er nicht der Besitzer ist. Dann kann man zwar über das webUI händisch den Besitzer von Benutzer A auf B abändern, aber das nervt halt ganz gut.