Backup Größe verringern - Vergleich mit TrueNAS

[TrueMox]

Guten Tag,

ich hatte eigentlich vor demnächst von TrueNAS zu Proxmox zu wechseln. Nun bin ich aber unsicher, ob ich wechseln soll, da ich eben das erste mal (leider) einen TrueNAS Backup einspielen musste und gesehen habe wie super die das gelöst haben.

Proxmox habe ich auf einen anderen Server im Einsatz und ich kenne halt nur die Snapshots und die normalen Backups. Selbst die Snapshots sind bei Proxmox immer genauso groß wie die VM selber. Nun dachte ich, dass die TrueNAS Snapshots der Datasets auch richtig groß sind und ich hatte schon keine Lust diese Daten nun hin und her zu schieben und zu bearbeiten. Allerdings waren die Snapshots nur 1MB groß! Daraufhin habe ich den Snapshot als neues Dataset geclont, die VM die geclonten Datasets gegeben und die VM gestartet. Es war alles wieder da. Und das aus nur einer 1MB großen Datei mit nur wenigen Klicks.

Nun frage ich mich, wie ich das in Proxmox hinbekomme. Wieso sind die Snapshots immer genauso groß wie die VM? Kann man es nicht wie bei TrueNAS lösen? Proxmox nutzt doch auch zfs. Wenn Proxmox das nicht schafft, dann wäre das für mich tatsächlich ein Punkt durch den ich dann wohl doch bei TrueNAS bleibe... ich meine ich kann jetzt einfach jeden Tag oder jede Stunde einen Snapshot machen und der Speicherplatz ist komplett egal, da die Snapshots nur 1MB groß sind. Bei täglichen Snapshots sogar nur 100KB oder so. Und natürlich benötigen die Snapshots das Main Dataset. Aber das brauchen die Snapshots bei Proxmox doch auch.

Vielleicht hat ja jemand eine Ahnung. Ich würde nämlich echt gerne zu Proxmox wechseln. Aktuell warte ich aber noch auf einen guten Deal für die 4TB SSDs die ich haben will. Und es muss halt 4TB sein, weil bei Proxmox eben die Snapshots so groß sind... Ich wusste halt nicht, dass es auch anders geht, wie bei TrueNAS. Wenn das bei Proxmox gehen würde, dann bräuchte ich gar keine 4TB SSDs und ich würde eine Menge Geld sparen...

Danke euch und liebe Grüße!

 

[aaron]

Zusammengefasst, ZFS als Storage und wenn du Snapshots machst brauchen die so viel Platz wie das Originale Disk Image?

Dann wird in der Storageconfig wahrscheinlich "Thin Provision" nicht aktiviert sein. Jedes ZVOL hat somit eine Reservation die sich um die jeweiligen Snapshots vergrößert.

 

[TrueMox]

Korrekt.

Also normal sind die Snapshots bei Proxmox auch genauso klein wie sie bei TrueNAS sind? Wie kann ich die Storageconfig einsehen und prüfen? Ich hatte Proxmox vor ca. 4 Jahren installiert. Vielleicht gab es das Feature damals noch nicht?

 

[Dunuin]

Also normal sind die Snapshots bei Proxmox auch genauso klein wie sie bei TrueNAS sind?

Ja. Beide nutzen die gleichen ZFS nativen Snapshots.

Wie kann ich die Storageconfig einsehen und prüfen?

Siehe im webUI bei Datacenter -> Storage

Ich hatte Proxmox vor ca. 4 Jahren installiert. Vielleicht gab es das Feature damals noch nicht?

Doch. Wenn man aber einen neuen ZFS Pool über das webUI anlegt, dann ist "Thin Provisioning" nicht vorausgewählt. Klickst du die Checkbox nicht extra an, dann wird Speicher halt dick zugeordnet und Platz verschwendet.

 

[TrueMox]

Da sieht es bei mir so aus. Ich bin mir unsicher, aber meine Snapshots lagern dann ja bei local und nicht local-lvm. Und local hat halt nicht diesen "Thin" zusatz, weshalb ich dann immer so große Snapshots habe? Und würde ich die Snapshots auf local-lvm ablegen, dann sind die ganz klein?

 

[Dunuin]

Du redest bei TrueNAS ja auch von ZFS. Du nutzt bei PVE aber LVM und kein ZFS. LVM-Thin kann zwar Snapshots, ist dann aber was ganz anderes.

 

[TrueMox]

Stimmt, machte keinen Sinn was ich sagte. Ich dachte ich nutze ZFS. Und mit LVM geht es dann nicht, auch wenn da etwas mit "Thin" steht?

Wenn ich dann aber irgendwann mal von TrueNAS auf Proxmox wechsel, dann habe garantiert kleine Snapshots? Also nehmen wir mal an meine VM hat 10GB an Daten. Dann mache ich einen Snapshot nach 2 Wochen und der Snapshot ist dann vielleicht 1MB groß. So wird es dann auch bei Proxmox sein?

Gott... all die Jahre habe ich es falsch gemacht und immer diesen vielen Speicher eingeplant und mich drüber geärgert...

 

[Dunuin]

Wenn ich dann aber irgendwann mal von TrueNAS auf Proxmox wechsel, dann habe garantiert kleine Snapshots? Also nehmen wir mal an meine VM hat 10GB an Daten. Dann mache ich einen Snapshot nach 2 Wochen und der Snapshot ist dann vielleicht 1MB groß. So wird es dann auch bei Proxmox sein?

Snapshots sind nicht immer klein. Habe 10 GB an Daten, überschreibe 5x 5GB davon und mache Snapshots dazwischen, dann hast du 25GB an Snapshots für deine 10GB an Daten. Je mehr Daten sich da ändern und desto älter deine Snapshots sind, desto größer werden diese. Und das ist sowohl bei TrueNAS wie auch bei PVE so. Stell dir das so vor. Alles was du nach dem Anlegen eines Snapshots gelöscht oder überschrieben hast wird nie wirklich gelöscht oder überschrieben, bis du den Snapshot löschst. Es wächst also alles immer weiter und weiter. Erst wenn du den Snapshot löschst fängt ZFS an aufzuräumen. Ändert sich aber zwischen zwei Snapshots nur 1MB von den 10GB, dann ist dein Snapshot halt auch nur 1MB groß. Hier ist es nicht unüblich, dass da bei meinem TrueNAS Dataset mit 4TB an Daten gerne mal 500-1000GB durch Snapshots belegt werden, da ich die für 2 Monate behalte, also über 2 Monate nichts gelöschtes wirklich gelöscht wird.
Das kann man also nicht verallgemeinern. Außerdem nicht vergessen das weder Snapshots noch Raid richtige Backups ersetzen.
Ich persönlich verzichte beim PVE z.B. inzwischen komplett auf Snapshots und mache nur noch Backups zum PBS. In der Summe spart mir das sogar Platz, weil ich die Backups ja so oder so brauche und es bei PBS dank der Deduplikation relativ egal ist, wieviele Backups man pro VM behält. Die PBS Backups wachsen nur um so viel, wie sich da an Daten seit dem letzten Backup geändert hat...also ähnlich effizient wie ein Snapshot...nur halt langsamer.

 

[TrueMox]

Was genau ist PBS? Proxmox Backups Server sicherlich! Dann lese ich mich da selber mal ein. Frage muss nicht beantwortet werden.

Backups handhabe ich aber nochmal anders. Sollte ich mit dem TrueNAS System auf Proxmox wechseln, dann lasse ich auch nochmal alles auf eine externe Platte schreiben. So 1x in der Woche oder 1x im Monat. Aber dann brauche ich ja jetzt nur 2x 2TB für meinen Zweck... statt 2x 4TB. Deutlich günstiger.... was ein Glück.

Und ja... also das ist mir natürlich klar, dass wenn ich alle Daten über den Haufen werfe, dass der Snapshot dann auch entsprechend groß ist. In meinem VMs verändert sich aber nie viel.

 

[Dunuin]

Was genau ist PBS?

Proxmox Backup Server: https://www.proxmox.com/en/proxmox-backup-server/overview

Und ja... also das ist mir natürlich klar, dass wenn ich alle Daten über den Haufen werfe, dass der Snapshot dann auch entsprechend groß ist. In meinem VMs verändert sich aber nie viel.

Ja, halt nur entsprechend Platz einplanen. ZFS Pools sollte man eh nicht zu sehr füllen (am besten unter 80% und ich würde nie über 90% gehen) und dann halt noch entsprechend Platz, was du so für Snapshots erwartest.

 

[TrueMox]

View attachment 64681
Da sieht es bei mir so aus. Ich bin mir unsicher, aber meine Snapshots lagern dann ja bei local und nicht local-lvm. Und local hat halt nicht diesen "Thin" zusatz, weshalb ich dann immer so große Snapshots habe? Und würde ich die Snapshots auf local-lvm ablegen, dann sind die ganz klein?

Ist es denn möglich meine bestehende Installation irgendwie auf ZFS umzustellen, damit ich dort danne eben nicht mehr LVM habe und von den kleineren Snapshots profitieren kann?

 

[Dunuin]

Nein, da müsstest du schon PVE neu mit ZFS installieren.

 

[TrueMox]

Vielen Dank für die schnelle Antwort!

Wie steht ihr generell zu ZFS? Manche sagen ja, dass man ZFS nur mit ECC RAM betreiben sollte und ZFS generell etwas anfällig für Datenverlust ist. Ich selber nutze ja TrueNAS mit ZFS und habe nur normalen RAM. Aber seit nun schon 6 Monaten oder so keine Probleme gehabt.

 

[Dunuin]

ZFS generell etwas anfällig für Datenverlust ist

Genau das Gegenteil. ZFS ist so lahm, anspruchsvoll und SSD-verschlingend, weil es alles x-mal checkt um Datenintegrität sicherzustellen. Mal abgesehen von ceph hast du da aktuell keine bessere Option, wenn du dich um deine Daten sorgst.

Manche sagen ja, dass man ZFS nur mit ECC RAM betreiben sollte

ECC ist keine Pflicht und ZFS ohne ECC ist immer noch sicherer als all die anderen Dateisysteme ohne ECC. Ohne ECC kannst du dich aber nie wirklich auf Datenintegrität verlassen, da ZFS nur die Integrität der Daten auf den Disks sicherstellen kann, aber nichts bei Daten die kaputt gehen, während sie sich im RAM befinden.
Also nein, ECC ist keine Pflicht. Aber wenn man Wert auf seine Daten oder Zuverlässigkeit legt, dann ist es doch wieder quasi Pflicht.

Ich selber nutze ja TrueNAS mit ZFS und habe nur normalen RAM. Aber seit nun schon 6 Monaten oder so keine Probleme gehabt.

Mir ist schon 3 mal RAM ausgefallen und hat dann hunderte GBs an Daten auf dem TrueNAS zerschossen. Das hätte ich mir alles erspart, wenn mein Windows-Rechner ebenfalls, wie der TrueNAS-Server, ECC RAM benutzt hätte.

 

[TrueMox]

Hm, okay. Danke für dein Feedback. Ich sehe das so: Die Chance dass mein RAM bei meiner sehr moderaten Nutzung defekt geht, ist sehr unwahrscheinlich. Und wenn es passiert, dann betrifft dies ja nur die aktuellen Daten. Ich würde das dann ja zwangsläufig mitbekommen und einfach einen Snapshot einspielen.

Hätte auch gerne ECC RAM, aber das unterstützt mein Gigabyte Brix Extreme (Intel) Mini-PC leider nicht.

 

[Dunuin]

Hm, okay. Danke für dein Feedback. Ich sehe das so: Die Chance dass mein RAM bei meiner sehr moderaten Nutzung defekt geht, ist sehr unwahrscheinlich. Und wenn es passiert, dann betrifft dies ja nur die aktuellen Daten. Ich würde das dann ja zwangsläufig mitbekommen und einfach einen Snapshot einspielen.

Nein. Du bekommst es eben nicht mit. Das ist ja genau der Punkt. ZFS kann beim Scrub nicht feststellen, dass da die Daten zerschossen sind, wenn sie im RAM kaputt gingen, bevor sie vom Cache auf die Disk geschrieben werden konnte oder nachdem sie von er Disk in den ARC geladen wurden.
Und die Daten sind dann nicht einfach weg, dass dir das auffallen würde. Da hast du vielleicht eine PDF mit einer Rechnung und statt "1234,00€" steht da dann "4234,00€". Ob dir das beim drüberfliegen des Textes auffällt, wage ich zu bezweifeln. Oder du hast 1000 Ordner mit je 100 Heimfotos. Es sind immer noch alle Fotos da aber bei jedem 100sten Bild ist die untere Hälfte des Bildes einfach nur Schwarz weil Foto kaputt. So oft guckt man sich die Fotos nicht an. Bis das auffällt sind gerne Monate oder Jahre um. Und selbst wenn man da dann noch Backups über Jahre nicht überschrieben hat, dann ist es echt übel, wenn man Dateien durch eine total veraltete Version ersetzen muss, an denen man über die Jahre vielleicht viel gearbeitet hat. Oder du hast Videos die erst normal starten und du denkst alles ist in Ordnung aber nach 30 Minuten hängen diese und lassen sich nicht mehr abspielen. Deshalb nennt man "Bit Rot" im deutschen auch "Schleichenden Dateiverfall", weil du eben üblicherweise nicht mitbekommst, wenn dir da was kaputt geht und dir dann deine Backups auch nicht viel helfen.
Da hilft dir dann nur ECC + Dateisystem was ordentliches Checksumming bietet.

Hätte auch gerne ECC RAM, aber das unterstützt mein Gigabyte Brix Extreme (Intel) Mini-PC leider nicht.

Ja, deshalb kommt bei mir auch kein MiniPC im Homelab in Frage. ECC ist für mich inzwischen Mindestanforderung, nach all dem Stress den ich hier über die Jahre mit defektem RAM hatte.

 

[TrueMox]

Danke für die Aufklärung. Dann muss ich wohl mit dem Risiko leben. Hoffentlicht gibt es bald einen guten Mini-PC mit ECC der mir auch tatsächlich von den Spacs zusagt.

 

[Dunuin]

Danke für die Aufklärung. Dann muss ich wohl mit dem Risiko leben. Hoffentlicht gibt es bald einen guten Mini-PC mit ECC der mir auch tatsächlich von den Spacs zusagt.

Eher nicht. Sowas hast du wenn nur bei industriellen Mini-PC mit Server-Chipsätzen und da zahlst du dann auch entsprechend für. MiniPCs nutzen ja Mobile-Technik und da interessiert sich niemand für Datenintegrität. Die paar professionellen Laptops die ECC unterstützen sind dann auch wieder nicht bezahlbar.
Wenn man ECC und bezahlbar haben will dann heißt das eigentlich immer ausgemusterte alte Server/Workstations oder neue GamingPC wo ECC teils inoffiziell unterstützt wird.

 

[TrueMox]

Ist es denn irgendwie möglich die local-lvm DIsk zu verkleinern, um dann mehr Speicherplatz für local zu haben? Meine Snapshots sind ja wie gesagt sehr groß und die lagern eben auf local. Am liebsten würde ich 100GB von local-lvm nehmen und local hinzufügen.

Kann ich dies ohne Probleme machen oder kann dann irgendwas Schlimmes passieren? Und wie sollte ich diese am besten verkleinern und erweitern?

 

[Dunuin]

Nein, kann man nicht verkleinern. Höchstens zerstören und kleiner neu erstellen (was nur manuell über die CLI geht und LVM Verständnis voraussetzt). Vorher natürlich die Gäste sichern, weil dann ja die virtuellen Disks mitzerstört werden.