Proxmox Backup auf Externen NAS

markyman said:
Deduplizierungsfaktor ist 1.
Click to expand...
Also hast du erst einmal gesichert, oder?

Hab leider keine Ahnung von ZFS (außer dass man es auf Consumer Geräten nicht nutzen soll), aber ZFS hat ja auch eine eigene Deduplizierung. Vielleicht kommt die "1" auch daher?
 
Nunja, bevor ich nun bzgl. Backup neue SSD anschaffe habe ich mir gedacht ich erstelle erstmal tägliche Backups auf meinem Nas ( wollte ich mir eigentlich sparen bzgl. Strombedarf, weiteres Gerät etc. ), und das NAS sichere ich dann 1x die Woche auf einer Hetzner StorageBox per HyperBackup. In der StorageBox selbst kann man dann auch noch Snapshots erstellen, das sollte wohl als Backuplösung reichen.
 
Last edited:
Ernst T. said:
Hab leider keine Ahnung von ZFS (außer dass man es auf Consumer Geräten nicht nutzen soll), aber ZFS hat ja auch eine eigene Deduplizierung. Vielleicht kommt die "1" auch daher?
Click to expand...
Die ist aber standardmäßig deaktiviert und wird auch von kaum wem benutzt, weil ein aktivieren zusätzliche 5GB RAM je 1TB Storage erfordern würde.
markyman said:
Moin,

ok macht ja Sinn. Jetzt bin ich jedoch hingegangen und nutze PBS was ja inkrementelle Backups unterstützt UND wo ich die Verifizierungsmöglichkeit habe. Wenn ich nun 1 Backup durchlaufen lasse, dieses Erfolgreich abgeschlossen UND erfolgreich Verifiziert wurde..warum kann dann nicht auf diesem Backup nun inkrementell gesichert werden. Was machen denn Nutzer die 5tb an Daten haben, IMMER das gleiche als " unnützen" Speicher zu haben??
Click to expand...
Dann sollte da auch inkrementell gesichert werden, Zeigt uns doch mal in PBS die letzten Zeilen deines letzten GC-Logs. Hier sieht das z.B. so aus:
Code: 
2023-07-06T13:37:42+02:00: processed 99% (91386 chunks)
2023-07-06T13:37:42+02:00: Removed garbage: 1.993 GiB
2023-07-06T13:37:42+02:00: Removed chunks: 2083
2023-07-06T13:37:42+02:00: Pending removals: 2 GiB (in 2058 chunks)
2023-07-06T13:37:42+02:00: Original data usage: 4.768 TiB
2023-07-06T13:37:42+02:00: On-Disk usage: 102.763 GiB (2.10%)
2023-07-06T13:37:42+02:00: On-Disk chunks: 88170
2023-07-06T13:37:42+02:00: Deduplication factor: 47.51
2023-07-06T13:37:42+02:00: Average chunk size: 1.193 MiB
2023-07-06T13:37:42+02:00: TASK OK
Also 4,76 TiBs an Backups die wegen Deduplikaton ber nur 102 GiB Pltz wegnehmen.

In PVE im Log des Backup Jobs solltest du auch Infos finden, wieviele der Daten inkrementell gesendet wurden:
Code: 
INFO: backup is sparse: 1.14 GiB (49%) total zero data
INFO: backup was done incrementally, reused 32.47 GiB (98%)
Also hier wurden z.B. nur 2% wirklich zum PBS gesendet weil 98% schon existierten.
 
Last edited:
Dunuin said:
Die ist aber standardmäßig deaktiviert und wird auch von kaum wem benutzt, weil ein aktivieren zusätzliche 5GB RAM je 1TB Storage erfordern würde.

Dann sollte da auch inkrementell gesichert werden, Zeigt uns doch mal in PBS die letzten Zeilen deines letzten GC-Logs. Hier sieht das z.B. so aus:
Code: 
2023-07-06T13:37:42+02:00: processed 99% (91386 chunks)
2023-07-06T13:37:42+02:00: Removed garbage: 1.993 GiB
2023-07-06T13:37:42+02:00: Removed chunks: 2083
2023-07-06T13:37:42+02:00: Pending removals: 2 GiB (in 2058 chunks)
2023-07-06T13:37:42+02:00: Original data usage: 4.768 TiB
2023-07-06T13:37:42+02:00: On-Disk usage: 102.763 GiB (2.10%)
2023-07-06T13:37:42+02:00: On-Disk chunks: 88170
2023-07-06T13:37:42+02:00: Deduplication factor: 47.51
2023-07-06T13:37:42+02:00: Average chunk size: 1.193 MiB
2023-07-06T13:37:42+02:00: TASK OK
Also 4,76 TiBs an Backups die wegen Deduplikaton ber nur 102 GiB Pltz wegnehmen.

In PVE im Log des Backup Jobs solltest du auch Infos finden, wieviele der Daten inkrementell gesendet wurden:
Code: 
INFO: backup is sparse: 1.14 GiB (49%) total zero data
INFO: backup was done incrementally, reused 32.47 GiB (98%)
Also hier wurden z.B. nur 2% wirklich zum PBS gesendet weil 98% schon existierten.
Click to expand...
Ja das sieht bei dem backup auf meinem NAS auch so aus soweit ich weiß ( komme gerade nicht drauf ). Aber halt nicht bei eine SSD mit 1tb Platz, da sichere ich die LXC und VM ( haben grob 700gb ) und die Platte läuft über ( VM locked wegen Backup und die Platte ist mit 985gb VOLL ). Das würde ja dann auch die Aussagen hier bestätigen, ERSTMALIGES BACKUP benötigt somit den doppelten Speicherplatz, wenn dieses Backup dann erfolgreich war kann darauf dann inkrementell gesichert werden. Sehe ich das so richtig?
 
markyman said:
ERSTMALIGES BACKUP benötigt somit den doppelten Speicherplatz
Click to expand...
Nein warum? Beim ersten mal muss ja auf kein vorhandenes Backup geachtet werden. Und das ist auch nur bei vzdump's so.

PBS schreibt beim ersten Backup alle Daten in neue Chunks, und beim zweiten Backup nur neue/geänderte Daten in neue Chunks. 24 Stunden nach Garbage-Collection werden nicht mehr aktuelle Chunks gelöscht.

Versuch mal ein anderes Dateisystem auf deine SSD zu machen (xfs oder ext4) und teste naochmal.
 
Last edited:
Check ausßerdem mal ob bei dir TRIM/Discard nicht richtig eingerichtet ist oder ob da irgendwelche Snapshots existieren. Beides würde verhindern, dass da gelöschtes nicht wieder freigemacht wird. Und nicht vergessen, dass gelöschte (Pruning) PBS Backups nicht wirklich gelöscht sind. Auch wenn sie nicht mehr in der Liste auftauchen sind ihre Daten noch da. Die wirst du erst los, wenn du mindestens 24 Stunden wartest und dann ein GC Task durchführst. Und nach dem GC muss dann erst ein fstrim laufen (bei ZFS z.B. standardmäßig nur einmal im Monat stattfindend).
 
Last edited:
Moin,

ok. Ich kann ja mal eine Platte als Test nehmen. Wie soll ich jetzt vorgehen?? Die Platte ist an PBS weitergereicht und in PBS habe ich ein ZFS auf diese Platte angelegt, und in Proxmox Datacenter per " Add ProxmoxBackuServer " hinzugefügt. Wie soll ich nun Anfangen??
 
Ernst T. said:
Versuch mal ein anderes Dateisystem auf deine SSD zu machen (xfs oder ext4) und teste naochmal.
Click to expand...
Hi,

jep der Tipp war Gold wert. Die SSD wieder entfernt, gewipet, und dann Directory mit Ext4 erstellt. Nun legt PBS das Backup dort ab, und ein erneutes wird einfach Inkrementell darauf gesichert sowie ich es wollte. Danke für die Hilfe!!
 
Hm,

aber irgendwas hängt noch.
Ich habe in dem NAS einen Energiezeitplan Aktiviert, somit schaltet sich das Nas um 20:30 Uhr ein - Proxmox erledigt die Backups um 21 Uhr - und gegen 23 Uhr fährt der NAS wieder runter.
Nun, sobald der NAS runterfährt, erscheint links unter PVE die " Disk " mit einem Fragezeichen was ja auch richtig ist. Nur kann ich dann auch andere Disks links nicht anwählen, überall Timeout. Im PBS ist der NFS Mount eingetragen:
192.168.178.91:/volume1/ProxmoxBackup /mnt/ProxmoxBackup/ nfs nfsvers=3,defaults,_netdev,rw 0 0
Die .91 IP ist der NAS, der freigegeben NFS Ordner auf dem NAS heißt ProxmoxBackup und den Ordner den ich im PBS erstellt habe heißt auch ProxmoxBackup.
Sobald das NAS wieder hochfährt und links wieder das Fragezeichen des NFS Mounts weg ist, kann ich zb. auch wieder auf die Interne SSD anwählen.
Ist das normal??
 
markyman said:
Ach du heiliges Kanonenrohr...ne..dann reagiert es halt für eine Zeit langsam
Click to expand...
Schlechte Idee, es wird nicht nur langsam, sondern der ganze Hypervisor kann einfrieren, wenn etwas mehr Storagetraffic kommt.
Immer ein unmount vor dem entfernen (runterfahren) machen. Du kannst ja einfach als Cron Job den Unmount 1 Minute vor Shutdown machen.
Du solltest dir nur sicher sein, dass alle Backups durch sind.
 
Hi,

danke für deine Info. Ist aber alles wirklich so hinten durch dem Auge oder? Also vor dem runterfahren des NAS einen umount Befehl und dann vor dem Hochfahren wieder einen mountbefehl?

Gibt es da Vorlagen?
 
markyman said:
Hi,

danke für deine Info. Ist aber alles wirklich so hinten durch dem Auge oder? Also vor dem runterfahren des NAS einen umount Befehl und dann vor dem Hochfahren wieder einen mountbefehl?

Gibt es da Vorlagen?
Click to expand...
Google kennt garantiert Vorlagen und bitte erst nach dem hochfahren das mounten versuchen. Wird sonst schwierig. ;)
 
You must log in or register to reply here.
Top Bottom