Speicherverbrauch PBS

[Rockhound53]

Hallo zusammen,

Ich habe über Tuxis einen PBS hinzugefügt und lasse die LXCs und die VMs sichern. Die zwei wichtigsten lasse ich jeden Tag und die anderen alle 7 Tage sichern. Die tägliche Behalte ich 7 Tage und die wöchentliche 2 Wochen.



Das ganze läuft jetzt schon länger und die Größe der Backups bleibt immer relativ gleich, trotzdem steigt der Speicherverbrauch beim PBS immer weiter, obwohl die alten Backups, welche ja den gleichen Speicherplatz hatten, gelöscht werden.



Ist das ein normales Verhalten des PBS und hört irgendwann mal auf, oder läuft der irgendwann voll?

Vielen Dank und Grüße

Thomas

 

[waltar]

Zu deinem steigenden Verbrauch fällt mir zwar nichts ein, aber insgesamt ist deine Aufbewarungszeit zu kurz, denn wenn du zB mal in's Krankenhaus mußt oder in den Urlaub gehst und es passiert was dummes hast du ggf. kein brauchbares Backup mehr zum Einspielen.

 

[Rockhound53]

Zu deinem steigenden Verbrauch fällt mir zwar nichts ein, aber insgesamt ist deine Vorbereitungszeit zu kurz, denn wenn du zB mal in's Krankenhaus musst oder in den Urlaub gehst und es passiert was dummes hast du ggf. kein brauchbares Backup mehr zum Einspielen.

Ja ich weiß, dass ich bei Zeiten Mal optimieren muss.

 

[Retro1982]

Hasst du prune jobs (entfernt nicht mehr benoetigte Backups) und garbage collection jobs (markiert die junks die nicht mehr verwendet werden von Backups und loescht sie nach 24h ( also beim naechsten run aber nicht vor 24h)))? Sonst bleiben die junks auf dem speicher und fuellen ihn mit der Zeit.

 

[itNGO]

Aber nen GC Job hast du schon laufen?

 

[Rockhound53]

Hast du Prune Jobs (entfernt nicht mehr benötigte Backups) und Garbage Collection Jobs (markiert die Junks die nicht mehr verwendet werden von Backups und löscht sie nach 24h (also beim nächsten Ausführen aber nicht vor 24h)))? Sonst bleiben die Junks auf dem Speicher und tanken ihn mit der Zeit

Der Prune-Job läuft über die Aufforderung:




Wo finde ich das denn mit dem Garbage Collection? Ich bin PBS?

Hier Mal den Log des letzten Backups:

INFO: Neuer Sicherungsauftrag wird gestartet: vzdump 101 202 --node pve-SkYNeT --mode snapshot --fleecing '1,storage=local-zfs' --storage SkYNeT-offsite --prune-backups 'keep-last =7' --quiet 1 --notes-template '{{guestname}}'
INFO: Sicherung von VM 101 (qemu) wird gestartet
INFO: Backup gestartet am 08.11.2024 03:00:03
INFO: Status = läuft
INFO: VM-Name: homeassistant
INFO: Include-Datenträger „scsi0“ „local-zfs:vm-101-disk-1“ 32G
INFO: Include-Datenträger „efidisk0“ „local-zfs:vm-101-disk-0“ 4M
INFO: Sicherungsmodus: Snapshot
INFO: ionice Priorität: 7
INFO: Proxmox Backup Server-Archiv „vm/101/2024-11-08T02:00:03Z“ wird erstellt
INFO: drive-scsi0: Fleecing-Image local-zfs:vm-101-fleece-0 wird an QEMU angehängt
INFO: Gast-Agent-Befehl „fs-freeze“ wird ausgegeben
INFO: Gast-Agent-Befehl „fs-thaw“ wird ausgegeben
INFO: Sicherungsaufgabe „6af61afa-cf78-4824-8a02-8709ca02001d“ gestartet
INFO: VM wird wieder fortgesetzt
INFO: efidisk0: dirty-bitmap Status: neu erstellt
INFO: scsi0: dirty-bitmap Status: neu erstellt
INFO: 3 % (1,0 GiB von 32,0 GiB) in 3 s, Lesen: 342,7 MiB/s, Schreiben: 49,3 MiB/s
INFO: 4 % (1,3 GiB von 32,0 GiB) in 6 s, Lesen: 114,7 MiB/s, Schreiben: 21,3 MiB/s
INFO: 5 % (1,9 GiB von 32,0 GiB) in 12 s, Lesen: 90,0 MiB/s, Schreiben: 14,0 MiB/s
INFO: 6 % (2,2 GiB von 32,0 GiB) in 17 s, Lesen: 66,4 MiB/s, Schreiben: 14,4 MiB/s
INFO: 7 % (2,2 GiB von 32,0 GiB) in 25 s, Lesen: 6,5 MiB/s, Schreiben: 5,5 MiB/s
INFO: 8 % (2,7 GiB von 32,0 GiB) in 1 Min. 27 Sek., Lesen: 6,8 MiB/s, Schreiben: 5,1 MiB/s
INFO: 9 % (2,9 GiB von 32,0 GiB) in 1 Min. 39 Sek., Lesen: 22,3 MiB/s, Schreiben: 10,0 MiB/s
INFO: 10 % (3,3 GiB von 32,0 GiB) in 1 Min. 50 Sek., Lesen: 38,9 MiB/s, Schreiben: 13,1 MiB/s
INFO: 11 % (3,8 GiB von 32,0 GiB) in 2 Min. 2 Sek., Lesen: 39,3 MiB/s, Schreiben: 15,0 MiB/s
INFO: 12 % (3,8 GiB von 32,0 GiB) in 2 Min. 5 Sek., Lesen: 17,3 MiB/s, Schreiben: 10,7 MiB/s
INFO: 13 % (4,2 GiB von 32,0 GiB) in 2 Min. 12 s, Lesen: 53,7 MiB/s, Schreiben: 16,6 MiB/s
INFO: 15 % (4,8 GiB von 32,0 GiB) in 2 Min. 19 Sek., Lesen: 92,6 MiB/s, Schreiben: 6,3 MiB/s
INFO: 16 % (5,1 GiB von 32,0 GiB) in 2 Min. 22 s, Lesen: 102,7 MiB/s, Schreiben: 53,3 MiB/s
INFO: 17 % (5,5 GiB von 32,0 GiB) in 2 Min. 35 s, Lesen: 27,4 MiB/s, Schreiben: 18,2 MiB/s
INFO: 18 % (5,8 GiB von 32,0 GiB) in 2 Min. 49 s, Lesen: 24,3 MiB/s, Schreiben: 13,4 MiB/s
INFO: 19 % (6,1 GiB von 32,0 GiB) in 2 Min. 57 s, Lesen: 38,0 MiB/s, Schreiben: 19,0 MiB/s
INFO: 20 % (6,4 GiB von 32,0 GiB) in 3 Min. 19 s, Lesen: 15,3 MiB/s, Schreiben: 12,9 MiB/s
INFO: 21 % (6,8 GiB von 32,0 GiB) in 3 Min. 31 s, Lesen: 32,3 MiB/s, Schreiben: 14,3 MiB/s
INFO: 22 % (7,1 GiB von 32,0 GiB) in 3 Min. 41 s, Lesen: 24,0 MiB/s, Schreiben: 14,8 MiB/s
INFO: 23 % (7,4 GiB von 32,0 GiB) in 3 Min. 59 s, Lesen: 17,1 MiB/s, Schreiben: 13,6 MiB/s
INFO: 24 % (7,7 GiB von 32,0 GiB) in 4 Min. 13 s, Lesen: 24,0 MiB/s, Schreiben: 12,0 MiB/s
INFO: 25 % (8,1 GiB von 32,0 GiB) in 4 Min. 24 s, Lesen: 41,5 MiB/s, Schreiben: 8,0 MiB/s
INFO: 26 % (8,4 GiB von 32,0 GiB) in 4 Min. 27 s, Lesen: 97,3 MiB/s, Schreiben: 0 B/s
INFO: 27 % (8,9 GiB von 32,0 GiB) in 4 Min. 30 s, Lesen: 153,3 MiB/s, Schreiben: 50,7 MiB/s
INFO: 28 % (9,0 GiB von 32,0 GiB) in 4 Min. 35 s, Lesen: 22,4 MiB/s, Schreiben: 17,6 MiB/s
INFO: 29 % (9,3 GiB von 32,0 GiB) in 4 Min. 40 s, Lesen: 69,6 MiB/s, Schreiben: 12,8 MiB/s
INFO: 31 % (10,0 GiB von 32,0 GiB) in 4 Min. 47 s, Lesen: 106,3 MiB/s, Schreiben: 0 B/s
INFO: 34 % (11,0 GiB von 32,0 GiB) in 4 Min. 50 s, Lesen: 314,7 MiB/s, Schreiben: 57,3 MiB/s
INFO: 35 % (11,3 GiB von 32,0 GiB) in 4 Min. 55 s, Lesen: 62,4 MiB/s, Schreiben: 10,4 MiB/s
INFO: 39 % (12,7 GiB von 32,0 GiB) in 5 m, Lesen: 301,6 MiB/s, Schreiben: 6,4 MiB/s
INFO: 40 % (12,9 GiB von 32,0 GiB) in 5 Min. 3 Sek., Lesen: 62,7 MiB/s, Schreiben: 49,3 MiB/s
INFO: 41 % (13,3 GiB von 32,0 GiB) in 5 Min. 6 s, Lesen: 110,7 MiB/s, Schreiben: 1,3 MiB/s
INFO: 47 % (15,2 GiB von 32,0 GiB) in 5 Min. 12 s, Lesen: 332,7 MiB/s, Schreiben: 5,3 MiB/s
INFO: 52 % (16,9 GiB von 32,0 GiB) in 5 Min. 15 s, Lesen: 586,7 MiB/s, Schreiben: 40,0 MiB/s
INFO: 53 % (17,2 GiB von 32,0 GiB) in 5 Min. 18 s, Lesen: 109,3 MiB/s, Schreiben: 1,3 MiB/s
INFO: 54 % (17,3 GiB von 32,0 GiB) in 5 Min. 21 s, Lesen: 22,7 MiB/s, Schreiben: 0 B/s
INFO: 60 % (19,2 GiB von 32,0 GiB) in 5 Min. 24 s, Lesen: 652,0 MiB/s, Schreiben: 37,3 MiB/s
INFO: 62 % (20,0 GiB von 32,0 GiB) in 5 Min. 32 s, Lesen: 105,5 MiB/s, Schreiben: 5,0 MiB/s
INFO: 63 % (20,2 GiB von 32,0 GiB) in 5 Min. 36 s, Lesen: 36,0 MiB/s, Schreiben: 24,0 MiB/s
INFO: 64 % (20,6 GiB von 32,0 GiB) in 5 Min. 44 s, Lesen: 48,0 MiB/s, Schreiben: 2,5 MiB/s
INFO: 66 % (21,2 GiB von 32,0 GiB) in 5 Min. 48 s, Lesen: 171,0 MiB/s, Schreiben: 22,0 MiB/s
INFO: 67 % (21,6 GiB von 32,0 GiB) in 5 Min. 51 s, Lesen: 114,7 MiB/s, Schreiben: 0 B/s
INFO: 72 % (23,3 GiB von 32,0 GiB) in 5 Min. 54 s, Lesen: 577,3 MiB/s, Schreiben: 21,3 MiB/s
INFO: 78 % (25,2 GiB von 32,0 GiB) in 5 Min. 57 s, Lesen: 677,3 MiB/s, Schreiben: 42,7 MiB/s
INFO: 79 % (25,3 GiB von 32,0 GiB) in 6 Min., Lesen: 18,7 MiB/s, Schreiben: 0 B/s
INFO: 84 % (27,2 GiB von 32,0 GiB) in 6 Min. 3 Sek., Lesen: 648,0 MiB/s, Schreiben: 5,3 MiB/s
INFO: 100 % (32,0 GiB von 32,0 GiB) in 6 Min. 6 Sek., Lesen: 1,6 GiB/s, Schreiben: 2,7 MiB/s
INFO: Warte, bis der Server die Sicherungsüberprüfung abgeschlossen hat …
INFO: Das Backup ist spärlich: 24,04 GiB (75 %), insgesamt keine Daten
INFO: Backup wurde inkrementell durchgeführt, 27,47 GiB (85%) wiederverwendet
INFO: 32,00 GiB in 368 Sekunden übertragen (89,0 MiB/s)
INFO: Notizen zum Backup hinzufügen
INFO: Ältere Backups mit Aufbewahrung bereinigen: keep-last=7
INFO: „proxmox-backup-client prune“ wird für „vm/101“ ausgeführt.
INFO: 1 Backup(s) gelöscht, das nicht durch die Keep-Retention-Richtlinie abgedeckt ist
INFO: Sicherung von VM 101 abgeschlossen (00:06:10)
INFO: Sicherung abgeschlossen am 08.11.2024 03:06:13
INFO: Sicherung von VM 202 wird gestartet (lxc)
INFO: Backup gestartet am 08.11.2024 03:06:13
INFO: Status = läuft
INFO: CT-Name: paperless-ngx
INFO: Einbindungspunkt rootfs ('/') in Backup einbinden
INFO: Mountpunkt mp0 ('/mnt/hdd/') in Backup einbinden
INFO: Sicherungsmodus: Snapshot
INFO: ionice Priorität: 7
INFO: VM anhalten um Snapshot zu machen
INFO: Speicher-Snapshot „vzdump“ erstellen
INFO: VM weiter
INFO: Gast ist nach 1 Sekunde wieder online
INFO: Proxmox Backup Server-Archiv „ct/202/2024-11-08T02:06:13Z“ wird erstellt
INFO: Maximale Anzahl von Einträgen im Speicher für dateibasierte Backups auf 1048576 festlegen
INFO: ausführen: lxc-usernsexec -mu:0:100000:65536 -mg:0:100000:65536 -- /usr/bin/proxmox-backup-client backup --crypt-mode=none pct.conf:/var/tmp/vzdumptmp126444_202/etc/vzdump/pct.conf root.pxar:/mnt/vzsnap0 --include-dev /mnt/vzsnap0/./ --include-dev /mnt/vzsnap0/./mnt/hdd/ --skip-lost-and-found --exclude=/tmp/?* --exclude=/var/tmp/?* --exclude=/var/run/?*.pid --backup-type ct --backup-id 202 --backup-time 1731031573 --Einträge-max 1048576 --Repository FL001126@pbs@pbs001.de.tuxis.eu:FL001126_SkYNeT-offsite
INFO: Sicherung wird gestartet: ct/202/2024-11-08T02:06:13Z
INFO: Clientname: pve-SkYNeT
INFO: Backup-Protokoll wird gestartet: Fr., 8. Nov. 2024, 03:06:14
INFO: Vorheriges Manifest wird heruntergeladen (Do., 7. Nov. 2024, 03:02:08)
INFO: Laden Sie die Konfigurationsdatei '/var/tmp/vzdumptmp126444_202/etc/vzdump/pct.conf' als pct.conf.blob nach 'FL001126@pbs@pbs001.de.tuxis.eu:8007:FL001126_SkYNeT-offsite' hoch.
INFO: Laden Sie das Verzeichnis '/mnt/vzsnap0' als root.pxar.didx nach 'FL001126@pbs@pbs001.de.tuxis.eu:8007:FL001126_SkYNeT-offsite' hoch.
INFO: root.pxar: musste 350.912 MiB von 7.643 GiB (komprimiert 161.953 MiB) in 62,77 s sichern (durchschnittlich 5,59 MiB/s)
INFO: root.pxar: Backup wurde inkrementell durchgeführt, 7.301 GiB (95,5 %) wiederverwendet
INFO: Backup-Katalog hochgeladen (2.741 MiB)
INFO: Dauer: 63,33 s
INFO: Endzeit: Fr. 8. November 03:07:17 2024
INFO: Notizen zum Backup hinzufügen
INFO: Ältere Backups mit Aufbewahrung bereinigen: keep-last=7
INFO: 'proxmox-backup-client prune' wird für 'ct/202' ausgeführt
INFO: 1 Backup(s) gelöscht, das nicht durch die Keep-Retention-Richtlinie abgedeckt ist
INFO: Temporärer „vzdump“-Snapshot bereinigen
INFO: Sicherung von VM 202 abgeschlossen (00:01:05)
INFO: Sicherung abgeschlossen am 08.11.2024 03:07:18
INFO: Sicherungsauftrag erfolgreich abgeschlossen
AUFGABE OK

 

[itNGO]

Das findest du im PBS unter den Datastores...

 

[Rockhound53]

Das findest du im PBS unter den Datastores...

Also du meinst das hier:


Wie oft sollte man das denn ausführen?

Muss ich bei Prune auch was einstellen, wenn ich ja schon bei den Aufbewahrungseinstellungen schon was habe?

Dank und Grüße

 

[itNGO]

Es empfiehlt sich das ganze Thema Aufbewarung, Prune, GC immer am PBS zu machen und nicht in den Backup-Jobs am PVE....
Das sollte mindestens so oft laufen, wie neue Backups hinzukommen und alte gelöscht werden... meist also täglich....

 

[Rockhound53]

Es empfiehlt sich das ganze Thema Aufbewarung, Prune, GC immer am PBS zu machen und nicht in den Backup-Jobs am PVE....
Das sollte mindestens so oft laufen, wie neue Backups hinzukommen und alte gelöscht werden... meist auch täglich....

Die GC hat mir jetzt fast 22 GB freigegeben...

Den Prune Job über PBS kann man dann ja nicht so granular einstellen wie beim Backupjob im PVE, zumindest konnte ich nichts finden wo ich einzelne LXC oder VM auswählen kann?

 

[UdoB]

Den Prune Job über PBS kann man dann ja nicht so granular einstellen wie beim Backupjob im PVE, zumindest konnte ich nichts finden wo ich einzelne LXC oder VM auswählen kann?

Der Prune Job kennt keine VMs/LXC. Er kennt nur Chunks.

(Korrigiert) : Und die vom GC freigegebenen Chunks werden erst nach 24h + 5 Minuten tatsächlich gelöscht. Du siehst also erst morgen mehr freien Platz.