PBS Debuplication

[mo25]

Wir wollen uns von Veeam trennen also Neuling . Nach der Installation des PBS wurde ein Backup-Job für eine VM mit einer 60 GB großen Festplatte erstellt, mit der Einstellung „Rentation Keep Last 7”. Heute ist der 5. Tag. Im UI zeigt der DataStore 297 GB als belegt an, auch in der Konsole mit dem Befehl „du -h /mnt/datastore”.
Macht PBS jetzt jedes Mal ein Vollbackup oder was ist los?
Übrigens, in der Benachrichtigungs-E-Mail ist die Zeit für die Backups ab dem zweiten Backup nur in Sekunden angegeben. Prune und GC habe ich einmal durchgeführt (ohne Wirkung).
Deduplication Factor 17.82

Wer kann helfen?
GUI


Erstes Backup



Zweites Backups

 

[Impact]

Die Backup Task Logs von der PVE Seite wären interessant. Die Bilder sind extrem beschnitten, da wird man ja klaustrophobisch.

 

[mo25]

Der server macht nur das erste backup als voll Backup
1. Backup

INFO: Starting Backup of VM 102 (qemu)
INFO: Backup started at 2025-06-05 20:00:11
INFO: status = running
INFO: VM Name: ber--2400
INFO: include disk 'scsi0' 'pve-data-thin:vm-102-disk-0' 10G
INFO: include disk 'scsi1' 'pve-data-thin:vm-102-disk-1' 51G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/102/2025-06-05T21:00:11Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '3e7f516f-1f72-4d12-a149-44cc3346a33f'
INFO: resuming VM again
INFO: scsi0: dirty-bitmap status: created new
INFO: scsi1: dirty-bitmap status: created new
INFO: 1% (1.1 GiB of 61.0 GiB) in 3s, read: 378.7 MiB/s, write: 378.7 MiB/s
INFO: 3% (2.2 GiB of 61.0 GiB) in 6s, read: 389.3 MiB/s, write: 389.3 MiB/s
INFO: 5% (3.6 GiB of 61.0 GiB) in 9s, read: 474.7 MiB/s, write: 474.7 MiB/s
INFO: 6% (4.1 GiB of 61.0 GiB) in 12s, read: 173.3 MiB/s, write: 173.3 MiB/s
INFO: 7% (4.6 GiB of 61.0 GiB) in 15s, read: 145.3 MiB/s, write: 145.3 MiB/s
INFO: 8% (5.0 GiB of 61.0 GiB) in 18s, read: 150.7 MiB/s, write: 150.7 MiB/s
INFO: 9% (5.6 GiB of 61.0 GiB) in 22s, read: 149.0 MiB/s, write: 149.0 MiB/s
INFO: 10% (6.2 GiB of 61.0 GiB) in 26s, read: 155.0 MiB/s, write: 155.0 MiB/s
INFO: 11% (6.8 GiB of 61.0 GiB) in 30s, read: 146.0 MiB/s, write: 146.0 MiB/s
INFO: 12% (7.4 GiB of 61.0 GiB) in 34s, read: 152.0 MiB/s, write: 152.0 MiB/s
INFO: 13% (8.0 GiB of 61.0 GiB) in 38s, read: 153.0 MiB/s, write: 153.0 MiB/s
INFO: 14% (8.6 GiB of 61.0 GiB) in 42s, read: 150.0 MiB/s, write: 150.0 MiB/s
INFO: 15% (9.2 GiB of 61.0 GiB) in 46s, read: 159.0 MiB/s, write: 159.0 MiB/s
INFO: 16% (9.8 GiB of 61.0 GiB) in 50s, read: 152.0 MiB/s, write: 152.0 MiB/s
INFO: 17% (10.5 GiB of 61.0 GiB) in 55s, read: 152.8 MiB/s, write: 152.8 MiB/s
INFO: 19% (12.2 GiB of 61.0 GiB) in 58s, read: 560.0 MiB/s, write: 560.0 MiB/s
INFO: 23% (14.3 GiB of 61.0 GiB) in 1m 1s, read: 748.0 MiB/s, write: 748.0 MiB/s
INFO: 27% (16.7 GiB of 61.0 GiB) in 1m 4s, read: 812.0 MiB/s, write: 812.0 MiB/s
INFO: 32% (19.6 GiB of 61.0 GiB) in 1m 7s, read: 984.0 MiB/s, write: 790.7 MiB/s
INFO: 38% (23.4 GiB of 61.0 GiB) in 1m 10s, read: 1.3 GiB/s, write: 768.0 MiB/s
INFO: 43% (26.7 GiB of 61.0 GiB) in 1m 13s, read: 1.1 GiB/s, write: 781.3 MiB/s
INFO: 48% (29.8 GiB of 61.0 GiB) in 1m 16s, read: 1.1 GiB/s, write: 752.0 MiB/s
INFO: 53% (32.9 GiB of 61.0 GiB) in 1m 19s, read: 1.0 GiB/s, write: 772.0 MiB/s
INFO: 55% (33.6 GiB of 61.0 GiB) in 1m 22s, read: 238.7 MiB/s, write: 238.7 MiB/s
INFO: 56% (34.3 GiB of 61.0 GiB) in 1m 25s, read: 248.0 MiB/s, write: 248.0 MiB/s
INFO: 57% (35.0 GiB of 61.0 GiB) in 1m 28s, read: 237.3 MiB/s, write: 237.3 MiB/s
INFO: 58% (35.6 GiB of 61.0 GiB) in 1m 31s, read: 177.3 MiB/s, write: 177.3 MiB/s
INFO: 59% (36.4 GiB of 61.0 GiB) in 1m 34s, read: 281.3 MiB/s, write: 281.3 MiB/s
INFO: 61% (37.4 GiB of 61.0 GiB) in 1m 37s, read: 342.7 MiB/s, write: 342.7 MiB/s
INFO: 63% (38.5 GiB of 61.0 GiB) in 1m 40s, read: 368.0 MiB/s, write: 368.0 MiB/s
INFO: 64% (39.6 GiB of 61.0 GiB) in 1m 43s, read: 374.7 MiB/s, write: 374.7 MiB/s
INFO: 66% (40.7 GiB of 61.0 GiB) in 1m 46s, read: 402.7 MiB/s, write: 402.7 MiB/s
INFO: 68% (41.9 GiB of 61.0 GiB) in 1m 49s, read: 380.0 MiB/s, write: 380.0 MiB/s
INFO: 70% (43.0 GiB of 61.0 GiB) in 1m 52s, read: 381.3 MiB/s, write: 381.3 MiB/s
INFO: 71% (43.7 GiB of 61.0 GiB) in 1m 55s, read: 248.0 MiB/s, write: 248.0 MiB/s
INFO: 73% (44.8 GiB of 61.0 GiB) in 1m 58s, read: 380.0 MiB/s, write: 380.0 MiB/s
INFO: 75% (46.0 GiB of 61.0 GiB) in 2m 1s, read: 392.0 MiB/s, write: 392.0 MiB/s
INFO: 77% (47.0 GiB of 61.0 GiB) in 2m 4s, read: 362.7 MiB/s, write: 362.7 MiB/s
INFO: 78% (48.1 GiB of 61.0 GiB) in 2m 7s, read: 366.7 MiB/s, write: 366.7 MiB/s
INFO: 80% (49.0 GiB of 61.0 GiB) in 2m 10s, read: 316.0 MiB/s, write: 316.0 MiB/s
INFO: 81% (49.7 GiB of 61.0 GiB) in 2m 13s, read: 216.0 MiB/s, write: 216.0 MiB/s
INFO: 84% (51.3 GiB of 61.0 GiB) in 2m 16s, read: 560.0 MiB/s, write: 218.7 MiB/s
INFO: 85% (52.4 GiB of 61.0 GiB) in 2m 19s, read: 362.7 MiB/s, write: 345.3 MiB/s
INFO: 88% (53.8 GiB of 61.0 GiB) in 2m 22s, read: 477.3 MiB/s, write: 332.0 MiB/s
INFO: 90% (55.2 GiB of 61.0 GiB) in 2m 25s, read: 494.7 MiB/s, write: 393.3 MiB/s
INFO: 91% (55.7 GiB of 61.0 GiB) in 2m 28s, read: 173.3 MiB/s, write: 173.3 MiB/s
INFO: 95% (58.0 GiB of 61.0 GiB) in 2m 31s, read: 776.0 MiB/s, write: 204.0 MiB/s
INFO: 99% (60.6 GiB of 61.0 GiB) in 2m 34s, read: 902.7 MiB/s, write: 254.7 MiB/s
INFO: 100% (61.0 GiB of 61.0 GiB) in 2m 37s, read: 124.0 MiB/s, write: 124.0 MiB/s
INFO: Waiting for server to finish backup validation...
INFO: backup is sparse: 10.06 GiB (16%) total zero data
INFO: backup was done incrementally, reused 10.23 GiB (16%)
INFO: transferred 61.00 GiB in 232 seconds (269.2 MiB/s)
INFO: adding notes to backup
INFO: prune older backups with retention: keep-daily=7
INFO: running 'proxmox-backup-client prune' for 'vm/102'
INFO: pruned 0 backup(s)
INFO: Finished Backup of VM 102 (00:03:53)
INFO: Backup finished at 2025-06-05 20:04:04
INFO: Backup job finished successfully
TASK OK

2. Backup

INFO: Starting Backup of VM 102 (qemu)
INFO: Backup started at 2025-06-06 20:00:11
INFO: status = running
INFO: VM Name: ber--2400
INFO: include disk 'scsi0' 'pve-data-thin:vm-102-disk-0' 10G
INFO: include disk 'scsi1' 'pve-data-thin:vm-102-disk-1' 51G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/102/2025-06-06T21:00:11Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '02d0ba1c-45fa-4711-ada0-8e06f41fc044'
INFO: resuming VM again
INFO: scsi0: dirty-bitmap status: OK (416.0 MiB of 10.0 GiB dirty)
INFO: scsi1: dirty-bitmap status: OK (180.0 MiB of 51.0 GiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 596.0 MiB dirty of 61.0 GiB total
INFO: 100% (596.0 MiB of 596.0 MiB) in 3s, read: 198.7 MiB/s, write: 197.3 MiB/s
INFO: backup was done incrementally, reused 60.42 GiB (99%)
INFO: transferred 596.00 MiB in 3 seconds (198.7 MiB/s)
INFO: adding notes to backup
INFO: prune older backups with retention: keep-daily=7
INFO: running 'proxmox-backup-client prune' for 'vm/102'
INFO: pruned 0 backup(s)
INFO: Finished Backup of VM 102 (00:00:04)
INFO: Backup finished at 2025-06-06 20:00:15
INFO: Backup job finished successfully
TASK OK

 

[cheiss]

Übrigens, in der Benachrichtigungs-E-Mail ist die Zeit für die Backups ab dem zweiten Backup nur in Sekunden angegeben.

Das passt schon so, nachdem das zweite Backup (dank dirty-bitmap) auch nur 4s gedauert hat
Der Log sieht soweit auch korrekt aus, beim 2. Backup wurden nur ~600 MiB backed up - da der Rest sich nicht geändert hat.

Prune und GC habe ich einmal durchgeführt (ohne Wirkung).

Siehe dazu https://pbs.proxmox.com/docs/maintenance.html#gc-background, erklärt wie GC überhaupt funktioniert und wieso direkt hintereinander ausführen nichts entfernen wird.

Waren die Logs vom 3. und 4. Backup ähnlich?
Wird aktuell nur die eine VM in diesen Datastore gebackuped? Oder noch andere?
Wie sieht den der aktuelle Datastore-Inhalt aus ("Content"-Tab)?

 

[mo25]

Das passt schon so, nachdem das zweite Backup (dank dirty-bitmap) auch nur 4s gedauert hat
Der Log sieht soweit auch korrekt aus, beim 2. Backup wurden nur ~600 MiB backed up - da der Rest sich nicht geändert hat.


Siehe dazu https://pbs.proxmox.com/docs/maintenance.html#gc-background, erklärt wie GC überhaupt funktioniert und wieso direkt hintereinander ausführen nichts entfernen wird.

Waren die Logs vom 3. und 4. Backup ähnlich?
Wird aktuell nur die eine VM in diesen Datastore gebackuped? Oder noch andere?
Wie sieht den der aktuelle Datastore-Inhalt aus ("Content"-Tab)?

Erst Danke für die Rückmeldung
Waren die Logs vom 3. und 4. Backup ähnlich? JA
Wird aktuell nur die eine VM in diesen Datastore gebackuped? Oder noch andere? Ja ein Container mit 890 MiB.
Wie sieht den der aktuelle Datastore-Inhalt aus ("Content"-Tab)? 6 Backups für Vm und 6 für den Contianer.
Summary; Usage 297,69 GB. Also es sind nur 68 MB dazu gekommen, nach der Einrichtung von Prune und GC.

Meine Frage ist, haben Prune und GC eine Auswirkung auf die alten Backups? Es waren 5 Tage ohne Prune und GC. Wo kommen die 297 GB her, wenn PBS nur das erste Backup als Voll Backup macht?