Verify schlägt fehl: Backup Server 3.0-1

[xgetwellx]

Guten Morgen,

ich habe das Problem, dass der Verify auf meinem Backup Server 3.0-1 immer bei einer einzelnen VM fehlschlägt.
Ich habe einen Datastore via NFS auf einer Synology Diskstation angelegt der als Sicherungsziel dient. Die Synology hat ein angeschlossenes RDX Laufwerk und sichert die Daten nochmal auf ein "Tape".

Drei Linux VMs werden erfolgreich gesichert und auch verifziert.
Eine Windows VM wird zwar erfolgreich gesichert, aber die Verifizierung schlägt immer fehl:

2023-09-05T07:00:08+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk 'd882260dad1061f706c88842779198dcebdf7ea8ed35af3d4b4cf6f793922b34' - No such file or directory (os error 2)
2023-09-05T07:00:08+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk 'c1c82653e82cb6bd4baabebc6b29322350d5bf526ee77a9a7a08996d9ba75293' - No such file or directory (os error 2)
2023-09-05T07:00:08+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk 'd037ad4f1fd3f14480cefdd8d9a83a7d0706a32da233e78a4675e95e197b9f5b' - No such file or directory (os error 2)
2023-09-05T07:00:09+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk 'd95f7a24e7222a302431bde159546499eef3043430d5f62b5a8e0935e75c92ca' - No such file or directory (os error 2)
2023-09-05T07:00:09+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk 'a638be2d1599f37abf18b29bc86e578233b957f2c4ee1ed872257ab7db715f84' - No such file or directory (os error 2)
2023-09-05T07:00:09+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk '960b903ea3d2457ab0baabfdabda9c4e135248fc455dca2f9ba9afc11d83bfa4' - No such file or directory (os error 2)
2023-09-05T07:00:09+02:00: can't verify chunk, load failed - store 'diskstation', unable to load chunk 'c78696814db182679e6573f421efdb53580fa19f163e58254db3c3b496f530ae' - No such file or directory (os error 2)

Die Meldungen sind korrekt - die Dateien gibt es nicht im jeweiligen Ziel (die ersten vier Stellen des Chunk-Files ergibt den Ordner im Chunk Verzeichnis)...
Aber warum ist das so?
Hat irgendjemand eine Idee?

Viele Grüße

 

[Falk R.]

Hi, warum die Chunk Files weg sind, weiß wohl nur deine Diskstation. Wenn der Verify fehlschlägt, weiß der PBS, dass die Chunks fehlen und sollte die beim nächsten Backup wieder neu schreiben, soweit diese auf der Original VM noch vorhanden sind.
Was sagt denn das Backup, der VM?

 

[xgetwellx]

In den Diskstation Logs ist nichts auffälliges zu sehen. Der Backup Job ist glücklich:

INFO: Starting Backup of VM 101 (qemu)
INFO: Backup started at 2023-09-04 21:01:05
INFO: status = running
INFO: VM Name: win-docs
INFO: include disk 'scsi0' 'data:vm-101-disk-0' 80G
INFO: include disk 'scsi1' 'data:vm-101-disk-1' 100G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: pending configuration changes found (not included into backup)
INFO: creating Proxmox Backup Server archive 'vm/101/2023-09-04T19:01:05Z'
INFO: started backup task 'd0857307-a289-4b64-99cd-caee4a0d05e4'
INFO: resuming VM again
INFO: scsi0: dirty-bitmap status: OK (2.5 GiB of 80.0 GiB dirty)
INFO: scsi1: dirty-bitmap status: OK (476.0 MiB of 100.0 GiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 3.0 GiB dirty of 180.0 GiB total
INFO:  14% (440.0 MiB of 3.0 GiB) in 3s, read: 146.7 MiB/s, write: 146.7 MiB/s
INFO:  27% (856.0 MiB of 3.0 GiB) in 6s, read: 138.7 MiB/s, write: 137.3 MiB/s
INFO:  28% (880.0 MiB of 3.0 GiB) in 9s, read: 8.0 MiB/s, write: 8.0 MiB/s
INFO:  29% (896.0 MiB of 3.0 GiB) in 20s, read: 1.5 MiB/s, write: 1.5 MiB/s
INFO:  33% (1.0 GiB of 3.0 GiB) in 23s, read: 42.7 MiB/s, write: 40.0 MiB/s
INFO:  36% (1.1 GiB of 3.0 GiB) in 26s, read: 34.7 MiB/s, write: 33.3 MiB/s
INFO:  41% (1.2 GiB of 3.0 GiB) in 29s, read: 50.7 MiB/s, write: 50.7 MiB/s
INFO:  46% (1.4 GiB of 3.0 GiB) in 32s, read: 48.0 MiB/s, write: 48.0 MiB/s
INFO:  48% (1.5 GiB of 3.0 GiB) in 35s, read: 22.7 MiB/s, write: 22.7 MiB/s
INFO:  53% (1.6 GiB of 3.0 GiB) in 38s, read: 48.0 MiB/s, write: 48.0 MiB/s
INFO:  57% (1.7 GiB of 3.0 GiB) in 41s, read: 38.7 MiB/s, write: 38.7 MiB/s
INFO:  58% (1.7 GiB of 3.0 GiB) in 44s, read: 12.0 MiB/s, write: 12.0 MiB/s
INFO:  59% (1.8 GiB of 3.0 GiB) in 47s, read: 12.0 MiB/s, write: 12.0 MiB/s
INFO:  61% (1.8 GiB of 3.0 GiB) in 50s, read: 18.7 MiB/s, write: 16.0 MiB/s
INFO:  65% (1.9 GiB of 3.0 GiB) in 53s, read: 38.7 MiB/s, write: 34.7 MiB/s
INFO:  68% (2.0 GiB of 3.0 GiB) in 56s, read: 33.3 MiB/s, write: 33.3 MiB/s
INFO:  71% (2.1 GiB of 3.0 GiB) in 59s, read: 34.7 MiB/s, write: 34.7 MiB/s
INFO:  76% (2.3 GiB of 3.0 GiB) in 1m 2s, read: 50.7 MiB/s, write: 50.7 MiB/s
INFO:  80% (2.4 GiB of 3.0 GiB) in 1m 5s, read: 33.3 MiB/s, write: 33.3 MiB/s
INFO:  82% (2.5 GiB of 3.0 GiB) in 1m 8s, read: 28.0 MiB/s, write: 28.0 MiB/s
INFO:  86% (2.6 GiB of 3.0 GiB) in 1m 11s, read: 33.3 MiB/s, write: 32.0 MiB/s
INFO:  88% (2.7 GiB of 3.0 GiB) in 1m 14s, read: 28.0 MiB/s, write: 28.0 MiB/s
INFO:  92% (2.8 GiB of 3.0 GiB) in 1m 17s, read: 33.3 MiB/s, write: 33.3 MiB/s
INFO:  97% (2.9 GiB of 3.0 GiB) in 1m 20s, read: 52.0 MiB/s, write: 52.0 MiB/s
INFO:  99% (3.0 GiB of 3.0 GiB) in 1m 23s, read: 22.7 MiB/s, write: 22.7 MiB/s
INFO: 100% (3.0 GiB of 3.0 GiB) in 1m 26s, read: 6.7 MiB/s, write: 6.7 MiB/s
INFO: backup was done incrementally, reused 177.05 GiB (98%)
INFO: transferred 2.99 GiB in 96 seconds (31.9 MiB/s)
INFO: adding notes to backup
INFO: prune older backups with retention: keep-daily=7, keep-monthly=2, keep-weekly=4
INFO: running 'proxmox-backup-client prune' for 'vm/101'
INFO: pruned 1 backup(s) not covered by keep-retention policy
INFO: Finished Backup of VM 101 (00:01:39)
INFO: Backup finished at 2023-09-04 21:02:44
INFO: Backup job finished successfully

 

[Falk R.]

Hi,
die chunks (Dateien) fehlen ja offensichtlich. Müssen irgendwie gelöscht worden sein.
Wenn das Backup sauber ist, sollte der Verify dieses Jobs sauber durchlaufen.

 

[xgetwellx]

Ich teste das ganze mal gegen eine lokal angehängte Platte

 

[Dunuin]

Guck auch nochmal, dass da atime bzw relatime aktiviert ist und dir die NFS Verbindung nicht hängt. Wenn nicht kann dir der GC auch fälschlicherweise die Chunks löschen.

 

[kohly]

Guck auch nochmal, dass da atime bzw relatime aktiviert ist und dir die NFS Verbindung nicht hängt. Wenn nicht kann dir der GC auch fälschlicherweise die Chunks löschen.

ich häng mich da mal mit rein, weil ich das gleiche problem habe:
die synology läuft fehlerfrei.
alle vms werden sauber gesichert, alles vms werden erfolgreich verifiziert, bis auf: die (einzige) windows 10 vm.
verify läuft oft erfolgreich, ja aber manchmal (und tatsächlich auch nur manchmal, so 2-3 mal im monat, fehlen angeblich chunks.

meine frage nun:
warum (um himmels willen) kann mir der gc auch _fälschlicherweise_ die chunks löschen?

danke im voraus für mögliche erklärungen

 

[Dunuin]

Mal grob vereinfacht gesagt:
GC Phase 1 greift einmal auf alle Chunks zu, die noch in Verwendung sind und markiert diese damit quasi, indem dann da atime aktualisiert wird. GC Phase 2 geht dann alle Chunks durch und prüft ob auf diese die letzten 24 Stunden zugegriffen wurde und wenn nicht, dann wird der Chunk gelöscht.

Hast du da dann die atime deaktiviert oder der Storage kann in Phase 1 kurz nichts mehr schreiben, in phase 2 aber schon, dann löscht der GC halt mehr als gewollt.

 

[xgetwellx]

Hi zusammen,

sorry, ich war sehr lange nur eingeschränkt online.
Ich habe den Fehler bei mir gefunden: die Synology hat eine Antivirus App. Die Chunks der Windows VM wurden bei mir teilweise als bösartig erkannt und in Quarantäne gestellt. Nachdem ich das Volume vom Virusscan ausgeschlossen habe, habe ich den Fehler nicht mehr.

Viele Grüße