[SOLVED] sync-job für Offsite-Backup: "can't verify chunk"

[sherminator]

Hallo zusammen,

wir sichern unsere ca. 60 VMs auf einen dedizierten PBS. Nun würden wir gerne einen weiteren PBS als Offsite Backup an den Start bringen, der einmal am Tag das jeweils jüngste Backup aller VMs zu sich holt. Sowohl die Einrichtung, als auch der initiale Sync haben prima geklappt. Doch nun schlägt bei einer einzigen VM die Verifizierung fehl:

2024-01-22T04:31:09+01:00: verify offsite:vm/103/2024-01-21T21:00:51Z
2024-01-22T04:31:09+01:00:   check qemu-server.conf.blob
2024-01-22T04:31:09+01:00:   check drive-scsi0.img.fidx
2024-01-22T04:31:28+01:00:   verified 13711.79/27400.00 MiB in 19.50 seconds, speed 703.31/1405.41 MiB/s (0 errors)
2024-01-22T04:31:28+01:00: percentage done: 25.00% (21/84 groups)
2024-01-22T04:31:28+01:00: verify group offsite:vm/103 (1 snapshots)
2024-01-22T04:31:28+01:00: verify offsite:vm/103/2024-01-21T23:30:02Z
2024-01-22T04:31:28+01:00:   check qemu-server.conf.blob
2024-01-22T04:31:28+01:00:   check drive-scsi2.img.fidx
2024-01-22T04:31:41+01:00:   verified 8793.94/19552.00 MiB in 13.01 seconds, speed 675.90/1502.76 MiB/s (0 errors)
2024-01-22T04:31:41+01:00:   check drive-scsi1.img.fidx
2024-01-22T04:35:19+01:00: can't verify chunk, load failed - store 'offsite', unable to load chunk '279c19b9eff0b0d81c1458eb4e6e911a0372523aa19098000394cec16554a621' - Data blob has wrong CRC checksum.
2024-01-22T04:35:19+01:00: corrupted chunk renamed to "/offsite/.chunks/279c/279c19b9eff0b0d81c1458eb4e6e911a0372523aa19098000394cec16554a621.0.bad"
2024-01-22T04:43:53+01:00:   verified 255514.53/1723288.00 MiB in 731.24 seconds, speed 349.43/2356.68 MiB/s (1 errors)
2024-01-22T04:43:53+01:00: verify offsite:vm/103/2024-01-21T23:30:02Z/drive-scsi1.img.fidx failed: chunks could not be verified
2024-01-22T04:43:53+01:00:   check drive-scsi0.img.fidx
2024-01-22T04:44:14+01:00:   verified 13419.25/38352.00 MiB in 21.67 seconds, speed 619.31/1769.98 MiB/s (0 errors)
2024-01-22T04:44:14+01:00: percentage done: 26.19% (22/84 groups)

Dass die Storage-Hardware defekt ist, halten wir für unwahrscheinlich. Es handelt sich um eine neue PM1735 12,8 TB, alle Tests waren unauffällig.
Was könnte das Problem, und wie lässt sich das debuggen?

Liebe Grüße
Stephan

Edit: Unser Problem klingt ein bisschen wie dieses hier:
https://forum.proxmox.com/threads/issue-with-missing-chunks-on-large-backups.109190/
Aber die dort vermuteten Ursachen (harte Abstürze des Systems oder ähnliches) liegen bei uns nicht vor.

 

[Falk R.]

Der Chunk kann auch beim Transport beschädigt worden sein, obwohl das auch auffallen sollte. Der Chunk ist auf jeden Fall korrupt und sollte beim nächsten sync wieder geholt werden, außer er ist auf dem Quellsystem nicht mehr vorhanden.

 

[sherminator]

Danke für die schnelle Antwort! Dann schauen wir mal, ob sich das heute Nacht von alleine zurechtruckelt.

 

[sherminator]

Der sync besagter VM wurde letzte Nacht erfolgreich verifiziert, dafür schlugen fünf andere Verifikationen fehl. Die Quellen wurden zuvor erfolgreich verifiziert, und auch der Sync-Job selbst lief ohne Fehler. Wo können sich da die Probleme reinschleichen?

 

[fabian]

kaputter RAM waere eine moegliche quelle.. du koenntest auch mal mit nem hexeditor einen der kaputten chunks aufmachen oder die kaputte und "richtige" variante vergleichen..

 

[sherminator]

kaputter RAM waere eine moegliche quelle..

Danke für den Input - memtest läuft. Könnte auch zu wenig RAM die Ursache sein? In der Kiste sind derzeit 32 GB RAM verbaut, und das PBS-Datastore ist ein 12,8 TB großes ZFS. Passt das?

 

[sherminator]

wow, eines der RAM-Module ist defekt. Dann bin ich nun gespannt, ob das tatsächlich die Lösung ist. Danke erstmal!

 

[fabian]

gut dass du die (hoffentlich einzige) ursache gefunden hast!

mehr RAM Ist natuerlich immer gut - weil mehr RAM heisst auch mehr cache

 

[sherminator]

So, ich habe nochmal von vorne angefangen: Erster "full sync", sowie die anschließende Verifikation waren erfolgreich. Wir syncen und verifizieren täglich - sollte das nun die nächsten zwei Tage keine Fehler mehr werfen, würde ich sagen, dass das Problem gelöst ist.

 

[Lephisto]

War kein ECC ram verbaut?

 

[sherminator]

War kein ECC ram verbaut?

Das ist ein erster Test auf der Basis gewöhnlicher Desktop-Hardware zzgl. der finalen PCIe-Karte - also ohne ECC-geschützten RAM.

 

[sherminator]

Seit der defekte RAM-Riegel aus dem Spiel ist, kamen keine Fehler mehr. Das ist mir fast ein bisschen peinlich.
Vielen Dank!

 

[ITT]

Nicht peinlich!
Es besagt nur, dass Backups IMMER verifiziert werden müssen, egal wie sicher man sich ist

 

[maxprox]

Es besagt nur, dass Backups IMMER verifiziert werden müssen, egal wie sicher man sich ist

und dass Proxmox 'ne "sau geile Lösung" ist )