Verify-Job bei Proxmox Backup Server deaktivieren - bei Nutzung von ZFS?

[fettfoen]

Hallo zusammen,

wir betreiben zwei große Proxmox Backup Server mit jeweils ca. 200–300 TB an Daten. Als Dateisystem setzen wir auf beiden Systemen ZFS ein.
Aktuell laufen regelmäßig die automatischen Verify-Jobs, um die Integrität der Backups zu überprüfen.

Da ZFS jedoch bereits eine eingebaute Mechanik zur Datenintegritätsprüfung besitzt (Checksummen, Scrubs etc.), stellen wir uns die Frage, ob es möglich und sinnvoll wäre, die Verify-Jobs auf dem Proxmox Backup Server zu deaktivieren.

Hintergrund:
Die Verify-Jobs dauern bei unserem Datenvolumen extrem lange und behindern dadurch Backups sowie Replikationsprozesse deutlich. Dies führt regelmäßig zu Fehlern und Verzögerungen.

Daher die Frage:

• Ist es bei Nutzung von ZFS (mit regelmäßigen Scrubs) überhaupt noch notwendig, zusätzlich die Verify-Funktion des Proxmox Backup Servers zu verwenden?

LG
ff

 

[news]

Meiner Meinung nach schon, denn wie will man sonst wissen, dass was man übers lokale Netz in Häppchen kopierte, auch dem Ziel, eines Backups, entspräche.
Fehler entstehen auf unterschiedlichen Ebenen und nur Test können Unterschiede und Problem frühzeitig aufdecken.
Evtl. kann man die Proxmox BS in seiner Hardware: CPU max. Clock, Ram, HDDs mit SSDs Unterstützung (Special Device) und Netzspeed noch verbessern.

 

[fabian]

den "bit rot detection" teil der verification braeuchtet ihr tatsaechlich nicht. den logischen teil (sind alle chunks da die referenziert werden? ist in jedem chunk file das drin was drauf steht - also stimmt der digest mit dem inhalt ueberein?) kann ZFS alleine nicht leisten.

wir haben hier schon ein paar mal andiskutiert, dass die Garbage Collection eine art "lightweight verification" machen koennte (also zumindest die pruefung, ob alle von einem index referenzierten chunks existieren und nicht leer sind), weil die ohnehin ueber alle indizes drueber iteriert..

 

[Falk R.]

Hallo zusammen,

wir betreiben zwei große Proxmox Backup Server mit jeweils ca. 200–300 TB an Daten. Als Dateisystem setzen wir auf beiden Systemen ZFS ein.
Aktuell laufen regelmäßig die automatischen Verify-Jobs, um die Integrität der Backups zu überprüfen.

Da ZFS jedoch bereits eine eingebaute Mechanik zur Datenintegritätsprüfung besitzt (Checksummen, Scrubs etc.), stellen wir uns die Frage, ob es möglich und sinnvoll wäre, die Verify-Jobs auf dem Proxmox Backup Server zu deaktivieren.

Hintergrund:
Die Verify-Jobs dauern bei unserem Datenvolumen extrem lange und behindern dadurch Backups sowie Replikationsprozesse deutlich. Dies führt regelmäßig zu Fehlern und Verzögerungen.

Daher die Frage:

• Ist es bei Nutzung von ZFS (mit regelmäßigen Scrubs) überhaupt noch notwendig, zusätzlich die Verify-Funktion des Proxmox Backup Servers zu verwenden?

LG
ff

Prüfe mal bitte ob die Scrubs überhaupt durchlaufen. Wenn die Platten zu langsam für das Verify sind, dürften die Scrubs auch nicht durchlaufen.
Die Restores sind dann eventuell auch sehr langsam.