PBS meets Hetzner Storagebox

[TErxleben]

Natürlich vergleicht rsync immer Quelle und Ziel. Lediglich wenn beide Seiten identisch sind, dann wird die Übertragung ausgelassen.

 

[mow]

Natürlich vergleicht rsync immer Quelle und Ziel. Lediglich wenn beide Seiten identisch sind, dann wird die Übertragung ausgelassen.

Nein, nicht immer, solange Du nicht --ignore-times oder -I drin hast, überspringt rsync alles was gleiches Datum und gleiche Größe hat.

Eigentlich müßte man ihm --ignore-existing mitgeben, denn rsync kann bei einem Unterschied nicht entscheiden welche von den beiden Dateien heile ist.

... da fällt mir gerade ein: Prüft der pbs beim Übertragen eines chunks eigentlich den Hash gleich mit?

 

[TErxleben]

Der timestamp deckt den nano-Sekundenbereich ab. Sollte ja auch reichen. Für rsync ist die Quelldatei immer die "heile" Datei, wenn sie neuer ist oder eine geänderte Größe hat. Sobald eine der beiden Kriterien zutrifft, sendet rsync Deltas. Ich sehe da kein Problem.

 

[mow]

Der timestamp deckt den nano-Sekundenbereich ab. Sollte ja auch reichen. Für rsync ist die Quelldatei immer die "heile" Datei, wenn sie neuer ist oder eine geänderte Größe hat. Sobald eine der beiden Kriterien zutrifft, sendet rsync Deltas. Ich sehe da kein Problem.

Das heißt aber auch, daß rsync keinen bit rot erkennt solange man nicht -c nimmt (außer die Metadaten sind betroffen), aber man stattdessen eh lieber verify laufen lassen sollte, weil das erkennen kann welche der beiden Dateien in Arsch sind, und rsync keine existierenden Dateien anfassen läßt.
Wenn rsync im Datastore auf einmal Deltas sendet, hast Du ein Problem.

 

[IsThisThingOn]

Das heißt aber auch, daß rsync keinen bit rot erkennt

muss es ja auch nicht (wenn Quelle und Ziel ZFS sind und ZFS selbst bit rot erkennt)

 

[TErxleben]

Das heißt aber auch, daß rsync keinen bit rot erkennt solange man nicht -c nimmt (außer die Metadaten sind betroffen), aber man stattdessen eh lieber verify laufen lassen sollte, weil das erkennen kann welche der beiden Dateien in Arsch sind, und rsync keine existierenden Dateien anfassen läßt.
Wenn rsync im Datastore auf einmal Deltas sendet, hast Du ein Problem.

Sind die timestamps identisch, dann sendet rsync gar nichts, außer du drehst an den Parametern (-I, -c).
Wo soll also das Problem liegen? Das berühmt berüchtigte Bitrot musst du, wie bereits erwähnt anders abfangen. Dann aber bitte das Full-ECC nicht vergessen. Das ich das Phänomen gedanklich in der Yeti-Schublade lagere, steht auf einem anderen Blatt.

 

[mow]

Wo soll also das Problem liegen?

Mir ging es eigentlich nur darum, daß die von Dir erwähnten Vorteile von rsync in diesem Fall, beim Übertragen von datastores, irrelevant sind, weil weder Deltas auftreten sollten noch Kompression etwas bringt. Man sollte das schon den pbs selber machen lassen.

 

[TErxleben]

Mir ging es eigentlich nur darum, daß die von Dir erwähnten Vorteile von rsync in diesem Fall, beim Übertragen von datastores, irrelevant sind, weil weder Deltas auftreten sollten noch Kompression etwas bringt. Man sollte das schon den pbs selber machen lassen.

Wenn an beiden Standorten ein PBS zu Verfügung steht, gibt es natürlich keinen Grund mit rsync rum zu fummeln. Hier geht es aber um eine Hetzner Storagebox. Die kann halt nur rsync (Borgbackup, Restic u.ä.).

 

[Johannes S]

... da fällt mir gerade ein: Prüft der pbs beim Übertragen eines chunks eigentlich den Hash gleich mit?

Man kann aktivieren, dass direkt beim syncen auch ein verify stattfindet. Ist aber nicht unbedingt schlau, weil dann die Deduplizierung nicht greift, wenn ich mich richtig erinnere. Bei verify-jobs wird jeder Chunk nur einmal geprüft