PBS: ZFS vs. hardware raid

[macleod]

Maybe a stupid question, but I cannot find any hint in the documentation.

Does PBS 2.x benefit in any way of a zfs pool vs. a hardware raid array? I'm not talking about general discussion regarding zfs vs. hw raid (both strategies have pros and cons, it's a long discussion), I'm interested about internal "optimizations" and/or "strategies" in PBS when backup storage is ZFS.

So the question is: why should I use ZFS over hardware raid in a PBS backup storage scenario (no PVE on that machine, no PVE vm/ctx image storage, only PBS).

Thank you!

 

[aaron]

PBS itself does not really care as long as it's on a Posix file system. But ZFS being able to detect broken files (bit flip, ...) and fixing it automatically if there is enough redundancy given is a big reason in my opinion.

 

[macleod]

PBS itself does not really care as long as it's on a Posix file system. But ZFS being able to detect broken files (bit flip, ...) and fixing it automatically if there is enough redundancy given is a big reason in my opinion.

actually I saw some error messages on HP servers' RAID status that 'told' me there is some CRC detection/correction on that cards too (even old models); unfortunately I could not find any information about that subject, so I cannot tell if detection and auto-correction are 'real-time' as ZFS surely provides
thanks for the quick answer!

 

[Dunuin]

PBS shouldn't be used with HDDs because they got too bad IOPS. But in case HDDs are you only option ZFS might be nice, because you can add a SSD as a "L2ARC" and set it to metadata-caching only. Or you could add a mirror of SSDs as "special devices" and set them up so that all metadata is stored on the fast SSDs instead besides the data on the slow HDDs. In that case the daily/weekly garbage collection should be way faster (where the metadata of millions of files need to be read). Metadata caching/storage wouldn't help with the verify tasks but with ZFS these are not that important, because ZFS is already verifying that data doesn't get corrupted, so I personally just skip them.

 

[ness1602]

What RAID card are you using? Some can passthrough devices,and some cannot, so they are not suitable for ZFS. But if you have BBU, the performance will always be better than zfs.

 

[crmspezi]

PBS sollte nicht mit HDDs verwendet werden, da diese zu schlechte IOPS haben. Aber für den Fall, dass HDDs die einzige Option sind, könnte ZFS netto sein, weil SIE eine SSD als "L2ARC" hinzufügen und nur auf Metadaten-Caching einstellen können. Oder SIE könnten eine Spiegelung von SSDs als "spezielle Geräte" hinzufügen und diese so einrichten, dass alle Metadaten auf den schnellen SSDs gespeichert werden, anstatt die Daten auf den langsamen HDDs. In diesem Fall sollte die tägliche/wöchentliche Garbage Collection viel schneller sein (wobei die Metadaten von Millionen von Dateien gelesen werden müssen). Das Zwischenspeichern/Speichern von Metadaten würde bei den Überprüfungsaufgaben nicht helfen, aber bei ZFS sind diese nicht so wichtig, da ZFS bereits überprüft, ob Daten nicht beschädigt werden, also überspringe ich sie einfach.

Ich teste gerade hwraid mit lsi, da mein alter PBS v1 mit 64GB Ram und 12x 10TB im raidz2 und Special Device mit m2 nicht wirklich schnell ist und auch schon voll ist.

Der neue PBS hat 128GB Ram, aktuelle Ryzen und 7x 20TB im Hwraid + Spare mit Cache Vault. Das WIRD dann ein xfs. SSD ist keine Option (finanziell).
Ich werde Ende der Woche berichten.

 

[itNGO]

Ich teste gerade hwraid mit lsi, da mein alter PBS v1 mit 64GB Ram und 12x 10TB im raidz2 und Special Device mit m2 nicht wirklich schnell ist und auch schon voll ist.

Der neue PBS hat 128GB Ram, aktuelle Ryzen und 7x 20TB im Hwraid + Spare mit Cache Vault. Das WIRD dann ein xfs. SSD ist keine Option (finanziell).
Ich werde Ende der Woche berichten.

Und wie ist es ausgegangen?

 

[crmspezi]

Der neue ist fast doppelt so schnell.