ZFS compressionratio

[Haithabu84]

Hallo,

ich habe jetzt seit einiger Zeit ein 2-Node-Cluster mit ZFS und Storage Repliation im Einsatz. Heute habe ich mir noch ein Script installiert das nichts weiter macht als zusätzliche Snapshots für einen Container anzulegen und dies zu einem späteren Zeitpunkt auf einen Backup-Server zu verschieben.

Beim erstmaligen Kopieren vom Dataset des besagten Containers, viel mir die ungeheure Größe der zu kopierenden Daten auf. Es waren etwa 172Gb. Obwohl das der Container nur mit einer 50Gb Subvol angelegt worden war.

zfs get compressration:

spool/confs/subvol-100-disk-0                                    compressratio  15.54x  -
spool/confs/subvol-100-disk-0@pyznap_2019-11-28_15:15:01_daily   compressratio  15.60x  -
spool/confs/subvol-100-disk-0@pyznap_2019-11-28_15:15:01_hourly  compressratio  15.60x  -
spool/confs/subvol-100-disk-0@pyznap_2019-11-28_16:00:02_hourly  compressratio  15.60x  -
spool/confs/subvol-100-disk-0@__replicate_100-0_1574953203__     compressratio  15.60x  -

Als Nutzdaten sind vielleicht nicht mehr als reale 17-25Gb drauf. Wenn man USED von 'zfs list' trauen darf, sind es sogar nur 11.9, womit sich die Größe von 172Gb beim kopieren wiederum erklären würden... den da ist fast genau die compressionratio von 15.54x.

Aber was komprimiert er den da? Das steht irgendwie alles nicht im Verhältnis.

 

[fabian]

Hallo,

ich habe jetzt seit einiger Zeit ein 2-Node-Cluster mit ZFS und Storage Repliation im Einsatz. Heute habe ich mir noch ein Script installiert das nichts weiter macht als zusätzliche Snapshots für einen Container anzulegen und dies zu einem späteren Zeitpunkt auf einen Backup-Server zu verschieben.

Beim erstmaligen Kopieren vom Dataset des besagten Containers, viel mir die ungeheure Größe der zu kopierenden Daten auf. Es waren etwa 172Gb. Obwohl das der Container nur mit einer 50Gb Subvol angelegt worden war.

zfs get compressration:

spool/confs/subvol-100-disk-0                                    compressratio  15.54x  -
spool/confs/subvol-100-disk-0@pyznap_2019-11-28_15:15:01_daily   compressratio  15.60x  -
spool/confs/subvol-100-disk-0@pyznap_2019-11-28_15:15:01_hourly  compressratio  15.60x  -
spool/confs/subvol-100-disk-0@pyznap_2019-11-28_16:00:02_hourly  compressratio  15.60x  -
spool/confs/subvol-100-disk-0@__replicate_100-0_1574953203__     compressratio  15.60x  -

Als Nutzdaten sind vielleicht nicht mehr als reale 17-25Gb drauf. Wenn man USED von 'zfs list' trauen darf, sind es sogar nur 11.9, womit sich die Größe von 172Gb beim kopieren wiederum erklären würden... den da ist fast genau die compressionratio von 15.54x.

Aber was komprimiert er den da? Das steht irgendwie alles nicht im Verhältnis.

Du kannst mittels "du --apparent-size" und normalem "du" (gerne auch in kombination mit "-s" und "-m" ) feststellen, welche Dateien/Ordner besonders gut komprimiert sind. 15x ist schon sehr ordentlich .

Bei 'zfs send' lässt sich auch mit angeben ("-c"), dass komprimierte Daten komprimiert gesendet werden sollen (statt dass sie dekomprimiert, versendet, und beim Empfang wieder neu komprimiert werden). Setzt natürlich vorraus, dass die bestehende Komprimierungsart beibehalten werden soll, und auf der Empfangsseite auch unterstützt wird.

 

[Haithabu84]

Vielen Dank. Das hat mich auf die richtige Fährte gelotst. Somit konnte ich herausfinden das innerhalb des Containers ein Script im Crontab ein riesiges Log-File produzierte und das schon seit Juni 2019!!!

Nochmals vielen Dank.