PBS ZFS Datastor voll. Wie Speicher freigeben?

[j_k]

Hallo zusammen,

wir betreiben einen PBS mit ZFS Datastor. Leider ist uns das ZFS vollgelaufen.

Ich habe bereits einige alte VM Backups und Namespaces via UI gelöscht und andere alte VM Backups per CLI gelöscht. Außerdem habe ich nach Recherche hier im Forum auch versucht ältere Verzeichnisse aus ./chunks/ auf einen anderen Datenträger zu verschieben. Pruning der Backups wurde ebenfalls dürchgeführt. Eigentlich hätten dabei einige GB zusammenkommen sollen. Leider hat nichts davon Speicherplatz recovered.. Weswegen die GarbageCollection nach wie vor fehlschlägt mit "no space left on device".
Datastore umounten sowie reboot zum freigeben evtl. offen gehalterner files welche die Speicherfreigabe verhindern könnten wurde auch gemacht. Leider ohne Erfolg.

Während meiner Recherche habe ich gelesen das man Quotas setzen sollte damit ein Dataset gar nicht erst zu 100% vollaufen kann. Das wird nachgeholt sobald es geht. Aber zuerst muss ich irgendwie Speicherplatz fregeben um wieder handlungsfähig zu sein.

Was kann ich in dem Fall noch tun? Habt ihr noch Ideen wie ich Speicherplatz freiräumen kann?

# zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
zstor 76.4T 76.3T 129G - - 77% 99% 1.00x ONLINE -

# zfs list
NAME USED AVAIL REFER MOUNTPOINT
zstor 64.2T 0B 64.2T /mnt/datastore/zstor

# zfs get all
NAME PROPERTY VALUE SOURCE
zstor type filesystem -
zstor creation Fri Aug 25 19:52 2023 -
zstor used 64.2T -
zstor available 0B -
zstor referenced 64.2T -
zstor compressratio 1.03x -
zstor mounted yes -
zstor quota none default
zstor reservation none default
zstor recordsize 128K default
zstor mountpoint /mnt/datastore/zstor local
zstor sharenfs off default
zstor checksum on default
zstor compression on local
zstor atime on default
zstor devices on default
zstor exec on default
zstor setuid on default
zstor readonly off default
zstor zoned off default
zstor snapdir hidden default
zstor aclmode discard default
zstor aclinherit restricted default
zstor createtxg 1 -
zstor canmount on default
zstor xattr on default
zstor copies 1 default
zstor version 5 -
zstor utf8only off -
zstor normalization none -
zstor casesensitivity sensitive -
zstor vscan off default
zstor nbmand off default
zstor sharesmb off default
zstor refquota none default
zstor refreservation none default
zstor guid 3522821261725458241 -
zstor primarycache all default
zstor secondarycache all default
zstor usedbysnapshots 0B -
zstor usedbydataset 64.2T -
zstor usedbychildren 6.30G -
zstor usedbyrefreservation 0B -
zstor logbias latency default
zstor objsetid 54 -
zstor dedup off default
zstor mlslabel none default
zstor sync standard default
zstor dnodesize legacy default
zstor refcompressratio 1.03x -
zstor written 64.2T -
zstor logicalused 65.6T -
zstor logicalreferenced 65.6T -
zstor volmode default default
zstor filesystem_limit none default
zstor snapshot_limit none default
zstor filesystem_count none default
zstor snapshot_count none default
zstor snapdev hidden default
zstor acltype off default
zstor context none default
zstor fscontext none default
zstor defcontext none default
zstor rootcontext none default
zstor relatime on local
zstor redundant_metadata all default
zstor overlay on default
zstor encryption off default
zstor keylocation none default
zstor keyformat none default
zstor pbkdf2iters 0 default
zstor special_small_blocks 0 default
zstor prefetch all default

Snapshots gibt es keine

# zfs list -t snapshot
no datasets available

Was mir noch aufgefallen ist, ist das ZFS meint alle inodes wären belegt. Soweit ich ich das verstanden habe erweitert zfs die inodes (dnodes) dynamisch. Korrigiert mich bitte wenn ich da falsch liege. Allerdings hätte meine Löschungen ja inodes freigeben sollen, aber das ist nicht passiert.

# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
...
zstor 31099602 31099602 0 100% /mnt/datastore/zstor

 

[waltar]

Deiner Ausgabe nach hast du garkein zfs dataset angelegt und direkt alles im pool zstor abgelegt, der ggf dann auch nicht mehr als 31M inodes mag:

# zfs list
NAME USED AVAIL REFER MOUNTPOINT
zstor 64.2T 0B 64.2T /mnt/datastore/zstor

hätte zB so aussehen müssen:
zstor/bspdataset1 64.2T 0B 64.2T /mnt/datastore/zstor

 

[news]

Wie sieht genau der Pool aus? lsblk, zpool status und zpool list -v
Läuft auch regelmäßig zpool trim <pool>
Und wie sieht es mit Snapshots aus?
Nicht dass da noch welche da sind.
zfs list -r -t snapshot <pool>

Eine schöne Ausgabe erhält man mit checkzfs --sourceonly

# https://github.com/bashclub/check-zfs-replication