ZFS ARC Optimieren

[Mrt12]

Hallo,
ich habe extra in meinem Rechner 128GB RAM installiert. Jetzt sehe ich, dass ZFS sich standhaft weigert, mehr als 64GB zu nutzen!

# cat /sys/module/zfs/parameters/zfs_arc_max
137438953472

# arc_summary

------------------------------------------------------------------------
ZFS Subsystem Report                            Mon Jan 29 13:58:23 2024
Linux 6.5.11-7-pve                                            2.2.2-pve1
Machine: pve0 (x86_64)                                        2.2.2-pve1

ARC status:                                                      HEALTHY
        Memory throttle count:                                         0

ARC size (current):                                   100.4 %   62.9 GiB
        Target size (adaptive):                       100.0 %   62.7 GiB
        Min size (hard limit):                          6.2 %    3.9 GiB
...

Hier könnte man ja wirklich mehr im RAM halten:



warum komme ich nicht über die 64GB hinaus? mit meinem Wert von zfs_arc_max habe ich eigentlich den gesamten RAM für ZFS freigegeben. Also müsste im Moment deutlich mehr als nur 64GB genutzt werden, aber der arc_summary sagt ganz klar, dass 64GB 100% sind. Warum wird mein von hand gesetzter Limit ignoriert?

Ich habe extra

echo 137438953472 > /sys/modules/zfs/parameters/zfs_arc_max

gemacht. Wird aber ignoriert. Weshalb?

 

[cwt]

Ich würde aus Sicherheitsgründen den alloc nicht auf die volle RAM-Größe setzen. Nimm zunächst mal einen Wert im Bereich von ~96GB. Afaik wird das allerdings beim Restart einer VM zurückgesetzt, bin mir aber nicht mehr 100% sicher.

Hier ist erklärt, warum der arc Wert auf 50% limitiert ist:

https://github.com/openzfs/zfs/commit/518b4876022eee58b14903da09b99c01b8caa754

 

[Folke]

Hi,
neben dem von @cwt schon angemerkten Bedenken gibt es außerdem das Problem, dass der ZFS Arc nicht gezählt wird wie normaler Cache. Das wird zum Problem, wenn Workloads laufen, die in sehr kurzer Zeit sehr viel RAM beanspruchen und ZFS nicht mit dem Freigeben des Arc hinterherkommt. Im schlimmsten Fall kommt es zu einem OOM-Kill, der höchstwahrscheinlich eine der VMs beendet.

Um die Option permanent zu setzen, muss diese in /etc/modprobe.d/zfs.conf eingetragen werden [0].

[0] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#sysadmin_zfs_limit_memory_usage

 

[Mrt12]

Hallo zusammen

ich habe auf diesem betreffenden Proxmox Host extra nur 1 VM laufen und deren RAM limitiert. Es sollte wirklich so viel wie möglich für ZFS verwendet werden. Lustigerweise kann ich an zfs_arc_max herum pröbeln so viel ich will, er benutzt nie mehr als die max. 50%.

 

[Falk R.]

Meinst du, die paar GB bringen noch etwas? Irgendwann ist bei deinem Workload der Sweetspot erreicht und dann verbrauchst du nur noch RAM ohne großen Effekt.

 

[Mrt12]

ja du hast wohl recht. Vielleicht bringt es nicht wirklich mehr.