[SOLVED] Frage zum Arbeitsspeicher Bedarf

[Kalone]

Moin,

mein Server hat 64 GB RAM, welcher nach einigen Tagen auf ca. 75 % "voll" läuft. An ZFS sind es insgesamt 1 TB an SSD's + 1 TB ZFS HDD. Es laufen 6 Gastsysteme, welche insgesamt theoretisch nach Reservierung maximal 50 % also 32 GB des Arbeitsspeichers belegen dürften. Also angenommen es kämen dann noch 8 GB für ZFS + 2 GB fürs reine System, dann wäre ich bei einem theoretischen Maximum von 42 GB, das entspräche, wenn ich richtig gerechnet habe, 65 %. Es laufen nur Linux Gäste im Moment und alle haben Balooning enabled.

Nach einer kurzen Recherche komme ich leider nicht auf eine plausible Erklärung, wenn mir bitte jemand den Sachverhalt erklären möchte, warum Proxmox so Speicherhungrig ist, wäre ich sehr dankbar. Ob es nun evtl. an meiner Konfiguration liegt, kann ich nicht ausschließen, aber ich glaube, dass es etwas anderes damit auf sich hat. Danke im Voraus!

 

[Dunuin]

Wenn du den ARC nicht manuell auf 8GB limitiert hast, dann wird sich ZFS standardmäßig immer 1GB bis zu 50% deines RAM (also bis 32GB) zum Cachen nehmen. Am besten mal arc_summary aufrufen. Vermutlich steckt der RAM dann einfach im ARC.

Außerdem hast du immer noch etwas Virtualisierungsoverhead. Musst du top oder besser htop aufrufen und dir den RAM-Verbrauch der KVM-Prozesse angucken. Wenn deine Gäste 32GB RAM zugeteilt haben, dann kann es durchaus sein, dass die sogar noch ein paar GB mehr als die 32GB verbrauchen.

Und das Linux vom PVE-System selbst cacht dann ja auch noch außerhalb vom ARC etwas. Das müsstest du dann unter free -h als "cache/buff" sehen. ARC wird übrigens nicht unter "cache/buff" eingerechnet.

 

[Kalone]

Wenn du den ARC nicht manuell auf 8GB limitiert hast, dann wird sich ZFS standardmäßig immer 1GB bis zu 50% deines RAM (also bis 32GB) zum Cachen nehmen. Am besten mal arc_summary aufrufen. Vermutlich steckt der RAM dann einfach im ARC.

Außerdem hast du immer noch etwas Virtualisierungsoverhead. Musst du top oder besser htop aufrufen und dir den RAM-Verbrauch der KVM-Prozesse angucken. Wenn deine Gäste 32GB RAM zugeteilt haben, dann kann es durchaus sein, dass die sogar noch ein paar GB mehr als die 32GB verbrauchen.

Und das Linux vom PVE-System selbst cacht dann ja auch noch außerhalb vom ARC etwas. Das müsstest du dann unter free -h als "cache/buff" sehen. ARC wird übrigens nicht unter "cache/buff" eingerechnet.

Htop zeigt mir aktuell (hatte gestern einen reboot gemacht) 19 GB an und im Gui werden 25 GB RAM usage angezeigt.

Wo finde ich die Einstellung um ARC zu limitieren?

root@proxmox:~# free -h
               total        used        free      shared  buff/cache   available
Mem:            62Gi        25Gi        29Gi        47Mi       7.9Gi        36Gi
Swap:          8.0Gi          0B       8.0Gi
root@proxmox:~#

root@proxmox:~# arc_summary

------------------------------------------------------------------------
ZFS Subsystem Report                            Tue Feb 22 13:23:32 2022
Linux 5.13.19-4-pve                                           2.1.2-pve1
Machine: proxmox (x86_64)                                     2.1.2-pve1

ARC status:                                                      HEALTHY
        Memory throttle count:                                         0

ARC size (current):                                    20.2 %    6.3 GiB
        Target size (adaptive):                        20.5 %    6.4 GiB
        Min size (hard limit):                          6.2 %    2.0 GiB
        Max size (high water):                           16:1   31.4 GiB
        Most Frequently Used (MFU) cache size:          6.1 %  374.2 MiB
        Most Recently Used (MRU) cache size:           93.9 %    5.7 GiB
        Metadata cache size (hard limit):              75.0 %   23.5 GiB
        Metadata cache size (current):                  2.3 %  557.7 MiB
        Dnode cache size (hard limit):                 10.0 %    2.4 GiB
        Dnode cache size (current):                     0.1 %    2.6 MiB
[...]

root@proxmox:~#

Ok, hier sind also jetzt 6 GB im ARC, das würde dann zusammen passen 19 + 6 = 25 sehe ich das richtig?

 

[Kalone]

Ich brauche bitte dringend Hilfe, ich habe update-initramfs -u gledaen obwohl kein ZFS auf der Root Partition vorhanden. Verdammt...

Vorher habe ich die den ARC Cache geändert.

nano /etc/modprobe.d/zfs.conf
options zfs zfs_arc_max=8589934592
update-initramfs -u

Jetzt habe ich folgenden Fehler:

Proxmox fährt hoch aber keine VM startet:

he ZFS modules are not loaded.

zfs error: Try running '/sbin/modprobe zfs' as root to load them.


The ZFS modules are not loaded.

The ZFS modules are not loaded.

zfs error: Try running '/sbin/modprobe zfs' as root to load them.


TASK ERROR: could not activate storage 'sda', zfs error: Try running '/sbin/modprobe zfs' as root to load them.

Wie kann ich das mit update-initramfs -u rückgängig machen?

 

[Kalone]

Ok, alles gut, meine Güte ich hatte mich beim zfs_arc_max Wert verschrieben und noch ein Komma drinnen xD

Passt, vielen Dank Dunuin!!!

​

 

[Dunuin]

Im Normalfall muss man den ARC auch nicht limitieren. Der ARC ist adaptiv und passt sich dynamisch an. Hast du keinen freien RAM mehr und eine VM braucht aber mehr RAM, dann kann ZFS von dem ARC auch wieder etwas freigeben. Aber wenn deine Laufwerke nur 2TB Rohkapazität haben, dann sollten da auch 4 oder 8GB ARC locker reichen für anständige Performance.

 

[Kalone]

Im Normalfall muss man den ARC auch nicht limitieren. Der ARC ist adaptiv und passt sich dynamisch an. Hast du keinen freien RAM mehr und eine VM braucht aber mehr RAM, dann kann ZFS von dem ARC auch wieder etwas freigeben. Aber wenn deine Laufwerke nur 2TB Rohkapazität haben, dann sollten da auch 4 oder 8GB ARC locker reichen für anständige Performance.

Top Hilfe hier, danke nochmals. Jetzt läuft das System so wie ich es mir vorgestellt habe.