RAM-usage Verhalten in meinem PVE

[GMBauer]

Hallo beinand,
schönen Gruß in die Runde,

kann mir bitte jemand das RAM usage-Verhalten meiner PVE erklären?

Gegeben:

PVE 8.2.2 auf i5-14600
128 GByte RAM
250 GByte SATA-SSD fürs System
2 TByte NVMe-SSD für die VMs

VMs:
100: Ein leeres Windows 11 mit 4 Kernen (Host), 12 GByte RAM
101: Openmediavault als VM, 2 bis 8 GByte im ballooning, 500 GByte Daten-Platte, 4 Kerne (Host)

Im normalen Leerlauf schnurrt alles vor sich hin, keine wirklich nennenswerte CPU-Tätigkeit, alles gut.

Wenn ich im Windows 11 die Software h2Testw (bekannt von heise und ct, gedacht zum Dauertest von Speichergeräten) starte und auf einen freigegebenen Ordner von OMV loslasse, bekomme ich nach kurzer Zeit eine extrem hohe RAM-Auslastung des Gesamtsystems von 68 % des gesamten RAMs bzw. 85 GiB. Bemerkenswerterweise wird der Speicher auch nicht mehr freigegeben, wenn der Schreib-Lese-Vorgang beendet ist. Dann geht die CPU-Usage wieder auf < 2%, aber der RAM usage bleibt auf 68%.

Wenn ich die 100 runterfahre, geht der RAM usage runter auf 57 % = 72 GiB.
Wenn ich die 101 runterfahre, geht der RAM usage auf 52 % = 65 GiB

Erst wenn ich die PVE neu starte, geht der Speicherverbrauch wieder auf die normalen Werte.


Beste Grüße

 

[gurubert]

Kann es sein, dass das einfach der Filesystemcache ist?
Ist da ZFS im Einsatz?

 

[GMBauer]

Ja. Aber warum wird der nicht einfach mal weggeschrieben? Meinetwegen mag es Minuten dauern, aber doch nicht Stunden, bis der Cache durchgeschrieben wird.

 

[GMBauer]

Eine Bitte: Wo finde ich denn mal eine wirklich brauchbare Gegenüberstellung der verschiedenen Filesysteme?

 

[Ernst T.]

Eine Bitte: Wo finde ich denn mal eine wirklich brauchbare Gegenüberstellung der verschiedenen Filesysteme?

Gibts natürlich im Wiki: https://pve.proxmox.com/wiki/Storage

 

[GMBauer]

Danke, aber das kenne ich schon. Auch den nächsten Link zu ZFS habe ich mir schon reingezogen, aber auch da gibt es keine Info zum Filesystemcache und seinem Verhalten. Sonst hätte ich meine ursprüngliche Frage ja nicht stellen müssen.

Hat jemand vielleicht eine etwas ausführlichere Quelle zu ZFS, abgesehen von Wikipedia?

 

[gurubert]

warum wird der nicht einfach mal weggeschrieben?

Weil das nicht nur Schreib-, sondern auch Lesecache ist. ZFS ist RAM-hungrig.

 

[Dunuin]

Wenn ich im Windows 11 die Software h2Testw (bekannt von heise und ct, gedacht zum Dauertest von Speichergeräten) starte und auf einen freigegebenen Ordner von OMV loslasse, bekomme ich nach kurzer Zeit eine extrem hohe RAM-Auslastung des Gesamtsystems von 68 % des gesamten RAMs bzw. 85 GiB. Bemerkenswerterweise wird der Speicher auch nicht mehr freigegeben, wenn der Schreib-Lese-Vorgang beendet ist.

Das ist doch aber normal. Hast du IO die stattfindet und freien RAM, dann wird das OS den freien RAM für das Read-Caching der IO benutzen, damit diese Daten schneller aus dem RAM geladen werden können, falls man nochmal darauf zugreifen will. Erst wenn ein Prozess mehr RAM braucht, als was verfügbar ist, wird das OS anfangen den den Read-Cache verkleinern. Ziel eines jeden Betriebssystems ist es immer alles an RAM zu verbraten was verfügbar ist. Wenn es kein Prozess aktiv braucht, dann wird eben alles fürs Caching benutzt. Stichpunkt: "Freier RAM ist verschwender RAM".

Danke, aber das kenne ich schon. Auch den nächsten Link zu ZFS habe ich mir schon reingezogen, aber auch da gibt es keine Info zum Filesystemcache und seinem Verhalten. Sonst hätte ich meine ursprüngliche Frage ja nicht stellen müssen.

Hat jemand vielleicht eine etwas ausführlichere Quelle zu ZFS, abgesehen von Wikipedia?

Du hast da 4 Read-Caches.
1.) Read-Cache vom GastOS innerhalb der VM
2.) Read-Cache von Linux vom PVE Node
3.) wenn ZFS genutzt wird noch den ARC als Read-Cache für ZFS
4.) falls du für den virtuellen Disk Controller der VM noch einen Cache-Mode ausgewählt hast, wird hier ggf. ebenfalls noch über QEMU gecacht. Im Normalfall will man das auf "none" gestellt haben (ist auch Default) um überflüssiges Cachen zu vermeiden.

Diverse Write-Caches gibt es auch noch auf GastOS, QEMU und ZFS Ebene.

Der ARC ist seit kurzem auf 10% des Host-RAMs bzw max 16GiB begrenzt. Bei älteren installationen kann es auf 50% vom Host-RAM begrenzt sein.
Kann man wenn man unbedingt will auch noch manuall begrenzen: https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_limit_memory_usage

Wie großdein ARC gerade ist, sowie dessen Limits, kannst du übrigens mit arc_summary abfragen.