RAM Auslastung Proxmox 6 mit Ceph nautilus

[KnowVation]

Hallo Zusammen,

ich habe eine Frage bzgl. der RAM Auslastung vom unserem Testsystem.
Mir ist bekannt dass die RAM Auslastung mit Bluestore höher ist als vorher, aber wie kann es sein dass obwohl ich keine VM laufen hab der Knoten derart ausgelastet ist. Desto länger die Rechner Laufen desto mehr RAM wird belegt egal ob ich eine VM auf dem Knoten habe oder nicht.

Das Testsystem besteht aus drei Knoten von denen jeder 4 HDDs als OSDs hat und eine SSD für Proxmox. Proxmox Version ist 6.0-4, Ceph Version nautilus 14.2.4

Kann ich den RAM Verbrauch der OSDs einschränken?




Danke!
Gruß Ronny

 

[Alwin]

Das Testsystem besteht aus drei Knoten von denen jeder 4 HDDs als OSDs hat und eine SSD für Proxmox. Proxmox Version ist 6.0-4, Ceph Version nautilus 14.2.4

4x OSDs mit Standard Memory Target von 4GiB = 16 GiB. Alleine die OSDs würden gerne mehr RAM haben wollen als zur Verfügung steht. Jetzt kommt noch der MON, MGR und MDS (falls CephFS) oben drauf. Zwar kann das Memory Limit angepasst werden, aber 16 GiB ist schon ganz schön wenig für ein hyper-konvergiertes Setup.

Ceph hat zwei OSD Backends, das legacy Filestore und Bluestore. Filestore hat then Linux Page Cache verwendet, da war der RAM Verbrauch von Ceph einfach nicht so sichtbar. Jetzt mit Bluestore ist das Caching im OSD Prozess selbst und daher einfacher ersichtlich.

 

[KnowVation]

Vielen Dank für die sehr ausführliche Antwort! War es zwischenzeitlich nicht so dass das Standard Memory Target bei HDDs nur bei 1GB pro OSD lag? Oder ist es mittlerweile egal ob die OSD eine SSD oder HDD ist?

Da es sich nur um ein Testsystem handelt würde ich es gerne ausprobieren wie sich das System verhält wenn ich z.B. nur 2GB pro HDD freigebe und ob dann 2-3 VMs pro Knoten besser laufen als jetzt.

Was müsste ich anpassen um den RAM zu limitieren?

Habe bereits versucht in die ceph.conf die Zeile bluestore_cache_size_hdd 2 hinzuzufügen, hatte aber keinerlei Auswirkungen, nach einigen Tagen war der komplette RAM weg auch ohne eine VM auf dem Knoten zu haben.

 

[Alwin]

Vielen Dank für die sehr ausführliche Antwort! War es zwischenzeitlich nicht so dass das Standard Memory Target bei HDDs nur bei 1GB pro OSD lag? Oder ist es mittlerweile egal ob die OSD eine SSD oder HDD ist?

Das hat sich mittlerweile geändert und das Memory Target wird verwendet.

Was müsste ich anpassen um den RAM zu limitieren?

osd_memory_target in die ceph.conf eintragen und Dienste neustarten.
https://docs.ceph.com/docs/nautilus/rados/configuration/bluestore-config-ref/#automatic-cache-sizing

 

[KnowVation]

osd_memory_target und einen wert nehme ich an. Wie muss ich den Wert angeben?

 

[CoolTux]

osd_memory_target
Description When tcmalloc is available and cache autotuning is enabled, try to keep this many bytes mapped in memory. Note: This may not exactly match the RSS memory usage of the process. While the total amount of heap memory mapped by the process should generally stay close to this target, there is no guarantee that the kernel will actually reclaim memory that has been unmapped. During initial developement, it was found that some kernels result in the OSD’s RSS Memory exceeding the mapped memory by up to 20%. It is hypothesised however, that the kernel generally may be more aggressive about reclaiming unmapped memory when there is a high amount of memory pressure. Your mileage may vary.


Type Unsigned Integer
Required Yes
Default 4294967296

War einfach im Link zu finden

 

[KnowVation]

War einfach im Link zu finden

Also in byte? Bei einem GB müssten der Wert dann 1073741824‬ hinter osd_memory_target sein.

Habe den Eintrag genau so in der ceph.conf eingetragen:
osd_memory_target = 1073741824‬

und im anschluss
systemctl restart ceph-osd.target ausgeführt

RAM Auslastung nach einem Tag leerlauf ohne VM