Frage zum Proxmox Memory Verbrauch

[mabox]

Hallo Zusammen,
ich habe eine Frage zum Proxmox selbst wegen dessen RAM Verbrauch. Ich habe nur 4 VMs drauf auf den aktuelle 20GB RAM verteilt ist. Mein Proxmox Host hat 64GB RAM verbaut und dennoch zeigt er in der Zusammenfassungseite an das er 55GB verbraucht. Als ich früher die Hälfte an RAM verbaut hatte sah es ähnlich aus. Der RAM war eigentlich immer fast voll ausgelastet.
Kann es sein das Proxmox sich einfach fast den ganzen RAM zieht ob er es benötigt oder nicht?

 

[LnxBil]

Kann es sein das Proxmox sich einfach fast den ganzen RAM zieht ob er es benötigt oder nicht?

Klar, das macht jedes Betriebssystem so und man nennt das Caching. Windows macht das auch, lügt aber in dem es dem Benutzer sagt, dass der Cache "frei" wäre. Das sind zwei unterschiedliche Philosophien. Freier Speicher ist das Schlechteste was einem Computer passieren kann.

Deine Frage ist eine am häufigsten gestellte Frage und diese hat ihre eigene Internetseite bekommen:

https://www.linuxatemyram.com/

 

[mabox]

Danke für die Info. Ich hab das schon auch mal gehört und weiß von Caching aber so extrem hab ich es noch nie beobachtet. Es wird gecached und das Linux holt sich einiges in den Cache aber nahezu alles find ich außergewöhnlich und seh ich bei vielen anderen Systemen so extrem nicht. Wenn ich da eine Überwachung des RAMS hätte wäre den Schwellwert zu definieren äußerst schwierig da er bei mir auf über 95% liegt.

 

[cwt]

Falls Du ZFS verwendest, wird ebenfalls nochmal RAM dafür verwendet (unabhängig von der Zuteilung in den VMs).

 

[homelabenthusiast]

Danke für die Info. Ich hab das schon auch mal gehört und weiß von Caching aber so extrem hab ich es noch nie beobachtet. Es wird gecached und das Linux holt sich einiges in den Cache aber nahezu alles find ich außergewöhnlich und seh ich bei vielen anderen Systemen so extrem nicht. Wenn ich da eine Überwachung des RAMS hätte wäre den Schwellwert zu definieren äußerst schwierig da er bei mir auf über 95% liegt.

Hallo, wenn du proxmox in ZFS installaiert, dann ist das hier völlig in Ordnung. ZFS benutzt zuzusagen die freie Kapa. Wenn deine VM/lxc mehr ram brauchen oder die Proxmox Dienste, dann wird automatisch platz gemacht. Falls du Überwachung benutzt für RAM dann ist es vielleicht sinnvoll ZFS caching zu begrenzen. Das habe ich schon immer gemacht. Die Anleitung findest du hier

 

[mabox]

Danke für Euere Infos. Nein Proxmox selbst hab ich auf einem BTRFS RAID1 laufen aber dann noch zwei weitere Platten verbaut auf denen ZFS dann tatsächlich wäre.
Nein RAM Überwachung mach ich aktuell nicht ich stolpere halt immer nur über die "rote" RAM Leiste in der Übersicht und wunder mich jedesmal..... jetzt dachte ich ich frag einfach mal nach....

 

[LnxBil]

Falls Du ZFS verwendest, wird ebenfalls nochmal RAM dafür verwendet (unabhängig von der Zuteilung in den VMs).

Hallo, wenn du proxmox in ZFS installaiert, dann ist das hier völlig in Ordnung. ZFS benutzt zuzusagen die freie Kapa. Wenn deine VM/lxc mehr ram brauchen oder die Proxmox Dienste, dann wird automatisch platz gemacht. Falls du Überwachung benutzt für RAM dann ist es vielleicht sinnvoll ZFS caching zu begrenzen. Das habe ich schon immer gemacht.

Genau das ist Caching ... das macht jedes Dateisystem so, ZFS ist da keine Ausnahme, jedoch ist es dort etwas anders implementiert um effizienter zu arbeiten und auch kann dort der Speicher etwas schwieriger freigegeben werden als es bei anderen Dateisystemen wie z.B. ext4 der Fall ist und aher kommt es leichter zu OOM.

Nein Proxmox selbst hab ich auf einem BTRFS RAID1 laufen aber dann noch zwei weitere Platten verbaut auf denen ZFS dann tatsächlich wäre.

Warum benutzt du zwei unterschiedliche Technologien?

 

[mabox]

Also das hat sich jetzt so ergeben.... ich muss dazu sagen bei mir ist es jetzt nur ein wenig für den privatgebrauch, also nichts hochprofessionelles.
Ich hatte schon meinen Proxmoxserver damals mit btrfs RAID1 installiert weil ich mich mit BTRFS ein wenig auskenne bzw. da schon Dinge gemacht habe ..... Nach langer Zeit hab ich jetzt noch zwei neue Platten nachgerüstet in dem Server und stand vor der Frage welches Filesystem nehmen.... da ich immer wieder von ZFS hier lese und eher wenig von BTRFS wollte ich mich damit mal genauer beschäftigen. Somit hab ich jetzt für Proxmox Host BTRFS und für den Rest ZFS.... ist das jetzt sehr blöd?

 

[LnxBil]

ist das jetzt sehr blöd?

Ne, das nicht, aber suboptimal z.B. auf den verwendeten Arbeitsspeicher, da er jetzt ja zwei unterschiedliche Dinge vorhält. Wenn beides ZFS wäre, würdest du ein maximalen Wert für den Speicher haben, hier hast du potentiell zwei.

Ich finde es persönlich auch immer komisch, wenn man mehr als einen Pool hat, wenn es sich um interne Platten handelt. Ich hab bei 2 SSDs und 22 Festplatten auch nur ein Pool (SSD für special device). Der Pool wird ja auch schneller, je mehr Platten, bzw. vdevs man im Zpool drin hat.

 

[mabox]

Oh ok. Also ich habe 2 SSD BTRFS für Proxmox und 2 große HDDs für Daten und VMs mit ZFS, beides als RAID1 da mir wichtig wäre wenn eine Platte ausfällt es dennoch erstmal weiter geht.....
Hast Du mir noch einen Vorschlag wie Du es dann bei mir gemacht hättest?

 

[LnxBil]

Hast Du mir noch einen Vorschlag wie Du es dann bei mir gemacht hättest?

Ein Pool mit den SSDs als special device und den zwei HDDs normal als Daten. Damit werden die Metadaten auf die SSDs gelegt und du kannst dann über das ZFS Attribut special_small_blocks ein neues dataset anlegen, dass ausschließlich auf die SSD schreibt, sodass du weiterhin selbst festlegen kannst, wohin schnelle und langsame VM-Daten sollen. Durch die Metadaten auf der SSD wird weniger auf den Festplatten gelesen und damit erreichst du ein schnelleres System.das Betriebssystem liegt dabei nach einem send/receive ebenfalls auf den SSDs, sodass du ein paar Sekunden beim Booten sparst.

Das ist kein 0815 Setup und leider aktuell noch nicht direkt vom Installer aus installierbar (kommt vielleicht noch), aber ist auf jeden Fall den Aufwand wert. Dann noch eine 16 GB NVME Optane als SLOG dazu und dann hast du das schnellste Setup was du mit 2 SSDs und 2 HDDs haben kannst.

 

[mabox]

Wow, vielen Dank für die ausführlichen Infos.... auf jedenfall was wo ich mir genauer anschauen werde und dann anstrebe das irgendwann so umzusetzen. Mir ist nur noch nicht ganz klar wie der Weg genau ist jetzt beim bereits vorhandenen System wo ja Proxmox auf den beiden RAID1 SSDs mit BTRFS liegen.... ich denke um eine Neuinstallation kommt man da ja dann nicht drum rum dann das BTRFS durch ZFS auszutauschen.

 

[LnxBil]

Wow, vielen Dank für die ausführlichen Infos.... auf jedenfall was wo ich mir genauer anschauen werde und dann anstrebe das irgendwann so umzusetzen. Mir ist nur noch nicht ganz klar wie der Weg genau ist jetzt beim bereits vorhandenen System wo ja Proxmox auf den beiden RAID1 SSDs mit BTRFS liegen.... ich denke um eine Neuinstallation kommt man da ja dann nicht drum rum dann das BTRFS durch ZFS auszutauschen.

Man bekommt unter Linux alles immer hin, die Frage ist wieviel Zeit man investiert. Der Umzug kann schnell von statten gehen, wenn man weiß was man macht. Du kannst alles ausprobieren, indem du dein System virtuell in kleiner nachbaust und damit rumspielst.

 

[mabox]

Hallo @LnxBil oder falls noch jemand einen Tipp hat
Passt jetzt zwar nicht von der Überschrift her hier rein aber nur noch eine kurze Frage und ansonsten mach ich dann ein neues Thema auf denke ich.
Bin am überlegen ob ich mir noch eine große SSD hole für meine VMs drauf, speziell auf jedenfall eine wo mir wichtig ist.
Ich hätte dann 2x 500 SSD die ich als RAID für das Proxmos selbst geplant hätte, eine große SSD für meine wichtigsten VMs und dann hätte ich immer noch 2 Plätze frei für Festplatten wo ich dann evtl. nur noch eine große HDD reinbauen würde als "Datengrab" oder Daten die jetzt eher nicht so wichtig wären. Alle wichtigen Daten befinden sich bei mir innerhalb der VMs.
Dann hätte ich eigentlich alles auf SSDs und müsste nichts groß unterscheiden mit Metadaten usw? Sähe also so aus:
2x SSD 500GB -> Proxmox
1x SSD xTB -> VMs (mind. eine wichtige)
1x HDD 12TB -> Datengrab (eher unwichtiger Massendaten)

Wäre das Setup ok oder völlig daneben?

 

[cwt]

Anstatt nur einer 1TB SSD würde ich eher zwei im Mirror laufen lassen. Fällt Dir bei nur einem Laufwerk selbiges aus, kann man VMs zwar aus Backups wiederherstellen. Aber Du hättest dann eine ggf. längere downtime. Sprich: Ersatz besorgen, Laufwerk einbauen, Backups zurückspielen. Beim Mirror müsstest Du das natürlich ebenfalls machen, aber bis zum Eintreffen des Ersatzlaufwerkes könnte das System zumindest degraded weiterlaufen.

 

[mabox]

Das stimmt aber weil gerade nicht billig dachte ich ob ich evtl. Die Downtime in Kauf nehme.... Wäre natürlich perfekt weil ich dann überall außer beim Datengrab RAID1 hätte. Außer die große SSD hätte ich alles da..... Aber vielleicht beschaffe ich doch 2x große SSD. Brauche halt mind. 4TB, besser größer.
Es geht bei mir halt um nichts geschäftliches oder so. Einfach nur um private Cloud usw. Von daher konnte Downtime auch verkraftet werden. Könnte ich auch nachträglich noch eine zweite SSD reinhängen und ein RAID1 machen? Nicht ohne Daten vorher löschen oder?

 

[LnxBil]

Könnte ich auch nachträglich noch eine zweite SSD reinhängen und ein RAID1 machen? Nicht ohne Daten vorher löschen oder?

Kommt auf das verwendete Dateisystem an. In ZFS ist das kein Problem.

 

[mabox]

Ja cool. Denke dann hab ich fürs erste das Setup das ich angehe.

- Vorerst lass ich meine kleine 2x SSD RAID1 wo das OS drauf läuft unberührt mit seinem BTRS.
- Dann hängt ich jetzt eine große SSD rein mit ZFS und migrieren da drauf meine VMs
- Eine der HDD im RAiD1 fliegt raus, so hab ich Platz irgendwann für eine zweite große SSD mit der ich dann zusammen mit der vorhanden SSD wieder ein RAID1 mache.
- Dann geh ich noch irgendwann den Wechsel des OS von BTRFS nach ZFS an.

Das sieht glaub nach einem guten Plan aus.
OS von den VMs getrennt passt auch richtig? Könnte man ja auch ggfl alles auf zwei große SSD im RAID 1 legen.

 

[LnxBil]

OS von den VMs getrennt passt auch richtig? Könnte man ja auch ggfl alles auf zwei große SSD im RAID 1 legen.

Es gibt Leute die bevorzugen das, da man damit PVE neu installieren kann bei einem Problem. Ich persönlich mag das nicht und brauche das nicht. PVE kann ruhig mit seinen unter 4G nebenher auch noch auf dem ZFS liegen. Mein Lieblingssetup ist in #11 beschrieben.