Monitoring von CPU und Ram von VMs und LXCs

[fjochum]

Moin, ich besitze etwas mehr als einem 3/4 Jahr einen Proxmox, angefangen als VM auf einem kleinen PC zum testen, dann auf einen Alten PC aus Rest Komponenten gewechselt, zwischenzeitlich auf einem HP Proliant DL360 Gen9 mit 96 GB Ram und 2 Xeon E5-2650L-v3 gewechselt.
Das ganze ist im Internen Netzwerk per 10GBit angebunden.
Die VMs laufen zur Zeit auf einem Raid 1 mit 2 1,92TB Enterprise SSD, welche noch auf ein Raid 10 mit 6 1,92TB Festplatten aufgerüstet wird.

Nun zu meiner Frage/ meinem Problem. Einige VMs und LXCs laufen mal 4-5 Stunden, mal aber auch 2-3 Tage mit einer Ram auslastung von 20 Prozent, springen dann aber teilweise auf über 70 %, nur ein löschen des Caches oder sogar ein Neustart der betroffenen VMs schaffen dann Abhilfe, da ich nicht 24/7 auf meinen Proxmox schauen kann, wollte ich fragen ob es eine Möglichkeit gibt, über das Terminal per Skript die RAM und CPU Auslastung der VMs und Container abzufragen. Leider bin ich bei der Suche im Internet nicht darauf gestoßen.

Schöne Grüße aus dem Norden Deutschlands

 

[floh8]

du kannst da grafana/influxdb add-on aktivieren. muss halt so nen server aufsetzen

 

[Falk R.]

Oder du nutzt ein Monitoring wie CheckMK, Observium oder LibreNMS.
Da kannst du dich benachrichtigen lassen und auch Aktion bei Schwellwerten hinterlegen.

 

[Dunuin]

Und wenn du Angst hast die VMs würden wegen Caching zu viel RAM "verschwenden", dann eventuell halt weniger RAM vergeben, dass da die VMs wirklich nur den RAM haben, den sie wirklich brauchen? Eigentlich sollte man eh gucken, dass man kein Overprovisioning beim RAM betreibt. Und wenn man jedem Gast eine fixe Menge RAM zuteilt, die diesem zu 100% immer zustehen können, ohne das dir der Host-RAM ausgeht, dann ist es ja auch kein Problem, wenn die VMs halt wegen Caching permanent auf 90+% RAM-Auslastung hängen.

 

[fjochum]

Den Ram habe ich bewust so gewählt, nehmen wir als beispiel eine von meinen Windows VMs, die Idelt mit ca 2 GB Ram umher, nutze ich diese jedoch, um per Fernzugriff auf meinen Server zuzugreifen, bin ich bei 6gb ram, von zugewiesenen 8gb, das ist soweit inordnung, in 95% der Fälle geht der Ram nach beendigung der Verbindung wieder zurück, in den Restlichen 5% jedoch nicht. Dann hilft nur ein Neustart der VM. Die CPU Usage macht mir da aber mehr sorgen, mir geht es aber auch eher darum, das ganze per script zu überwachen, um dann wenn die Auslastung länger wie 20 Minuten über 90 Prozent ist, die jeweilige VM neuzustarten, ein System mit InfluxDB und Grafana habe ich schon laufen, da sehe ich dann auch immer den Übeltäter, mir fehlt aber noch die Schnittstelle, um die entsprechende VM dann automatisch neuzustarten

 

[Dunuin]

Den Ram habe ich bewust so gewählt, nehmen wir als beispiel eine von meinen Windows VMs, die Idelt mit ca 2 GB Ram umher, nutze ich diese jedoch, um per Fernzugriff auf meinen Server zuzugreifen, bin ich bei 6gb ram, von zugewiesenen 8gb, das ist soweit inordnung, in 95% der Fälle geht der Ram nach beendigung der Verbindung wieder zurück, in den Restlichen 5% jedoch nicht. Dann hilft nur ein Neustart der VM.

Ja, aber wenn es dich stört, dass die VM dann 6GB statt 2GB belegt, dann betreibst du ja vermutlich Overprovisioning, dass die Gäste mehr RAM haben wollen, als der Server liefern kann und dann um die mangelnden Ressourcen gekämpft werden muss. Ansonsten könnte es dir ja völlig egal sein ob die VM nun 2GB oder 6GB RAM belegt. Will ich 10 VMs mit 8GB RAM betreiben, dann hole ich mir halt 92GB RAM. Dann darf jede der 10 VMs so lange sie will 100% ihrer 8GB nutzen und ich habe trotzdem noch 12GB für Overhead, Host-Caching und PVE über.

mir fehlt aber noch die Schnittstelle, um die entsprechende VM dann automatisch neuzustarten

Entweder lokal über ein Script "qm reboot" oder "pct reboot" aufrufen. Oder du nutzt die PVE API, um damit dann Remote einen Gast neuzustarten: https://pve.proxmox.com/pve-docs/api-viewer/#/nodes/{node}/qemu/{vmid}/status/reboot
Über die API lassen sich übrigens auch die Metrics abfragen.

 

[floh8]

Wenn du das willst, sind wir bei Falk - du braucht 'ne richtige Monitoringsoftware, die die VM auch neustarten kann. Dachte eigentlich, dass Grafana/Prometheus das auch kann, aber ich kenn mich nicht genug aus damit.