(I decided to translate it to english as most of the forum here is in english):
We have 2 Proxmox machines 6.4 here on which we host VoIP services in LXC containers. Plus a few KVM machines for tunnels etc.
The LXC containers are causing us difficulties in terms of load. We are doing load tests, and they are running fine with a load of 1.5 after we have freshly started the LXC containers. But after some time the load increases more and more and all processes (mainly the application servers that feed the voip processes) become slower and slower, the load increases to over 7 (with 8 CPU cores) and we get the first failures. After restarting the LXC container, everything runs very well again for the next few hours, and the next day we have the problem again.
Memory consumption is ok, we never get above 70% (memory consumption on the Prxmox host is slowly increasing, we cannot sum up the consumed by process, so I think this is for ZFS caching), but after restarting the container it's fast again.
The memory in the container never goes above 50%, but all CPUs run towards 100% at some point. Restarting our processes in the container does not solve the problem either; we have to restart the LXC container to make it fast again.
I first suspected the Slab caches, which are close to 100%, but the slab memory grows dynamically.
Has anyone else observed this and what could be the cause? Or does anyone have a solution?
==========================
German version
Wir haben hier 2 Proxmox-Maschinen 6.4, auf denen wir VoIP-Services in LXC-Containern hosten. Dazu ein paar KVM Maschinen für Tunnel usw.
Die LXC-Container bereiten uns Schwierigkeiten in Bezug auf Last. Wir machen gerade Lasttests, und die laufen wunderbar durch mit einer Load von 1,5 , nachdem wir die LXC-Container frisch gestartet haben. Doch nach einiger Zeit steigt die Last immer mehr und alle Prozesse (überwiegend die Application-Server, die die Voip-Prozesse fütten), werden immer langsamer, die Last steigt auf über 7 (bei 8 CPU Kernen) und wir bekommen die ersten Fails. Nachdem wir den LXC-Container neu gestartet haben, läuft alles wieder sehr performant für die nächsten Stunden, und am nächsten Tag haben wir wieder das Problem.
Speicherverbrauch ist ok, wir kommen nie über 70% (Speicherverbrauch vom Host wird langsam größer, ohne dass wir das an den Prozessen ablösen können, ich denke das ist für's ZFS Caching), doch nach dem Neustart des Containers ist es ja wieder flott.
Der Speicher im Container geht auch nie über 50%, aber alle CPUs laufenb irgendwann gegen 100%. Neustart unserer Prozesse im Container löst das Problem auch nicht; wir müssen den LXC-Container neu starten.
Ich hatte zuerst die SLab-Caches im Verdacht, die stehen kurz vor 100%, doch der Slab-Speicher wächst ja dynamisch.
Hat das schon jemand sonst beobachtet und wo könnte die Ursache liegen. Bzw. hat jemand einen Lösungsansatz?
We have 2 Proxmox machines 6.4 here on which we host VoIP services in LXC containers. Plus a few KVM machines for tunnels etc.
The LXC containers are causing us difficulties in terms of load. We are doing load tests, and they are running fine with a load of 1.5 after we have freshly started the LXC containers. But after some time the load increases more and more and all processes (mainly the application servers that feed the voip processes) become slower and slower, the load increases to over 7 (with 8 CPU cores) and we get the first failures. After restarting the LXC container, everything runs very well again for the next few hours, and the next day we have the problem again.
Memory consumption is ok, we never get above 70% (memory consumption on the Prxmox host is slowly increasing, we cannot sum up the consumed by process, so I think this is for ZFS caching), but after restarting the container it's fast again.
The memory in the container never goes above 50%, but all CPUs run towards 100% at some point. Restarting our processes in the container does not solve the problem either; we have to restart the LXC container to make it fast again.
I first suspected the Slab caches, which are close to 100%, but the slab memory grows dynamically.
Has anyone else observed this and what could be the cause? Or does anyone have a solution?
==========================
German version
Wir haben hier 2 Proxmox-Maschinen 6.4, auf denen wir VoIP-Services in LXC-Containern hosten. Dazu ein paar KVM Maschinen für Tunnel usw.
Die LXC-Container bereiten uns Schwierigkeiten in Bezug auf Last. Wir machen gerade Lasttests, und die laufen wunderbar durch mit einer Load von 1,5 , nachdem wir die LXC-Container frisch gestartet haben. Doch nach einiger Zeit steigt die Last immer mehr und alle Prozesse (überwiegend die Application-Server, die die Voip-Prozesse fütten), werden immer langsamer, die Last steigt auf über 7 (bei 8 CPU Kernen) und wir bekommen die ersten Fails. Nachdem wir den LXC-Container neu gestartet haben, läuft alles wieder sehr performant für die nächsten Stunden, und am nächsten Tag haben wir wieder das Problem.
Speicherverbrauch ist ok, wir kommen nie über 70% (Speicherverbrauch vom Host wird langsam größer, ohne dass wir das an den Prozessen ablösen können, ich denke das ist für's ZFS Caching), doch nach dem Neustart des Containers ist es ja wieder flott.
Der Speicher im Container geht auch nie über 50%, aber alle CPUs laufenb irgendwann gegen 100%. Neustart unserer Prozesse im Container löst das Problem auch nicht; wir müssen den LXC-Container neu starten.
Ich hatte zuerst die SLab-Caches im Verdacht, die stehen kurz vor 100%, doch der Slab-Speicher wächst ja dynamisch.
Hat das schon jemand sonst beobachtet und wo könnte die Ursache liegen. Bzw. hat jemand einen Lösungsansatz?
Last edited: