Hohe CPU Last nach Serverausfall

[limone]

Hallo,

gestern ist mein Server ausgefallen, auf dem nur LXC Container laufen.
Bei einem ist die Datenbank flöten gegangen, aber das konnte ich aus dem Snapshot wiederherstellen.
Es ist nur komisch, dass nun die CPU Last ziemlich hoch ist, Load ist so um die 3 und peaked auf 5-10 hoch. CPU ist quad core.

So sieht die normale Last in einer Woche aus, mit Backup am Mittwoch und Donnerstag:


Dass die Serverlast beim boot höher ist, ist mir klar, allerdings ist sie jetzt nach 12 Stunden uptime immer noch nicht wieder runter gegangen..

Nun bin ich völlig überfragt, wie ich herausfinde woran das liegt.

dmesg -T gibt alle 30min folgendes aus:

audit: type=1400 audit(1545131347.870:332): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=5234 comm="(ionclean)" flags="rw, rslave"

Allerdings weiß ich nicht welcher Container oder welcher Prozess diesen Fehler verursacht.

syslog ist auch unspektakulär

Dec 18 12:36:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:36:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:37:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:37:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:38:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:38:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:39:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:39:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:39:22 proxmox pvestatd[2074]: status update time (8.340 seconds)
Dec 18 12:40:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:40:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:41:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:41:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:41:58 proxmox pvestatd[2074]: status update time (5.603 seconds)
Dec 18 12:42:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:42:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:43:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:43:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:44:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:44:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Dec 18 12:44:18 proxmox pve-firewall[2062]: firewall update time (5.459 seconds)
Dec 18 12:44:19 proxmox pvestatd[2074]: status update time (6.478 seconds)
Dec 18 12:45:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Dec 18 12:45:00 proxmox systemd[1]: Started Proxmox VE replication runner.

Hat schon mal jemand ein ähnliches Problem gehabt oder hat jemand eine Idee, wonach ich suchen könnte?
Ich habe keine Lust, dass der Server heute Nacht beim Backup komplett überlastet ist..

Edit: I/O Delay ist auch extrem hoch

 

[wolfgang]

Hi,

verwendest du ZFS?
wenn ja bitte schick mal die den Output von

cat /proc/spl/kstat/zfs/arcstats
free

 

[limone]

Hi,

nein ich verwende kein ZFS, ich benutze Proxmox out of the box, also data als lvm-thin und root als directory.

Ich habe mal auf 5.3 geupgradet, und nun scheint es, als hätte sich der Server auch wieder beruhigt, keine I/O und load peaks mehr.




jetzt muss ich nur herausfinden, warum einige container die apparmor fehler auswerfen.
gibt es von proxmox einen prozess, der alle 30 minuten ausgeführt wird?

bei den containers handelt es sich um pihole, nextcloud und owncloud, ich bezweifle, dass die alle zum gleichen zeitpunkt irgendwas mounten wollen...