Memory Fehler in der kern.log

[tomic]

Hallo,

da mir immer wieder einzelne Prozesse (vor allem Apache) abschmieren bzw. die Dienste nicht mehr erreichbar sind, habe ich den in den Protokollen folgende Fehler entdeckt und weiß diese, trotz ausführlichem Suchen im Internet nicht zu deuten. Der Fehler tritt bei mir auf unterschiedlichen Hosts auf. Arbeitsspeicher ist noch ausreichend zur Verfügung...

kern.log

Spoiler: kern.log

Sep 21 15:40:24 hostnode3 kernel: [6014661.893909] php5-cgi cpuset=ns mems_allowed=0-1
Sep 21 15:40:24 hostnode3 kernel: [6014661.893925] dump_stack+0x63/0x81
Sep 21 15:40:24 hostnode3 kernel: [6014661.893936] mem_cgroup_out_of_memory+0x4b/0x80
Sep 21 15:40:24 hostnode3 kernel: [6014661.893945] __do_page_fault+0x4ad/0x4e0
Sep 21 15:40:24 hostnode3 kernel: [6014661.893956] RBP: 0000000000000000 R08: 0000000000000001 R09: 00007f72eb717468
Sep 21 15:40:24 hostnode3 kernel: [6014661.893966] Memory cgroup stats for /lxc/151: cache:0KB rss:0KB rss_huge:0KB mapped_file:0KB dirty:0KB writeback:0KB swap:0KB inactive_anon:0KB active_anon:0KB inactive_file:0KB active_file:0KB unevictable:0KB
Sep 21 15:40:24 hostnode3 kernel: [6014661.894321] [31285] 0 31285 12636 2481 30 3 0 0 munin-node
Sep 21 15:40:24 hostnode3 kernel: [6014661.894335] [31771] 1000 31771 22873 394 43 4 0 0 nginx
Sep 21 15:40:24 hostnode3 kernel: [6014661.894407] [28858] 33 28858 29768 1144 55 3 0 0 apache2
Sep 21 15:40:24 hostnode3 kernel: [6014661.894453] [ 1446] 10793 1446 99562 7595 140 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894468] [ 3055] 10793 3055 99200 7090 138 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894482] [ 4450] 10793 4450 98494 6122 138 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894507] [ 7853] 10793 7853 100715 7161 142 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894534] [13135] 10793 13135 98413 5881 134 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894550] [13976] 10793 13976 98297 5641 131 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894564] [13986] 10793 13986 98110 5547 137 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894578] [14315] 10793 14315 98368 5505 135 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894592] [14665] 10793 14665 96637 2855 126 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894623] [15102] 10793 15102 79967 1394 124 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894637] [15465] 33 15465 1084 27 8 3 0 0 update.sh
Sep 21 15:40:24 hostnode3 kernel: [6014661.894650] [15866] 10793 15866 80055 1500 126 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894664] [17061] 10793 17061 47288 642 89 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014661.894877] Killed process 17623 (apache2) total-vm:2102256kB, anon-rss:5784kB, file-rss:0kB, shmem-rss:1032kB
Sep 21 15:40:24 hostnode3 kernel: [6014662.342238] php5-cgi invoked oom-killer: gfp_mask=0x14000c0(GFP_KERNEL), nodemask=0-1, order=0, oom_score_adj=0
Sep 21 15:40:24 hostnode3 kernel: [6014662.342240] php5-cgi cpuset=ns mems_allowed=0-1
Sep 21 15:40:24 hostnode3 kernel: [6014662.342244] CPU: 2 PID: 3352 Comm: php5-cgi Tainted: P O 4.10.15-1-pve #1
Sep 21 15:40:24 hostnode3 kernel: [6014662.342245] Hardware name: Intel Corporation S5520UR/S5520UR, BIOS S5500.86B.01.00.0064.050520141428 05/05/2014
Sep 21 15:40:24 hostnode3 kernel: [6014662.342255] dump_stack+0x63/0x81
Sep 21 15:40:24 hostnode3 kernel: [6014662.342270] ? memory_high_write+0xe0/0xe0
Sep 21 15:40:24 hostnode3 kernel: [6014662.342287] RSP: 002b:00007ffc9e5fff78 EFLAGS: 00010246
Sep 21 15:40:24 hostnode3 kernel: [6014662.342298] memory: usage 2097152kB, limit 2097152kB, failcnt 5
Sep 21 15:40:24 hostnode3 kernel: [6014662.342678] [31278] 0 31278 98750 1689 125 4 0 0 php5-fpm
Sep 21 15:40:24 hostnode3 kernel: [6014662.342698] [31766] 1000 31766 22873 394 43 4 0 0 nginx
Sep 21 15:40:24 hostnode3 kernel: [6014662.342715] [31957] 0 31957 3166 39 11 3 0 0 getty
Sep 21 15:40:24 hostnode3 kernel: [6014662.342818] [11396] 10793 11396 100610 7947 140 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342857] [ 3003] 10793 3003 98736 6641 136 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342877] [ 4450] 10793 4450 98494 6122 138 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342903] [ 7855] 10793 7855 101119 7972 142 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342931] [13152] 10793 13152 98234 5782 133 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342947] [13979] 10793 13979 98110 5549 132 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342962] [14109] 10793 14109 98369 5709 137 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342977] [14543] 10793 14543 98291 5077 133 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.342992] [14888] 0 14888 11596 95 27 3 0 0 cron
Sep 21 15:40:24 hostnode3 kernel: [6014662.343021] [15463] 0 15463 3798 55 12 3 0 0 bash
Sep 21 15:40:24 hostnode3 kernel: [6014662.343036] [15866] 10793 15866 80055 1500 126 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.343051] [17070] 0 17070 12636 2481 29 3 0 0 /usr/sbin/munin
Sep 21 15:40:24 hostnode3 kernel: [6014662.574992] [31285] 0 31285 12636 2481 30 3 0 0 munin-node
Sep 21 15:40:24 hostnode3 kernel: [6014662.575001] [31766] 1000 31766 22873 394 43 4 0 0 nginx
Sep 21 15:40:24 hostnode3 kernel: [6014662.575008] [31853] 0 31853 9042 143 23 3 0 0 master
Sep 21 15:40:24 hostnode3 kernel: [6014662.575080] [28860] 0 28860 30228 1253 56 3 0 0 apache2
Sep 21 15:40:24 hostnode3 kernel: [6014662.575126] [ 2463] 10793 2463 98746 6644 135 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575141] [ 3350] 10793 3350 99671 7663 139 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575157] [ 4469] 10793 4469 98494 6112 134 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575180] [ 7855] 10793 7855 101119 7972 142 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575207] [13136] 10793 13136 98113 5616 132 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575223] [13977] 10793 13977 98233 5514 136 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575237] [13987] 10793 13987 98354 5799 136 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575252] [14375] 10793 14375 98304 5454 134 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575266] [14687] 10793 14687 96637 2675 128 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575295] [15322] 10793 15322 79956 1396 117 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575309] [15467] 0 15467 97519 3030 132 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575324] [16122] 10793 16122 70242 865 115 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.575338] [17070] 0 17070 12636 2481 29 3 0 0 /usr/sbin/munin
Sep 21 15:40:24 hostnode3 kernel: [6014662.640679] [24270] 0 24270 31765 519 60 3 0 0 proftpd
Sep 21 15:40:24 hostnode3 kernel: [6014662.640746] [32670] 10793 32670 100305 8244 139 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640758] [ 2820] 10793 2820 99376 7338 136 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640770] [ 3357] 10793 3357 98545 6619 137 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640785] [ 4511] 10793 4511 98482 6431 137 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640815] [13104] 10793 13104 98289 5800 132 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640827] [13152] 10793 13152 98234 5793 133 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640841] [13977] 10793 13977 98233 5514 136 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640852] [13986] 10793 13986 98110 5547 137 4 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640865] [14240] 10793 14240 98494 5883 135 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640878] [14611] 10793 14611 98291 5085 135 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640890] [14886] 0 14886 11596 95 27 3 0 0 cron
Sep 21 15:40:24 hostnode3 kernel: [6014662.640912] [15404] 0 15404 1084 22 8 3 0 0 sh
Sep 21 15:40:24 hostnode3 kernel: [6014662.640924] [15751] 10793 15751 96637 1881 125 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640936] [16353] 10793 16353 80022 1454 126 3 0 0 php5-cgi
Sep 21 15:40:24 hostnode3 kernel: [6014662.640947] [17070] 0 17070 12636 2481 29 3 0 0 /usr/sbin/munin
Sep 21 15:40:25 hostnode3 kernel: [6014663.120825] php5-cgi invoked oom-killer: gfp_mask=0x14000c0(GFP_KERNEL), nodemask=0-1, order=0, oom_score_adj=0
Sep 21 15:40:25 hostnode3 kernel: [6014663.120827] php5-cgi cpuset=ns mems_allowed=0-1
Sep 21 15:40:25 hostnode3 kernel: [6014663.120832] CPU: 2 PID: 7855 Comm: php5-cgi Tainted: P O 4.10.15-1-pve #1
Sep 21 15:40:25 hostnode3 kernel: [6014663.120833] Hardware name: Intel Corporation S5520UR/S5520UR, BIOS S5500.86B.01.00.0064.050520141428 05/05/2014
Sep 21 15:40:25 hostnode3 kernel: [6014663.120843] dump_stack+0x63/0x81
Sep 21 15:40:25 hostnode3 kernel: [6014663.120856] mem_cgroup_oom_synchronize+0x31e/0x340
Sep 21 15:40:25 hostnode3 kernel: [6014663.120871] RIP: 0033:0x7f4a68904fea
Sep 21 15:40:25 hostnode3 kernel: [6014663.120878] Task in /lxc/151/ns killed as a result of limit of /lxc/151
Sep 21 15:40:25 hostnode3 kernel: [6014663.120908] [ pid ] uid tgid total_vm rss nr_ptes nr_pmds swapents oom_score_adj name
Sep 21 15:40:25 hostnode3 kernel: [6014663.261194] Task in /lxc/151/ns killed as a result of limit of /lxc/151
Sep 21 15:40:25 hostnode3 kernel: [6014663.261226] memory: usage 2097152kB, limit 2097152kB, failcnt 5
Sep 21 15:40:25 hostnode3 kernel: [6014663.261235] kmem: usage 108700kB, limit 9007199254740988kB, failcnt 0
Sep 21 15:40:25 hostnode3 kernel: [6014663.261261] Memory cgroup stats for /lxc/151/ns: cache:1018336KB rss:970116KB rss_huge:0KB mapped_file:1012552KB dirty:0KB writeback:0KB swap:0KB inactive_anon:965396KB active_anon:1022308KB inactive_file:0KB active_file:0KB unevictable:0KB
Sep 21 15:40:25 hostnode3 kernel: [6014663.261283] [ pid ] uid tgid total_vm rss nr_ptes nr_pmds swapents oom_score_adj name
Sep 21 15:40:25 hostnode3 kernel: [6014663.261897] [ 4470] 10793 4470 98610 6314 138 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.261951] [13103] 10793 13103 98221 5732 133 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.261976] [13152] 10793 13152 98234 5784 133 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262002] [13978] 10793 13978 98354 5784 136 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262027] [13994] 10793 13994 98110 5566 137 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262050] [14417] 10793 14417 97644 4275 134 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262076] [14769] 10793 14769 79366 1299 121 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262117] [15401] 0 15401 1084 23 7 3 0 0 sh
Sep 21 15:40:25 hostnode3 kernel: [6014663.262141] [15605] 10793 15605 79967 1395 123 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262166] [16353] 10793 16353 80022 1457 126 3 0 0 php5-cgi
Sep 21 15:40:25 hostnode3 kernel: [6014663.262191] [17294] 65534 17294 4575 237 15 3 0 0 users

Aktuell eingestetzte Version: pve-manager/5.0-32/2560e073 (running kernel: 4.10.15-1-pve)

Kann jemand mehr dazu sagen?

 

[dcsapak]

Sep 21 15:40:25 hostnode3 kernel: [6014663.261194] Task in /lxc/151/ns killed as a result of limit of /lxc/151

ein prozess im container 151 wurde beendet, weil der container kein memory mehr hatte -> oom killer wurde getriggert
daher dem container mehr memory zuweisen

 

[tomic]

@dcsapak - Danke für die Antwort.
Der Container hat noch mehr als 50% freien Speicher...

Spoiler: free

total used free shared buffers cached
Mem: 2097152 479532 1617620 740352 0 269668
-/+ buffers/cache: 209864 1887288
Swap: 0 0 0

 

[dcsapak]

Sep 21 15:40:25 hostnode3 kernel: [6014663.261226] memory: usage 2097152kB, limit 2097152kB, failcnt 5

dieser log eintrag sagt, dass der container am 21.sept. um 15:40 das limit erreicht hat

Der Container hat noch mehr als 50% freien Speicher...

im moment? es kann ja sein, dass ein programm mit der zeit immer mehr speicher verbraucht, bis es zuviel für den container ist

 

[tomic]

Ich habe einen Screenshot der Speicherauslastung unter Proxmox als Anhang hinterlegt. Der Container hatte zum Zeitpunkt des Fehlers noch knapp 1GB freien Speicher - zumindest laut Proxmox-Webinterface. Auch der Host hatte zu diesem Zeitpunkt noch knapp 10GB freien Ram.

 

[LnxBil]

Die zeitliche Auflösung des Graphen ist zu gering und den Spike, der wohl nur wenige Sekunden gedauert hat, zu erfassen. Klassisches Nyquist-Shannon-Abtasttheorem :-D