VM wird gekillt, sobald viel I/O stattfindet

[Inworks IT]

Wir testen gerade unsere Proxmox-Server, die zukünftig unsere Groupware beheimaten sollen.
Jetzt sind wir beim Testen auf ein Problem gestoßen, das reproduzierbar auftritt.

Als Test haben wir einen dd gestartet, der von /dev/urandom etwa 400 GB in eine Datei schreibt.
Dabei steigt der Speicherverbrauch kontinuierlich an, bis er ein paar Minuten am Maximum von 48 GB bleibt, bevor die VM dann gekillt wird.


dmesg spuckt Folgendes aus:

[518667.057268] pvedaemon worke invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0
[518667.057627] CPU: 2 PID: 537093 Comm: pvedaemon worke Tainted: P           O      5.13.19-5-pve #1
[518667.057929] Hardware name: Thomas-Krenn.AG 2HE AMD Single-CPU RA1208-AIEPN Server/H12SSL-NT, BIOS 2.3 10/20/2021
[518667.058236] Call Trace:
[518667.058539]  <TASK>
[518667.058842]  dump_stack+0x7d/0x9c
[518667.059146]  dump_header+0x4f/0x1f6
[518667.059448]  oom_kill_process.cold+0xb/0x10
[518667.059749]  out_of_memory+0x1cf/0x530
[518667.060050]  __alloc_pages_slowpath.constprop.0+0xc96/0xd80
[518667.060352]  __alloc_pages+0x30e/0x330
[518667.060646]  alloc_pages+0x87/0x110
[518667.060939]  pagecache_get_page+0x2c2/0x560
[518667.061230]  filemap_fault+0x5cd/0x880
[518667.061521]  __do_fault+0x3c/0xe0
[518667.061812]  __handle_mm_fault+0xfca/0x16f0
[518667.062104]  handle_mm_fault+0xda/0x2c0
[518667.062394]  do_user_addr_fault+0x1bb/0x660
[518667.062686]  ? __x64_sys_close+0x12/0x40
[518667.063295]  exc_page_fault+0x7d/0x170
[518667.063847]  ? asm_exc_page_fault+0x8/0x30
[518667.064330]  asm_exc_page_fault+0x1e/0x30
[518667.064797] RIP: 0033:0x55c234853ffe
[518667.065262] Code: Unable to access opcode bytes at RIP 0x55c234853fd4.
[518667.065732] RSP: 002b:00007ffeb71c2780 EFLAGS: 00010246
[518667.066202] RAX: 000055c2392a36f0 RBX: 000055c23c356350 RCX: 000055c23c347a00
[518667.066681] RDX: 000000000000001a RSI: 000055c23c356350 RDI: 000055c2351d02a0
[518667.067160] RBP: 000055c2348dafb0 R08: 0000000000000000 R09: 000055c2351d02a0
[518667.067640] R10: 000055c23c356348 R11: 0000000000000001 R12: 000055c2347584a0
[518667.068117] R13: 0000000000000000 R14: 0000000000000000 R15: 000055c2351d02a0
[518667.068595]  </TASK>
[518667.069070] Mem-Info:
[518667.069532] active_anon:7619419 inactive_anon:5193264 isolated_anon:0
                 active_file:67 inactive_file:74 isolated_file:0
                 unevictable:37759 dirty:0 writeback:15
                 slab_reclaimable:15347 slab_unreclaimable:2132976
                 mapped:23731 shmem:22337 pagetables:27202 bounce:0
                 free:81323 free_pcp:167 free_cma:0
[518667.072370] Node 0 active_anon:30477676kB inactive_anon:20773056kB active_file:200kB inactive_file:332kB unevictable:151036kB isolated(anon):0kB isolated(file):0kB mapped:94856kB dirty:0kB writeback:60kB shmem:89348kB shmem_thp: 0kB shmem_pmdmapped: 0kB anon_thp: 30392320kB writeback_tmp:0kB kernel_stack:22352kB pagetables:108808kB all_unreclaimable? no
[518667.073563] Node 0 DMA free:11264kB min:12kB low:24kB high:36kB reserved_highatomic:0KB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB writepending:0kB present:15996kB managed:15360kB mlocked:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
[518667.074451] lowmem_reserve[]: 0 2558 64088 64088 64088
[518667.074757] Node 0 DMA32 free:247324kB min:2696kB low:5316kB high:7936kB reserved_highatomic:0KB active_anon:2351104kB inactive_anon:65556kB active_file:0kB inactive_file:0kB unevictable:0kB writepending:0kB present:2742068kB managed:2673608kB mlocked:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
[518667.075739] lowmem_reserve[]: 0 0 61529 61529 61529
[518667.076063] Node 0 Normal free:67000kB min:64868kB low:127872kB high:190876kB reserved_highatomic:2048KB active_anon:28126572kB inactive_anon:20707500kB active_file:0kB inactive_file:436kB unevictable:151036kB writepending:60kB present:64209920kB managed:63013376kB mlocked:151036kB bounce:0kB free_pcp:1396kB local_pcp:264kB free_cma:0kB
[518667.077071] lowmem_reserve[]: 0 0 0 0 0
[518667.077415] Node 0 DMA: 0*4kB 0*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 1*1024kB (U) 1*2048kB (M) 2*4096kB (M) = 11264kB
[518667.078140] Node 0 DMA32: 11*4kB (UM) 12*8kB (UM) 13*16kB (UM) 12*32kB (M) 15*64kB (UM) 13*128kB (M) 15*256kB (UM) 15*512kB (UM) 17*1024kB (UM) 49*2048kB (UM) 28*4096kB (UM) = 247324kB
[518667.078912] Node 0 Normal: 12127*4kB (UME) 1023*8kB (ME) 502*16kB (UMEH) 5*32kB (H) 4*64kB (H) 3*128kB (H) 2*256kB (H) 1*512kB (H) 0*1024kB 0*2048kB 0*4096kB = 66548kB
[518667.079715] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=1048576kB
[518667.080128] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
[518667.080538] 26711 total pagecache pages
[518667.080948] 0 pages in swap cache
[518667.081354] Swap cache stats: add 0, delete 0, find 0/0
[518667.081766] Free swap  = 0kB
[518667.082176] Total swap = 0kB
[518667.082585] 16741996 pages RAM
[518667.082994] 0 pages HighMem/MovableOnly
[518667.083400] 316410 pages reserved
[518667.083807] 0 pages hwpoisoned
[518667.084213] Tasks state (memory values in pages):
[518667.084620] [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
[518667.085044] [   1529]     0  1529    24258      807   208896        0          -250 systemd-journal
[518667.085462] [   1621]     0  1621     5648      818    65536        0         -1000 systemd-udevd
[518667.085888] [   3874]   103  3874     1960      477    53248        0             0 rpcbind
[518667.086306] [   3883]   102  3883     2052      585    53248        0          -900 dbus-daemon
[518667.086725] [   3887]     0  3887    37728      307    57344        0             0 lxcfs
[518667.087147] [   3890]     0  3890   813207      524   458752        0             0 pve-lxc-syscall
[518667.087565] [   3894]     0  3894     1742      345    45056        0             0 ksmtuned
[518667.087985] [   3897]     0  3897    55185      852    77824        0             0 rsyslogd
[518667.088401] [   3903]     0  3903     1051      311    45056        0             0 qmeventd
[518667.088815] [   3905]     0  3905     2987      855    65536        0             0 smartd
[518667.089227] [   3931]     0  3931     5530      820    73728        0             0 systemd-logind
[518667.089638] [   3959]     0  3959      543      246    40960        0         -1000 watchdog-mux
[518667.090048] [   3968]     0  3968    59429      681    77824        0             0 zed
[518667.090456] [   4467]     0  4467     1137      273    49152        0             0 lxc-monitord
[518667.090866] [   4484]     0  4484     2873      132    57344        0             0 iscsid
[518667.091257] [   4485]     0  4485     2999     2977    61440        0           -17 iscsid
[518667.091637] [   4490]     0  4490     3323     1018    69632        0         -1000 sshd
[518667.092007] [   4514]     0  4514     1446      410    45056        0             0 agetty
[518667.092368] [   4534]   101  4534     4743      578    57344        0             0 chronyd
[518667.092719] [   4542]   101  4542     2695      442    57344        0             0 chronyd
[518667.093065] [   4585]     0  4585   181715      681   184320        0             0 rrdcached
[518667.093404] [   4605]     0  4605   161080    19673   471040        0             0 pmxcfs
[518667.093733] [   4686]     0  4686     9996      606    73728        0             0 master
[518667.094051] [   4693]     0  4693   139351    41011   401408        0             0 corosync
[518667.094368] [   4694]     0  4694     1671      536    57344        0             0 cron
[518667.094676] [   4774]     0  4774    67542    21316   270336        0             0 pve-firewall
[518667.094977] [   4775]     0  4775    67214    21405   282624        0             0 pvestatd
[518667.095265] [   4779]     0  4779      576      144    40960        0             0 bpfilter_umh
[518667.095548] [   4803]     0  4803    80892    23994   356352        0             0 pvescheduler
[518667.095825] [   4807]     0  4807    86020    30299   385024        0             0 pvedaemon
[518667.096092] [   4825]     0  4825    82305    24098   348160        0             0 pve-ha-crm
[518667.096348] [   4833]    33  4833    86357    31799   421888        0             0 pveproxy
[518667.096595] [   4903]    33  4903    18515    13368   192512        0             0 spiceproxy
[518667.096833] [   4907]     0  4907    82216    23710   348160        0             0 pve-ha-lrm
[518667.097064] [1831631]    33 1831631    18573    12501   180224        0             0 spiceproxy work
[518667.097290] [1831657]     0 1831657    20035      280    53248        0             0 pvefw-logger
[518667.097521] [3855034]     0 3855034     3974     1158    69632        0             0 systemd
[518667.097746] [3855035]     0 3855035    42265     1037    98304        0             0 (sd-pam)
[518667.097971] [3990206]     0 3990206     3613      788    69632        0             0 sshd
[518667.098196] [3990334]     0 3990334     2164      834    53248        0             0 bash
[518667.098420] [3008821]     0 3008821     3614      875    65536        0             0 sshd
[518667.098646] [3040597]     0 3040597     1993      746    57344        0             0 bash
[518667.098875] [3598882]     0 3598882 13050121 12533512 101351424        0             0 kvm
[518667.099104] [3904888]    33 3904888    89603    33180   430080        0             0 pveproxy worker
[518667.099338] [3933864]     0 3933864     1679      682    49152        0             0 watch
[518667.099573] [ 537093]     0 537093    88184    31357   409600        0             0 pvedaemon worke
[518667.099812] [ 538232]     0 538232    88184    31305   405504        0             0 pvedaemon worke
[518667.100044] [ 540233]     0 540233    88120    31116   401408        0             0 pvedaemon worke
[518667.100269] [ 541499]    33 541499    88529    31948   413696        0             0 pveproxy worker
[518667.100495] [ 543118]     0 543118    88120    30675   393216        0             0 task UPID:anaxe
[518667.100721] [ 543120]     0 543120    80191    24599   372736        0             0 qm
[518667.100946] [ 933165]   106 933165    10064      704    69632        0             0 pickup
[518667.101172] [ 933167]   106 933167    10076      661    77824        0             0 qmgr
[518667.101394] [1744749]    33 1744749    89696    32394   417792        0             0 pveproxy worker
[518667.101622] [1744845]    33 1744845    88517    31602   413696        0             0 pveproxy worker
[518667.101849] [2071934]     0 2071934     3648      996    73728        0             0 sshd
[518667.102077] [2072062]     0 2072062    80190    24575   376832        0             0 qm
[518667.102306] [2608672]     0 2608672     1326      119    45056        0             0 sleep
[518667.102540] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=pvedaemon.service,mems_allowed=0,global_oom,task_memcg=/qemu.slice/100.scope,task=kvm,pid=3598882,uid=0
[518667.103055] Out of memory: Killed process 3598882 (kvm) total-vm:52200484kB, anon-rss:50131896kB, file-rss:2152kB, shmem-rss:0kB, UID:0 pgtables:98976kB oom_score_adj:0
[518667.764495] oom_reaper: reaped process 3598882 (kvm), now anon-rss:0kB, file-rss:84kB, shmem-rss:0kB

Bei der Suche nach dem Problem sind wir auf folgenden Thread gestoßen: https://forum.proxmox.com/threads/oom-reaper-reaps-even-though-there-is-ample-memory.101828/
Handelt es sich hier um das selbe Problem oder ist die Ursache in unserem Fall eine andere?

 

[Falk R.]

Wieviel RAM hat denn der Host? Nutzt ihr ZFS?
Außerdem empfehle ich den 5.15 Kernel für AMD Systeme.

 

[Dunuin]

Wenn ich es aus anderen Threads richtig in Erinnerung habe sah es so aus, als wenn der Write Cache immer weiter und weiter ansteigt, wenn die Gäste mehr schreiben, als der Storage in der Lage ist auf die Disks zu schreiben, bis dann der RAM vom Write Cache so voll ist, dass da OOM die Gäste killt.
Ich würde da also mal versuchen das Cache-Verhalten zu ändern. Also im Falle von ZFS die ARC Größe limitieren, dass da nicht bis zu 50% des kompletten Host-RAMs benutzt werden darf. Und dann auch mal bei den VMs den Cache-Mode auf "none" anstatt "write back" oder "write through" stellen.

 

[Inworks IT]

Wieviel RAM hat denn der Host? Nutzt ihr ZFS?
Außerdem empfehle ich den 5.15 Kernel für AMD Systeme.

Der Host hat 64 GB RAM und wir nutzen für unsere Pools ZFS. Die Pools sind alle ZFS mirrors.

Ist denn der 5.15er-Kernel denn stabil genug für den Produktiveinsatz?
Im Thread https://forum.proxmox.com/threads/opt-in-linux-kernel-5-15-for-proxmox-ve-7-x-available.100936/ steht der Satz "Please note that while we are trying to provide a stable experience with the Opt-in kernel 5.15...". Das "trying" beunruhigt doch etwas.

 

[Inworks IT]

Wenn ich es aus anderen Threads richtig in Erinnerung habe sah es so aus, als wenn der Write Cache immer weiter und weiter ansteigt, wenn die Gäste mehr schreiben, als der Storage in der Lage ist auf die Disks zu schreiben, bis dann der RAM vom Write Cache so voll ist, dass da OOM die Gäste killt.
Ich würde da also mal versuchen das Cache-Verhalten zu ändern. Also im Falle von ZFS die ARC Größe limitieren, dass da nicht bis zu 50% des kompletten Host-RAMs benutzt werden darf. Und dann auch mal bei den VMs den Cache-Mode auf "none" anstatt "write back" oder "write through" stellen.

Den ARC hatten wir schonmal testweise auf 10GB limitiert. Zuerst hatten wir da auch den Eindruck, daß es was geholfen hätte. Nach ein paar Testläufen war das Problem aber doch noch da.

Jetzt haben wir in der Ubuntu-VM die Disk Buffers angepaßt (nach dem Hinweis im Thread https://forum.proxmox.com/threads/io-performance-tuning.15893/). Hier liefen damit schon mehrere Testläufe erfolgreich durch.
Wir schauen mal, ob nach der Migration auf den anderen Node das dd immer noch mehrere Male erfolgreich durchläuft.

 

[Falk R.]

Der Host hat 64 GB RAM und wir nutzen für unsere Pools ZFS. Die Pools sind alle ZFS mirrors.

Ist denn der 5.15er-Kernel denn stabil genug für den Produktiveinsatz?
Im Thread https://forum.proxmox.com/threads/opt-in-linux-kernel-5-15-for-proxmox-ve-7-x-available.100936/ steht der Satz "Please note that while we are trying to provide a stable experience with the Opt-in kernel 5.15...". Das "trying" beunruhigt doch etwas.

Ich habe den 5.15er Kernel auf menen AMD schon eine ganze Zeit am laufen und die Performance ist messbar besser als mit dem 5.13.
Was die genauen Änderungen sind, weiß ich nicht, aber der neue Kernel hat schon bei manchen Problemchen geholfen.
Du kannst ja auch jederzeit wieder den 5.13 booten, es bleiben ja beide Kernel auf dem System.

 

[Inworks IT]

Ich habe den 5.15er Kernel auf menen AMD schon eine ganze Zeit am laufen und die Performance ist messbar besser als mit dem 5.13.
Was die genauen Änderungen sind, weiß ich nicht, aber der neue Kernel hat schon bei manchen Problemchen geholfen.
Du kannst ja auch jederzeit wieder den 5.13 booten, es bleiben ja beide Kernel auf dem System.

So, den 5.15er Kernel haben wir jetzt mal drauf gemacht und das dd von gestern auf heute mal in ner while-Schleife laufen lassen.
Heute morgen hat uns Promox mit nem Ausrufezeichen an der VM und dem Status io-error begrüßt.

Seitdem kommt die VM nimmer hoch.
Sobald auf die Platte zugegriffen wird, hängt die VM. Auch ein Test mit einer GParted-Live hat das selbe bewirkt.

 

[Falk R.]

Wenn eine Live CD auch fehler macht, dann liegt es nicht an der Software. Du hast dann irgendwo einen Hardwarefehler.
Ich habe den 5.15er Kernel auch auf anderen Testsystemen bei Kunden am laufen, da haben wir nirgendwo brobleme. Ist in der Regel aber Enterprise Hardware mit aktueller Firmware.

 

[Inworks IT]

Wenn eine Live CD auch fehler macht, dann liegt es nicht an der Software. Du hast dann irgendwo einen Hardwarefehler.
Ich habe den 5.15er Kernel auch auf anderen Testsystemen bei Kunden am laufen, da haben wir nirgendwo brobleme. Ist in der Regel aber Enterprise Hardware mit aktueller Firmware.

Jo. Nach einigem Rumsuchen hat sich herausgestellt, daß das ZVOL vollgelaufen war.
Wir hatten aus der Doku den Eindruck gewonnen gehabt, daß wenn man für den "VM State Storage" einen separaten Pool angibt, die Snapshots auch dort drauf landen.

 

[Inworks IT]

Hmpf, jetzt mit ausreichend viel Platz im ZVOL wird die VM immer noch durch den oom-killer beendet.
Der ZFS ARC ist auf 10 GB begrenzt

[84223.817723] kvm invoked oom-killer: gfp_mask=0xcc0(GFP_KERNEL), order=0, oom_score_adj=0
[84223.818304] CPU: 18 PID: 1784428 Comm: kvm Tainted: P           O      5.15.19-2-pve #1
[84223.818749] Hardware name: Thomas-Krenn.AG 2HE AMD Single-CPU RA1208-AIEPN Server/H12SSL-NT, BIOS 2.3 10/20/2021
[84223.819146] Call Trace:
[84223.819527]  <TASK>
[84223.819912]  dump_stack_lvl+0x4a/0x5f
[84223.820311]  dump_stack+0x10/0x12
[84223.820679]  dump_header+0x53/0x221
[84223.821053]  oom_kill_process.cold+0xb/0x10
[84223.821417]  out_of_memory+0x1dc/0x540
[84223.821820]  __alloc_pages_slowpath.constprop.0+0xd05/0xe30
[84223.822240]  ? finish_task_switch.isra.0+0xa6/0x2a0
[84223.822615]  __alloc_pages+0x308/0x320
[84223.822972]  alloc_pages+0x95/0x1a0
[84223.823322]  __get_free_pages+0x11/0x40
[84223.823670]  __pollwait+0x92/0xd0
[84223.824008]  eventfd_poll+0x2f/0x70
[84223.824341]  do_sys_poll+0x2ba/0x680
[84223.824660]  ? poll_initwait+0x40/0x40
[84223.825073]  ? __pollwait+0xd0/0xd0
[84223.825371]  ? __pollwait+0xd0/0xd0
[84223.825660]  ? __pollwait+0xd0/0xd0
[84223.825947]  ? __pollwait+0xd0/0xd0
[84223.826329]  ? __pollwait+0xd0/0xd0
[84223.826607]  ? __pollwait+0xd0/0xd0
[84223.826878]  ? __pollwait+0xd0/0xd0
[84223.827144]  ? __pollwait+0xd0/0xd0
[84223.827408]  ? __pollwait+0xd0/0xd0
[84223.827671]  __x64_sys_ppoll+0xbc/0x150
[84223.827938]  do_syscall_64+0x5c/0xc0
[84223.828198]  ? syscall_exit_to_user_mode+0x27/0x50
[84223.828457]  ? do_syscall_64+0x69/0xc0
[84223.828712]  ? exit_to_user_mode_prepare+0x8c/0x1b0
[84223.828967]  ? syscall_exit_to_user_mode+0x27/0x50
[84223.829216]  ? do_syscall_64+0x69/0xc0
[84223.829465]  ? asm_exc_page_fault+0x8/0x30
[84223.829716]  entry_SYSCALL_64_after_hwframe+0x44/0xae
[84223.829963] RIP: 0033:0x7f0071dff4f6
[84223.830212] Code: 7c 24 08 e8 ac 18 f9 ff 4c 8b 54 24 18 48 8b 74 24 10 41 b8 08 00 00 00 41 89 c1 48 8b 7c 24 08 4c 89 e2 b8 0f 01 00 00 0f 05 <48> 3d 00 f0 ff ff 77 2a 44 89 cf 89 44 24 08 e8 d6 18 f9 ff 8b 44
[84223.830737] RSP: 002b:00007fffe065d470 EFLAGS: 00000293 ORIG_RAX: 000000000000010f
[84223.831003] RAX: ffffffffffffffda RBX: 0000559044ceb230 RCX: 00007f0071dff4f6
[84223.831270] RDX: 00007fffe065d490 RSI: 000000000000005b RDI: 00005590454d2200
[84223.831538] RBP: 00007fffe065d4fc R08: 0000000000000008 R09: 0000000000000000
[84223.831795] R10: 0000000000000000 R11: 0000000000000293 R12: 00007fffe065d490
[84223.832044] R13: 0000559044ceb230 R14: 00007fffe065d500 R15: 0000000000000000
[84223.832283]  </TASK>
[84223.832531] Mem-Info:
[84223.832850] active_anon:696345 inactive_anon:12065025 isolated_anon:0
                active_file:1540 inactive_file:1238 isolated_file:0
                unevictable:37759 dirty:3 writeback:0
                slab_reclaimable:14759 slab_unreclaimable:1785006
                mapped:22977 shmem:19994 pagetables:27076 bounce:0
                kernel_misc_reclaimable:0
                free:116575 free_pcp:2448 free_cma:0
[84223.834480] Node 0 active_anon:2785380kB inactive_anon:48260100kB active_file:6160kB inactive_file:4952kB unevictable:151036kB isolated(anon):0kB isolated(file):0kB mapped:91424kB dirty:12kB writeback:0kB shmem:79976kB shmem_thp: 0kB shmem_pmdmapped: 0kB anon_thp: 41459712kB writeback_tmp:0kB kernel_stack:24724kB pagetables:108304kB all_unreclaimable? no
[84223.835433] Node 0 DMA free:11264kB min:12kB low:24kB high:36kB reserved_highatomic:0KB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB writepending:0kB present:15996kB managed:15360kB mlocked:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
[84223.836423] lowmem_reserve[]: 0 2556 64086 64086 64086
[84223.836762] Node 0 DMA32 free:248920kB min:2692kB low:5308kB high:7924kB reserved_highatomic:2048KB active_anon:40228kB inactive_anon:2375680kB active_file:0kB inactive_file:0kB unevictable:0kB writepending:0kB present:2742068kB managed:2673608kB mlocked:0kB bounce:0kB free_pcp:224kB local_pcp:224kB free_cma:0kB
[84223.837894] lowmem_reserve[]: 0 0 61530 61530 61530
[84223.838239] Node 0 Normal free:243704kB min:175464kB low:238468kB high:301472kB reserved_highatomic:2048KB active_anon:2745152kB inactive_anon:45883980kB active_file:6072kB inactive_file:4604kB unevictable:151036kB writepending:12kB present:64209920kB managed:63014072kB mlocked:151036kB bounce:0kB free_pcp:15940kB local_pcp:720kB free_cma:0kB
[84223.839319] lowmem_reserve[]: 0 0 0 0 0
[84223.839691] Node 0 DMA: 0*4kB 0*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 1*1024kB (U) 1*2048kB (M) 2*4096kB (M) = 11264kB
[84223.840500] Node 0 DMA32: 64*4kB (UM) 84*8kB (UM) 67*16kB (UMH) 56*32kB (UMH) 53*64kB (UMH) 37*128kB (UMH) 10*256kB (UMH) 6*512kB (UMH) 11*1024kB (UMH) 6*2048kB (UM) 51*4096kB (UM) = 250000kB
[84223.841378] Node 0 Normal: 1537*4kB (UMEH) 29340*8kB (UMEH) 988*16kB (UMEH) 33*32kB (MEH) 2*64kB (H) 1*128kB (H) 2*256kB (H) 0*512kB 1*1024kB (H) 0*2048kB 0*4096kB = 259524kB
[84223.842280] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=1048576kB
[84223.842764] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
[84223.843258] 26509 total pagecache pages
[84223.843775] 0 pages in swap cache
[84223.844231] Swap cache stats: add 0, delete 0, find 0/0
[84223.844688] Free swap  = 0kB
[84223.845141] Total swap = 0kB
[84223.845594] 16741996 pages RAM
[84223.846106] 0 pages HighMem/MovableOnly
[84223.846578] 316236 pages reserved
[84223.847017] 0 pages hwpoisoned
[84223.847449] Tasks state (memory values in pages):
[84223.847876] [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
[84223.848365] [   1597]     0  1597    27760      873   245760        0          -250 systemd-journal
[84223.848878] [   1704]     0  1704     5659      822    65536        0         -1000 systemd-udevd
[84223.849373] [   4691]   103  4691     1960      478    53248        0             0 rpcbind
[84223.849821] [   4721]   102  4721     2052      563    57344        0          -900 dbus-daemon
[84223.850290] [   4726]     0  4726    37728      309    57344        0             0 lxcfs
[84223.850726] [   4728]     0  4728   813207      520   458752        0             0 pve-lxc-syscall
[84223.851168] [   4729]     0  4729     1742      343    53248        0             0 ksmtuned
[84223.851643] [   4734]     0  4734    55185      863    77824        0             0 rsyslogd
[84223.852104] [   4735]     0  4735     1051      276    45056        0             0 qmeventd
[84223.852537] [   4736]     0  4736     2987      860    61440        0             0 smartd
[84223.852967] [   4786]     0  4786     5538      746    69632        0             0 systemd-logind
[84223.853396] [   4787]     0  4787      543      194    40960        0         -1000 watchdog-mux
[84223.853832] [   4791]     0  4791    59429      832    77824        0             0 zed
[84223.854321] [   5118]     0  5118     1137      271    45056        0             0 lxc-monitord
[84223.854771] [   5140]     0  5140     2873      133    61440        0             0 iscsid
[84223.855218] [   5141]     0  5141     2999     2979    61440        0           -17 iscsid
[84223.855617] [   5147]     0  5147     3323     1097    69632        0         -1000 sshd
[84223.856008] [   5156]   101  5156     4743      605    61440        0             0 chronyd
[84223.856432] [   5165]   101  5165     2695      503    61440        0             0 chronyd
[84223.856815] [   5193]     0  5193     1446      397    49152        0             0 agetty
[84223.857177] [   5244]     0  5244   163282      675   172032        0             0 rrdcached
[84223.857531] [   5263]     0  5263   137994    16612   446464        0             0 pmxcfs
[84223.857909] [   5355]     0  5355     9996      603    73728        0             0 master
[84223.858291] [   5357]   106  5357    10108      611    77824        0             0 qmgr
[84223.858622] [   5438]     0  5438   139351    41011   389120        0             0 corosync
[84223.858994] [   5439]     0  5439     1671      534    53248        0             0 cron
[84223.859306] [   5463]     0  5463    67542    21232   278528        0             0 pve-firewall
[84223.859609] [   5464]     0  5464    67223    21382   274432        0             0 pvestatd
[84223.859905] [   5468]     0  5468      576      144    45056        0             0 bpfilter_umh
[84223.860200] [   5491]     0  5491    80884    24025   344064        0             0 pvescheduler
[84223.860482] [   5636]     0  5636    86017    30313   393216        0             0 pvedaemon
[84223.860751] [   5653]     0  5653    82282    23863   356352        0             0 pve-ha-crm
[84223.861011] [   5657]    33  5657    86363    31844   417792        0             0 pveproxy
[84223.861328] [   5729]    33  5729    18523    13034   192512        0             0 spiceproxy
[84223.861571] [   5731]     0  5731    82185    23966   360448        0             0 pve-ha-lrm
[84223.861818] [   5894]     0  5894     3977     1431    73728        0             0 systemd
[84223.862080] [   5895]     0  5895    41876      846    90112        0             0 (sd-pam)
[84223.862309] [  15489]     0 15489     3613     1540    61440        0             0 sshd
[84223.862540] [  15619]     0 15619     2173      884    61440        0             0 bash
[84223.862768] [3164524]    33 3164524    18582    12406   180224        0             0 spiceproxy work
[84223.862999] [3164537]     0 3164537    20035      375    53248        0             0 pvefw-logger
[84223.863239] [ 707662]     0 707662    88148    31376   409600        0             0 pvedaemon worke
[84223.863477] [1167219]    33 1167219    88490    31632   405504        0             0 pveproxy worker
[84223.863720] [1784428]     0 1784428 14210630 12571207 102141952        0             0 kvm
[84223.864026] [1793268]     0 1793268     3614     1461    73728        0             0 sshd
[84223.864280] [1793274]     0 1793274    80209    25100   364544        0             0 qm
[84223.864528] [2774060]     0 2774060     2843     1548    57344        0             0 htop
[84223.864771] [1919279]     0 1919279    88118    30935   409600        0             0 pvedaemon worke
[84223.865012] [1069959]    33 1069959    88336    31399   405504        0             0 pveproxy worker
[84223.865254] [2515976]    33 2515976    88336    31622   405504        0             0 pveproxy worker
[84223.865494] [3266286]   106 3266286    10064      666    69632        0             0 pickup
[84223.865743] [1398593]     0 1398593    86086    30414   393216        0             0 pvedaemon worke
[84223.866018] [2565849]     0 2565849     1326      106    53248        0             0 sleep
[84223.866271] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=qemu.slice,mems_allowed=0,global_oom,task_memcg=/qemu.slice/100.scope,task=kvm,pid=1784428,uid=0
[84223.866891] Out of memory: Killed process 1784428 (kvm) total-vm:56842520kB, anon-rss:50282652kB, file-rss:2176kB, shmem-rss:0kB, UID:0 pgtables:99748kB oom_score_adj:0
[84224.408163] oom_reaper: reaped process 1784428 (kvm), now anon-rss:0kB, file-rss:132kB, shmem-rss:0kB

Wir testen jetzt mal, ob das irgendwie speziell mit dd zusammenhängt oder ob ein Tool wie bonnie++ das Verhalten auch provoziert.

 

[Dunuin]

Jo. Nach einigem Rumsuchen hat sich herausgestellt, daß das ZVOL vollgelaufen war.
Wir hatten aus der Doku den Eindruck gewonnen gehabt, daß wenn man für den "VM State Storage" einen separaten Pool angibt, die Snapshots auch dort drauf landen.

Snapshots sind technisch bedingt immer teil des ZFS Pools auf dem die Zvols/Datasets liegen von denen man ein Snapshot erstellt. Im VM State Storage, der durchaus auch auf einem anderen Pool liegen darf, werden nur die RAM Dumps der VMs gespeichert, sofern man bei Snapshot-Erstellung sagt, dass da auch der RAM gespeichert werden soll, damit man in eine laufende VM zurückrollen kann.

 

[Inworks IT]

So, nachdem wir jetzt den Arbeitsspeicher der VM auf 32 GB reduziert haben, tritt das Problem nicht mehr auf.
Wir können beliebig I/O verursachen und die VM wird nie gekillt.
Eine Warnung im Webinterface wäre daher unserer Auffassung nach sinnvoll, sobald ZFS eingesetzt wird und der VM zu viel Arbeitsspeicher zugeteilt wird.

Nach dem ganzen Galama müssen wir jetzt sagen: im jetzigen Zustand ist die Oberfläche mehr eine Schönwetter-App.
Sie versagt häufig, wenn etwas nicht ganz nach Plan läuft. Erzeugt ein Vorgang ein unerwartetes Resultat, reagiert sie mit generischen Fehlermeldungen oder verweigert sich ganz.
In dem Bereich hat Proxmox noch gewaltiges Verbesserungspotential.

 

[Falk R.]

Also wenn man die Technik dahinter nicht verstanden hat, sollte man nicht so meckern. Ich habe auch noch nicht den ganzen Background verstanden, aber die Webgui ist deutlich besser als bei anderen Lösungen.
ZFS bringt ganz eigene Phänomene und Verhalten mit, da lese ich mich auch immer mehr ein. So vielfältig wie ZFS ist, kann man gar nicht jedes Szenario in eine GUI packen.

My 2 cents.

 

[itNGO]

So, nachdem wir jetzt den Arbeitsspeicher der VM auf 32 GB reduziert haben, tritt das Problem nicht mehr auf.
Wir können beliebig I/O verursachen und die VM wird nie gekillt.
Eine Warnung im Webinterface wäre daher unserer Auffassung nach sinnvoll, sobald ZFS eingesetzt wird und der VM zu viel Arbeitsspeicher zugeteilt wird.

Nach dem ganzen Galama müssen wir jetzt sagen: im jetzigen Zustand ist die Oberfläche mehr eine Schönwetter-App.
Sie versagt häufig, wenn etwas nicht ganz nach Plan läuft. Erzeugt ein Vorgang ein unerwartetes Resultat, reagiert sie mit generischen Fehlermeldungen oder verweigert sich ganz.
In dem Bereich hat Proxmox noch gewaltiges Verbesserungspotential.

Ein entsprechender Consultant oder ein it-Service-Unternehmen das Proxmox supported hätte dich vor der IBN wohl auf dieses Verhalten und etwaige Grenzen hingewiesen. Außerdem hast du ja eingangs selbst geschrieben... "ihr testet gerade" Tests sollten doch auch dafür da sein, die Grenzen auszuloten.... wenn dir etwas nun fehlend erscheint.... Feature-Request, Bug-Report oder selbst coden..... Meckern ist anders als konstruktive Kritik leider nicht hilfreich.... für niemanden....