Hohe load/Kernel Oops/Reboot unmöglich

marte · Jan 9, 2020

Hallo,

zwei meiner drei Proxmox-Nodes in einem kleinen drei-Node-Cluster haben ein seltsames Problem. Unabhängig voneinander (> 7 Tage Abstand) und nach einer Uptime > 30 Tagen stieg bei beiden die Last sehr hoch an (>70; ~1 normal), das Webinterface reagierte nicht mehr, via Kommandozeile war ein Zugriff kaum noch möglich, eine Reaktion auf Reboot via Web-IF (als noch funktionierend) oder per Kommandozeile erfolgte nicht. Ein lokal angeschlossenes Keyboard wurde zwar erkannt, liess sich aber nicht mehr nutzen.

Seltsamerweise liefen die VMs problemlos weiter, Container hingegen reagierten (wenig überraschend) nicht mehr.

Es handelt sich um eine im Wesentlichen "Standard-Proxmox"-Installation, up-to-date. System und Swap sind auf LVM, die Maschinen (größtenteils) auf zfs.

Code:

proxmox-ve: 6.1-2 (running kernel: 5.3.13-1-pve)
pve-manager: 6.1-5 (running version: 6.1-5/9bf06119)
pve-kernel-5.3: 6.1-1
pve-kernel-helper: 6.1-1
pve-kernel-5.0: 6.0-11
pve-kernel-4.15: 5.4-6
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-5.3.10-1-pve: 5.3.10-1
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-4.15.18-18-pve: 4.15.18-44
pve-kernel-4.15.18-12-pve: 4.15.18-36
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.2-pve4
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.13-pve1
libpve-access-control: 6.0-5
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-9
libpve-guest-common-perl: 3.0-3
libpve-http-server-perl: 3.0-3
libpve-storage-perl: 6.1-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve3
lxc-pve: 3.2.1-1
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.1-1
pve-cluster: 6.1-2
pve-container: 3.0-15
pve-docs: 6.1-3
pve-edk2-firmware: 2.20191127-1
pve-firewall: 4.0-9
pve-firmware: 3.0-4
pve-ha-manager: 3.0-8
pve-i18n: 2.0-3
pve-qemu-kvm: 4.1.1-2
pve-xtermjs: 3.13.2-1
qemu-server: 6.1-4
smartmontools: 7.0-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.2-pve2

Zum Zeitpunkt des Beginns des Lastanstiegs tauchet folgende Meldung im Log auf:

Code:

Jan  6 19:45:56 pve1 kernel: [2773172.637678] BUG: unable to handle page fault for address: 0000000000001014
Jan  6 19:45:56 pve1 kernel: [2773172.637883] #PF: supervisor read access in kernel mode
Jan  6 19:45:56 pve1 kernel: [2773172.638033] #PF: error_code(0x0000) - not-present page
Jan  6 19:45:56 pve1 kernel: [2773172.638183] PGD 0 P4D 0
Jan  6 19:45:56 pve1 kernel: [2773172.638263] Oops: 0000 [#1] SMP PTI
Jan  6 19:45:56 pve1 kernel: [2773172.638368] CPU: 11 PID: 20462 Comm: kworker/11:2 Tainted: P        W IO      5.3.10-1-pve #1
Jan  6 19:45:56 pve1 kernel: [2773172.638614] Hardware name: HP ProLiant DL360 G7, BIOS P68 08/16/2015
Jan  6 19:45:56 pve1 kernel: [2773172.638803] Workqueue: events key_garbage_collector
Jan  6 19:45:56 pve1 kernel: [2773172.638947] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan  6 19:45:56 pve1 kernel: [2773172.639105] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan  6 19:45:56 pve1 kernel: [2773172.639634] RSP: 0018:ffffb307f5bc3db8 EFLAGS: 00010282
Jan  6 19:45:56 pve1 kernel: [2773172.639786] RAX: 0000000000001000 RBX: ffffa0eacc931380 RCX: ffffb307f5bc3e20
Jan  6 19:45:56 pve1 kernel: [2773172.639992] RDX: ffffffff9bb0ebb0 RSI: ffffb307f5bc3e20 RDI: ffffa0e964f04100
Jan  6 19:45:56 pve1 kernel: [2773172.640198] RBP: ffffb307f5bc3db8 R08: 0000000000000000 R09: 000073746e657665
Jan  6 19:45:56 pve1 kernel: [2773172.640405] R10: 8080808080808080 R11: 0000000000000000 R12: ffffa0eacc931410
Jan  6 19:45:56 pve1 kernel: [2773172.640611] R13: ffffffff9bc27de0 R14: ffffa0fffdfbdf00 R15: ffffa0eacc931408
Jan  6 19:45:56 pve1 kernel: [2773172.640818] FS:  0000000000000000(0000) GS:ffffa0fcd7940000(0000) knlGS:0000000000000000
Jan  6 19:45:56 pve1 kernel: [2773172.641051] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan  6 19:45:56 pve1 kernel: [2773172.641219] CR2: 0000000000001014 CR3: 00000021ca952006 CR4: 00000000000226e0
Jan  6 19:45:56 pve1 kernel: [2773172.641425] Call Trace:
Jan  6 19:45:56 pve1 kernel: [2773172.641504]  assoc_array_subtree_iterate+0x5c/0x100
Jan  6 19:45:56 pve1 kernel: [2773172.641647]  assoc_array_iterate+0x19/0x20
Jan  6 19:45:56 pve1 kernel: [2773172.641769]  keyring_gc+0x43/0x80
Jan  6 19:45:56 pve1 kernel: [2773172.641869]  key_garbage_collector+0x35a/0x400
Jan  6 19:45:56 pve1 kernel: [2773172.642002]  process_one_work+0x20f/0x3d0
Jan  6 19:45:56 pve1 kernel: [2773172.642122]  worker_thread+0x34/0x400
Jan  6 19:45:56 pve1 kernel: [2773172.642233]  kthread+0x120/0x140
Jan  6 19:45:56 pve1 kernel: [2773172.642331]  ? process_one_work+0x3d0/0x3d0
Jan  6 19:45:56 pve1 kernel: [2773172.642455]  ? __kthread_parkme+0x70/0x70
Jan  6 19:45:56 pve1 kernel: [2773172.642577]  ret_from_fork+0x35/0x40
Jan  6 19:45:56 pve1 kernel: [2773172.642685] Modules linked in: tcp_diag inet_diag binfmt_misc veth rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp iptable_filter bpfilter 8021q garp mrp softdog nfnetlink_log nfnetlink intel_powerclamp coretemp kvm_intel kvm irqbypass ipmi_ssif crct10dif_pclmul crc32_pclmul ghash_clmulni_intel zfs(PO) aesni_intel radeon aes_x86_64 crypto_simd zunicode(PO) zlua(PO) cryptd zavl(PO) ttm drm_kms_helper glue_helper icp(PO) drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect ipmi_si sysimgblt ipmi_devintf i7core_edac ipmi_msghandler intel_cstate input_leds hpilo serio_raw pcspkr acpi_power_meter mac_hid zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi scsi_transport_iscsi sunrpc ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c hid_generic gpio_ich usbkbd
Jan  6 19:45:56 pve1 kernel: [2773172.642724]  usbhid pata_acpi psmouse hid mptsas mptscsih lpc_ich mptbase hpsa scsi_transport_sas bnx2
Jan  6 19:45:56 pve1 kernel: [2773172.676322] CR2: 0000000000001014
Jan  6 19:45:56 pve1 kernel: [2773172.684394] ---[ end trace 20c5f0ffb65816aa ]---
Jan  6 19:45:56 pve1 kernel: [2773172.692428] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan  6 19:45:56 pve1 kernel: [2773172.700526] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan  6 19:45:56 pve1 kernel: [2773172.717527] RSP: 0018:ffffb307f5bc3db8 EFLAGS: 00010282
Jan  6 19:45:56 pve1 kernel: [2773172.726023] RAX: 0000000000001000 RBX: ffffa0eacc931380 RCX: ffffb307f5bc3e20
Jan  6 19:45:56 pve1 kernel: [2773172.734539] RDX: ffffffff9bb0ebb0 RSI: ffffb307f5bc3e20 RDI: ffffa0e964f04100
Jan  6 19:45:56 pve1 kernel: [2773172.742971] RBP: ffffb307f5bc3db8 R08: 0000000000000000 R09: 000073746e657665
Jan  6 19:45:56 pve1 kernel: [2773172.751318] R10: 8080808080808080 R11: 0000000000000000 R12: ffffa0eacc931410
Jan  6 19:45:56 pve1 kernel: [2773172.759679] R13: ffffffff9bc27de0 R14: ffffa0fffdfbdf00 R15: ffffa0eacc931408
Jan  6 19:45:56 pve1 kernel: [2773172.768036] FS:  0000000000000000(0000) GS:ffffa0fcd7940000(0000) knlGS:0000000000000000
Jan  6 19:45:56 pve1 kernel: [2773172.776553] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan  6 19:45:56 pve1 kernel: [2773172.784996] CR2: 0000000000001014 CR3: 00000021ca952006 CR4: 00000000000226e0

Wenngleich die Auswirkungen ähnlich sind, scheint es sich nicht um den zswap-Bug zu handeln, da kein swap auf zfs liegt.

Arbeitsspeicher-Auslastung war stets ok (das System hat 144 GB; weniger als 100 GB waren zum Zeitpunkt des Lastanstiegs genutzt).

Während des Lastanstiegs häuften sich systemd-Zombie-Prozesse ([<defunct>]).

Das System liess sich nur mittels hard-Reboot wiederbeleben, was kein gutes Gefühl hinterlässt.

Über jede Idee wäre ich dankbar!

Hinweis: Crosspost von Reddit, da dort bisher keine Antworten.

wolfgang · Jan 10, 2020

Hi,

ist der Fehler auch mit einem Älteren Kernel aufgetaucht?
Bitte versuch mal wenn du es nicht eh schon hast das Mikrocode packte zu installieren.
https://wiki.debian.org/Microcode

marte · Jan 10, 2020

Hi,

danke für die Antwort. Das Paket intel-microcode ist auf beiden Maschinen installiert.
Die erste hat zwei Intel Xeon X5660, die zweite zwei Intel Xeon E5649. Mit einem früheren Kernel gab es keine Probleme.

Bin echt ein wenig ratlos.

marte · Jan 11, 2020

und, es ist wieder passiert:

Code:

Jan 11 03:09:22 pve3 kernel: [410188.888164] BUG: kernel NULL pointer dereference, address: 0000000000000014
Jan 11 03:09:22 pve3 kernel: [410188.888372] #PF: supervisor read access in kernel mode
Jan 11 03:09:22 pve3 kernel: [410188.888521] #PF: error_code(0x0000) - not-present page
Jan 11 03:09:22 pve3 kernel: [410188.888670] PGD 0 P4D 0
Jan 11 03:09:22 pve3 kernel: [410188.888746] Oops: 0000 [#1] SMP PTI
Jan 11 03:09:22 pve3 kernel: [410188.888850] CPU: 3 PID: 27020 Comm: kworker/3:3 Tainted: P        W IO      5.3.13-1-pve #1
Jan 11 03:09:22 pve3 kernel: [410188.889092] Hardware name: HP ProLiant DL360 G7, BIOS P68 08/16/2015
Jan 11 03:09:22 pve3 kernel: [410188.889281] Workqueue: events key_garbage_collector
Jan 11 03:09:22 pve3 kernel: [410188.889424] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan 11 03:09:22 pve3 kernel: [410188.889581] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan 11 03:09:22 pve3 kernel: [410188.890108] RSP: 0018:ffffa92806be3db8 EFLAGS: 00010246
Jan 11 03:09:22 pve3 kernel: [410188.890259] RAX: 0000000000000000 RBX: ffff8e985912c840 RCX: ffffa92806be3e20
Jan 11 03:09:22 pve3 kernel: [410188.890464] RDX: 0000000000000000 RSI: ffffa92806be3e20 RDI: ffff8e98732f5d00
Jan 11 03:09:22 pve3 kernel: [410188.890669] RBP: ffffa92806be3db8 R08: 0000000000000000 R09: 000073746e657665
Jan 11 03:09:22 pve3 kernel: [410188.890873] R10: 8080808080808080 R11: 0000000000000000 R12: ffff8e985912c8d0
Jan 11 03:09:22 pve3 kernel: [410188.891078] R13: ffffffff8d227dd0 R14: ffff8e98732f5d00 R15: ffff8e985912c850
Jan 11 03:09:22 pve3 kernel: [410188.891283] FS:  0000000000000000(0000) GS:ffff8e987b840000(0000) knlGS:0000000000000000
Jan 11 03:09:22 pve3 kernel: [410188.891513] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan 11 03:09:22 pve3 kernel: [410188.891679] CR2: 0000000000000014 CR3: 00000010d0fa0001 CR4: 00000000000226e0
Jan 11 03:09:22 pve3 kernel: [410188.891884] Call Trace:
Jan 11 03:09:22 pve3 kernel: [410188.891963]  assoc_array_subtree_iterate+0x5c/0x100
Jan 11 03:09:22 pve3 kernel: [410188.892105]  assoc_array_iterate+0x19/0x20
Jan 11 03:09:22 pve3 kernel: [410188.892226]  keyring_gc+0x43/0x80
Jan 11 03:09:22 pve3 kernel: [410188.892324]  key_garbage_collector+0x35a/0x400
Jan 11 03:09:22 pve3 kernel: [410188.892458]  process_one_work+0x20f/0x3d0
Jan 11 03:09:22 pve3 kernel: [410188.892576]  worker_thread+0x34/0x400
Jan 11 03:09:22 pve3 kernel: [410188.892686]  kthread+0x120/0x140
Jan 11 03:09:22 pve3 kernel: [410188.892781]  ? process_one_work+0x3d0/0x3d0
Jan 11 03:09:22 pve3 kernel: [410188.892904]  ? __kthread_parkme+0x70/0x70
Jan 11 03:09:22 pve3 kernel: [410188.893025]  ret_from_fork+0x35/0x40
Jan 11 03:09:22 pve3 kernel: [410188.893130] Modules linked in: joydev usbmouse binfmt_misc veth rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp iptable_filter bpfilter 8021q garp mrp softdog nfnetlink_log nfnetlink intel_powerclamp coretemp kvm_intel kvm irqbypass crct10dif_pclmul crc32_pclmul ghash_clmulni_intel ipmi_ssif zfs(PO) aesni_intel aes_x86_64 zunicode(PO) crypto_simd zlua(PO) cryptd zavl(PO) glue_helper icp(PO) radeon ttm drm_kms_helper drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect sysimgblt i7core_edac input_leds hpilo mac_hid intel_cstate acpi_power_meter pcspkr ipmi_si serio_raw ipmi_devintf ipmi_msghandler zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi sunrpc scsi_transport_iscsi ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c hid_generic usbkbd gpio_ich
Jan 11 03:09:22 pve3 kernel: [410188.893170]  usbhid hpsa psmouse hid pata_acpi lpc_ich bnx2 scsi_transport_sas
Jan 11 03:09:22 pve3 kernel: [410188.926663] CR2: 0000000000000014
Jan 11 03:09:22 pve3 kernel: [410188.934657] ---[ end trace b2763249838f498e ]---
Jan 11 03:09:22 pve3 kernel: [410188.942609] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan 11 03:09:22 pve3 kernel: [410188.950621] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan 11 03:09:22 pve3 kernel: [410188.967454] RSP: 0018:ffffa92806be3db8 EFLAGS: 00010246
Jan 11 03:09:22 pve3 kernel: [410188.975869] RAX: 0000000000000000 RBX: ffff8e985912c840 RCX: ffffa92806be3e20
Jan 11 03:09:22 pve3 kernel: [410188.984304] RDX: 0000000000000000 RSI: ffffa92806be3e20 RDI: ffff8e98732f5d00
Jan 11 03:09:22 pve3 kernel: [410188.992619] RBP: ffffa92806be3db8 R08: 0000000000000000 R09: 000073746e657665
Jan 11 03:09:22 pve3 kernel: [410189.000865] R10: 8080808080808080 R11: 0000000000000000 R12: ffff8e985912c8d0
Jan 11 03:09:22 pve3 kernel: [410189.009138] R13: ffffffff8d227dd0 R14: ffff8e98732f5d00 R15: ffff8e985912c850
Jan 11 03:09:22 pve3 kernel: [410189.017397] FS:  0000000000000000(0000) GS:ffff8e987b840000(0000) knlGS:0000000000000000
Jan 11 03:09:22 pve3 kernel: [410189.025810] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan 11 03:09:22 pve3 kernel: [410189.034162] CR2: 0000000000000014 CR3: 00000010d0fa0001 CR4: 00000000000226e0

An der Last oder dem Speicher kanns nicht liegen,,,

tom · Jan 11, 2020

marte said:
Hi,

danke für die Antwort. Das Paket intel-microcode ist auf beiden Maschinen installiert.
Die erste hat zwei Intel Xeon X5660, die zweite zwei Intel Xeon E5649. Mit einem früheren Kernel gab es keine Probleme.

Bin echt ein wenig ratlos.

Beide CPUs sind uralt, X5660 wurde von 10 Jahren vorgestellt, der E5649 vor 9. Unter Umständen liefert hier Intel keine oder keine gut getesteten Microcodes.

Ich persönlich verwende nur ungern Serverhardware, wenn sie älter als 5 Jahre ist. Performance/Stromverbrauch/TCO solcher alter CPUs kann mit aktueller Hardware nie mithalten.

marte · Jan 15, 2020

Hallo Tom,

tom said:
Beide CPUs sind uralt, X5660 wurde von 10 Jahren vorgestellt, der E5649 vor 9. Unter Umständen liefert hier Intel keine oder keine gut getesteten Microcodes.

Ich persönlich verwende nur ungern Serverhardware, wenn sie älter als 5 Jahre ist. Performance/Stromverbrauch/TCO solcher alter CPUs kann mit aktueller Hardware nie mithalten.

ja, das verstehe ich. Letztendlich sind die Systeme aber noch viel im Einsatz, und gerade im privaten Umfeld zumindest für mich vollkommen ausreichend. Komisch ist halt, dass es vorher nie irgendwelche Probleme ab, und nun plötzlich gleich auf zwei von drei Systemen. Vor dem aktuellen Kernel liefen alle Rechner über sechs Monate ohne irgendwelche Seltsamkeiten.

Gruß,
Martin

wolfgang · Jan 16, 2020

Dann würde ich dir empfehlen als temporären workaround den alten Kernel zu verwenden.
Und später wieder mal eine neueren Kernel probieren.

zeha · Jan 26, 2020

Wir sehen auf mehreren Systemen (mit akt. HW) und 5.3.13-1-pve den gleichen Fehler. Ist mit 5.0.18-1-pve nicht aufgefallen, kann leider nicht viel zu den Versionen dazwischen sagen.

wolfgang · Jan 27, 2020

Hallo zeha,

was für eine HW wird verendet? und welche genaue Proxmox VE Version verwendest du?

zeha · Jan 29, 2020

Hallo @wolfgang,

Hardware sind HPE ProLiant DL380 Gen10 server, mit Xeon(R) Gold 6142M CPUs, kernel ist 5.3.13-1-pve.

PVE Version 6.1-5.

Chris.

zeha · Jan 29, 2020

Solltet ihr den Thread im englischen Forum noch nicht gesehen haben, da sind noch ein paar mehr: https://forum.proxmox.com/threads/kernel-oops-with-kworker-getting-tainted.63116/

zeha · Feb 3, 2020

Hatten heute wieder so ein Problem, diesmal hab ich ein pveversion -v dazu:

Code:

[303255.229324] BUG: kernel NULL pointer dereference, address: 0000000000000014
[303255.229373] #PF: supervisor read access in kernel mode
[303255.229388] #PF: error_code(0x0000) - not-present page
[303255.229401] PGD 0 P4D 0
[303255.229410] Oops: 0000 [#1] SMP PTI
[303255.229421] CPU: 22 PID: 44752 Comm: kworker/22:2 Tainted: P           O      5.3.13-1-pve #1
[303255.229441] Hardware name: HPE ProLiant DL380 Gen10/ProLiant DL380 Gen10, BIOS U30 11/13/2019
[303255.229465] Workqueue: events key_garbage_collector
[303255.229480] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[303255.229495] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55
[303255.229536] RSP: 0018:ffffb5c15e2abdb8 EFLAGS: 00010246
[303255.229549] RAX: 0000000000000000 RBX: ffff924de7bc55c0 RCX: ffffb5c15e2abe20
[303255.229565] RDX: 0000000000000000 RSI: ffffb5c15e2abe20 RDI: ffff9242c2b3a900
[303255.229582] RBP: ffffb5c15e2abdb8 R08: 0000000000000000 R09: 000073746e657665
[303255.229598] R10: 8080808080808080 R11: ffffffff8945d518 R12: ffff924de7bc5650
[303255.229615] R13: ffffffff88227dd0 R14: ffff9242c2b3a900 R15: ffff924de7bc55d0
[303255.230290] FS:  0000000000000000(0000) GS:ffff924e3f380000(0000) knlGS:0000000000000000
[303255.230916] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[303255.231473] CR2: 0000000000000014 CR3: 000000ad7bc0a005 CR4: 00000000007626e0
[303255.232028] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[303255.232567] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[303255.233113] PKRU: 55555554
[303255.233631] Call Trace:
[303255.234171]  assoc_array_subtree_iterate+0x5c/0x100
[303255.234717]  assoc_array_iterate+0x19/0x20
[303255.235245]  keyring_gc+0x43/0x80
[303255.235752]  key_garbage_collector+0x35a/0x400
[303255.236259]  process_one_work+0x20f/0x3d0
[303255.236761]  worker_thread+0x34/0x400
[303255.237269]  kthread+0x120/0x140
[303255.237748]  ? process_one_work+0x3d0/0x3d0
[303255.238231]  ? __kthread_parkme+0x70/0x70
[303255.238725]  ret_from_fork+0x35/0x40
[303255.239195] Modules linked in: rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp binfmt_misc iptable_filter bpfilter scsi_transport_iscsi openvswitch nsh nf_conncount nf_nat cpuid softdog nfnetlink_log nfnetlink dm_service_time intel_rapl_msr intel_rapl_common isst_if_common nfit x86_pkg_temp_thermal intel_powerclamp coretemp kvm_intel kvm irqbypass crct10dif_pclmul crc32_pclmul ghash_clmulni_intel aesni_intel aes_x86_64 crypto_simd cryptd ipmi_ssif glue_helper intel_cstate intel_rapl_perf zfs(PO) zunicode(PO) zlua(PO) zavl(PO) icp(PO) mgag200 drm_vram_helper ttm drm_kms_helper drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect sysimgblt mei_me hpilo ioatdma mei dca mac_hid ipmi_si ipmi_devintf acpi_tad ipmi_msghandler zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ip_vs nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 sunrpc ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq
[303255.239231]  dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c dm_multipath scsi_dh_rdac scsi_dh_emc scsi_dh_alua ses enclosure lpfc smartpqi scsi_transport_sas nvmet_fc nvmet nvme_fc uas nvme_fabrics i40e scsi_transport_fc usb_storage lpc_ich tg3 wmi
[303255.245023] CR2: 0000000000000014
[303255.245587] ---[ end trace 91259fa55d094ab4 ]---
[303255.357227] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[303255.357826] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55
[303255.358996] RSP: 0018:ffffb5c15e2abdb8 EFLAGS: 00010246
[303255.359588] RAX: 0000000000000000 RBX: ffff924de7bc55c0 RCX: ffffb5c15e2abe20
[303255.360176] RDX: 0000000000000000 RSI: ffffb5c15e2abe20 RDI: ffff9242c2b3a900
[303255.360771] RBP: ffffb5c15e2abdb8 R08: 0000000000000000 R09: 000073746e657665
[303255.361363] R10: 8080808080808080 R11: ffffffff8945d518 R12: ffff924de7bc5650
[303255.361938] R13: ffffffff88227dd0 R14: ffff9242c2b3a900 R15: ffff924de7bc55d0
[303255.362529] FS:  0000000000000000(0000) GS:ffff924e3f380000(0000) knlGS:0000000000000000
[303255.363101] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[303255.363674] CR2: 0000000000000014 CR3: 000000ad7bc0a005 CR4: 00000000007626e0
[303255.364232] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[303255.364780] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[303255.365337] PKRU: 55555554

Code:

proxmox-ve: 6.1-2 (running kernel: 5.3.13-1-pve)
pve-manager: 6.1-5 (running version: 6.1-5/9bf06119)
pve-kernel-5.3: 6.1-1
pve-kernel-helper: 6.1-1
pve-kernel-5.0: 6.0-11
pve-kernel-4.15: 5.4-8
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-5.3.10-1-pve: 5.3.10-1
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-5.0.21-4-pve: 5.0.21-9
pve-kernel-5.0.21-3-pve: 5.0.21-7
pve-kernel-5.0.21-2-pve: 5.0.21-7
pve-kernel-5.0.21-1-pve: 5.0.21-2
pve-kernel-4.15.18-20-pve: 4.15.18-46
pve-kernel-4.13.13-5-pve: 4.13.13-38
pve-kernel-4.13.13-2-pve: 4.13.13-33
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.2-pve4
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.13-pve1
libpve-access-control: 6.0-5
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-10
libpve-guest-common-perl: 3.0-3
libpve-http-server-perl: 3.0-3
libpve-storage-perl: 6.1-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve3
lxc-pve: 3.2.1-1
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
openvswitch-switch: 2.10.0+2018.08.28+git.8ca7c82b7d+ds1-12+deb10u1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.1-2
pve-cluster: 6.1-3
pve-container: 3.0-16
pve-docs: 6.1-3
pve-edk2-firmware: 2.20191127-1
pve-firewall: 4.0-9
pve-firmware: 3.0-4
pve-ha-manager: 3.0-8
pve-i18n: 2.0-3
pve-qemu-kvm: 4.1.1-2
pve-xtermjs: 3.13.2-1
qemu-server: 6.1-4
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.2-pve2

pizza · Feb 11, 2020

NFS4 problem?

Search

Search

Hohe load/Kernel Oops/Reboot unmöglich

marte

Member

wolfgang

Proxmox Retired Staff

marte

Member

marte

Member

Attachments

tom

Proxmox Staff Member

marte

Member

wolfgang

Proxmox Retired Staff

zeha

Renowned Member

wolfgang

Proxmox Retired Staff

zeha

Renowned Member

zeha

Renowned Member

zeha

Renowned Member

pizza

Renowned Member