Hohe load/Kernel Oops/Reboot unmöglich

marte

New Member
Jun 28, 2019
8
0
1
42
Hallo,

zwei meiner drei Proxmox-Nodes in einem kleinen drei-Node-Cluster haben ein seltsames Problem. Unabhängig voneinander (> 7 Tage Abstand) und nach einer Uptime > 30 Tagen stieg bei beiden die Last sehr hoch an (>70; ~1 normal), das Webinterface reagierte nicht mehr, via Kommandozeile war ein Zugriff kaum noch möglich, eine Reaktion auf Reboot via Web-IF (als noch funktionierend) oder per Kommandozeile erfolgte nicht. Ein lokal angeschlossenes Keyboard wurde zwar erkannt, liess sich aber nicht mehr nutzen.

Seltsamerweise liefen die VMs problemlos weiter, Container hingegen reagierten (wenig überraschend) nicht mehr.

Es handelt sich um eine im Wesentlichen "Standard-Proxmox"-Installation, up-to-date. System und Swap sind auf LVM, die Maschinen (größtenteils) auf zfs.

Code:
proxmox-ve: 6.1-2 (running kernel: 5.3.13-1-pve)
pve-manager: 6.1-5 (running version: 6.1-5/9bf06119)
pve-kernel-5.3: 6.1-1
pve-kernel-helper: 6.1-1
pve-kernel-5.0: 6.0-11
pve-kernel-4.15: 5.4-6
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-5.3.10-1-pve: 5.3.10-1
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-4.15.18-18-pve: 4.15.18-44
pve-kernel-4.15.18-12-pve: 4.15.18-36
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.2-pve4
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.13-pve1
libpve-access-control: 6.0-5
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-9
libpve-guest-common-perl: 3.0-3
libpve-http-server-perl: 3.0-3
libpve-storage-perl: 6.1-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve3
lxc-pve: 3.2.1-1
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.1-1
pve-cluster: 6.1-2
pve-container: 3.0-15
pve-docs: 6.1-3
pve-edk2-firmware: 2.20191127-1
pve-firewall: 4.0-9
pve-firmware: 3.0-4
pve-ha-manager: 3.0-8
pve-i18n: 2.0-3
pve-qemu-kvm: 4.1.1-2
pve-xtermjs: 3.13.2-1
qemu-server: 6.1-4
smartmontools: 7.0-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.2-pve2
Zum Zeitpunkt des Beginns des Lastanstiegs tauchet folgende Meldung im Log auf:

Code:
Jan  6 19:45:56 pve1 kernel: [2773172.637678] BUG: unable to handle page fault for address: 0000000000001014
Jan  6 19:45:56 pve1 kernel: [2773172.637883] #PF: supervisor read access in kernel mode
Jan  6 19:45:56 pve1 kernel: [2773172.638033] #PF: error_code(0x0000) - not-present page
Jan  6 19:45:56 pve1 kernel: [2773172.638183] PGD 0 P4D 0
Jan  6 19:45:56 pve1 kernel: [2773172.638263] Oops: 0000 [#1] SMP PTI
Jan  6 19:45:56 pve1 kernel: [2773172.638368] CPU: 11 PID: 20462 Comm: kworker/11:2 Tainted: P        W IO      5.3.10-1-pve #1
Jan  6 19:45:56 pve1 kernel: [2773172.638614] Hardware name: HP ProLiant DL360 G7, BIOS P68 08/16/2015
Jan  6 19:45:56 pve1 kernel: [2773172.638803] Workqueue: events key_garbage_collector
Jan  6 19:45:56 pve1 kernel: [2773172.638947] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan  6 19:45:56 pve1 kernel: [2773172.639105] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan  6 19:45:56 pve1 kernel: [2773172.639634] RSP: 0018:ffffb307f5bc3db8 EFLAGS: 00010282
Jan  6 19:45:56 pve1 kernel: [2773172.639786] RAX: 0000000000001000 RBX: ffffa0eacc931380 RCX: ffffb307f5bc3e20
Jan  6 19:45:56 pve1 kernel: [2773172.639992] RDX: ffffffff9bb0ebb0 RSI: ffffb307f5bc3e20 RDI: ffffa0e964f04100
Jan  6 19:45:56 pve1 kernel: [2773172.640198] RBP: ffffb307f5bc3db8 R08: 0000000000000000 R09: 000073746e657665
Jan  6 19:45:56 pve1 kernel: [2773172.640405] R10: 8080808080808080 R11: 0000000000000000 R12: ffffa0eacc931410
Jan  6 19:45:56 pve1 kernel: [2773172.640611] R13: ffffffff9bc27de0 R14: ffffa0fffdfbdf00 R15: ffffa0eacc931408
Jan  6 19:45:56 pve1 kernel: [2773172.640818] FS:  0000000000000000(0000) GS:ffffa0fcd7940000(0000) knlGS:0000000000000000
Jan  6 19:45:56 pve1 kernel: [2773172.641051] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan  6 19:45:56 pve1 kernel: [2773172.641219] CR2: 0000000000001014 CR3: 00000021ca952006 CR4: 00000000000226e0
Jan  6 19:45:56 pve1 kernel: [2773172.641425] Call Trace:
Jan  6 19:45:56 pve1 kernel: [2773172.641504]  assoc_array_subtree_iterate+0x5c/0x100
Jan  6 19:45:56 pve1 kernel: [2773172.641647]  assoc_array_iterate+0x19/0x20
Jan  6 19:45:56 pve1 kernel: [2773172.641769]  keyring_gc+0x43/0x80
Jan  6 19:45:56 pve1 kernel: [2773172.641869]  key_garbage_collector+0x35a/0x400
Jan  6 19:45:56 pve1 kernel: [2773172.642002]  process_one_work+0x20f/0x3d0
Jan  6 19:45:56 pve1 kernel: [2773172.642122]  worker_thread+0x34/0x400
Jan  6 19:45:56 pve1 kernel: [2773172.642233]  kthread+0x120/0x140
Jan  6 19:45:56 pve1 kernel: [2773172.642331]  ? process_one_work+0x3d0/0x3d0
Jan  6 19:45:56 pve1 kernel: [2773172.642455]  ? __kthread_parkme+0x70/0x70
Jan  6 19:45:56 pve1 kernel: [2773172.642577]  ret_from_fork+0x35/0x40
Jan  6 19:45:56 pve1 kernel: [2773172.642685] Modules linked in: tcp_diag inet_diag binfmt_misc veth rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp iptable_filter bpfilter 8021q garp mrp softdog nfnetlink_log nfnetlink intel_powerclamp coretemp kvm_intel kvm irqbypass ipmi_ssif crct10dif_pclmul crc32_pclmul ghash_clmulni_intel zfs(PO) aesni_intel radeon aes_x86_64 crypto_simd zunicode(PO) zlua(PO) cryptd zavl(PO) ttm drm_kms_helper glue_helper icp(PO) drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect ipmi_si sysimgblt ipmi_devintf i7core_edac ipmi_msghandler intel_cstate input_leds hpilo serio_raw pcspkr acpi_power_meter mac_hid zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi scsi_transport_iscsi sunrpc ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c hid_generic gpio_ich usbkbd
Jan  6 19:45:56 pve1 kernel: [2773172.642724]  usbhid pata_acpi psmouse hid mptsas mptscsih lpc_ich mptbase hpsa scsi_transport_sas bnx2
Jan  6 19:45:56 pve1 kernel: [2773172.676322] CR2: 0000000000001014
Jan  6 19:45:56 pve1 kernel: [2773172.684394] ---[ end trace 20c5f0ffb65816aa ]---
Jan  6 19:45:56 pve1 kernel: [2773172.692428] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan  6 19:45:56 pve1 kernel: [2773172.700526] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan  6 19:45:56 pve1 kernel: [2773172.717527] RSP: 0018:ffffb307f5bc3db8 EFLAGS: 00010282
Jan  6 19:45:56 pve1 kernel: [2773172.726023] RAX: 0000000000001000 RBX: ffffa0eacc931380 RCX: ffffb307f5bc3e20
Jan  6 19:45:56 pve1 kernel: [2773172.734539] RDX: ffffffff9bb0ebb0 RSI: ffffb307f5bc3e20 RDI: ffffa0e964f04100
Jan  6 19:45:56 pve1 kernel: [2773172.742971] RBP: ffffb307f5bc3db8 R08: 0000000000000000 R09: 000073746e657665
Jan  6 19:45:56 pve1 kernel: [2773172.751318] R10: 8080808080808080 R11: 0000000000000000 R12: ffffa0eacc931410
Jan  6 19:45:56 pve1 kernel: [2773172.759679] R13: ffffffff9bc27de0 R14: ffffa0fffdfbdf00 R15: ffffa0eacc931408
Jan  6 19:45:56 pve1 kernel: [2773172.768036] FS:  0000000000000000(0000) GS:ffffa0fcd7940000(0000) knlGS:0000000000000000
Jan  6 19:45:56 pve1 kernel: [2773172.776553] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan  6 19:45:56 pve1 kernel: [2773172.784996] CR2: 0000000000001014 CR3: 00000021ca952006 CR4: 00000000000226e0
Wenngleich die Auswirkungen ähnlich sind, scheint es sich nicht um den zswap-Bug zu handeln, da kein swap auf zfs liegt.

Arbeitsspeicher-Auslastung war stets ok (das System hat 144 GB; weniger als 100 GB waren zum Zeitpunkt des Lastanstiegs genutzt).

Während des Lastanstiegs häuften sich systemd-Zombie-Prozesse ([<defunct>]).

Das System liess sich nur mittels hard-Reboot wiederbeleben, was kein gutes Gefühl hinterlässt.

Über jede Idee wäre ich dankbar!

Hinweis: Crosspost von Reddit, da dort bisher keine Antworten.
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
5,635
378
103
Hi,

ist der Fehler auch mit einem Älteren Kernel aufgetaucht?
Bitte versuch mal wenn du es nicht eh schon hast das Mikrocode packte zu installieren.
https://wiki.debian.org/Microcode
 

marte

New Member
Jun 28, 2019
8
0
1
42
Hi,

danke für die Antwort. Das Paket intel-microcode ist auf beiden Maschinen installiert.
Die erste hat zwei Intel Xeon X5660, die zweite zwei Intel Xeon E5649. Mit einem früheren Kernel gab es keine Probleme.

Bin echt ein wenig ratlos.
 

marte

New Member
Jun 28, 2019
8
0
1
42
und, es ist wieder passiert:
Code:
Jan 11 03:09:22 pve3 kernel: [410188.888164] BUG: kernel NULL pointer dereference, address: 0000000000000014
Jan 11 03:09:22 pve3 kernel: [410188.888372] #PF: supervisor read access in kernel mode
Jan 11 03:09:22 pve3 kernel: [410188.888521] #PF: error_code(0x0000) - not-present page
Jan 11 03:09:22 pve3 kernel: [410188.888670] PGD 0 P4D 0
Jan 11 03:09:22 pve3 kernel: [410188.888746] Oops: 0000 [#1] SMP PTI
Jan 11 03:09:22 pve3 kernel: [410188.888850] CPU: 3 PID: 27020 Comm: kworker/3:3 Tainted: P        W IO      5.3.13-1-pve #1
Jan 11 03:09:22 pve3 kernel: [410188.889092] Hardware name: HP ProLiant DL360 G7, BIOS P68 08/16/2015
Jan 11 03:09:22 pve3 kernel: [410188.889281] Workqueue: events key_garbage_collector
Jan 11 03:09:22 pve3 kernel: [410188.889424] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan 11 03:09:22 pve3 kernel: [410188.889581] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan 11 03:09:22 pve3 kernel: [410188.890108] RSP: 0018:ffffa92806be3db8 EFLAGS: 00010246
Jan 11 03:09:22 pve3 kernel: [410188.890259] RAX: 0000000000000000 RBX: ffff8e985912c840 RCX: ffffa92806be3e20
Jan 11 03:09:22 pve3 kernel: [410188.890464] RDX: 0000000000000000 RSI: ffffa92806be3e20 RDI: ffff8e98732f5d00
Jan 11 03:09:22 pve3 kernel: [410188.890669] RBP: ffffa92806be3db8 R08: 0000000000000000 R09: 000073746e657665
Jan 11 03:09:22 pve3 kernel: [410188.890873] R10: 8080808080808080 R11: 0000000000000000 R12: ffff8e985912c8d0
Jan 11 03:09:22 pve3 kernel: [410188.891078] R13: ffffffff8d227dd0 R14: ffff8e98732f5d00 R15: ffff8e985912c850
Jan 11 03:09:22 pve3 kernel: [410188.891283] FS:  0000000000000000(0000) GS:ffff8e987b840000(0000) knlGS:0000000000000000
Jan 11 03:09:22 pve3 kernel: [410188.891513] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan 11 03:09:22 pve3 kernel: [410188.891679] CR2: 0000000000000014 CR3: 00000010d0fa0001 CR4: 00000000000226e0
Jan 11 03:09:22 pve3 kernel: [410188.891884] Call Trace:
Jan 11 03:09:22 pve3 kernel: [410188.891963]  assoc_array_subtree_iterate+0x5c/0x100
Jan 11 03:09:22 pve3 kernel: [410188.892105]  assoc_array_iterate+0x19/0x20
Jan 11 03:09:22 pve3 kernel: [410188.892226]  keyring_gc+0x43/0x80
Jan 11 03:09:22 pve3 kernel: [410188.892324]  key_garbage_collector+0x35a/0x400
Jan 11 03:09:22 pve3 kernel: [410188.892458]  process_one_work+0x20f/0x3d0
Jan 11 03:09:22 pve3 kernel: [410188.892576]  worker_thread+0x34/0x400
Jan 11 03:09:22 pve3 kernel: [410188.892686]  kthread+0x120/0x140
Jan 11 03:09:22 pve3 kernel: [410188.892781]  ? process_one_work+0x3d0/0x3d0
Jan 11 03:09:22 pve3 kernel: [410188.892904]  ? __kthread_parkme+0x70/0x70
Jan 11 03:09:22 pve3 kernel: [410188.893025]  ret_from_fork+0x35/0x40
Jan 11 03:09:22 pve3 kernel: [410188.893130] Modules linked in: joydev usbmouse binfmt_misc veth rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp iptable_filter bpfilter 8021q garp mrp softdog nfnetlink_log nfnetlink intel_powerclamp coretemp kvm_intel kvm irqbypass crct10dif_pclmul crc32_pclmul ghash_clmulni_intel ipmi_ssif zfs(PO) aesni_intel aes_x86_64 zunicode(PO) crypto_simd zlua(PO) cryptd zavl(PO) glue_helper icp(PO) radeon ttm drm_kms_helper drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect sysimgblt i7core_edac input_leds hpilo mac_hid intel_cstate acpi_power_meter pcspkr ipmi_si serio_raw ipmi_devintf ipmi_msghandler zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi sunrpc scsi_transport_iscsi ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c hid_generic usbkbd gpio_ich
Jan 11 03:09:22 pve3 kernel: [410188.893170]  usbhid hpsa psmouse hid pata_acpi lpc_ich bnx2 scsi_transport_sas
Jan 11 03:09:22 pve3 kernel: [410188.926663] CR2: 0000000000000014
Jan 11 03:09:22 pve3 kernel: [410188.934657] ---[ end trace b2763249838f498e ]---
Jan 11 03:09:22 pve3 kernel: [410188.942609] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
Jan 11 03:09:22 pve3 kernel: [410188.950621] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 66 66 66 66 90 55
Jan 11 03:09:22 pve3 kernel: [410188.967454] RSP: 0018:ffffa92806be3db8 EFLAGS: 00010246
Jan 11 03:09:22 pve3 kernel: [410188.975869] RAX: 0000000000000000 RBX: ffff8e985912c840 RCX: ffffa92806be3e20
Jan 11 03:09:22 pve3 kernel: [410188.984304] RDX: 0000000000000000 RSI: ffffa92806be3e20 RDI: ffff8e98732f5d00
Jan 11 03:09:22 pve3 kernel: [410188.992619] RBP: ffffa92806be3db8 R08: 0000000000000000 R09: 000073746e657665
Jan 11 03:09:22 pve3 kernel: [410189.000865] R10: 8080808080808080 R11: 0000000000000000 R12: ffff8e985912c8d0
Jan 11 03:09:22 pve3 kernel: [410189.009138] R13: ffffffff8d227dd0 R14: ffff8e98732f5d00 R15: ffff8e985912c850
Jan 11 03:09:22 pve3 kernel: [410189.017397] FS:  0000000000000000(0000) GS:ffff8e987b840000(0000) knlGS:0000000000000000
Jan 11 03:09:22 pve3 kernel: [410189.025810] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Jan 11 03:09:22 pve3 kernel: [410189.034162] CR2: 0000000000000014 CR3: 00000010d0fa0001 CR4: 00000000000226e0
An der Last oder dem Speicher kanns nicht liegen,,,
 

Attachments

tom

Proxmox Staff Member
Staff member
Aug 29, 2006
14,110
509
133
Hi,

danke für die Antwort. Das Paket intel-microcode ist auf beiden Maschinen installiert.
Die erste hat zwei Intel Xeon X5660, die zweite zwei Intel Xeon E5649. Mit einem früheren Kernel gab es keine Probleme.

Bin echt ein wenig ratlos.
Beide CPUs sind uralt, X5660 wurde von 10 Jahren vorgestellt, der E5649 vor 9. Unter Umständen liefert hier Intel keine oder keine gut getesteten Microcodes.

Ich persönlich verwende nur ungern Serverhardware, wenn sie älter als 5 Jahre ist. Performance/Stromverbrauch/TCO solcher alter CPUs kann mit aktueller Hardware nie mithalten.
 

marte

New Member
Jun 28, 2019
8
0
1
42
Hallo Tom,

Beide CPUs sind uralt, X5660 wurde von 10 Jahren vorgestellt, der E5649 vor 9. Unter Umständen liefert hier Intel keine oder keine gut getesteten Microcodes.

Ich persönlich verwende nur ungern Serverhardware, wenn sie älter als 5 Jahre ist. Performance/Stromverbrauch/TCO solcher alter CPUs kann mit aktueller Hardware nie mithalten.
ja, das verstehe ich. Letztendlich sind die Systeme aber noch viel im Einsatz, und gerade im privaten Umfeld zumindest für mich vollkommen ausreichend. Komisch ist halt, dass es vorher nie irgendwelche Probleme ab, und nun plötzlich gleich auf zwei von drei Systemen. Vor dem aktuellen Kernel liefen alle Rechner über sechs Monate ohne irgendwelche Seltsamkeiten.

Gruß,
Martin
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
5,635
378
103
Dann würde ich dir empfehlen als temporären workaround den alten Kernel zu verwenden.
Und später wieder mal eine neueren Kernel probieren.
 
Oct 11, 2016
23
1
8
39
Wir sehen auf mehreren Systemen (mit akt. HW) und 5.3.13-1-pve den gleichen Fehler. Ist mit 5.0.18-1-pve nicht aufgefallen, kann leider nicht viel zu den Versionen dazwischen sagen.
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
5,635
378
103
Hallo zeha,

was für eine HW wird verendet? und welche genaue Proxmox VE Version verwendest du?
 
Oct 11, 2016
23
1
8
39
Hatten heute wieder so ein Problem, diesmal hab ich ein pveversion -v dazu:

Code:
[303255.229324] BUG: kernel NULL pointer dereference, address: 0000000000000014
[303255.229373] #PF: supervisor read access in kernel mode
[303255.229388] #PF: error_code(0x0000) - not-present page
[303255.229401] PGD 0 P4D 0
[303255.229410] Oops: 0000 [#1] SMP PTI
[303255.229421] CPU: 22 PID: 44752 Comm: kworker/22:2 Tainted: P           O      5.3.13-1-pve #1
[303255.229441] Hardware name: HPE ProLiant DL380 Gen10/ProLiant DL380 Gen10, BIOS U30 11/13/2019
[303255.229465] Workqueue: events key_garbage_collector
[303255.229480] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[303255.229495] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55
[303255.229536] RSP: 0018:ffffb5c15e2abdb8 EFLAGS: 00010246
[303255.229549] RAX: 0000000000000000 RBX: ffff924de7bc55c0 RCX: ffffb5c15e2abe20
[303255.229565] RDX: 0000000000000000 RSI: ffffb5c15e2abe20 RDI: ffff9242c2b3a900
[303255.229582] RBP: ffffb5c15e2abdb8 R08: 0000000000000000 R09: 000073746e657665
[303255.229598] R10: 8080808080808080 R11: ffffffff8945d518 R12: ffff924de7bc5650
[303255.229615] R13: ffffffff88227dd0 R14: ffff9242c2b3a900 R15: ffff924de7bc55d0
[303255.230290] FS:  0000000000000000(0000) GS:ffff924e3f380000(0000) knlGS:0000000000000000
[303255.230916] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[303255.231473] CR2: 0000000000000014 CR3: 000000ad7bc0a005 CR4: 00000000007626e0
[303255.232028] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[303255.232567] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[303255.233113] PKRU: 55555554
[303255.233631] Call Trace:
[303255.234171]  assoc_array_subtree_iterate+0x5c/0x100
[303255.234717]  assoc_array_iterate+0x19/0x20
[303255.235245]  keyring_gc+0x43/0x80
[303255.235752]  key_garbage_collector+0x35a/0x400
[303255.236259]  process_one_work+0x20f/0x3d0
[303255.236761]  worker_thread+0x34/0x400
[303255.237269]  kthread+0x120/0x140
[303255.237748]  ? process_one_work+0x3d0/0x3d0
[303255.238231]  ? __kthread_parkme+0x70/0x70
[303255.238725]  ret_from_fork+0x35/0x40
[303255.239195] Modules linked in: rpcsec_gss_krb5 auth_rpcgss nfsv4 nfs lockd grace fscache ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables sctp binfmt_misc iptable_filter bpfilter scsi_transport_iscsi openvswitch nsh nf_conncount nf_nat cpuid softdog nfnetlink_log nfnetlink dm_service_time intel_rapl_msr intel_rapl_common isst_if_common nfit x86_pkg_temp_thermal intel_powerclamp coretemp kvm_intel kvm irqbypass crct10dif_pclmul crc32_pclmul ghash_clmulni_intel aesni_intel aes_x86_64 crypto_simd cryptd ipmi_ssif glue_helper intel_cstate intel_rapl_perf zfs(PO) zunicode(PO) zlua(PO) zavl(PO) icp(PO) mgag200 drm_vram_helper ttm drm_kms_helper drm i2c_algo_bit fb_sys_fops syscopyarea sysfillrect sysimgblt mei_me hpilo ioatdma mei dca mac_hid ipmi_si ipmi_devintf acpi_tad ipmi_msghandler zcommon(PO) znvpair(PO) spl(O) vhost_net vhost tap ip_vs nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 sunrpc ip_tables x_tables autofs4 btrfs xor zstd_compress raid6_pq
[303255.239231]  dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c dm_multipath scsi_dh_rdac scsi_dh_emc scsi_dh_alua ses enclosure lpfc smartpqi scsi_transport_sas nvmet_fc nvmet nvme_fc uas nvme_fabrics i40e scsi_transport_fc usb_storage lpc_ich tg3 wmi
[303255.245023] CR2: 0000000000000014
[303255.245587] ---[ end trace 91259fa55d094ab4 ]---
[303255.357227] RIP: 0010:keyring_gc_check_iterator+0x30/0x40
[303255.357826] Code: 48 83 e7 fc b8 01 00 00 00 48 89 e5 f6 87 80 00 00 00 21 75 19 48 8b 57 58 48 39 16 7c 05 48 85 d2 7f 0b 48 8b 87 a0 00 00 00 <0f> b6 40 14 5d c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55
[303255.358996] RSP: 0018:ffffb5c15e2abdb8 EFLAGS: 00010246
[303255.359588] RAX: 0000000000000000 RBX: ffff924de7bc55c0 RCX: ffffb5c15e2abe20
[303255.360176] RDX: 0000000000000000 RSI: ffffb5c15e2abe20 RDI: ffff9242c2b3a900
[303255.360771] RBP: ffffb5c15e2abdb8 R08: 0000000000000000 R09: 000073746e657665
[303255.361363] R10: 8080808080808080 R11: ffffffff8945d518 R12: ffff924de7bc5650
[303255.361938] R13: ffffffff88227dd0 R14: ffff9242c2b3a900 R15: ffff924de7bc55d0
[303255.362529] FS:  0000000000000000(0000) GS:ffff924e3f380000(0000) knlGS:0000000000000000
[303255.363101] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[303255.363674] CR2: 0000000000000014 CR3: 000000ad7bc0a005 CR4: 00000000007626e0
[303255.364232] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[303255.364780] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[303255.365337] PKRU: 55555554
Code:
proxmox-ve: 6.1-2 (running kernel: 5.3.13-1-pve)
pve-manager: 6.1-5 (running version: 6.1-5/9bf06119)
pve-kernel-5.3: 6.1-1
pve-kernel-helper: 6.1-1
pve-kernel-5.0: 6.0-11
pve-kernel-4.15: 5.4-8
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-5.3.10-1-pve: 5.3.10-1
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-5.0.21-4-pve: 5.0.21-9
pve-kernel-5.0.21-3-pve: 5.0.21-7
pve-kernel-5.0.21-2-pve: 5.0.21-7
pve-kernel-5.0.21-1-pve: 5.0.21-2
pve-kernel-4.15.18-20-pve: 4.15.18-46
pve-kernel-4.13.13-5-pve: 4.13.13-38
pve-kernel-4.13.13-2-pve: 4.13.13-33
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.2-pve4
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.13-pve1
libpve-access-control: 6.0-5
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-10
libpve-guest-common-perl: 3.0-3
libpve-http-server-perl: 3.0-3
libpve-storage-perl: 6.1-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve3
lxc-pve: 3.2.1-1
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
openvswitch-switch: 2.10.0+2018.08.28+git.8ca7c82b7d+ds1-12+deb10u1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.1-2
pve-cluster: 6.1-3
pve-container: 3.0-16
pve-docs: 6.1-3
pve-edk2-firmware: 2.20191127-1
pve-firewall: 4.0-9
pve-firmware: 3.0-4
pve-ha-manager: 3.0-8
pve-i18n: 2.0-3
pve-qemu-kvm: 4.1.1-2
pve-xtermjs: 3.13.2-1
qemu-server: 6.1-4
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.2-pve2
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!