Proxmox freeze nach kernel update to 6.8.4-2-pve

H

heliax

New Member
Nov 21, 2023
4
2
3
Hallo zusammen

seit dem update auf 6.8.4-2-pve ist mir der Server heute 3 mal eingefroren. Ich konnte leider nur einmal Logs sichern.
Mir ist auch aufgefallen, dass der Bootprozess der container(11) und VMs(3) ca. 5 Minuten gedauert hat. Es gab keine Änderungen an der Umgebung ausser dem Update. Ich konnte auch sonst nichts auffälliges finden.
Ich bin jetzt erstmal wieder zurück auf kernel 6.5.13-5-pve und beobachte weiter.

Ein Auszug aus dem syslog im Anhang.

Hat jemand vielleicht eine Idee?


proxmox-ve: 8.2.0 (running kernel: 6.5.13-5-pve)
pve-manager: 8.2.2 (running version: 8.2.2/9355359cd7afbae4)
proxmox-kernel-helper: 8.1.0
proxmox-kernel-6.8: 6.8.4-2
proxmox-kernel-6.8.4-2-pve-signed: 6.8.4-2
proxmox-kernel-6.5.13-5-pve-signed: 6.5.13-5
proxmox-kernel-6.5: 6.5.13-5
amd64-microcode: 3.20230808.1.1~deb12u1
ceph-fuse: 17.2.7-pve3
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown: residual config
ifupdown2: 3.2.0-1+pmx8
intel-microcode: 3.20231114.1~deb12u1
libjs-extjs: 7.0.0-4
libknet1: 1.28-pve1
libproxmox-acme-perl: 1.5.0
libproxmox-backup-qemu0: 1.4.1
libproxmox-rs-perl: 0.3.3
libpve-access-control: 8.1.4
libpve-apiclient-perl: 3.3.2
libpve-cluster-api-perl: 8.0.6
libpve-cluster-perl: 8.0.6
libpve-common-perl: 8.2.1
libpve-guest-common-perl: 5.1.1
libpve-http-server-perl: 5.1.0
libpve-rs-perl: 0.8.8
libpve-storage-perl: 8.2.1
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 6.0.0-1
lxcfs: 6.0.0-pve2
novnc-pve: 1.4.0-3
openvswitch-switch: 3.1.0-2+deb12u1
proxmox-backup-client: 3.2.2-1
proxmox-backup-file-restore: 3.2.2-1
proxmox-kernel-helper: 8.1.0
proxmox-mail-forward: 0.2.3
proxmox-mini-journalreader: 1.4.0
proxmox-widget-toolkit: 4.2.3
pve-cluster: 8.0.6
pve-container: 5.0.11
pve-docs: 8.2.2
pve-edk2-firmware: 4.2023.08-4
pve-firewall: 5.0.5
pve-firmware: 3.11-1
pve-ha-manager: 4.0.4
pve-i18n: 3.2.2
pve-qemu-kvm: 8.1.5-5
pve-xtermjs: 5.3.0-3
qemu-server: 8.2.1
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.3-pve2
 

Attachments

  • syslog-pve.txt
    17.1 KB · Views: 34
  • Like
Reactions: Bierfassl
Hallo,
habe das selbe Problem, siehe hier

Wenn keine Maschine läuft alles super, kein Absturz, habe ich extra einmal ein paar Stunden ausprobiert.
Sobald ich aber eine VM starte, stürzt Proxmox ab. Keine VM oder auch das Webinterface ist mehr erreichbar.
Komisch weise bleibt der Server aber per SSH ansprechbar.
Über "Top" kann man sehen, das alle KVM's noch laufen aber 100% CPU-Last ziehen.
Letzten Endes hilft nur ein harter Reset damit das System wieder ansprechbar wird.

Um das Problem zu lösen, habe ich den alten Kernel (6.5) manuell angepinnt, nun läuft der Proxmox wieder einwandfrei. Ich hoffe hier gibt es bald eine Lösung zum Problem.

Ryzen 3700x
ASRock Rack (B550D4-4L)
64GB ECC
2x 1TB NVME SSD

P.S.: Ist ein Dedicated Server von Hetzner
 
Last edited:
  • Like
Reactions: chserver, Der Harry and heliax
Hab ich nicht gemacht, habe ehrlich gesagt zu dem Zeitpunkt auch gar nicht dran gedacht, da das System wieder online musste.
Nachträglich kann ich es wohl nicht mehr machen oder?

Nachtrag:
Habe mal alles aus dem Syslog rauskopiert in der GUI
 

Attachments

  • crashlog.txt
    627 KB · Views: 11
Last edited:
  • Like
Reactions: Der Harry
Bierfassl said:
Hab ich nicht gemacht, habe ehrlich gesagt zu dem Zeitpunkt auch gar nicht dran gedacht, da das System wieder online musste.
Nachträglich kann ich es wohl nicht mehr machen oder?
Click to expand...
Nein. Nur wenn den kaputten Kernel bootest.

Das is aber genau die Idee - wenn du dem Typen schreibst was für einen Hetzner Rootserver du hast, dann kann jemand von den Proxmox Leuten bei Hetzner anrufen und sagen "Houston wir haben ein Problem" und die geben dem so ne Möhre zum Testen.

Das ist besser wie wenn 100 Server sterben...
 
Der Harry said:
Nein. Nur wenn den kaputten Kernel bootest.

Das is aber genau die Idee - wenn du dem Typen schreibst was für einen Hetzner Rootserver du hast, dann kann jemand von den Proxmox Leuten bei Hetzner anrufen und sagen "Houston wir haben ein Problem" und die geben dem so ne Möhre zum Testen.

Das ist besser wie wenn 100 Server sterben...
Click to expand...

Naja nochmal mit dem Kernel booten wäre jetzt nicht das Problem, wenn es den sein müsste.
Habe jetzt mal alles aus dem Syslog rauskopiert aus der GUI und oben angehängt.
Angefallen hat mich aber nichts was ich sagen würde das wäre der Fehler
 
Bierfassl said:
Naja nochmal mit dem Kernel booten wäre jetzt nicht das Problem, wenn es den sein müsste.
Habe jetzt mal alles aus dem Syslog rauskopiert aus der GUI und oben angehängt.
Angefallen hat mich aber nichts was ich sagen würde das wäre der Fehler
Click to expand...

Das ist da letzte mal das ich explizit und so genau nachfrage wie ich kann :)

1) Welchen Server > genau < hast du denn bei Hetzner?

Wie heißt das Model

2) Falls von der Serverbörse - dann das Board. Das hier ist wie du das rausbekommst - falls 1) nicht geht.

Bash: 
## BIOS

root@proxmox:~# dmidecode --type 0 | more
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
        Vendor: American Megatrends Inc.
        Version: 3002
        Release Date: 02/23/2023
[...]

## BOARD
root@proxmox:~# dmidecode --type 2
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: ASUSTeK COMPUTER INC.
        Product Name: ROG STRIX B550-A GAMING
        Version: Rev X.0x
        Serial Number: XXXXXXXXXXXXXXXX
        Asset Tag: Default string
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: Default string
        Chassis Handle: 0x0003
        Type: Motherboard
        Contained Object Handles: 0

Dann brauchst du nicht booten.
 
Gute Idee, hätte ich auch selbst drauf kommen können.
Hatte ich mir heute auch schon alles angesehen.

Ist ein Server aus der Börse, kein AX...

Bash: 
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
Vendor: American Megatrends International, LLC.
Version: L0.27
Release Date: 12/08/2022
[...]

# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
Manufacturer: ASRockRack
Product Name: B565D4-V1L
Version:
Serial Number: xxxxxxxxxx
Asset Tag:
Features:
Board is a hosting board
Board is replaceable
Location In Chassis:
Chassis Handle: 0x0003
Type: Motherboard
Contained Object Handles: 0
[...]
 
Last edited:
  • Like
Reactions: chserver and Der Harry
Mein Server steht ebenfalls bei Hetzner.

Code: 
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.5.0 present.
Table at 0x79AB1000.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
        Vendor: American Megatrends Inc.
        Version: 9006
        Release Date: 02/20/2023
        Address: 0xF0000
        Runtime Size: 64 kB
        ROM Size: 16 MB
        Characteristics:


Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: ASUSTeK COMPUTER INC.
        Product Name: PRIME B760M-A D4
        Version: Rev 1.xx
        Serial Number: 230418689301404
        Asset Tag: Default string
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: Default string
        Chassis Handle: 0x0003
        Type: Motherboard
        Contained Object Handles: 0


Processor Information
        Socket Designation: LGA1700
        Type: Central Processor
        Family: Core i5
        Manufacturer: Intel(R) Corporation
        Version: 13th Gen Intel(R) Core(TM) i5-13500
        Voltage: 0.9 V
        External Clock: 100 MHz
        Max Speed: 4800 MHz
        Current Speed: 2475 MHz

Ich konnte kein dmesg mehr absetzen. Auf der Console sah ich aber jede Menge Kernel-Bug Meldungen der einzelnen CPU Kerne.
 
Kann es vielleicht an der Art der Installation liegen?

Ich habe Proxmox auf Debian installiert und nicht direkt. Wie war das bei euch?
Bei Hetzner ist das so eben der einfache weg, ohne KVM Konsole.
 
Bin auch bei Hetzner mit Server Auction Dedicated und habe dasselbe Problem seitdem Upgrade auf 8.2.2 von 8.1.4. Was auf meinem System so los war (auf Englisch): https://forum.proxmox.com/threads/r...-ssh-and-all-running-vms-unresponsive.145981/

TLDR: KVM crasht. Warum seitdem Update? Keine Ahnung. Alter Kernel behebt das ganze bei mir wohl, bin noch am testen.

edit: Proxmox ist auf Debian nachinstalliert und nicht direkt (soweit ich mich erinnere).
 
Last edited:
  • Like
Reactions: Bierfassl
Einen Unterschied gibt es schon einmal, bei mir bleibt SSH direkt auf den Proxmox noch aktiv bzw. geht bei mir noch, nur alles andere an Maschinen ist down.
 
Bierfassl said:
Hallo,
habe das selbe Problem, siehe hier

Wenn keine Maschine läuft alles super, kein Absturz, habe ich extra einmal ein paar Stunden ausprobiert.
Sobald ich aber eine VM starte, stürzt Proxmox ab. Keine VM oder auch das Webinterface ist mehr erreichbar.
Komisch weise bleibt der Server aber per SSH ansprechbar.
Über "Top" kann man sehen, das alle KVM's noch laufen aber 100% CPU-Last ziehen.
Letzten Endes hilft nur ein harter Reset damit das System wieder ansprechbar wird.

Um das Problem zu lösen, habe ich den alten Kernel (6.5) manuell angepinnt, nun läuft der Proxmox wieder einwandfrei. Ich hoffe hier gibt es bald eine Lösung zum Problem.

Ryzen 3700x
ASRock Rack (B550D4-4L)
64GB ECC
2x 1TB NVME SSD

P.S.: Ist ein Dedicated Server von Hetzner
Click to expand...
Selbes Problem hier bei mir.. Auch Hetzner Server.

OS: Proxmox VE 8.2.2 x86_64
Host: B360 HD3P-LM
`Kernel: 6.8.4-2-pve
Terminal: /dev/pts/0
CPU: Intel i7-8700 (12) @ 4.600GHz
GPU: Intel CoffeeLake-S GT2 [UHD Graphics 630]
Memory: 2705MiB / 128726MiB


root@Proxmox-VE ~ # dmidecode --type 2
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.1.1 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
Manufacturer: Gigabyte Technology Co., Ltd.
Product Name: B360HD3PLM-CF
Version: Default string
Serial Number: Default string
Asset Tag: Default string
Features:
Board is a hosting board
Board is replaceable
Location In Chassis: Default string
Chassis Handle: 0x0003
Type: Motherboard
Contained Object Handles: 0

root@Proxmox-VE ~ # dmidecode --type 0 | more
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.1.1 present.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
Vendor: American Megatrends Inc.
Version: F7b HZ
Release Date: 07/29/2021
Address: 0xF0000
Runtime Size: 64 kB
ROM Size: 16 MB
Characteristics:
PCI is supported
BIOS is upgradeable
BIOS shadowing is allowed
Boot from CD is supported
Selectable boot is supported
BIOS ROM is socketed
EDD is supported
5.25"/1.2 MB floppy services are supported (int 13h)
3.5"/720 kB floppy services are supported (int 13h)
3.5"/2.88 MB floppy services are supported (int 13h)
Print screen service is supported (int 5h)
Serial services are supported (int 14h)
Printer services are supported (int 17h)
ACPI is supported
USB legacy is supported
BIOS boot specification is supported
Targeted content distribution is supported
UEFI is supported
BIOS Revision: 5.13
 
Last edited:
Habe ebenfalls Probleme mit einem EX101 bei Hetzner.
Liest sich hier sehr ähnlich zu meinen Logs :( .
 
  • Like
Reactions: Der Harry
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back