Proxmox freeze nach kernel update to 6.8.4-2-pve

heliax · Apr 26, 2024

Hallo zusammen

seit dem update auf 6.8.4-2-pve ist mir der Server heute 3 mal eingefroren. Ich konnte leider nur einmal Logs sichern.
Mir ist auch aufgefallen, dass der Bootprozess der container(11) und VMs(3) ca. 5 Minuten gedauert hat. Es gab keine Änderungen an der Umgebung ausser dem Update. Ich konnte auch sonst nichts auffälliges finden.
Ich bin jetzt erstmal wieder zurück auf kernel 6.5.13-5-pve und beobachte weiter.

Ein Auszug aus dem syslog im Anhang.

Hat jemand vielleicht eine Idee?

proxmox-ve: 8.2.0 (running kernel: 6.5.13-5-pve)
pve-manager: 8.2.2 (running version: 8.2.2/9355359cd7afbae4)
proxmox-kernel-helper: 8.1.0
proxmox-kernel-6.8: 6.8.4-2
proxmox-kernel-6.8.4-2-pve-signed: 6.8.4-2
proxmox-kernel-6.5.13-5-pve-signed: 6.5.13-5
proxmox-kernel-6.5: 6.5.13-5
amd64-microcode: 3.20230808.1.1~deb12u1
ceph-fuse: 17.2.7-pve3
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown: residual config
ifupdown2: 3.2.0-1+pmx8
intel-microcode: 3.20231114.1~deb12u1
libjs-extjs: 7.0.0-4
libknet1: 1.28-pve1
libproxmox-acme-perl: 1.5.0
libproxmox-backup-qemu0: 1.4.1
libproxmox-rs-perl: 0.3.3
libpve-access-control: 8.1.4
libpve-apiclient-perl: 3.3.2
libpve-cluster-api-perl: 8.0.6
libpve-cluster-perl: 8.0.6
libpve-common-perl: 8.2.1
libpve-guest-common-perl: 5.1.1
libpve-http-server-perl: 5.1.0
libpve-rs-perl: 0.8.8
libpve-storage-perl: 8.2.1
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 6.0.0-1
lxcfs: 6.0.0-pve2
novnc-pve: 1.4.0-3
openvswitch-switch: 3.1.0-2+deb12u1
proxmox-backup-client: 3.2.2-1
proxmox-backup-file-restore: 3.2.2-1
proxmox-kernel-helper: 8.1.0
proxmox-mail-forward: 0.2.3
proxmox-mini-journalreader: 1.4.0
proxmox-widget-toolkit: 4.2.3
pve-cluster: 8.0.6
pve-container: 5.0.11
pve-docs: 8.2.2
pve-edk2-firmware: 4.2023.08-4
pve-firewall: 5.0.5
pve-firmware: 3.11-1
pve-ha-manager: 4.0.4
pve-i18n: 3.2.2
pve-qemu-kvm: 8.1.5-5
pve-xtermjs: 5.3.0-3
qemu-server: 8.2.1
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.3-pve2

Bierfassl · Apr 26, 2024

Hallo,
habe das selbe Problem, siehe hier

Wenn keine Maschine läuft alles super, kein Absturz, habe ich extra einmal ein paar Stunden ausprobiert.
Sobald ich aber eine VM starte, stürzt Proxmox ab. Keine VM oder auch das Webinterface ist mehr erreichbar.
Komisch weise bleibt der Server aber per SSH ansprechbar.
Über "Top" kann man sehen, das alle KVM's noch laufen aber 100% CPU-Last ziehen.
Letzten Endes hilft nur ein harter Reset damit das System wieder ansprechbar wird.

Um das Problem zu lösen, habe ich den alten Kernel (6.5) manuell angepinnt, nun läuft der Proxmox wieder einwandfrei. Ich hoffe hier gibt es bald eine Lösung zum Problem.

Ryzen 3700x
ASRock Rack (B550D4-4L)
64GB ECC
2x 1TB NVME SSD

P.S.: Ist ein Dedicated Server von Hetzner

fpausp · Apr 26, 2024

Hallo,

bei mir ist ein alter Server betroffen der als Backupserver dient (pve und pbs installiert):

Musste auch den 6.5er Kernel verwenden damit er richtig bootet...

Der Harry · Apr 26, 2024

Habt ihr crashlogs?

Code:

$ dmesg > crashlog

Und dann bitte hier posten. Ich habe einen Thread erstellt wo ich das gemacht habe.

https://forum.proxmox.com/threads/random-6-8-4-2-pve-kernel-crashes.145760/

Ein "Update mal dein Bios" ist leicht gesagt.

- Ryzen, Xeon, Epyc sind halt ganz unterschiedliche paar Socken....

Bierfassl · Apr 26, 2024

Hab ich nicht gemacht, habe ehrlich gesagt zu dem Zeitpunkt auch gar nicht dran gedacht, da das System wieder online musste.
Nachträglich kann ich es wohl nicht mehr machen oder?

Nachtrag:
Habe mal alles aus dem Syslog rauskopiert in der GUI

Der Harry · Apr 26, 2024

Bierfassl said:
Hab ich nicht gemacht, habe ehrlich gesagt zu dem Zeitpunkt auch gar nicht dran gedacht, da das System wieder online musste.
Nachträglich kann ich es wohl nicht mehr machen oder?

Nein. Nur wenn den kaputten Kernel bootest.

Das is aber genau die Idee - wenn du dem Typen schreibst was für einen Hetzner Rootserver du hast, dann kann jemand von den Proxmox Leuten bei Hetzner anrufen und sagen "Houston wir haben ein Problem" und die geben dem so ne Möhre zum Testen.

Das ist besser wie wenn 100 Server sterben...

Bierfassl · Apr 26, 2024

Der Harry said:
Nein. Nur wenn den kaputten Kernel bootest.

Das is aber genau die Idee - wenn du dem Typen schreibst was für einen Hetzner Rootserver du hast, dann kann jemand von den Proxmox Leuten bei Hetzner anrufen und sagen "Houston wir haben ein Problem" und die geben dem so ne Möhre zum Testen.

Das ist besser wie wenn 100 Server sterben...

Naja nochmal mit dem Kernel booten wäre jetzt nicht das Problem, wenn es den sein müsste.
Habe jetzt mal alles aus dem Syslog rauskopiert aus der GUI und oben angehängt.
Angefallen hat mich aber nichts was ich sagen würde das wäre der Fehler

Der Harry · Apr 26, 2024

Bierfassl said:
Naja nochmal mit dem Kernel booten wäre jetzt nicht das Problem, wenn es den sein müsste.
Habe jetzt mal alles aus dem Syslog rauskopiert aus der GUI und oben angehängt.
Angefallen hat mich aber nichts was ich sagen würde das wäre der Fehler

Das ist da letzte mal das ich explizit und so genau nachfrage wie ich kann

1) Welchen Server > genau < hast du denn bei Hetzner?

Wie heißt das Model

2) Falls von der Serverbörse - dann das Board. Das hier ist wie du das rausbekommst - falls 1) nicht geht.

Bash:

## BIOS

root@proxmox:~# dmidecode --type 0 | more
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
        Vendor: American Megatrends Inc.
        Version: 3002
        Release Date: 02/23/2023
[...]

## BOARD
root@proxmox:~# dmidecode --type 2
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: ASUSTeK COMPUTER INC.
        Product Name: ROG STRIX B550-A GAMING
        Version: Rev X.0x
        Serial Number: XXXXXXXXXXXXXXXX
        Asset Tag: Default string
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: Default string
        Chassis Handle: 0x0003
        Type: Motherboard
        Contained Object Handles: 0

Dann brauchst du nicht booten.

Bierfassl · Apr 26, 2024

Gute Idee, hätte ich auch selbst drauf kommen können.
Hatte ich mir heute auch schon alles angesehen.

Ist ein Server aus der Börse, kein AX...

Bash:

# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
Vendor: American Megatrends International, LLC.
Version: L0.27
Release Date: 12/08/2022
[...]

# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.3.0 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
Manufacturer: ASRockRack
Product Name: B565D4-V1L
Version:
Serial Number: xxxxxxxxxx
Asset Tag:
Features:
Board is a hosting board
Board is replaceable
Location In Chassis:
Chassis Handle: 0x0003
Type: Motherboard
Contained Object Handles: 0
[...]

heliax · Apr 27, 2024

Mein Server steht ebenfalls bei Hetzner.

Code:

# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.5.0 present.
Table at 0x79AB1000.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
        Vendor: American Megatrends Inc.
        Version: 9006
        Release Date: 02/20/2023
        Address: 0xF0000
        Runtime Size: 64 kB
        ROM Size: 16 MB
        Characteristics:


Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: ASUSTeK COMPUTER INC.
        Product Name: PRIME B760M-A D4
        Version: Rev 1.xx
        Serial Number: 230418689301404
        Asset Tag: Default string
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: Default string
        Chassis Handle: 0x0003
        Type: Motherboard
        Contained Object Handles: 0


Processor Information
        Socket Designation: LGA1700
        Type: Central Processor
        Family: Core i5
        Manufacturer: Intel(R) Corporation
        Version: 13th Gen Intel(R) Core(TM) i5-13500
        Voltage: 0.9 V
        External Clock: 100 MHz
        Max Speed: 4800 MHz
        Current Speed: 2475 MHz

Ich konnte kein dmesg mehr absetzen. Auf der Console sah ich aber jede Menge Kernel-Bug Meldungen der einzelnen CPU Kerne.

Bierfassl · Apr 27, 2024

Kann es vielleicht an der Art der Installation liegen?

Ich habe Proxmox auf Debian installiert und nicht direkt. Wie war das bei euch?
Bei Hetzner ist das so eben der einfache weg, ohne KVM Konsole.

heliax · Apr 27, 2024

Ich habs direkt auf dem Blech installiert.

antreos · Apr 27, 2024

Bin auch bei Hetzner mit Server Auction Dedicated und habe dasselbe Problem seitdem Upgrade auf 8.2.2 von 8.1.4. Was auf meinem System so los war (auf Englisch): https://forum.proxmox.com/threads/r...-ssh-and-all-running-vms-unresponsive.145981/

TLDR: KVM crasht. Warum seitdem Update? Keine Ahnung. Alter Kernel behebt das ganze bei mir wohl, bin noch am testen.

edit: Proxmox ist auf Debian nachinstalliert und nicht direkt (soweit ich mich erinnere).

Bierfassl · Apr 27, 2024

Einen Unterschied gibt es schon einmal, bei mir bleibt SSH direkt auf den Proxmox noch aktiv bzw. geht bei mir noch, nur alles andere an Maschinen ist down.

chserver · Apr 28, 2024

Bierfassl said:
Hallo,
habe das selbe Problem, siehe hier

Wenn keine Maschine läuft alles super, kein Absturz, habe ich extra einmal ein paar Stunden ausprobiert.
Sobald ich aber eine VM starte, stürzt Proxmox ab. Keine VM oder auch das Webinterface ist mehr erreichbar.
Komisch weise bleibt der Server aber per SSH ansprechbar.
Über "Top" kann man sehen, das alle KVM's noch laufen aber 100% CPU-Last ziehen.
Letzten Endes hilft nur ein harter Reset damit das System wieder ansprechbar wird.

Um das Problem zu lösen, habe ich den alten Kernel (6.5) manuell angepinnt, nun läuft der Proxmox wieder einwandfrei. Ich hoffe hier gibt es bald eine Lösung zum Problem.

Ryzen 3700x
ASRock Rack (B550D4-4L)
64GB ECC
2x 1TB NVME SSD

P.S.: Ist ein Dedicated Server von Hetzner

Selbes Problem hier bei mir.. Auch Hetzner Server.

OS: Proxmox VE 8.2.2 x86_64
Host: B360 HD3P-LM
`Kernel: 6.8.4-2-pve
Terminal: /dev/pts/0
CPU: Intel i7-8700 (12) @ 4.600GHz
GPU: Intel CoffeeLake-S GT2 [UHD Graphics 630]
Memory: 2705MiB / 128726MiB

root@Proxmox-VE ~ # dmidecode --type 2
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.1.1 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
Manufacturer: Gigabyte Technology Co., Ltd.
Product Name: B360HD3PLM-CF
Version: Default string
Serial Number: Default string
Asset Tag: Default string
Features:
Board is a hosting board
Board is replaceable
Location In Chassis: Default string
Chassis Handle: 0x0003
Type: Motherboard
Contained Object Handles: 0

root@Proxmox-VE ~ # dmidecode --type 0 | more
# dmidecode 3.4
Getting SMBIOS data from sysfs.
SMBIOS 3.1.1 present.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
Vendor: American Megatrends Inc.
Version: F7b HZ
Release Date: 07/29/2021
Address: 0xF0000
Runtime Size: 64 kB
ROM Size: 16 MB
Characteristics:
PCI is supported
BIOS is upgradeable
BIOS shadowing is allowed
Boot from CD is supported
Selectable boot is supported
BIOS ROM is socketed
EDD is supported
5.25"/1.2 MB floppy services are supported (int 13h)
3.5"/720 kB floppy services are supported (int 13h)
3.5"/2.88 MB floppy services are supported (int 13h)
Print screen service is supported (int 5h)
Serial services are supported (int 14h)
Printer services are supported (int 17h)
ACPI is supported
USB legacy is supported
BIOS boot specification is supported
Targeted content distribution is supported
UEFI is supported
BIOS Revision: 5.13

gio2022 · Apr 29, 2024

Hello zusammen,
ich habe das gleich https://forum.proxmox.com/threads/network-probleme-nach-update-auf-8-2-2.145922/#post-658110
Keine Hetzner Server. Supermicro AMD Milan 2 Jahre alt.
Der Supermicro AMD Milan, der 3 Jahre alt ist, hat das update gut überstanden ohne einzufriren.
Grüßle

Der Harry · Apr 30, 2024

Bierfassl said:
Kann es vielleicht an der Art der Installation liegen?

Ich habe Proxmox auf Debian installiert und nicht direkt. Wie war das bei euch?
Bei Hetzner ist das so eben der einfache weg, ohne KVM Konsole.

Nein - der Kernel ist nur Kacke... wir haben 10-20 unabhänige Meldungen mit 6.8er ärger.

sirebral · Apr 30, 2024

I am not at Hetzner; I am running at my own datacenter with the same issues.

ksb · Wednesday at 06:55

Habe ebenfalls Probleme mit einem EX101 bei Hetzner.
Liest sich hier sehr ähnlich zu meinen Logs

.

Der Harry · Wednesday at 08:08

ksb said:
Habe ebenfalls Probleme mit einem EX101 bei Hetzner.
Liest sich hier sehr ähnlich zu meinen Logs .

@t.lamprecht and @Stoiko Ivanov hello guys.

This is the smoking gun. I guess Hetzner is happy to give you access to a EX101 server to debug the issue.

Ping me any time if you need help.

Greetings.

Proxmox freeze nach kernel update to 6.8.4-2-pve

New Member

Attachments

New Member

Renowned Member

Member

New Member

Attachments

Member

New Member

Member

New Member

New Member

New Member

New Member

New Member

New Member

New Member

Member

Member

Member

Member

Member