Migration zwischen Zen1/2 und Zen3 kernel panic mit CPU=kvm64

[Andreas Pflug]

Unsere PVE-Hosts laufen mit Linux 5.15.104-1-pve und 7.4. Demnächst steht der Upgrade an. Natürlicherweise wird dazu jeweils ein Host evakuiert, alle VMs per Live-Migration auf andere Hosts verteilt. Das hatte allerdings beim letzten Upgrade zu allerlei Streß geführt, viele VMs waren nach der Migration abgestürzt. Ich habe daher jetzt erst mal mit einer VM (Debian 10) eine Testserie durchgeführt.

Alle VMs sind mit CPU-Typ EPYC konfiguriert, die Hosts eine bunte Mischung von Epyc Zen1/2/3. Demnach funktioniert die Migration fehlerfrei zwischen Epyc 1+2 hin und her, und von Epyc 1/2 nach Epyc3, oder zwischen Epyc3, jedoch nicht von Epyc3 nach 1 oder 2. Dabei ist es egal, auf welchem Host die VM gestartet worden war.

Eigentlich sollte qemu doch die CPU-Flags und Features auf "Ur-Epyc" (Zen1 Naples) beschränken. Offenbar gibts da noch weitere CPU-Eigenschaften, die nicht beim Start der VM durch den aktuellen Host oder die cfg festgelegt werden.

Kann ich da was gegen tun? Ist vielleicht mit neuem Kernel alles noch viel besser?

 

[Falk R.]

Hi Andreas,

leider musst du selbst testen welche Features es sind. Du kannst zu der Maskierung auf Zen1 auch noch weitere Maskierungen hinzufügen. Eventuell haben die Zen3 ein Feature nicht mehr, was die Zen1+2 haben.
Das sollte man in den Specs der CPUs finden. Bei Intel hatte ich das auch schon, dann muss auch das fehlende Feature zusätzlich maskiert werden.

 

[Andreas Pflug]

Die Flags in den VMs sind identisch, egal auf welchem Host ich die VM gestartet habe. Insofern wüßte ich auch nicht was ich da noch weiter ausfiltern soll.
Ich habe jetzt mal den Default CPU-Typ kvm64 ausprobiert, der ja selbst über Herstellergrenzen hinweg funktionieren soll, und bekommen den gleichen Kernel Panic.
Ich hab versucht den Panic per NetConsole zu loggen, dann friert die VM allerdings einfach nur ein.

 

[Falk R.]

Hast du auch einmal die Security Mitigations geprüft?
Sind eventuell im BIOS noch Einstellungen anders?

 

[Andreas Pflug]

Die CPUs stecken in unterschiedlichen Mainboards, insofern sind die BIOS-Einstellungen sicherlich anders. Dies und die Security Mitigations sollte qemu sicherlich virtualisieren, mindestens für kvm_64 CPUs.

 

[Falk R.]

Gerade die Security Mitigations sind so ein heikles Thema. qemu emuliert dir was du willst, aber manche Flags muss man explizit manuell maskieren.
Ich hatte schon einmal, dass ein Server die Virtualisierungsfeatures der CPU im BIOS abgeschaltet hatte. Virtualisieren ging trotzdem, aber nicht so performant und kein live migration. Daher auch mal das BIOS checken. Bei manchen Servern, wie z.B. DELL kann man im IPMI die Biossettings angucken.

 

[Andreas Pflug]

Habe den Upgrade auf Proxmox8 mit Kernel 6.2 durchgeführt. Es lag offenbar am alten 5.15-er Kernel.