VE 8: OPNSense VM crash

[shooter40k]

Ich habe meinen Cluster (zugegeben etwas leichtsinnig) auf VE8 angehoben, soweit alles gut nur meine zentrale FW (OPNSense) scheint ihre Probleme mit VE8 zu haben. Sie stürzt unregelmäßig (aber zuverlässig, kurz nach dem Start) ab. Die VM ist dann aus. Es gibt keine Fehlermeldung! (Jedenfalls habe ich keine Gefunden, es sieht ehr nach einer Art emergency shutdown aus)

Da dies so kein Zustand ist habe ich kurzerhand den Knoten zurück auf 7.4 gerollt, mit dem Ergebnis das die FW nun wieder problemlos läuft. Auf dem Knoten läuft auch aktuell nur die FW.

OPNsense 23.1.10_1-amd64
FreeBSD 13.1-RELEASE-p7
OpenSSL 1.1.1u 30 May 2023

Außer AES und dem Guest Agent ist auch nichts spezielles (KEIN pci Passthrough etc) an der VM.
Die Netzwerkadapter sind allesamt virtuell.

Hardwarespecs habe ich mal als Bild angehängt.



Ich habe ehrlich gesagt AES im Verdacht (irgendwo hatte ich gelesen das sich in VE8 da was geändert hat?) Abschalten von AES hat die VM allerdings nicht vertragen, bootet dann nicht mehr. Auch ein Wechsel des Prozessortyps hat keine Abhilfe geschaffen.

Ich hatte ebenfalls versucht das VE mit dem älteren 5er Kernel zu booten, auch ohne Erfolg. Da mir die Zeit im Nacken saß habe ich leider auch keine Logs mehr von der VM (hatte sie dann zurückgerollt auf einen Snapshot).

Falls hier niemand mehr eine Idee hat werde ich auf einem PVE8er Knoten eine neue VM mit OPNSense aufsetzen und wenn die läuft würde ich mir einfach die Konfig ziehen.

Auf jeden Fall kann ich aktuell davor warnen ein Enviroment mit OPNSense auf Version 8 zu migrieren.

 

[shooter40k]

Hier noch die specs des Knoten:

Hier schon wieder auf PVE 5.15!

 

[garfield2008]

1 Socket im Host aber zwei in der VM? CPU inder VM waäre besser Host.

 

[shooter40k]

Ja, da hast Du recht, ist mir noch gar nicht aufgefallen! CPU hatte ich tatsächlich schon testweise auf Host umgestellt, hat aber auch nix geholfen. Warum würdest Du hier Host empfehlen?

 

[garfield2008]

Warum AES in einer virtuellen CPU verwenden, wenn es die Host CPU in Hardware macht. Wenn man keinen Cluster mit unterschiedlichen CPUs betreibt und migrrieren muss ist Host immer die beste Wahl.

 

[shooter40k]

Wenn man keinen Cluster mit unterschiedlichen CPUs betreibt

..das ist der Punkt...es war angedacht den Kram im Fehlerfall zu migrieren. Aktuell mache ich das aber nicht so.

 

[shooter40k]

So, mal kurzes Feedback, ich hab die VM geklont, ein socket mit zwei cores, alle Neztwerkadapter auf disconnect gesetzt und auf einen 8er Knoten Migriert. Läuft seit über einer Stunde stabil...es könnte also mit den 2 sockets zusammen hängen.

 

[shooter40k]

Ich habe jetzt die aktive OPNsense ebenfalls auf 1 socket mit 2 cores umgestellt und auf eine PVE 8 Knoten umgezogen. Der Fehler ist weg, es lag definitv an dem (ungewollten) overprovisioning der sockets. Danke besonders an @garfield2008 !

Gruß,
Flo