Nested Virtualisation - Intel OK / AMD langsam

[MaLe]

Hallo,

ich habe zu dem Thema schon einges gefunden aber kein richtiges Ergebnis. Ich nutze in einer Lab-Umgebung für Schulungen ein AMD Ryzen-9 Blech mit PVE7 drauf und dort Nested 3x PVE7 um Übungen an Cluster Umgebungen durchzuführen. Mit einem Intel XEON Blech war das immer sehr gut zu nutzen, da selbst Windows VMs in der Nested Umgebung recht flink waren. Jetzt mit dem Ryzen ist das kaum noch nutzbar, alle VMs die auf den Nested PVEs installiert werden sind so langsam, dass das selbst für Schulungen nicht mehr brauchbar ist. Ich verstehe es einfach nicht, weil der Ryzen ansonsten erheblich flinker ist als die alte XEON CPU. Habe schon verschiedene Einstellungen getestet.

Auf der anderen Seite ist es so, dass z.B. der Anbieter PHP-Friends KVM-basierte vServer auf AMD Hosts anbietet auf denen Nested aktiviert ist. Dort habe ich testweise PVE7 installiert und da laufen die VMs in der Nested Umgebung extrem schnell, so wie gewohnt. An KVM/QEMU in Verbindung mit AMD kann es in dem Fall also nicht liegen. Einziger Unterschied ist die Tatsache, dass dort die Provider Lösung SolusVM zur Virtualiserung verwendet wird statt PVE - Basis ist aber auch KVM/QEMU. Es muss eine Einstellung sein.

Hat jemand dazu Erfahrungen?

 

[Falk R.]

Also mit Epyc Prozessoren läuft es auch sauber. Gibt es denn Dokus ob der Ryzen auch alle Features hat?

 

[MaLe]

Stimmt, dass kann die Ursache sein. Der Ryzen ist ja tendenziell eine Desktop/Workstation CPU. Ich habe das einfach als eine AMD-Genration gesehen. Mit den genauen Features des Ryzen habe ich mich noch nicht beschäftigt.

 

[SyntaxError]

Ich denke ein paar Informationen wären zusätzlich eine Hilfe eine gute Lösung für dein Problem zu finden. Welche CPU besitzt du genau, welches Mainboard und welchen Arbeitsspeicher. Gerade Ryzen profitiert von schnellen Arbeitsspeicher da die CPUs aus mehreren Chips bestehen die schnell miteinander Sprechen müssen. 3600MHz gilt als Sweet Spot. Du solltest auch darauf achten XMP zu aktivieren da sonst dein RAM mit einer schlechten Geschwindigkeit läuft. Wie sieht es mit Storage aus? Nutzt du ZFS? Übliche Fragen halt.... Was sagt dein Main PVE zu dem IO Delay?
Ich denke irgendwo werden wir ein Bottleneck haben. Bitte denke auch daran dein BIOS zu aktualisieren, hier schraubt AMD oft am Micro Code herum um Bugs zu fixen etc. Im Bios sollte SMT und/oder IOMMU aktiviert sein solltest du Gerätschaften durchreichen wollen.

 

[Anotheruser]

Welchen CPU Typ hast du gesetzt? Host oder KVM?
Hab ein ähnliches Setup für meine Proxmox Testinstanz bzw um andere Hypervisor zu testen laufen.
Benutze zum Teil auch Ryzen Systeme dafür und hatte damals beim einrichten anscheinend auch performance Probleme und hab mir deswegen das https://forum.proxmox.com/threads/c...m64…-forum-and-wiki-are-contradictory.100110/ abgespeichert gehabt.

 

[Falk R.]

KVM64 sollte man eh nicht benutzen, außer man möchte zwischen AMD und Intel live migrieren, was ich aber trotzdem keinem empfehlen würde.
Solange alle Hosts die gleiche CPU haben immer auf host stellen sonst immer auf die Generation der ältesten CPU im Cluster.
Nur dann können alle CPU Features genutzt werden.

 

[SyntaxError]

Rocky9 kommt mit dem CPU Typ KVM gar nicht mehr hoch und bekommt instand Kernel panic. Ich würde immer dazu raten einfach als CPU Typ host zu setzen, dann hat man am wenigsten Probleme.

 

[MaLe]

Vielen Dank für eure Antworten. Ich muss mich entschuldigen für die späte Reaktion, es war zeitlich nicht eher zu machen.

@SyntaxError Vielen Dank für deine ausführliche Antwort. Es handelte sich um ein gemietetes Blech. Ins BIOS komme/möchte ich nicht rein, im allgemeinen sind die aber vernünftig eingerichtet. Da ich keine Lust/Zeit auf weitere Fehlersuche hatte, habe ich das Blech zurückgegeben und mir zum ähnlichen Preis einen 24-Core Intel® Core i9-13900 geklickt. Die Kiste macht richtig Spaß und die Nested VMs haben jetzt sehr gute Performance.

@Anotheruser / @Falk R. : Danke für den Link. Ich nutze in dem VMs ausschließlich den CPU Typ Host.