vGPU, MxGPU, etc. - was ist die beste Lösung in 2022?

[ilja]

Hallo Zusammen,

ich habe hier einen schicken Proliant Gen 10 Server rumstehen (viel CPU und viel RAM) und suche nach einer Lösung mehrere VMs (Windows 11, Ubuntu) damit im Netzwerk diese als Remote-Desktops zur Verfügung stehen. Leider ist die aktuelle Grafikperformance unter Proxmox 7.1 ziemlich schlecht - auch mit VirtIO-GPU, 512MB. Die im Server verbaute Grafikkarte (Matrox, MGA G200eH3) hat auch kaum Kraft so 1/2wegs zu performen.

Daher überlege ich eine oder mehrere Grafikkarten in den Server zu packen. Nachdem mir die Lizenzpolitik von NVidia nicht so richtig sympathisch ist, dachte ich an eine AMD S7150x2 - allerdings ist die Karte schon ziemlich in die Jahre gekommen und die Lösung ist, zumindest im Mischbetrieb, wohl auch ziemlich instabil. Wie es aussieht, gibt es auch keine Windows 11 Treiber für die Karte (oder kann ich auch die Windows 10 Treiber unter Windows 11 nutzen? Leider habe ich keine Ahnung von Windows).

Hat jemand einen Vorschlag welche GPU Lösung ich da favorisieren sollte? Ich brauche gar nicht so mega viel Performance - es sollte halt ein vernünftiger Desktop-Einsatz werden, vielleicht maximal ein wenig CAD, kein Spielen. Gibt es eine gute Lösung? Es scheint, als würde das mit NVidia-Karten gehen - aber die Lösung sieht für mich eben auch recht hingebastelt aus. Die Alternative, das GPU Passthrough, ist wohl auch nicht perfekt und rock-stable - außerdem brauche ich dann für die 6-8 geplanten Hosts wohl auch entsprechend viele Grafikkarten. Das ist halt teuer, kostet Platz und der Server wird noch heißer... Welche Single-Slot-Karten würdet Ihr mir denn da empfehlen?

Beste Grüsse!

 

[Dunuin]

Würde mich auch mal interessieren. Ich hätte hier gerne 3 oder 4 VMs die eigentlich nur hardwarebeschleunigtes Video en-/dekodieren bräuchten und das nach Möglichkeit mit so wenig Stromverbrauch wie möglich.
Bisher habe ich da nur eine GT710 verbaut die sich zwei VMs teilen, was aber auch etwas nervig ist, da sich die beiden VMs dann nicht gleichzeitig betreiben lassen und die Low-End-Karten wie die GT710 oder GT1030 ja auch kein Encoding unterstutzen.
Würde ich das Mainboard tauschen (von 3 auf 7 PCIe Slots) könnte ich noch zwei weitere GT710 einbauen aber dann wurde immer noch Enkodierung fehlen. Und die GT710 hat nur eine TDP von 19W. Die kleinste mit Videoenkodierung wäre dann die GTX1050 und die wäre schon bei 75W TDP. Von sowas würde ich dann nur ungerne mehrere verbauen.
Das wäre dann höchstens eine Überlegung wert wenn ich eine 4GB GTX1050 mit vGPU als 4 virtuelle GPUs mit je 1GB an die VMs durchreichen könnte. Aber wenn ich es richtig verstanden habe läuft eine vGPU dann nur mit Windows Gästen?
Auch ist mir nicht ganz klar wie ich dann RDP in Win10 dazu bekomme die GPU für das Enkodieren des RDP-Video-Streams zu benutzen. Hatte das mal an der Win10 Workstation versucht wo man dafür RemoteFX und HyperV installieren sollte (was aber nicht lief), aber HyperV innerhalb einer VM klingt ja auch wieder suboptimal wenn das dann zu Nested Virtualization führt.

 

[ilja]

Bisher habe ich da nur eine GT710 verbaut die sich zwei VMs teilen, was aber auch etwas nervig ist, da sich die beiden VMs dann nicht gleichzeitig betreiben lassen

Hmm - wie machst Du das denn mit der GT710? Passthrough? Die Karte ist übrigens eine echte "Schrottkarte" wenn ich YouTube glauben darf - aber wenigstens ist die PCIe x8, welches vom Proliant Gen10 gleich vielfach unterstützt wird. Hast Du die per Passthrough an beide (Windows?)-VMs durchgeschleift? Was wohl passiert, wenn Du beide VMs gleichzeitig startest? Brrr.... ich mag gar nicht dran denken...

Das wäre dann höchstens eine Überlegung wert wenn ich eine 4GB GTX1050 mit vGPU als 4 virtuelle GPUs mit je 1GB an die VMs durchreichen könnte. Aber wenn ich es richtig verstanden habe läuft eine vGPU dann nur mit Windows Gästen?

Naja, wenn ich das AMD MxGPU richtig verstehe, dann sollte es theoretisch (!) auch mit mixed VMs gehen. Auch in dem (schicken!) YouTube-Tutorial scheint es so, als sollte es es auch mixed funktionieren. Es in der Tat auch die GTX1050 dabei! Wie beschrieben, mir ist es a) nicht so sympatisch, wegen dem Lizenzgeraffel und b) habe ich auch Angst, dass mir beim kleinsten Kernel-Update alles um die Ohren fliegt und dann alle nicht mehr arbeiten können. Die Lösung mit dem GitHub-Unlock-Dingens, sieht für mich nicht so aus, als wäre die so aktiv gepflegt (letztes Update vor 8 Monaten mit noch einigen offenen Issues). Das dann produktiv einzusetzen... da habe ich ein wenig Angst.

Wenn es für mixed Remote-Desktops ne richtig schicke, coole Lösung gäbe, dann kann ich auch ein wenig Geld (z.B. ~1000 EUR) dafür ausgeben... Aber leider weiss ich nicht welche Lösung das ist... so... please, tell me!

 

[ilja]

Übrigens... hier ist noch mal das nette Tutorial von Wim van't Hoog zum Thema:

https://wvthoog.nl/proxmox-7-vgpu/

- da sieht alles recht okay aus - auch wenn es wieder auf dem GitHub-Unlocker aufsetzt. Wie wäre denn die ganz offizielle NVidia-Lösung für diesen Fall? Gibt es z.B. Server-Karten bei denen diese Option schon direkt unlocked ist?

Ich gehe davon aus, dass Jeff (s.o.) das auch seinen Studien zugrunde gelegt hat...

 

[Dunuin]

Hmm - wie machst Du das denn mit der GT710? Passthrough? Die Karte ist übrigens eine echte "Schrottkarte" wenn ich YouTube glauben darf - aber wenigstens ist die PCIe x8, welches vom Proliant Gen10 gleich vielfach unterstützt wird.

Das Video habe ich auch geguckt und ist schwachsinn. Ja..die Grafikkarte ist grottig wenn man damit Zocken will, aber mit das beste was man für einen Server kaufen kann wenn man wenn man einfach nur hardwarebeschleunigtes Video-Dekodieren will (ohne durchgreichte GPU können meine VMs nicht mal ein Youtube-Video ruckelfrei abspielen) oder das Bild einer VM über HDMI/DVI/VGA ausgeben möchte:

1. kostete mich vor der GPU-Knappheit keine 20€
2. nur 19W TDP also super sparsam
3. eine der wenigen Consumer-Karten die man als Single-Slot bekommt und sich im Server so keine wertvollen anderen PCIe Slots blockiert
4. eine der gaaanz wenigen Karten die es als Low-Profile gibt und damit auch ohne Riser in ein 2U passt oder Thin-Client passt
5. gibt es als PCIe 16x, 8x und sogar als 1x Variante...Welche GPU sonst kann man schon in einen mechanischen 1x Slot stecken um dann die guten 16x und 8x Slots für was sinnvolleres wie NVMes, HBAs, NICs etc zu verwenden? Gerade diese Atom ITX Boards haben ja meistens nur einen einzigen PCIe Slot und der ist dann nur 1x und es würde überhaupt nichts anderes als GT710 nutzbar sein
6. gibt es als passiv gekühle Variante also absolut leise

Ich habe da meinen Atom Thin-Client als HTPC eingestampft und lasse nun eine Win10 VM mit der GT710 durchgereicht als HTPC laufen und die VM hängt dann per HDMI Kabel direkt am TV.

Hast Du die per Passthrough an beide (Windows?)-VMs durchgeschleift? Was wohl passiert, wenn Du beide VMs gleichzeitig startest? Brrr.... ich mag gar nicht dran denken...

Da passiert nichts. Läuft die eine VM lässt sich die anderen einfach nicht starten. Bevor ich die eine VM starten kann muss ich die andere also immer erst runterfahren. Ist nur mit automatischen Backups etwas nervig, weil für ein Backup die VM kurz gestartet werden muss. Das Backup aller VMs klappt also nur wenn beide VMs zum Zeitpunkt des täglichen Backups runtergefahren sind. Ansonsten lässt sich halt eine der beiden VMs nicht sichern und dann gibt es nervige Backup-Fehler-eMails.