iGpu an (KI-)VM & Nvidia GF GTX760 an WIN VM Pci-Passthrough

[oefchen]

Hallo Leute...ich brauch mal Euer Schwarmwissen

Hab hier nen WIN-PC der ansich 24/7 läuft...natürlich schläft wenn nicht gebraucht.
Intel I7-4790 mit im Mom 16Gb + Nvidia GTX760

Ansonsten arbeitet ein PM-Cluster mit einigen Containern und VM´s (Smart, NAS, PBS)
Leider bekomm ich über die PM-Cluster keine GPU durchgereicht die KI-Aufgaben übernehmen könnte (Videoüberwachung).
Es müsste eine Intel GPU (UHD Grafik 670, 730) mit etwas mehr Power sein. Ein Node arbeitet mit nem 4KernIntel(630 Gpu) und schafft es nicht.

Jetzt würd ich gern den Win Rechner (vlt mit Upgrade zu aktuellerer CPU) als Node zufügen und WIN10 als VM anlegen. Hier dann die GTX760 durchreichen.
Weitere VM mit der Cam-Überwachung...hier die interne GPU der CPU durchreichen.

Kann das so funktionieren? Wie wird die Performance der WIN-VM sein ?
Ist es möglich die SSD von der WIN10 mom startet nach Erstellung der WIN-VM einzuhängen und direkt davon zu starten ?

Danke für Eure Gedanken

 

[fireon]

Mal ne Gegenfrage, reicht denn die GTX760? Sie hat ja nur 2 bis max. 4GB Ram. Wenn ich hier bei mir auch nur das kleinste LLM anstarte sind mal 7GB von der Grafikkarte geschluckt. Welche KI willst du denn da verwenden?

 

[Falk R.]

Also für ein SLM reicht das zum spielen, aber ein LLM braucht deutlich mehr wie schon oben erwähnt.
Eventuell erst mal schauen was genau du testen möchtest und wie die Mindest- sowie Optimalanforderungen sind.

 

[oefchen]

Hi ...nein...keine fetten KI-Aufgaben Es geht um Personen/Fzg-Erkennung über CAM´s die das selbst noch nicht bieten.
Die GTX reicht für den WIN-Werkstatt-PC völlig...bisher zumindest. Und die interne GPU des Intel (I7 9000k) packt die wenigen KI-Treads der Überwachung. Das funzt ganz gut...hab ich grad so fürn Kollegen installiert.

Jetzt könnt ich einfach noch ne Kiste daneben stellen...möcht mir das aber eig sparen. Hier laufen schon genug rund um die Uhr