PVE 9.1.4 / NVIDIA Tesla T4 / vGPU 19.3 Installation

[Raudi]

Hallo,

ich bin gerade dabei einen meiner VMware Hosts, die mit vSphere 8.0.3 schon die vGPU genutzt haben, unter Proxmox neu zu installieren, um das ganze hier mal zu testen.

Dabei richte ich mich nach dieser Anleitung: NVIDIA vGPU on Proxmox VE

Erstes Problem könnte schon sein, ich nutze die aktuellste Proxmox VE Version 9.1.4, diese steht noch nicht in der Anleitung, dort geht es bis Version 9.0.11 - Evtl. ist das ja schon die Lösung für mein Problem, aber oft funktionieren ja auch neuere Versionen nur noch nicht so ausführlich getestet...

Also ich habe:

pve-nvidia-vgpu-helper setup

ausgeführt und nach einem Neustart wurde bei lspci auch die NVIDIA Karte angezeigt.

af:00.0 3D controller: NVIDIA Corporation TU104GL [Tesla T4] (rev a1)

Dann über das NVIDIA Lizenz-Portal die Datei

NVIDIA-GRID-Linux-KVM-580.105.06-580.105.08-581.80.zip

heruntergeladen und entpackt, daraus die Datei

NVIDIA-Linux-x86_64-580.105.06-vgpu-kvm.run

aus dem Host_Drivers Verzeichnis auf den Proxmox Host in den /tmp Ordner übertragen. Und wie in der Anleitung beschrieben:

chmod +x NVIDIA-Linux-x86_64-580.105.06-vgpu-kvm.run
./NVIDIA-Linux-x86_64-580.105.06-vgpu-kvm.run --dkms

Aber dann kommt diese Meldung und die Installation bricht ab:

ERROR: Unable to find the development tool `cc` in your path; please make sure that you have the package 'gcc' installed. If gcc is installed on your system, then please check that `cc` is in your PATH.

Bevor ich hier nun beginne zu experimentieren und versuche den "gcc" zu installieren, vielleicht hat ja schon jemand Erfahrungen in dem Bereich und hat da ein Tipp für mich.

Viele Grüße
Stefan

 

[Raudi]

Naja, in der Anleitung auf der NVIDIA Seite steht noch in den Voraussetzungen:

The following packages are installed on the Linux KVM server:

• The x86_64 build of the GNU Compiler Collection (GCC)
• Linux kernel headers

Virtual GPU Software User Guide

Headers sind installiert:

# apt list --installed | grep header
proxmox-default-headers/stable,now 2.0.1 all [installed]
proxmox-headers-6.17.4-1-pve/stable,now 6.17.4-1 amd64 [installed,automatic]
proxmox-headers-6.17/stable,now 6.17.4-1 all [installed]

Nur der gcc scheinbar unvollständig, an anderer Stelle im Forum hat jemand geschrieben, dass man build-essential installieren solle, dann möchte er:

# apt install build-essential
Installing:
build-essential

Installing dependencies:
cpp g++-14-x86-64-linux-gnu libasan8 libitm1 libtsan2
cpp-14 g++-x86-64-linux-gnu libcc1-0 liblsan0 libubsan1
cpp-14-x86-64-linux-gnu gcc libgcc-14-dev libmpc3
cpp-x86-64-linux-gnu gcc-14 libgomp1 libmpfr6
g++ gcc-14-x86-64-linux-gnu libhwasan0 libquadmath0
g++-14 gcc-x86-64-linux-gnu libisl23 libstdc++-14-dev

Suggested packages:
cpp-doc g++-multilib gcc-multilib automake bison gcc-14-multilib
gcc-14-locales g++-14-multilib manpages-dev libtool gdb gdb-x86-64-linux-gnu
cpp-14-doc gcc-14-doc autoconf flex gcc-doc libstdc++-14-doc

Summary:
Upgrading: 0, Installing: 27, Removing: 0, Not Upgrading: 0
Download size: 60.9 MB
Space needed: 221 MB / 90.0 GB available

Müsste dann vermutlich in der vGPU Anleitung noch mal ergänzt werden...

 

[Raudi]

Okay, vermutlich doch falscher Kernel... Anbei das Installations-Log mit den ganzen Fehlern.

Oder habe ich da noch andere Möglichkeiten?

 

[Raudi]

So, ich denke ich werde bei uns erstmal empfehlen weiterhin auf VMware zu setzen, denn das Thema vGPU ist ja sowas von ein Gebastel...
Ich wollte noch mal mit der Version 9.0.11 und Kernel 6.14.11-4-pve testen, so wie in der Anleitung angegeben, aber wie kommt man dahin?

Nach längerem Suchen habe ich einen Download für eine 9.0 ISO gefunden, in den Downloads gibt es ja erstmal nur 8.4 und 9.1. Also Version 9.0 installiert, ist eine 9.0.3. Nur wie kann ich nun auf die gewünschte Version gehen?

Starte ich ein Update so möchte er wieder den Kernel 6.17 und den Manager 9.1.4 installieren.

Dann habe ich die beiden geforderten Versionen erstmal manuell installiert. Dann das Kommando:

pve-nvidia-vgpu-helper setup

Und was passiert dabei? Er installiert den Kernel 6.17! Was soll das?

Also bei jedem Boot im Grub manuell den 6.14.11 ausgewählt. So konnte ich dann auch die Treiber installieren. Nur lasse ich ihn automatisch booten, dann sind die Treiber wieder nicht geladen, klar passen nicht zum Kernel...

Aber auch so scheint es nicht zu funktionieren, wenn ich den 6.14.11 Kernel boote, dann sind die Treiber aufgelistet aber ich sehe keine vGPU Funktionen, nur das PCI Device ist da.

Evtl. ist der Grund, dass da noch andere Treiber geladen sind:

# lspci -d 10de: -nnk
af:00.0 3D controller [0302]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1)
Subsystem: NVIDIA Corporation Device [10de:12a2]
Kernel modules: nvidiafb, nouveau, nvidia_vgpu_vfio, nvidia

# nvidia-smi
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

Dann habe ich noch mal gesucht und dieses gefunden:

# create this file to prevent other drivers from interfering with NVIDIA drivers:
nano /etc/modprobe.d/blacklist-videos.conf

# add these 3 lines to it:
blacklist nvidiafb
blacklist nouveau
options nouveau modeset=0

# save by pressing CTRL-O
# exit by pressing CRTL-X

update-initramfs -u -k all
reboot now

Er hat es dann für alle 3 Kernel aktualisiert, aber nach einem Reboot sind die Treiber immer noch geladen. Oder muss man diese Datei vor dem kompilieren der Treiber erstellen?

Dann habe ich noch die Datei /etc/modprobe.d/pve-blacklist.conf gefunden, darin steht:

# This file contains a list of modules which are not supported by Proxmox VE

# nvidiafb see bugreport https://bugzilla.proxmox.com/show_bug.cgi?id=701
blacklist nvidiafb

Also eigentlich war der Treiber nvidiafb dann schon immer auf der Liste, aber warum wurde der trotzdem immer geladen? Gleiches mit dem anderen, da gibt es eine /etc/modprobe.d/block-nouveau.conf Datei mit dem Inhalt:

blacklist nouveau

Ich werde das ganze System wieder platt machen und wieder die 9.1.4 installieren, wenn es dann eine funktionierende vGPU Version dafür gibt, werde ich noch mal testen...

Und bitte prüft und überarbeitet die Installations-Anleitung. Evtl. auch in Bezug auf "wie verhindere ich die Aktualisierung der Kernkomponenten damit es eine supportete Umgebung bleibt".