Headless Proxmox - Problem mit passthrough GPU

[Karuso]

Hallo,

System:
Ryzen 5/3600 (ohne iGPU)
16 GB RAM
RX 580 Grafikkarte

ich habe folgendes Problem:

1. Szenario

Start des PC mit Proxmox 7.1.x Linux 5.13.19-2-pve "bei angeschlossenen Monitor" an der RX 580
Ergebnis - die VM´s frieren beim Start an, sobald sie auf die RX 580 per Passthrough zugreifen wollen

2. Szenario

Start des PC mit Proxmox 7.1.x Linux 5.13.19-2-pve "OHNE angeschlossenen Monitor" an der RX 580 - nachdem Proxmox UP ist wird HDMI an der Grafikkarte eingesteckt und die VM´s von einem anderen Rechner über SSH bzw. Webconsole gestartet
Ergebnis - die VM´s starten wunderbar mit der RX 580 per Passthrough

Irgendeine Idee woran das liegen kann?

Gruß,
Karuso


Auszüge einiger Configfiles

/etc/modprobe.d/blacklist.conf:
blacklist radeon
blacklist nouveau
blacklist nvidia
blacklist amdgpu

vfio.conf:
options vfio-pci ids=1002:67df,1002:aaf0 disable_vga=1

grub:
GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction nofb nomodeset video=vesafbff,efifbff"
GRUB_CMDLINE_LINUX=""

 

[proxifoxi]

Hallo, in dem Moment wo an der GPU ein Monitor angeschlossen ist wird die GPU dem "Hauptbetriebssystem" zugewiesen, in deinem fall ist das Proxmox !
Wenn du dann versuchst die VM mit PCI Passthrough zu starten raucht das ganze ab da die GPU schon in use ist von Proxmox !
Ich pers. kann nur von solchen versuchen abraten, führt zu mehr Problemen als man glauben mag, ich hatte das alles selbst schon mal versucht damals noch mit UnRaid.
Ich habe es bei mir wie folgt sehr erfolgreich laufen !
Eine einfache Gforce GT710 (gibts schon ab 50€) dienst mir als Masterkarte für Proxmox !
Meine RTX2060 kann ich zum einen an mein GamingWindows 11 durchreichen (wenn das verlangen zum "Datteln" mal da ist) oder an mein ArbeitsWindows11 (natürlich kann immer nur eines der beiden Windows 11 System laufen)
eine 3. Karte habe ich für mein MacOS eingebaut was auch super läuft.
Ich habe dazu noch diverse Container und Linux Distris. im Hintergrund am laufen.
Backup via 10GB Ethernet auf einen PBS (Ryzen 5 5600G , 32GB Ram) der ebenfalls mit 10GB ausgestattet ist.
Diese Konfig. habe ich jetzt gut 1 Jahr unter Proxmox ohne Probleme laufen, und muss bis jetzt sagen "Ich will nichts mehr anderes haben "


Grüße
Eure
Foxi

 

[Dunuin]

Eine einfache Gforce GT710 (gibts schon ab 50€) dienst mir als Masterkarte für Proxmox !

Gebraucht gab es die vor der GPU-Crypto-Krise schon inkl. Porto für unter 20€. Ich finde die auch echt praktisch, gerade weil es die als PCIe 1x und 8x mit passiver Kühlung sowie Single Slot und Low Profile gibt und die nur 19W TDP hat.

Meine RTX2060 kann ich zum einen an mein GamingWindows 11 durchreichen (wenn das verlangen zum "Datteln" mal da ist) oder an mein ArbeitsWindows11 (natürlich kann immer nur eines der beiden Windows 11 System laufen)
eine 3. Karte habe ich für mein MacOS eingebaut was auch super läuft.
Ich habe dazu noch diverse Container und Linux Distris. im Hintergrund am laufen.
Backup via 10GB Ethernet auf einen PBS (Ryzen 5 5600G , 32GB Ram) der ebenfalls mit 10GB ausgestattet ist.

Mir fehlen da leider die ganzen PCIe Slots für. Habe da auch noch ein Upgrade des Mainboards ins Auge gefasst um von 3 auf 7 PCIe Slots zu kommen, aber da wollen die aktuell für die gebrauchten Boards schon immer 300€ haben

 

[Karuso]

danke, ich hatte gehofft Proxmox ohne die Nutzung einer GPU starten zu können - das mit der 2. GPU ist mangels 2. PCI Steckplätz auf einem MINI-ITX Board leider nicht umsetzbar - eventuell werde ich auf eine Ryzen mit iGPU upgraden.

@Foxi: alles an einem Monitor mit Umschalt HDMI/HDMI/DP, einen Switch oder nutzt Du da mindestens 2 Monitore?

 

[proxifoxi]

Ich habe 2x 4K Monitore hier jeder Monitor hat 2x HDMI und 1xDP als Anschluss also mehr als genug ,
Im Moment arbeite ich noch mit nem Digitalen USB/HDMI Umschalter will ich aber die Tage mal via Software Lösung ändern.
Die Software "Barrier" soll alles können so wie ich das gelesen haben und das schöne dabei ist die gibt es wohl für
Windows , MacOs & Linux würde somit alles abdecken ist Quasi ein virtueller KVM-Switch

Grüße und schönes Wochenende
eure
Foxi

 

[Dunuin]

Jup, "Input Director" kannst du dir auch mal angucken, aber das geht glaube ich nicht für Mac. Hatte hier beides schon im Einsatz und klappte echt gut. Die Frage ist halt immer nur wegen der Sicherheit. Die bieten zwar auch verschlüsselte Kommunikation, aber im Endeffekt hat man dann doch einen Keylogger, der dann alle Passwörter und Co über das Netzwerk schickt.

 

[Karuso]

also Barrier läuft prima zwischen den Systemen - allerdings muss man sich bei OSX erst anmelden, damit Barrier auch gestartet wird - da muss man sich entweder per VNC oder SSH auf den Mac einloggen, um Barrier zu starten....

edit: ah mit ShareMouse kann man das Programm schon vor Login starten lassen - das läuft prima