Proxmox Hybrid Workstation

[Felix.]

Hallo liebe Community,

nach längerer Zeit wende ich mich mit einer neuen Herausforderung vor der ich stehe an euch.

Ich möchte gerne meinen Computer aufspalten in mehrere virtuelle Computer.

Folgende Hardware ist verbaut:

ASUS Crosshair VI Hero, Socket AM4
AMD Ryzen 1700X 8c/16t
64GB DDR4-2400 Crucial Ballistix Sport

Samsung 960 Pro 512GB NVMe
Samsung 950 Evo 500GB SATA

Intel I211 1Gb NIC (Mainboard)

GTX 1060 6G OC
Radeon HD 6570 2G

Diverse Kärtchen wie eine Elgato HD60 Pro, ...

Am liebsten wären mir eine VM zum Arbeiten und eine zum Spielen, ich habe jedoch gelesen, dass ich eine GPU für den Host brauche. Schade eigentlich. Eine dritte GraKa zu verbauen wird schwer, da gehen mir bald die Slots aus. Und die Karten.

Ich habe jedoch gelesen, dass man auch den Proxmox Host mit einem Desktop ausstatten kann und quasi als hybride Workstation nutzen kann.
Nicht ganz ideal mMn. aber auf jeden Fall schon mal nicht schlecht!

Für den Proxmox Host würde ich gerne die Radeon als GPU nutzen - die lag im Regal rum und kann nicht allzu viel im Vergleich zu moderner Hardware, jedoch reicht sie für alle Tasks außer Computing und Gaming aufs Vollste!
Die Geforce soll per PCI Passthrough an die Gaming VM weitergereicht werden.

Beide GPUs sind am Ende jeweils mit 2 HDMI Anschlüssen an eine 4x2 HDMI Matrix angeschlossen, sodass ich jeweils die gewünschten VMs auf meine 2 Bildschirme legen kann.

Tastatur, Maus und sogar das Clipboard will ich mit Hilfe der Software "Synergy Pro" beiden Maschinen zugänglich machen.

Beide Maschinen kriegen natürlich noch ein paar weitere Systemressourcen und etwas Storage auf beiden SSDs. Rest wird per Netzwerk angebunden.

Mein erster Versuch war eigentlich mit ESXi 6.7 - Fehlschlag. Das GPU Passthrough lief hinten und vorne nicht korrekt.
unRAID wird genau für sowas beworben... ich will aber nicht noch mehr Geld für das Projekt ausgeben, wenn es nicht sein muss - außerdem kommt mir diese abgewandelte RAID-4 Konstellation worauf die setzen etwas spanisch vor. Herstellerspezifischer Krims - bäh.

Proxmox benutze ich momentan seit ein paar Monaten auf 2 Servern mit größtem Erfolg.
Und nunja.. darum schaue ich nun wie sich PVE bei dieser Aufgabe schlagen kann.

Nun zu dem eigentlich Grund des Threads...

Die Probleme ließen nämlich nicht lange auf sich warten... die Netzwerkkarte kriegt keine Verbindung.
Nicht mal das Gateway lässt sich anpingen. Unter Debian Live, ESXi und Windows 10 treten diese Probleme nicht auf.
Auch steht nichtmal der Befehl ifconfig zur Verfügung - sehr merkwürdig.
Ich habe übrigens das offizielle ISO zur Installation genutzt.

Kernelversion
Linux 4.15.17-1-pve #1 SMP PVE 4.15.17-9 (Wed, 9 May 2018 13:31:43 +0200)

PVE Manager Version
pve-manager/5.2-1/0fcd7879

Wäre um jede Hilfe dankbar!
Damit ließe sich richtig was rausholen aus der Kiste.

Ich werde den Thread zukünftig auch mit weiteren Updates bestücken, immer wenn ich irgendwo voran komme.
Und natürlich mit weiteren Fragen, falls sich neue Probleme auftürmen; bin gespannt ob sich jemand für solch eine Spielerei interessiert. =)

 

[dcsapak]

was sagt

ip a
ip l
lspci -nnk

auch irgendwas relevanted zur nic in dmesg ?

 

[Felix.]

Im lspci tauchte die NIC auf jeden Fall auf.

Hab mittlerweile wieder etwas rumgemodelt an der Kiste - hab alte Notizen zu Proxmox entdeckt, die Probleme mit dem ISO Installer hatte ich schon immer.

Die Nachinstallation auf ein vorhandenes Debian wiederum lief immer perfekt.
Genau da bin ich auch grade dabei - ich richte im Moment ein Debian 9 mit Cinnamon her und installiere dann Proxmox nach.
Mal sehen wie es wird.... aktuell läuft unter dem blanken Debian auch die NIC - mit Firmwarepaketen nun sogar WLAN und Bluetooth Sticks.

 

[Felix.]

So, diese Antwort stammt nun übrigens von besagter Maschine.
Hier ist einmal die Ausgabe von inxi - sieht für mein eher untrainiertes Auge ziemlich gut aus:

Jetzt versuche ich noch die Bildausgabe von der GTX 1060 auf die Radeon zu verschieben.
Unter Ubuntu (testweise) hat das lustigerweise auf Anhieb sofort und mit beiden Displays funktioniert... weiß Gott wie viel Firmwares die da reingestopft haben.

 

[Felix.]

Kleines Update:

Mittlerweile läuft PVE 5.2.6 auf Debian 9 Cinnamon.
Bisher schaut alles gut aus - ich erstelle grade eine Windows VM zum testen.

Später geht es dann ans Eingemachte mit dem IOMMU und GPU Passthrough.
Sobald der Host endlich aufhört die GTX 1060 als Display Device zu nutzen, sondern die Radeon stattdessen.... jemand ne Idee, wie man die spezifische GPU dem Host zuweisen kann, wenn mehrere im System hängen?

 

[dcsapak]

jemand ne Idee, wie man die spezifische GPU dem Host zuweisen kann, wenn mehrere im System hängen?

ist normalerweise eine bios einstellung was die primäre gpu ist, oft entscheided auch der pcie slot das

 

[Felix.]

ist normalerweise eine bios einstellung was die primäre gpu ist, oft entscheided auch der pcie slot das

Im BIOS wird die Radeon leider komplett ignoriert, die GTX wird allerdings gelistet - vermutlich weil es ebenfalls eine ASUS ROG ist.
Die GTX sitzt im ersten x16 3.0 Slot, die Radeon im letzten PCIe Slot (x16, 2.0).

Unter Ubuntu Live werden beide erkannt und angesteuert.
Unter Debian / PVE leider nicht.

Mittlerweile kam auch wieder ein neues Problem hinzu.
Nach der Installation von Proxmox folgte der erste Reboot... stellt sich raus, dass beim starten mit 4.15.18-pve als Kernel der Display Manager nicht lädt.
Ich musste wieder unter 4.9 booten und kann den pve kernel nicht rausschmeißen ohne proxmox-ve mitzureißen.

Die Netzwerkkonfiguration war knifflig - aber mittlerweile managed Proxmox das wie gewünscht.

 

[Felix.]

Nachdem ich die nvidia treiber runtergeschmissen habe, startet nun auch wieder die Cinnamon GUI unter dem PVE Kernel.
Und dennoch läuft alles unter 1080p als Auflösung... also keine allzu großen Probleme ohne die Treiber.
Nur leider läuft Cinnamon jetzt wieder im Software-Rendering Modus... was ja logisch ist - aber doof.

Dann kommen noch Meldungen beim Start:
couldnt get uefi db list ...

Da lese ich grade, dass es da Zusammenhänge mit SecureBoot geben soll, was bei mir abgeschalten ist.
Also, auf ins BIOS / UEFI!

 

[Felix.]

SecureBoot auf Standard gesetzt und die Meldung verschwindet, bis auf die erste Zeile "0x800000000..... 00e". Suspekt, aber scheinbar nicht weiter tragisch.

Nach einer Weile der X.org Konfiguration nutzt Cinnamon nun die Radeon.
Jedoch immer noch im Software Rendering Mode und beim Reboot lande ich auch schon wieder in der Konsole, weil LightDM nicht mehr startet.
Es bleibt also weiterhin spaßig und spannend!

 

[Felix.]

Nach noch mehr Spaß mit X11 übersteht die GUI nun auch einen Reboot.
Jedoch stecke ich im Loginscreen fest, wenn ich meinen non-root User nutzen will für die Anmeldung.

Beim Login als root läuft alles wie gewünscht.
Und die Meldung mit dem Software Rendering ist verschwunden... also nähert man sich der Sache doch so langsam.

Mehr oder weniger.

 

[Felix.]

Die /home/meinUser/.Xauthority Datei hatte die falschen Besitzerrechte (root).
Nun läuft die GUI inkl. Hardware Rendering, laut inxi -G.
"Gallium 0.4 on AMD TURKS"

Es geht aufwärts!

 

[Felix.]

Das nächste Problem wartet in der Netzwerkkonfiguration.
Sobald ich eine Bridge hinzufüge, welche einen Link in mein lokales Netzwerk (enp35s0) bilden soll, reißt meine Verbindung ins Netzwerk ab.

Ich hätte gerne 2 Bridges:

WAN
Soll eine Netzwerkbrücke in mein vorhandenes Netzwerk bilden und VMs die an dieser Brücke hängen sollen über meinen Router ins Netz gehen können und eine Adresse per DHCP kriegen, falls möglich.

LAN
Diese Brücke soll isoliert sein und lediglich teilnehmenden VMs die Kommunikation untereinander ermöglichen.

Sobald dies läuft, hänge ich vermutlich eine pfSense VM in beide Netze um entsprechend vermitteln zu können.

Meine Frage ist, warum meine Netzwerkverbindung abreißt, sobald ich die WAN Bridge erstelle?
In VirtualBox gibt es den Adapter "Netzwerkbrücke" womit sich die VM so verhält, als würde sie direkt am Netz hängen - sowas will ich nachbauen. But how?

 

[Felix.]

Weitere Erfolge sind zu vermerken!
Nach einigen Anleitungen und etwas eigene Kreativität sowie einiger Umplatzierungen der PCI Karten läuft das GPU Passthrough der GTX 1060 in meine Windows 10 VM nun!

Das Problem mit den Netzwerkbridges besteht noch immer... aktuell "schummel" ich und reiche einen WLAN-Stick an die VM weiter.
Wäre da wirklich dankbar für jede Hilfe... ich stehe da total aufm Schlauch.

 

[dcsapak]

bitte die netzwerk konfiguration posten, ohne die wirds schwer zu helfen

 

[Felix.]

@dcsapak Hier die Ausgaben von ifconfig:

In dieser Konfiguration hat der Host keine Verbindung, jedoch die VMs:

enp35s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.188.50  netmask 255.255.255.0  broadcast 192.168.188.255
        ether 60:45:cb:9e:f1:eb  txqueuelen 1000  (Ethernet)
        RX packets 91654  bytes 125951514 (120.1 MiB)
        RX errors 0  dropped 1  overruns 0  frame 0
        TX packets 59175  bytes 4974122 (4.7 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Lokale Schleife)
        RX packets 19396  bytes 29080706 (27.7 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 19396  bytes 29080706 (27.7 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

tap100i0: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1500
        ether ee:66:69:c6:22:2b  txqueuelen 1000  (Ethernet)
        RX packets 58764  bytes 4944349 (4.7 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 91286  bytes 125910176 (120.0 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

vmbr0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.188.50  netmask 255.255.255.0  broadcast 192.168.188.255
        inet6 fe80::6245:cbff:fe9e:f1eb  prefixlen 64  scopeid 0x20<link>
        ether 60:45:cb:9e:f1:eb  txqueuelen 1000  (Ethernet)
        RX packets 656  bytes 77177 (75.3 KiB)
        RX errors 0  dropped 5  overruns 0  frame 0
        TX packets 93  bytes 11587 (11.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Mit dieser Konfiguration hat der Host Netz, aber keine VM:

enp35s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.188.50  netmask 255.255.255.0  broadcast 192.168.188.255
        ether 60:45:cb:9e:f1:eb  txqueuelen 1000  (Ethernet)
        RX packets 193788  bytes 267018731 (254.6 MiB)
        RX errors 0  dropped 1  overruns 0  frame 0
        TX packets 118472  bytes 9381096 (8.9 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Lokale Schleife)
        RX packets 44011  bytes 51589628 (49.1 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 44011  bytes 51589628 (49.1 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Ich verändere lediglich das "Bridge Ports" Feld.
Wenn ich die NIC (enp35s0) eintrage, wird der Host abgeknipst vom Netz und die VMs eingehängt.
Wenn das Feld leer bleibt, haben die VMs kein Netz, jedoch der Host weiterhin.

Ich möchte gerne, dass beide Parteien gleichzeitig im Netz hängen können.

 

[dcsapak]

wenn die ip auf der vmbr existiert muss sie nicht auf der nic sein
wie wird denn konfiguriert? /etc/network/interfaces? wenn ja bitte auch posten dann kann man sich ein besseres bild machen

 

[Felix.]

Ich konfiguriere das komplett über die Proxmox GUI.

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage part of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

auto enp3s0f0u7c4i2
iface enp3s0f0u7c4i2 inet manual

auto enp35s0
iface enp35s0 inet static
    address  192.168.188.50
    netmask  255.255.255.0
    gateway  192.168.188.1
#Mainboard NIC

auto vmbr0
iface vmbr0 inet static
    address  192.168.188.50
    netmask  255.255.255.0
    bridge-ports enp35s0
    bridge-stp off
    bridge-fd 0
#WAN

 

[dcsapak]

setz das gateway auf der bridge und gib der nic keine ip konfiguration

 

[Felix.]

Und es läuft. Genial!

Wenn ich jetzt eine Bridge erstellen möchte, wo nur die VMs und Host untereinander kommunizieren sollen, zb. mit ner pfSense VM als Router, wie würde ich da vorgehen?

Keine IP, kein Gateway etc. - nur eine leere Brücke quasi?

 

[dcsapak]

genau, und auch keine nic