Vorhandene Hardware / Windows Server mit HyperV => Proxmox / Fragen

[beckersbest]

Hallo liebe Experten,

schon lange trage ich mich mit dem Gedanken, meinen privaten Windows 10 Pro Homeserver mit HyperV und 2 VMs in Richtung Proxmox umzustellen. Dazu habe ich viel mitgelesen und bin nun an dem Punkt, dass ich nicht mehr weiterkomme im sinnvollen Aufbau auf Basis der bestehenden Komponenten und (angedachten) Nutzung, ich hoffe, ich bin hier richtig.

Verfügbare Hardware:

1. Mainboard: ASUS P10S WS
   1. Expansion Slots
      

      1. 1 x PCIe 3.0/2.0 x16 (x16/x8)​
      2. 1 x PCIe 3.0/2.0 x16 (x8 mode) *1​
      3. 1 x PCIe 3.0/2.0 x16 (x4 mode) *2​
      4. 1 x PCIe 3.0/2.0 x16 (x4 mode) *2​
   2. Storage
      

      1. 8 x SATA 6Gb/s port(s),​
      2. 2 x M.2 Socket 3*3, with M Key, type 2242/2260/2280/22110 storage devices support (both SATA & PCIE mode)​
      3. Support Raid 0, 1, 5, 10​
      4. Intel® Rapid Storage Technology Enterprise supports​
2. CPU: Intel(R) Xeon(R) CPU E3-1225 v6 @ 3.30GHz
3. RAM (32 GB):
   1. 1 x 16 GB PC4-19200 DDR4 SDRAM Samsung M378A2K43CB1-CRC​
   2. 1 x 16 GB PC4-19200 DDR4 SDRAM Crucial Technology CT16G4DFD824A.M16F​
4. HDDs
   1. Samsung SSD 970 EVO 1TB​
   2. 12 TB | HGST HUH721212ALE604​
   3. 10 TB|HGST HDN721010ALE604​
   4. 8 TB|HGST HDN728080ALE604​
   5. 4 TB|WDC WD40EFRX-68WT0N0​
   6. 4 TB|WDC WD40EFRX-68WT0N0​
5. Sonstige HW
   1. SkyLogic S952 DVBS2 Card​

Aktueller Betrieb:

1. Host-System: Windows 10 Pro mit aktiviertem HpyerV
2. Host-System-Nutzung:
   1. Plex Server​
   2. Virtuelle Maschine für leistungsintensive Anwendungen wie Lightroom, Photoshop, aber auch MySQL Datenbanken​
3. Storage:
   1. die Platten 2-6 sind mittels Stablebit DrivePool zu einem Pool zusammengefügt, aktuell zu ca. 80% genutzt und selektiv sind einige Verzeichnisse dupliziert​
   2. Die NVmE Platte ist aktuell für das OS und auch für den LR-Katalog und die VMs genutzt, Sicherung hier mittels robocopy​
4. VMs
   1. Virtueller Win 10 Pro PC für meine Frau​
   2. PiHole​
   3. ioBroker​

Mit meinem aktuellen Wissen überlege ich folgenden Aufbau:

1. Betrieb folgender VMs
   1. Windows 10 Pro PC der Frau (Office-Anwendungen, Internet Surfen)​
   2. Windows 10 Pro PC für mich (Graphikanwendungen)​
   3. PiHole​
   4. ioBroker​
   5. Plex​
   6. ggf. noch Openmediavault / Nextcloud, pfSense​
2. Konfiguration:
3. Proxmox und VMs auf der 1 TB NVMe, da mein Board Raid 1, 5, 10 anbietet, würde ich noch eine identische Samsung 1 TB NVMe dazukaufen
4. Openmediavault als Ersatz für den bisherigen Pool für die Platten 2-6

Für mich unklare Punkte:

1. Macht die Nutzung der NVMe(s) für Proxmox und die VMs Sinn?
   1. Wenn ja, auch im RAID 1 Betrieb?​
2. Wie baue ich am besten den Medienpool auf (Filme, Serien, Bilder, Musik), vor allem vor dem Hintergrund, dass ich nicht genug Kapazität für ein Zwischenparken habe?
   1. Ist Drivepool eine gute Lösung?​
   2. Wenn ja, eigene VM dafür nutzen oder ggf. auf der PLEX VM oder einer der anderen VMs?​
   3. Wenn nein, was wäre die optimale Lösung, so etwas wie Openmediavault oder hat Proxmox Bordmittel?​

Ich hoffe, meine Ausführungen zeigen grundsätzlich in die richtige Richtung, für Eure Hilfe schon jetzt vielen Dank,
Thorsten

 

[Dunuin]

Macht die Nutzung der NVMe(s) für Proxmox und die VMs Sinn?

1. Wenn ja, auch im RAID 1 Betrieb?​

Hängt davon ab was für ein Raid du nutzt. Proxmox ist recht schreiblastig und deine Evo ist nicht für schreibintensive workloads ausgelegt. Besonders nicht für viele kleine Sync Writes (wie es deine MySQL Datenbank tun). Google mal wegen ZFS und consumer/pro-sumer vs. enterprise grade SSDs bzw Write Amplification und Powerloss Protection bei SSDs. Mdraid wird nicht offiziell unterstützt, lässt sich aber über den Umweg einer Debian-Installation, auf die man oben drauf dann Proxmox installiert umsetzen. Mdraid ist da nicht ganz so schreiblastig wie ZFS. Einzelne SSD für System und VMs geht natürlich auch, aber wenn die mal ausfällt musst du den ganzen Server neu aufsetzen und die Daten aus externen Backups einspielen. Kann sehr nervig werden, je nachdem, wieviel du am Proxmox-Server angepasst hast.
Aber generell sind Consumer-SSDs nicht wirklich performant/langlebig wenn du Datenbanken drauf laufen lässt.

Wie baue ich am besten den Medienpool auf (Filme, Serien, Bilder, Musik), vor allem vor dem Hintergrund, dass ich nicht genug Kapazität für ein Zwischenparken habe?

1. Ist Drivepool eine gute Lösung?​
2. Wenn ja, eigene VM dafür nutzen oder ggf. auf der PLEX VM oder einer der anderen VMs?​
3. Wenn nein, was wäre die optimale Lösung, so etwas wie Openmediavault oder hat Proxmox Bordmittel?​

Drivepool kenne ich nicht, aber mit ZFS wird es schwierig da einen ordentlichen Pool draus zu bauen. Da sollten die Platten alle gleich groß sein.
Da bietet sich dann vielleicht eher Unraid an, da es variabler mit den Festplatten ist.

Proxmox hat keine Verwaltung von Shares eingebaut. Du könntest aber natürlich einfach die einzelnen HDDs per Samba im Netz freigeben, sodass da eine Plex-VM etc drauf zugreifen können. Oder du erstellst eine eigene NAS-VM wie TrueNAS/Openmediavault/Unraid und reichst alle HDDs direkt in die VM durch. Dazu brauchst du dann aber wohl noch eine HBA-Karte, falls du den Onboard-Controller nicht per PCI Passthrough durchgereicht bekommst.
Und die Grafikkarten willst du dann ja wohl auch an deine Windows-VMs durchreichen sowie die DVBS2-Karte an die Plex-VM und eine NIC an die pfsense-VM.
Das kann dann schnell eng werden mit den PCIe Slots.
-GPU für Windows-Grafik-VM
-GPU für Windows-Office-VM (vielleicht tut es da auch spice)
-NIC für pfsense
-HBA für NAS-VM
-DVBS2 für Plex
-später vielleicht 10Gbit NIC

 

[beckersbest]

@Dunuin: Vielen Dank für die schnelle und ausführlich Antwort. An der merke ich, dass ich wohl eher Laie bin ...

Für Proxmox + VMs auf den NVME hatte ich RAID 1 ins Auge gefasst, wäre das die "schonendste" Variante? MySQL ist weniger für den täglichen Betrieb, sondern eher für's Ausprobieren

Hängt davon ab was für ein Raid du nutzt. Proxmox ist recht schreiblastig und deine Evo ist nicht für schreibintensive workloads ausgelegt.

Ich hatte an RAID 1 gedacht, was von meinem Board unterstützt wird. Gedanke dahinter; eine zweite Samsung SSD 970, dann aber die PRO und falls eine davon ausfallen sollte - voraussichtlich dann ja die EVO - kann ich diese Austauschen ohne Ausfallzeit ...

Einzelne SSD für System und VMs geht natürlich auch, aber wenn die mal ausfällt musst du den ganzen Server neu aufsetzen und die Daten aus externen Backups einspielen. Kann sehr nervig werden, je nachdem, wieviel du am Proxmox-Server angepasst hast.

Und genau an dem Punkt dachte ich, dass RAID 1 im Rahmen der Mainboard-Funktionen dies verhindern würde?

ber generell sind Consumer-SSDs nicht wirklich performant/langlebig wenn du Datenbanken drauf laufen lässt.

Ok, die genutzt MySQL DB ist eher zum spielen (in meinem Job mach ich viel mit PowerBI, DataAnalytics, da probiere ich hin und wieder Dinge zuhause aus), ist also nicht so, dass die DB wirklich täglich / produktiv genutzt wird, ließen sich nicht auch spezielle VMs für z.B. eine DB auf andere Laufwerke "auslagern"?

Drivepool kenne ich nicht, aber mit ZFS wird es schwierig da einen ordentlichen Pool draus zu bauen. Da sollten die Platten alle gleich groß sein.
Da bietet sich dann vielleicht eher Unraid an, da es variabler mit den Festplatten ist.

Proxmox hat keine Verwaltung von Shares eingebaut. Du könntest aber natürlich einfach die einzelnen HDDs per Samba im Netz freigeben, sodass da eine Plex-VM etc drauf zugreifen können. Oder du erstellst eine eigene NAS-VM wie TrueNAS/Openmediavault/Unraid und reichst alle HDDs direkt in die VM durch.

In der Tat überlege ich, auf dem Windows-System, wo Plex laufen soll auch den DrivePool aufzusetzen und über normale Windows-Freigaben diesen dann den anderen VMs zugänglich zu machen, wenn das funktioniert. Als eher Windows-Erfahrener bietet DrivePool schon einige nette Features, wie ich finde. Außerdem läuft dieser jetzt seit 3 Jahren ohne Fehl und Tadel. Aber Openmediafault bzw. eine NAS-VM werde ich mir auf jeden Fall noch mal anschauen.

Und die Grafikkarten willst du dann ja wohl auch an deine Windows-VMs durchreichen sowie die DVBS2-Karte an die Plex-VM und eine NIC an die pfsense-VM.

Als Graphikkarte verwende ich nur die onBoard iGPU, aber ja, die sollte allen VMs zur Verfügung stehen. Die DVBS2 ist für die Windows-Plex-VM notwendig, für andere VMs nicht.

Das kann dann schnell eng werden mit den PCIe Slots.
-GPU für Windows-Grafik-VM
-GPU für Windows-Office-VM (vielleicht tut es da auch spice)
-NIC für pfsense
-HBA für NAS-VM
-DVBS2 für Plex
-später vielleicht 10Gbit NIC

An dieser Stelle hört mein Wissen ganz schnell auf ... ich erklär's mal in meinen Worten
GPU für Windows-Grafik-VM; Windows-VMs; die Verbindung soll über RDP erfolgen, so dass dort gearbeitet werden kann, als säße man normal vor dem PC, ist eine solche UX mit Spice möglich? Wenn ja, wäre die Nutzung möglich
NIC für pfsense; pfSense ist noch in weiter Ferne, die würde ich also für das aktuelle Vorhaben dann ausblenden
DVBS2 - ja, die muss der Windows-Plex-VM zur Verfügung stehen,
HBA für NAS-VM; wenn ich den DrivePool auf der Windows-Plex-Maschine weiternutze und über Netzwerkfreigaben bereitstelle, wäre das doch nicht notwendig, oder?
später vielleicht 10Gbit NIC; das Mainboard verfügt über zwei Intel I210 Gigabit LAN Controller, benötigt wird Netzwerk für das Streaming im Hause, größere Datenmengen werden voraussichtlich nicht hin und her kopiert, passt das dann?
dazu, ioBroker benötigt noch einen ConBee2-USB-Stick für Zigbee, der müsste also der ioBroker-VM zur Verfügung stehen

Storage-Pool
Ich plane übrigens, auch um die eigene Sammelleidenschaft und die Energie-Kosten in Grenzen zu halten, mit den onBoard SATA-Ports auszukommen, ggf. wird dann mal eine kleinere HDD gegen eine größere ausgetauscht, das ist übrigens über DrivePool recht einfach möglich. Ich bin mir darüber im klaren, dass große Teile der Multimedia-Sammlung kein Backup besitzt, das ist aber eine bewusste Entscheidung.
Für mich wichtige Inhalte dupliziere ich über den DrivePool (Verzeichnisduplizierung x2,x3... möglich), zudem läuft normalerweise OneDrive und sichert gleichzeitig in die MS Cloud.

Somit meine etwas konkretisiertes Vorhaben:

1. 2 x NVMe 1 TB (einmal EVO, einmal PRO) im RAID 1 Verbund für Proxmox und die VMs
2. VMs
   1. Windows VM für meine Frau​
   2. Windows VM für mich inkl. "Spielerei"-MySQL-DB​
   3. Windows VM für Plex inkl. LiveTV via DVBS2 + DrivePool und Windows-Freigabe​
   4. Linux-VM für PiHole​
   5. Linux-VM für ioBroker​

Passt das zu der Hardware und dem Nutzungsbild oder bin ich mit Proxmox eher auf dem falschen Pfade für mein Vorhaben?

Danke!
Thorsten

 

[Dunuin]

@Dunuin: Vielen Dank für die schnelle und ausführlich Antwort. An der merke ich, dass ich wohl eher Laie bin ...

Für Proxmox + VMs auf den NVME hatte ich RAID 1 ins Auge gefasst, wäre das die "schonendste" Variante? MySQL ist weniger für den täglichen Betrieb, sondern eher für's Ausprobieren

Ich hatte an RAID 1 gedacht, was von meinem Board unterstützt wird. Gedanke dahinter; eine zweite Samsung SSD 970, dann aber die PRO und falls eine davon ausfallen sollte - voraussichtlich dann ja die EVO - kann ich diese Austauschen ohne Ausfallzeit ...

Und genau an dem Punkt dachte ich, dass RAID 1 im Rahmen der Mainboard-Funktionen dies verhindern würde?

Ja, wenn dein Mainboard ein Pseudo-Hardware-Raid für NVMe bietet kannst du das im Raid1 nutzen anstatt da etwas mit Software-Raid in Proxmox zu tun. Denk nur in Zukunft daran, falls du den Server sehr lange benutzen willst, dass du die Verfügbarbeit von dem Mainboard im Auge behältst. Im Gegegensatz zum Software-Raid laufen die NVMe SSDs mit Raid dann nur in genau dem Mainboard-Modell. Sollte das Mainboard kaputt gehen musst du eines mit exakt dem selben Raid-Chip kaufen, oder du kommst nicht mehr an die Daten auf dem Raid-Array dran. Denk aber daran, dass die Evo Pro auch nur eine Consumer SSD und ebenfalls nicht für Server-Anwendungen ausgelegt ist.
Musst du halt mal alles fertig aufsetzen und dann regelmäßig die SMART-Attribute per smartctl von den SSDs auslesen. Dann kannst du ja grob abschätzen und hochrechnen wieviel da wirklich pro Jahr auf den NAND Flash der SSDs geschrieben wird und wann das TBW-Rating der SSDs überschritten wäre. Bei mir im Homeserver hätte die Evo z.B. kein Jahr überlebt. Ich musste meine Evos wieder ausbauen.

Ok, die genutzt MySQL DB ist eher zum spielen (in meinem Job mach ich viel mit PowerBI, DataAnalytics, da probiere ich hin und wieder Dinge zuhause aus), ist also nicht so, dass die DB wirklich täglich / produktiv genutzt wird, ließen sich nicht auch spezielle VMs für z.B. eine DB auf andere Laufwerke "auslagern"?

Ja, wenn du ein extra Laufwerk über hast kannst du da auch einzelne VMs drauf laufen lassen. Aber wenn wegen der Write Amplification und den daraus resultierenden vielen kleinen Schreibvorgängen eine SSD zu schnell totgeschrieben wäre, dann wird eine einzelne HDD wegen den vielen IOPS wohl auch an ihre Grenze kommen. Musste auch da wieder meine WD Reds ausbauen weil die überfordert waren.

In der Tat überlege ich, auf dem Windows-System, wo Plex laufen soll auch den DrivePool aufzusetzen und über normale Windows-Freigaben diesen dann den anderen VMs zugänglich zu machen, wenn das funktioniert. Als eher Windows-Erfahrener bietet DrivePool schon einige nette Features, wie ich finde. Außerdem läuft dieser jetzt seit 3 Jahren ohne Fehl und Tadel. Aber Openmediafault bzw. eine NAS-VM werde ich mir auf jeden Fall noch mal anschauen.

Das geht natürlich auch. Denk nur daran den internen SATA Controller bzw extra HBA auch wirklich per PCI Passthrough durchzureichen.

Als Graphikkarte verwende ich nur die onBoard iGPU, aber ja, die sollte allen VMs zur Verfügung stehen. Die DVBS2 ist für die Windows-Plex-VM notwendig, für andere VMs nicht.

VMs können keine Hardware-Beschleunigung von Grafikkarten auf dem Host nutzen (Spice mal ausgenommen mit Einschränkungen). Damit du die iGPU richtig nutzen kannst müsstest du die in eine VM durchreichen und dann hätte der Host keine GPU mehr. Ebenfalls können sich keine VMs eine GPU teilen (außer mit unbezahlbaren professional GPUs). Wenn dein Plex z.B. Hardware-Encoding von Videos nutzen soll, dann wirst du da nicht drum herum kommen eine extra Grafikkarte nur für die eine VM mit Plex zu kaufen, da sonst der ganze Videostream außschließlich von der CPU berechnet werden muss. Da wird dann kein 4K flüssig laufen. Das gleiche mit Bildbearbeitung, falls das auch von CUDA/OpenCL profitiert und es nicht in der selben VM laufen sollte wie Plex. Meine 8-Kern-CPU geht von 30 auf 70-90% CPU-Auslastung hoch sobald ich einen FullHD-Videostream starte, da das ohne GPU-Beschleunigung alles die CPU erledigen muss.

An dieser Stelle hört mein Wissen ganz schnell auf ... ich erklär's mal in meinen Worten
GPU für Windows-Grafik-VM; Windows-VMs; die Verbindung soll über RDP erfolgen, so dass dort gearbeitet werden kann, als säße man normal vor dem PC, ist eine solche UX mit Spice möglich? Wenn ja, wäre die Nutzung möglich

Spice hat einen eigenen Client für Remote Desktop der auch ein Headset (und ich glaube USB) nutzen kann. Ich weiß nicht in wie weit RDP für Bildbearbeitung lohnt. Ich hatte RDP mal zum Angucken von Videos versucht aber mir waren das viel zu viele Artefakte im Bild und zu viele Lags. Für Office-Arbeiten ist RDP ok, aber zum Spielen, Videos gucken und für Bildbearbeitung ist das wohl eher grenzwertig.

NIC für pfsense; pfSense ist noch in weiter Ferne, die würde ich also für das aktuelle Vorhaben dann ausblenden
DVBS2 - ja, die muss der Windows-Plex-VM zur Verfügung stehen,
HBA für NAS-VM; wenn ich den DrivePool auf der Windows-Plex-Maschine weiternutze und über Netzwerkfreigaben bereitstelle, wäre das doch nicht notwendig, oder?

Eine VM hat keinen Zugriff auf die physischen HDDs in deinem Server. Außer du schließt die an einen SATA Controller bzw HBA an den du dann exklusiv in die VM durchreichst. Damit hätte dann die eine Windows-VM direkten Zugriff auf alle HDDs die an diesem Controller angeschlossen sind, dafür kann der Proxmox-Host sowie alle anderen VMs nicht mehr auf Laufwerke zugreifen, welche an diesem Controller hängen. Also nein, einfach deine bestehenden HDDs in der Windows-VM nutzen ist nicht, außer du machst da was mit PCI Passthrough wo du vermutlich erst noch eine PCIe HBA Karte kaufen müsstest, damit du eine zum Durchreichen hast.

später vielleicht 10Gbit NIC; das Mainboard verfügt über zwei Intel I210 Gigabit LAN Controller, benötigt wird Netzwerk für das Streaming im Hause, größere Datenmengen werden voraussichtlich nicht hin und her kopiert, passt das dann?
dazu, ioBroker benötigt noch einen ConBee2-USB-Stick für Zigbee, der müsste also der ioBroker-VM zur Verfügung stehen

Die Frage ist wie du deine Backups machst. Du hast 39TB an Laufwerken im Rechner. Die zwei I210 machen nicht mehr als 117MB/s und selbst wenn die NICs immer voll ausgelastet wären, dann würde es 93 Stunden dauern einmal alle Daten zu kopieren. Hängt also davon ab wieviele Daten du bewegst. Kann durchaus sein, dass dir das irgendwann zu nervig wird mit den Transferzeiten. Für einzelne FullHD/4K Streams sollte das aber mit 1 Gbit reichen.

 

[beckersbest]

Puh, das hört sich deutlich komplexer an bei meinen angedachten Nutzungsszenarien als ich es mir so ausgedacht hatte. Hatte vor allem angenommen, dass das gemeinsame Nutzen der Hardware quasi selbstverständlich ist.

Ich weiß nicht in wie weit RDP für Bildbearbeitung lohnt. Ich hatte RDP mal zum Angucken von Videos versucht aber mir waren das viel zu viele Artefakte im Bild und zu viele Lags. Für Office-Arbeiten ist RDP ok, aber zum Spielen, Videos gucken und für Bildbearbeitung ist das wohl eher grenzwertig.

RDP war für Bildbearbeitung (LR, PS) für mich immer vollkommen i.O., für mich kein merklicher Unterschied zur Bearbeitung auf dem PC, aber Video, das war auch bei mir immer grenzwertig, wie von Dir beschrieben. Aber dafür gibt's dann ja Plex über Web-Oberfläche ...

Spice hat einen eigenen Client für Remote Desktop der auch ein Headset (und ich glaube USB) nutzen kann.

Leider ist auf dem Rechner meiner Frau keine eigene Installation möglich (Dienstrechner), wüsste daher gar nicht, ob der SpiceClient sich überhaupt einsetzen ließe ...

Ich komme bei Deinen Ausführungen zu dem Schluss, dass ich ohne zusätzliche Hardware und einiges an Umbau kaum auf eine attraktive Lösung komme ... somit werde ich wohl, bis vielleicht ganz was anderes kommt, in etwa bei dem jetzigen Setup bleiben, auf jeden Fall bin ich froh, vor Angehen der Umsetzung nachgefragt zu haben ...

Sollte ich vorschnelle Schlüsse gezogen haben, lasse ich mich gerne eines besseren belehren, ansonsten auf jeden Fall vielen Dank für die Hilfe! Gelernt hab ich für den Moment auf jeden Fall viel!

Viele Grüße
Thorsten

 

[Dunuin]

Puh, das hört sich deutlich komplexer an bei meinen angedachten Nutzungsszenarien als ich es mir so ausgedacht hatte. Hatte vor allem angenommen, dass das gemeinsame Nutzen der Hardware quasi selbstverständlich ist.

RDP war für Bildbearbeitung (LR, PS) für mich immer vollkommen i.O., für mich kein merklicher Unterschied zur Bearbeitung auf dem PC, aber Video, das war auch bei mir immer grenzwertig, wie von Dir beschrieben. Aber dafür gibt's dann ja Plex über Web-Oberfläche ...


Leider ist auf dem Rechner meiner Frau keine eigene Installation möglich (Dienstrechner), wüsste daher gar nicht, ob der SpiceClient sich überhaupt einsetzen ließe ...

Ich komme bei Deinen Ausführungen zu dem Schluss, dass ich ohne zusätzliche Hardware und einiges an Umbau kaum auf eine attraktive Lösung komme ... somit werde ich wohl, bis vielleicht ganz was anderes kommt, in etwa bei dem jetzigen Setup bleiben, auf jeden Fall bin ich froh, vor Angehen der Umsetzung nachgefragt zu haben ...

Sollte ich vorschnelle Schlüsse gezogen haben, lasse ich mich gerne eines besseren belehren, ansonsten auf jeden Fall vielen Dank für die Hilfe! Gelernt hab ich für den Moment auf jeden Fall viel!

Viele Grüße
Thorsten

Unter Umständen geht das auch mit deiner Onboard-Hardware. Aber um die in der VM nutzen zu können muss du die halt exklusiv einer VMs durchreichen und das geht nicht immer. Das muss du halt mal versuchsweise testen.

Eventuell kannst du z.B. den onboard SATA-Controller in die Windows-VM durchreichen. Dann hättest du zwar keine SATA Anschlüsse mehr, die du für anderen VMs oder Proxmox selbst nutzen könntest, aber wenn dir die M.2 Slots für alles andere reichen das wäre das ja auch schon eine Option. Die DVB2-Karte musst du ja eh durchreichen. Grafikkarte könntest du auch in die gleiche Windows-VM durchreichen, falls deine CPU oder Mainboard z.B. eine eingebaute GPU hätten. Je nach BIOS können mache Mainboards auch ganz ohne GPU laufen. Dann hast du zwar ein Problem wenn du mal etwas im BIOS ändern willst oder sonst irgendwie was ohne Fernzugriff machen musst, aber alles eingerichtet ist und flüssig läuft das manchmal auch ohne. Wenn die zweite Windows-VM nur für Office-Anwendungen da ist, dann braucht die ja auch nicht unbedingt eine eigene Grafikkarte mit Hardware-Beschleunigung und dann reicht da auch etwas virtuelles.
Je nachdem ob du einen Managed Switch daheim hast kannst du bei den Netzwerkkarten auch etwas tricksen und vlans nutzen um deine LAN-Anschlüsse zu multiplexen. Wenn du da nicht so wert auf Leistung legst dann können sich eventuell auch ein paar VMs + der Host die gleiche Netzwerkkarte teilen. Da würdest du dann theoretisch schon mit deinen PCIe Slots hinkommen.
Aber muss man wie gesagt erst vorher testen ob es überhaupt so geht.

 

[micneu]

@beckersbest ich habe eine Frage zu deiner Windows 10 Pro Homeserver version, ich kenne diese nicht, wo bekommt man das und was genau kann die, habe auf der M$ seite leider keine infos dazu gefunden (bisher war mir nur die Windows Server varianten bekannt)?

 

[beckersbest]

Hi Micneu,

ganz früher gab es in der Tat einmal eine "Windows Home Server" Version, dann gab es Windows Server Essentials, mittlerweile aber keine Privatserver Version mehr AFAIK. Als ich mir damals Gedanken um einen eigenen Server gemacht habe, gab es verschiedene Vorschläge und Software-Kombinationen mit einem normalen Win10 Pro. Und das ist jetzt seit fast 8 Jahren mein "Windows Home Server". Abgesehen von Möglichkeit, den Server als Terminalserver zu nutzen (aber dafür habe ich mit HyperV halt in Summe mehrere VMs), finde ich für meinen Privatgebrauch keine wesentlichen Nachteile, außerdem kenne ich mich mit Windows recht gut aus.

Meine aktuelle Konfiguration:
HW: ASUS P10S-WS (viele Festplatten-Ports, 2 Netzwerkanschlüsse), Xeon 1226, 32 GB RAM, 8 HDDs mit ca. 40 TB, DVBS2-Sat-Karte (S952), 3D Drucker angeschlossen
Software: Win10 Pro, Stablebit DrivePool / DriveScanner für "Software-Raid", Splashtop für Remote-Zugriff von außen, alternative über Remote-Desktop + VPN
Was läuft drauf:
PLEX inkl. Live-TV über SAT-Karte,
HyperV mit
- Pi-Hole,
- Arbeitsrechner für meine Frau (nutzt nur ihren Arbeitsrechner und greift dort über RD auf ihre Instanz zu)
- Speicher für Überwachungskameras
- da ich nur noch mit Surfaces arbeite, laufen dort auch meine Rechen-intensiven Anwendungen, insbesondere Lightroom, Sketchup, aber auch sonst arbeite ich zu 90% auf dem Server
Speicherkonzept: Drivepool, in dem alle normalen Platten (hab zwei M.2 NVME für mein OS bzw. Lightroom-DB, hier läuft täglich ein Robocopy Skript zur Sicherung) sind und somit ca. 36 GB ergeben. in Drivepool kann ich bestimmen, wie oft einzelne Verzeichnisse dupliziert werden sollen, Ablage erfolgt im "Klartext" auf den verschiedenen Platten, so dass ich bei einem Schaden diese einfach anderswo einbauen und direkt auf die Daten zugreifen kann (seinerzeit einer der großen Nachteile von Windows Storagepool). Ansonsten hab ich dort auch meine OneDrive / E1 Account mittels Onedrive laufen. D.h. ich habe alle wesentlichen Daten über OneDrive mit der Cloud synchronisiert, gebe diese Verzeichnisse gleichzeitig im Netzwerk als Laufwerke frei.

Und nun dachte ich, dass ich mit Proxmox eine potente Alternative hätte aufbauen können und war - mangels Wissen - überrascht, wie viele "Einschränkungen" damit einhergehen.

Viele Grüße
Thorsten

 

[micneu]

danke für die erklärenung, also doch keine echte windows server variante (du setzt es als server ein). ict leider aus deinem ersten post nicht wirklich ersichtlich gewesen für mich.

 

[beckersbest]

Unter Umständen geht das auch mit deiner Onboard-Hardware. Aber um die in der VM nutzen zu können muss du die halt exklusiv einer VMs durchreichen und das geht nicht immer. Das muss du halt mal versuchsweise testen.

Eventuell kannst du z.B. den onboard SATA-Controller in die Windows-VM durchreichen. Dann hättest du zwar keine SATA Anschlüsse mehr, die du für anderen VMs oder Proxmox selbst nutzen könntest, aber wenn dir die M.2 Slots für alles andere reichen das wäre das ja auch schon eine Option. Die DVB2-Karte musst du ja eh durchreichen. Grafikkarte könntest du auch in die gleiche Windows-VM durchreichen, falls deine CPU oder Mainboard z.B. eine eingebaute GPU hätten. Je nach BIOS können mache Mainboards auch ganz ohne GPU laufen. Dann hast du zwar ein Problem wenn du mal etwas im BIOS ändern willst oder sonst irgendwie was ohne Fernzugriff machen musst, aber alles eingerichtet ist und flüssig läuft das manchmal auch ohne. Wenn die zweite Windows-VM nur für Office-Anwendungen da ist, dann braucht die ja auch nicht unbedingt eine eigene Grafikkarte mit Hardware-Beschleunigung und dann reicht da auch etwas virtuelles.
Je nachdem ob du einen Managed Switch daheim hast kannst du bei den Netzwerkkarten auch etwas tricksen und vlans nutzen um deine LAN-Anschlüsse zu multiplexen. Wenn du da nicht so wert auf Leistung legst dann können sich eventuell auch ein paar VMs + der Host die gleiche Netzwerkkarte teilen. Da würdest du dann theoretisch schon mit deinen PCIe Slots hinkommen.
Aber muss man wie gesagt erst vorher testen ob es überhaupt so geht.

So, da bin ich wieder ... hab noch mal viel gelesen und überlegt und auch mal kurz Unraid ausprobiert ... und nun ziehe ich doch wieder Proxmox in die engere Auswahl, auch da mir die obigen Empfehlungen nicht mehr ganz wie böhmische Dörfer vorkommen. Warum?

1. Ich möchte meine VMs sauber voneinander trennen, da dort mindestens unter WAF-Gesichtspunkten kritische Anwendungen drüber laufen
2. Ich möchte die Konstellation aus Windows/OneDrive+Sharepoint-Sync-Backup und Stablebit Drivepool gerne weiternutzen, dafür wird aber eine Windows Installation benötigt. Drivepool ist eine Art Softraid, was ich von der Idee und der Bedienung gut finde. Teile des Pools werden als Share bereitgestellt
3. Mein Unraid-Test: Unraid selbst ist schon ziemlich gut, spielt aber IMHO seine Stärke im Plattenpool + Docker aus. Ich selbst möchte aber gerne weiterhin OneDrive/SharePoint zur Synchronisation/Backup inkl. DrivePool nutzen und Teile daraus als Shares bereitstellen. Und das geht nur vernünftig über den Windows Klienten. Und dafür muss zumindest wieder eine VM her. Und Unraid nutzen, nur um VMs bereitzustellen, dann passt eventuell Proxmox besser.
4. Zudem Win10pro als hypervisor Typ 2 kann kein GPU-passthrough, da funktionieren Sketchup und andere Anwendungen, die HW-Beschleunigungen brauchen, nicht.
5. Vom RAID-Gedanken hab ich mich getrennt, die NVMe's würde ich als OS- und ggf. Cache-Laufwerke verwenden, ein OS ist schnell aufgesetzt, die Daten mittels OneDrive schnell synchronisiert
6. Die NVMe's laufen über PCIe-Karten auf den x4-Slots, Die M.2-Slots auf dem Mainboard werden nicht genutzt

Somit meine Überlegung zum Aufbau:

Fragen zu der Konstellation:

1. Macht der Festplatten-Pool (voraussichtlich alle HDDs für die (1) NAS-PLEX-Windows-VM) mittels HBA-Karte Sinn (Performance, Durchreichbarkeit)? Hab es so verstanden, dass sich der HBA besser durchreichen lässt und stelle mir vor, dass wenn alle Platten daran hängen, diese dann auch quasi "intern" performant kommunizieren?
2. Ich werde mir voraussichtlich noch eine GT1030/GT1050 zulegen (die TI ist ja dank Bitcoin-Hype nicht erschwinglich), diese dann per Passthrough an meine (3) Windows VM durchreichen für LR, Sketchup ...
3. Kann ich die iGPU an die NAS-PLEX-VM durchreichen für etwaiges PLEX-Transcoding (sicherlich eher selten, meist nur Heimgebrauch)?
4. Lässt sich die DVBS-Karte an die (1)-VM vernünftig durchreichen? Das war im Unraid schon ganz schön frickelig mit x verschiedenen Plugins

Danke für die Hilfe!

 

[Dunuin]

1. Macht der Festplatten-Pool (voraussichtlich alle HDDs für die (1) NAS-PLEX-Windows-VM) mittels HBA-Karte Sinn (Performance, Durchreichbarkeit)? Hab es so verstanden, dass sich der HBA besser durchreichen lässt und stelle mir vor, dass wenn alle Platten daran hängen, diese dann auch quasi "intern" performant kommunizieren?

HBA mit PCI Passthrough ist der einzige Weg, wie deine VM die HDDs direkt, also ohne zusätzlichen Virtualisierungs-/Abstraktionslayer dazwischen, ansprechen kann. Wie schnell die HDDs sind hängt dann auch von einem HBA ab. Ein HBA der 8x PCIe 3.0 Lanes nutzt hat natürlich mehr maximalen Durchsatz als ein HBA der nur 4x PCIe 2.0 Lanes nutzt. Aber ja, ist mit HBA am effizientesten, weil du den ganzen Overhead nicht hast.

1. Ich werde mir voraussichtlich noch eine GT1030/GT1050 zulegen (die TI ist ja dank Bitcoin-Hype nicht erschwinglich), diese dann per Passthrough an meine (3) Windows VM durchreichen für LR, Sketchup ...

Du kannst eine Grafikkarte immer nur an eine VM durchreichen. Sollen alle 3 VMs paralell laufen, dann musst du schon 3 Grafikkarten kaufen und jeder VM eine eigene geben.

1. Kann ich die iGPU an die NAS-PLEX-VM durchreichen für etwaiges PLEX-Transcoding (sicherlich eher selten, meist nur Heimgebrauch)?

Teils ja, teils nein. Musst du mal gucken ob das andere schon mit deiner CPU hinbekommen haben. GPU Passthrough ist generell sehr experimentell (wenn Hypervisors das überhaupt unterstützen). Nicht vergessen das Proxmox im Idealfall auch eine GPU haben sollte da du sonst kein Bild hast um überhaupt per Konsole etwas machen zu können, falls mal das WebUI abstützt, du dich mit der Firewall aussperrst oder ähnliches,

1. Lässt sich die DVBS-Karte an die (1)-VM vernünftig durchreichen? Das war im Unraid schon ganz schön frickelig mit x verschiedenen Plugins

Was weiß ich leider nicht. Habe hier noch nie im Forum gelesen, dass da wer versucht hat eine DVBS-Karte durchzureichen.

 

[beckersbest]

Danke für die schnelle Antwort!

HBA mit PCI Passthrough ist der einzige Weg, wie deine VM die HDDs direkt, also ohne zusätzlichen Virtualisierungs-/Abstraktionslayer dazwischen, ansprechen kann. Wie schnell die HDDs sind hängt dann auch von einem HBA ab. Ein HBA der 8x PCIe 3.0 Lanes nutzt hat natürlich mehr maximalen Durchsatz als ein HBA der nur 4x PCIe 2.0 Lanes nutzt. Aber ja, ist mit HBA am effizientesten, weil du den ganzen Overhead nicht hast.

Das werde ich Mal probieren, gibt es besondere Merkmale bei so einer Karte, auf die zu achten ist, die von mir ins Auge gefassten lagen so bei ca 50€?

Ich verstehe es dann so, dass somit als Hardware der HBA durchgereicht wird inkl aller daran hängender HDDs? Daraus hatte ich abgeleitet, dass die daran hängenden Platten über den HBA kommunizieren und somit die PCIe-Lanes in diesem Moment gar nicht genutzt werden, sondern erst, wenn mit Platten außerhalb des HBA kommuniziert wird. Dem ist dann aber wohl nicht so?

 

[beckersbest]

Du kannst eine Grafikkarte immer nur an eine VM durchreichen. Sollen alle 3 VMs paralell laufen, dann musst du schon 3 Grafikkarten kaufen und jeder VM eine eigene geben.

Werden wirklich drei dedizierte Grafikkarten benötigt oder kann das dann über die CPU emuliert werden? Anders gefragt, die VMs sind's gar nicht erst lauffähig ohne durchgereichte GPU bei RDP Zugriff?

Teils ja, teils nein. Musst du mal gucken ob das andere schon mit deiner CPU hinbekommen haben. GPU Passthrough ist generell sehr experimentell (wenn Hypervisors das überhaupt unterstützen). Nicht vergessen das Proxmox im Idealfall auch eine GPU haben sollte da du sonst kein Bild hast um überhaupt per Konsole etwas machen zu können, falls mal das WebUI abstützt, du dich mit der Firewall aussperrst oder ähnliches,

Ich probiere das einfach Mal aus, auch mit der DVBS Karte, Mal sehen, was ankommt. Eine 2TB NVMe mit Proxmox und den VMs drauf ist OK oder sollte Proxmox auf einer anderen Platte installiert sein?

 

[Dunuin]

Danke für die schnelle Antwort!

Das werde ich Mal probieren, gibt es besondere Merkmale bei so einer Karte, auf die zu achten ist, die von mir ins Auge gefassten lagen so bei ca 50€?

Ich verstehe es dann so, dass somit als Hardware der HBA durchgereicht wird inkl aller daran hängender HDDs? Daraus hatte ich abgeleitet, dass die daran hängenden Platten über den HBA kommunizieren und somit die PCIe-Lanes in diesem Moment gar nicht genutzt werden, sondern erst, wenn mit Platten außerhalb des HBA kommuniziert wird. Dem ist dann aber wohl nicht so?

Es geht immer über die PCIe Lanes. Der punkt ist aber der, dass deine VM direkt über die PCIe Lanes auf die HDDs an dem HBA zugreifen kann. Über alle anderen Wege kann nur Proxmox selbst auf die HDDs zugreifen und dann würde zwischen Proxmox und VM noch ein Virtualisierungslayer liegen durch den alle Daten durch müssten. Ist halt effizienter wenn die VM direkt mit den HDDs kommunizieren kann, als wenn da noch Proxmox zwischen sitzt.

Wenn du Software Raid nutzen willst wäre es wichtig, dass du da einen HBA nimmst und keinen Raid-Controller (oder wenn dann wenigstens einen den du in den IT-Mode flashen kannst, damit der kein Raid mehr benutzt). Und der HBA muss eine gute Treiberunterstützung haben und vom Linux Kernel unterstützt werden. Beliebt sind da z.B. LSI Karten mit Branding von Dell, HP etc. Die sind gebraucht schon für unter 50€ zu haben und wenn man die dann in den IT-Mode flasht, dann passen da 8 SATA HDDs dran. Gibt es teilweise auch fertig geflasht zu kaufen. Neu von LSI würden die einige hundert € kosten.
Hier wäre z.B. so ein Guide für den Dell Perc H310 und H710.

Werden wirklich drei dedizierte Grafikkarten benötigt oder kann das dann über die CPU emuliert werden? Anders gefragt, die VMs sind's gar nicht erst lauffähig ohne durchgereichte GPU bei RDP Zugriff?

Lauffähig schon, aber selbst Youtube ruckelt bei mir über RDP ohne durchgereichte GPU, obwohl dann das dekodieren des Videos schon volle 4 CPU Kerne auf 100% Auslastung treibt. Weil ohne GPU muss dann die CPU alles berechnen. Mit SPICE und VNC ist es auch nicht besser. So alles an Büroarbeiten etc läuft prima mit Spice, auch ohne GPU, aber wehe da hat eine Webseite mal ein Video eingebettet oder ähnliches.
Ich persönlich finde das ohne dedizierte GPU unnutzbar. Da arbeitet es sich selbst mit einem Raspberry Pi für 35€ flüssiger als mit einer VM ohne dedizierte GPU. Musst du halt mal testen, aber ich finde glücklich wird man damit nicht.

Ich probiere das einfach Mal aus, auch mit der DVBS Karte, Mal sehen, was ankommt. Eine 2TB NVMe mit Proxmox und den VMs drauf ist OK oder sollte Proxmox auf einer anderen Platte installiert sein?

Proxmox kann sich die SSD auch gerne mit den VMs teilen.

 

[beckersbest]

Beliebt sind da z.B. LSI Karten mit Branding von Dell, HP etc. Die sind gebraucht schon für unter 50€ zu haben und wenn man die dann in den IT-Mode flasht, dann passen da 8 SATA HDDs dran

d.h. so eine Karte "LSI SAS SATA HBA 9211-8i im IT Mode" (ebay kleinanzeigen) wäre dann passend? Für den Preis auf jeden Fall einen Versuch wert ...
In das Thema GPU muss ich mich noch mal weiter einlesen ...

Danke für die umfangreiche Hilfe!

 

[Dunuin]

Ja die ist gut. Hab die selbe im FreeNAS Server. Brauchst du dann aber noch 1 oder 2 von solchen "SFF 8087 zu 4x SATA Kabeln". Meine waren glaube ich neu je 7€.

 

[beckersbest]

Habe Mal zugeschlagen, danke für den Kabel Tipp. Gebe auf jeden Fall Rückmeldung, wie's weitergegangen ist!