Hardware Kaufberatung für ersten Proxmox Build

[Foxhunter]

Guten Abend zusammen,

ich möchte etwas Struktur und Ordnung in mein Heimserver-Sammelsurium bringen. Ich hoffe, dass man hier auch nach solchen Sachen fragen darf
Kurz zu den Basics, damit ihr wisst worum es geht:

Ich bin selbstständig in der IT unterwegs, betreue hauptsächlich Firmenkunden, arbeite von zuhause und habe netzwerktechnisch für die private Unterhaltung vor allem einen Emby Server im Einsatz. Das sind die beiden großen Kerngebiete für die ich etwas mit Proxmox umsetzen möchte. Aktuell im Einsatz ist ein HP Microserver Gen10 mit einem lahmenden AMD (genaue Modellbezeichnung weiß ich nicht, spielt aber wohl keine Rolle), sowie ein Eigenbauserver für Emby. Der HP ist permanent am Limit, darauf laufen aktuell die Mail- und Dokumentenarchivierung, der VEEAM Backup-Server und Iperus Backup, welches in Kombination mit Hetzner Storageboxen verschiedene Backups weiterverteilt, die nicht direkt über VEEAM laufen. Dazu hält er vor allem Speicher bereit für das Netzwerk, dort liegen z. B. die persönlichen Ordner von allen Usern im Haus. Das Ding hat also immer irgendwas zu tun, und ist permanent zu langsam dafür. Es war ein Fehlkauf, funktioniert zwar, aber ist nicht optimal. Dazu kommen diverse NAS und externe Festplatten für Backups und Datenablage wie ein großes Formel 1 Archiv etc. - also ich hab von allem was, und dieses Allerlei nervt mich

Die neue Struktur soll wie folgt sein:

| Server (Proxmox)
|------> 1. VM, Windows 10, genutzt für orgaMAX
|------> 2. VM, Windows 10, genutzt für Mail/Dokumentenarchivierung
|------> 3. VM, Windows 10, genutzt für Emby Mediaserver
|------> 4. VM, Server 2019, genutzt für VEEAM Backup
|------> 5. VM für eine OpenVPN Instanz

Zusätzlich möchte ich auch weiterhin für jeden per ganz normalem Netzwerkshare Speicherordner zur Verfügung stellen. Soweit ich das überblicken kann (bin Proxmox Neuling, habe mich bislang nur ca. 10 Stunden mit YouTube Tutorial-Videos und einigen Artikeln damit beschäftigt), bietet Proxmox als Virtualisierer keine NAS Funktionen so das es Sinn macht, eine weitere VM mit z. B. einem FreeNAS zu nehmen, ist das der richtige Weg?

Was für einen Hardware-Unterbau würdet ihr für ein solches Vorhaben vorschlagen? Bin ich irgendwo auf dem Holzweg unterwegs, würdet ihr noch etwas ergänzen/weglassen/optimieren? Aktuell befasse ich mich mit ZFS - soweit nicht so wahnsinnig kompliziert. Ich bin also noch überall ein wenig in der Lernphase und bitte das mit zu berücksichtigen, wenn ihr auf mich einknüppelt Es wäre natürlich schön, wenn mich die Hardware Stromkosten-technisch nicht komplett auffrisst - und ja ich weiß, das wird wieder die Quadratur des Kreises

Ich bin für alle Anregungen offen, und hänge ein Bild vom aktuellen "Chaos" mit an

Vielen Dank vorab!

 

[Dunuin]

Also ich habe mir hier 3x 4U-Server aus gebrauchter Server-Hardware von eBay + Kleinanzeigen zusammengebaut.
Zwei davon haben relativ identische Hardware und arbeiten rein als NAS mit bare metal TrueNAS. Haben beide einen Quadcore Xeon 1230v3, Supermircro X10SLL-F, LSI 9211-8i HBA, ConnectX3 10Gbit SFP+ NIC und dann einmal 16 und einmal 32GB ECC DDR3 RAM.
Der mit nur 16GB RAM läuft bei mir als BackupNAS und wird per Script nur einmal die Woche kurz hochgefahren, damit das HauptNAS per ZFS Replikation kurz die Pools zwischen beiden NAS synchronisieren kann.

Der dritte Server ist aktuell ein Supermicro X10SRM-F, 8-Kerner Xeon 2620v4, 64GB ECC DDR4 RAM, ConnectX3 10Gbit SFP+ NIC, GT710 GPU, Intel i350-T4 Quadport Gbit NIC. Den nutze ich als reinen Hypervisor mit Proxmox drauf. Emby läuft bei mir übrigens auch. Ich bin da jetzt aber schon wieder am Limit und müsste mir eigentlich noch einen zweiten Proxmox Node zulegen, da die 8 CPU-Kerne und 64GB RAM schon wieder am Limit sind.

Wenn ich mit dem Wissen von heute noch einmal neu starten würde, dann würde ich wohl gleich etwas größeres nehmen (2x 8 Cores, 128-256 GB RAM, EATX Motherboard) und dann den Proxmox und Haupt-TrueNAS Server zusammenlegen um etwas Stromkosten zu sparen. Da sollte ich inzwischen bei gut 40-50€ pro Monat für die 3 Server sein.
TrueNAS sollte sich auch recht gut virtualisieren lassen. Wichtig ist aber das TrueNAS zwangsweise ZFS nutzt, man also keinen Raid-Controller haben darf sondern einen dummen HBA braucht. Am besten einen HBA als PCIe-Karte und nicht Onboard, damit man per PCI Passthrough den kompletten HBA, mit allen daran angeschlossenen Laufwerken, in die TrueNAS VM durchreichen kann. So kann dann die TrueNAS VM wirklich physisch und direkt auf die einzelnen Laufwerke zugreifen und man hat keine zusätzliche Virtualisierung dazwischen, welche Overhead oder zusätzliche Probleme erzeugen könnte.

Ein größer Fehler war, dass ich nur mATX Boards besorgt habe. Die haben leider alle nur 3 PCIe Slots und 4 RAM Slots die sind bei mir inzwischen alle komplett belegt sind. Ich würde da gerne noch andere PCIe-Karten einbauen (z.B. eine Trägerkarte für M.2 SSDs, weitere GPUs da sich VMs keine GPU teilen können und jede ihre eigene GPU braucht) aber habe halt einfach keine Slots mehr frei. Ist halt wirklich ärgerlich weil das X10SRM-F hat zwar nur 3 PCIe Slots aber trotzdem 32 frei nutzbare PCIe Lanes (16x + 8x + 8x) die man per Bifurikation auch noch aufsplitten könnte. Ich hätte da viel lieber die ATX Version des gleichen Mainboards gehabt. Da hätte man dann 7 PCIe und 8 RAM Slots nutzen können.

Und bei ZFS musst du mit den Laufwerken echt aufpassen. Wenn du HDDs kaufst dürfen die nicht SMR sein sondern müssen CMR nutzen. Weil SMR ist einfach total ungeeignet für Copy-On-Write-Dateisysteme wie ZFS und die Dinger sind dann so überfordert, dass da einfach keine Antwort mehr kommt und ZFS das dann als Hardware-Fehler auffasst. Und du solltest besser keine Consumer/Prosumer SSDs mit ZFS nutzen. Ich musste bei mir im Server alle 8 SSDs Consumer SSDs durch Enterprise SSDs austauschen, weil die wegen all der Write Amplification kein Jahr überlebt hätten. Also besser gleich etwas ordentliches holen damit man nicht doppelt kaufen muss. Die kosten zwar das zwei- bis dreifache haben dann aber auch bis zu 30x die Lebenserwartung und gleichzeitig noch viel (z.B. 50x) bessere Performance was Server-Workloads wie Random 4K Sync Writes angeht.

Und gerade bei Emby musst du noch mit dem Encoding aufpassen. Ohne Emby-Lizenz kannst du ja keine Hardwarebeschleunigung der GPU nutzen und dann sollte die CPU möglichst stark sein, weil dann die CPU alles erledigen muss. Mein 8-Kerner schafft 1080p ziemlich gut (dann ist die CPU aber auch voll ausgelastet und die anderen VMs dürfen nichts aktiv machen) aber 4K-Encoding bräuchte ich mit dem gar nicht erst versuchen. Und selbst wenn du eine Emby-Lizenz hast, dann heißt das nicht, dass du da auch Hardware-Beschleunigung in der VM nutzen kannst. Dazu müsstest du dann eine extra GPU in den Server einbauen und diese exklusiv an die Emby-VM per PCI Passthrough durchreichen.

Und Dinge wie Emby und Co laufen auch wunderbar auf Linux. Wenn du da nicht immer gleich ein großes Win für nimmst, dann würde das ordentlich RAM und CPU-Leistung sparen. Für jede einzelne Win10 VM könnte ich hier gefühlt 5-10 Linux VMs mit den gleichen Ressourcen betreiben. Gerade bei der CPU-Auslastung merke ich das enorm.

Edit:
Achso, wenn man Zstd Kompression nutzen will sind die Xeon 1230v3 übrigens etwas schwach auf der Brust. Mit LZ4-Kompression langweilt sich die CPU meistens und schafft es selten mal über 30% Auslastung. Bei der Replikation komprimiere ich mit Zstd und dann hängen alle 4 Kerne permanent auf 100% Auslastung.

Der Proxmox Backup Server ist auch noch eine feine Sache da man damit auch inkrementelle Backups der VMs erzeugen kann. Am besten hat man da einen eigenen Server für der auf SSDs schreibt. Bei mir läuft der als VM auf dem Haupt-TrueNAS-Server.

Was nutzt du da für eine Software für die Dokumentenarchivierung? So etwas könnte ich hier eigentlich auch noch daheim gebrauchen.

 

[Foxhunter]

Wow, was für eine ausführliche Antwort, danke! Wollte dir erst mal schnell eine kurze Info zu folgender Frage geben:

Was nutzt du da für eine Software für die Dokumentenarchivierung? So etwas könnte ich hier eigentlich auch noch daheim gebrauchen.

Ich nutze ecoDMS und ecoMailz und bin damit perfekt zufrieden. Die Preise sind absolut überschaubar und es funktioniert einfach.
https://www.ecodms.de/index.php/de/

Wenn ein flotter Server dahinter steckt, sind die Clients auch schön schnell, merke das bei meinen Kunden. Mein HP ist einfach zu CPU limitiert.


Zum Rest:
Ich würde gerne alles, bis auf einen Backup Server, mit einer Maschine realisieren. Emby auf Linux ist natürlich eine valide Option, ich bin da nicht auf Windows festgelegt, hatte quasi nur den jetzigen Stand aufgeführt. Eine Lizenz für Emby habe ich, bislang läuft es auch ohne dedizierte GPU, die meisten Geräte sind mit FireTV Sticks ausgerüstet, der Rest schaut per Browser. Es sind in der Regel nicht mehr als zwei Streams gleichzeitig.

Und bei ZFS musst du mit den Laufwerken echt aufpassen. Wenn du HDDs kaufst dürfen die nicht SMR sein sondern müssen CMR nutzen.

Danke, eine wichtige Info! Ich bin jetzt einfach mal davon ausgegangen das ZFS mir die meisten Vorteile bietet. Erfahrung habe ich damit bislang noch nicht, bislang immer nur mit 0815 Raid-Systemen gearbeitet.

Der Proxmox Backup Server ist auch noch eine feine Sache da man damit auch inkrementelle Backups der VMs erzeugen kann. Am besten hat man da einen eigenen Server für der auf SSDs schreibt.

Klingt interessant, aber auch teuer, wenn man alles mit SSDs bestückt. Es ist ohnehin eine Sache die ich mir überlegen muss. Aktuell komme ich insgesamt auf eine Datenmenge von ca. 18 TB hier im Netzwerk, allerdings mit eingerechnet inkrementelle Backups die teilweise mit auf ein aktuelles Raid laufen. Ich könnte die Datenmenge als auf ca. 12 TB reduzieren und würde die dann auch irgendwie sichern wollen. Ich hätte noch die Möglichkeit aus meinen jetzigen Sachen die ich habe, einen weiteren Server zu bauen. Den könnte ich dann für die Backups nehmen, und mit einem solchen Script ansteuern damit sie passend starten (muss ich mir genauer angucken, auf so eine Idee bin ich noch gar nicht gekommen, danke!). Da muss ja dann auch nicht viel rein, entweder ein simples Raid1 oder ein ZFS1.

Bzgl. der Hardware habe ich rausgelesen das es nicht dringend das allerneueste sein muss. Muss es zwingend echte Serverhardware sein was das Board betrifft, oder verträgt sich das auch mit einem Consumer-Board? Meine Überlegung ging da zu einem AMD Unterbau.

Nochmals vielen Dank für die ausführliche Antwort!

 

[Dunuin]

Zum Rest:
Ich würde gerne alles, bis auf einen Backup Server, mit einer Maschine realisieren. Emby auf Linux ist natürlich eine valide Option, ich bin da nicht auf Windows festgelegt, hatte quasi nur den jetzigen Stand aufgeführt. Eine Lizenz für Emby habe ich, bislang läuft es auch ohne dedizierte GPU, die meisten Geräte sind mit FireTV Sticks ausgerüstet, der Rest schaut per Browser. Es sind in der Regel nicht mehr als zwei Streams gleichzeitig.

Emby kann ja auf 2 Wege streamen. Wenn du daheim bist und deine Medien auf dem NAS liegen und du die SMB Shares in Emby richtig eingestellt hast, dann muss Emby nicht jeden Stream enkodieren, sondern sagt dem Client einfach "Hier ist der Pfad zum Video auf dem NAS. Stream von da." und der Client greift dann einfach direkt auf das Video vom NAS zu.
Wenn du allerdings von außerhalb deines Heimnetzes etwas streamen willst, dann muss es Emby ja zwangsweise enkodieren und das sieht man dann gut an der CPU-Auslastung wenn es das nicht auf die GPU auslagern kann. Und nicht jede GPU kann überhaupt enkodieren und nicht jede bei weitem alle Codecs. Meine GT710 kann z.B. überhaupt nicht enkodieren. Die reiche ich nur in meine Win VM durch, damit ich flüssig Youtube und Co gucken kann. Ohne Passthrough der GT710 braucht Windows da 4 Kerne die zu 100% ausgelastet werden und schafft es trotzdem nicht ruckelfrei ein 1080p Youtube-Video abzuspielen.

Danke, eine wichtige Info! Ich bin jetzt einfach mal davon ausgegangen das ZFS mir die meisten Vorteile bietet. Erfahrung habe ich damit bislang noch nicht, bislang immer nur mit 0815 Raid-Systemen gearbeitet.

ZFS ist da recht anspruchsvoll. Z.B. auch den RAM-Verbrauch nicht vergessen. Faustformel ist 4GB + 1GB RAM je 1TB Rohkapazität der Laufwerke. Und wenn du Deduplikation nutzen willst sind das sogar schon 4GB + 5GB je 1TB Rohkapazität. Bei 18TB HDDs ohne Deduplizierung also mit 22GB RAM alleine für den ARC (RAM cache) von ZFS einplanen. Standardmäßig wird sich ZFS 50% vom gesamten RAM zum Cachen nehmen, aber das kann man manuell limitieren.

Klingt interessant, aber auch teuer, wenn man alles mit SSDs bestückt.

Der PBS speichert alles in kleinen Chunks und dedupliziert so, dass da nichts doppelt gespeichert wird. Da müssen also bei jedem Backup zehn- oder hunderttausense Chunks abgearbeitet werden und da kommen HDDs sehr schnell ans Limit. Also laufen tut es mit HDDs ebenfalls, aber ist halt echt lahm. Guck am besten mal im PBS Subforum nach Erfahrungsberichten.

Es ist ohnehin eine Sache die ich mir überlegen muss. Aktuell komme ich insgesamt auf eine Datenmenge von ca. 18 TB hier im Netzwerk, allerdings mit eingerechnet inkrementelle Backups die teilweise mit auf ein aktuelles Raid laufen. Ich könnte die Datenmenge als auf ca. 12 TB reduzieren und würde die dann auch irgendwie sichern wollen. Ich hätte noch die Möglichkeit aus meinen jetzigen Sachen die ich habe, einen weiteren Server zu bauen. Den könnte ich dann für die Backups nehmen, und mit einem solchen Script ansteuern damit sie passend starten (muss ich mir genauer angucken, auf so eine Idee bin ich noch gar nicht gekommen, danke!). Da muss ja dann auch nicht viel rein, entweder ein simples Raid1 oder ein ZFS1.

In beiden NAS habe ich jeweils 4x 8TB HDDs als Raidz1. TrueNAS macht tägliche und wöchentliche Snapshots, behält die wöchentlichen für 2 Monate, die täglichen für 2 Wochen und nutzt dann die Replikation um alle Snapshots vom HauptNAS zum BackupNAS zu schicken. Das ganze läuft inkrementell, da es auf Snapshots basiert und es muss dann echt nur das übertragen werden, was sich seit dem letzen Backup geändert hat.
Sollte ich mal einen Pool oder ein ganzes NAS verlieren ist das nicht weiter tragisch, da ich ja eine 1-zu-1-Kopie des kompletten Pools habe.
Und sollte mal Ransomware oder so zuschlagen, dann habe ich ja Snapshots die bis zu 2 Monate alt sind. Ich kann also jederzeit zum Stand von vor einem Tag oder bis zu 2 Monaten zurückrollen. Sehr nett ist bei ZFS auch, dass das mit ShadowCopy von SMB zusammenarbeitet. In Windows kann ich für Ordner und Dateien auf dem SMB Share mit Rechtsklick den "Vorgängersversionen"-Reiter öffnen und kann so direkt auf alte Versionen von Dateien oder Ordnern zugreifen, welche den Daten aus den ZFS Snapshots entsprechen.

Das Script hatte ich mir selbst geschrieben da ich nichts entsprechendes finden konnte. Meine Pools sind alle verschlüsselt und müssen erst entsperrt werden. Das Script nutzt IPMI um das BackupNAS anzuschalten, nutzt dann die TrueNAS API um den Pool zu entsperren und um abzufragen, ob schon alle Replikations- und Scrub-Jobs abgeschlossen sind. Ist alles fertig sendet es einen Shutdown-Befehl damit sich das BackupNAS wieder runterfährt. So läuft das alles voll automatisch und die HDDs sollten länger halten und ich viel Strom sparen, da der ganze Server dann nur wenige Stunden pro Woche überhaupt angeschaltet ist.

Bzgl. der Hardware habe ich rausgelesen das es nicht dringend das allerneueste sein muss. Muss es zwingend echte Serverhardware sein was das Board betrifft, oder verträgt sich das auch mit einem Consumer-Board? Meine Überlegung ging da zu einem AMD Unterbau.

Nochmals vielen Dank für die ausführliche Antwort!

Da kann es gerne auch was altes sein. Ein Dual CPU X9 Mainboard + 2x 6-Kerner Xeon + 96GB ECC DDR3 RAM + 2x Kühler bekommt man z.B. schon für unter 300€. Und da ist nichts propietär, man kann sich also ein normales EATX Gehäuse, ATX Netzteil, paar SSDs und HDDs holen und hat einen starken Rechner für den kleinen Geldbeutel. Schluckt halt nur etwas Strom weil es schon älter ist.
Ich persönlich würde da nur Server-Mainboards nehmen. Inzwischen habe ich das IMPI zu schätzen gelernt und möchte die Fernwartung nicht mehr missen. Ist auch super praktisch wenn man den Server einfach nur von daheim administriert. Ich könnte da zwar auch einen Monitor und eine Tastatur immer hinschleppen, wenn ich mal wieder was im BIOS ändern will, aber ist halt sehr komfortabler, wenn man das alles einfach vom Browser über WebKVM erledigen kann. Und zumindestens bei Supermicro ist der Support klasse was die Updates angeht. Meine X10SLL-F sind jetzt z.B. schon 8 Jahre alt und längst EOL aber bekommen bis heute noch regelmäßig neue BIOS und IPMI-Updates.
Ansonsten würde da aber auch ein Consumer-Board gehen. Da gibt es ja auch welche die mit ECC-RAM umgehen können. Ich habe so viele schlechte Erfahrungen mit sterbendem RAM gehabt, der mir mehrfach über Wochen alle Daten korrumpiert hat, dass ich da nichts mehr ohne ECC RAM kaufen werde. Selbst meinen GamingPC habe ich inzwischen mit ECC-RAM bestückt (der halt sogar RGB bekommen, damit der zum Rest des PCs passt ) und das läuft auch wunderbar auf einem Consumer-Mainboard mit einem Ryzen 5800X.
Also ECC finde ich da schon super wichtig. Nicht nur das es die Stabilität erhöht indem des Bitflips korrigiert, es erkennt ja auch RAM Fehler und meldet die. Normalerweise sind die BitFlips durch kosmische Strahung etc ja vernachlässigbar. Richtig dumm kommt es aber wenn der RAM in die Jahre kommt und langsam anfängt zu sterben. Das hatte ich bei meinem letzten Gaming-Rechner. Da sind mir nach und nach 3 von 5 Ram-Riegeln gestorben. Erst hat man nichts mitbekommen und alles was man irgendwie geöffnet hat wurde korrumpiert. Somit hat mir mein GamingPC immer die Daten auf dem NAS zerstört, wenn ich z.B. etwas von Share zu Share verschoben habe. Da bringt das sicherste NAS mit ZFS und ECC RAM halt nichts, wenn der Client der darauf zugreift unsicher ist und die Daten zerstört, solange die außerhalb vom NAS sind.
Und ohne ECC RAM kann der Rechner ja nicht feststellen, dass da überhaupt etwas korrumpiert ist und denkt alles ist ok. Das hat sich dann über Wochen immer weiter verschlimmert, bis mir das dann letztendlich aufgefallen ist, weil Windows angefangen hat mit Bluescreens abzustürzen.
Am Ende konnte da 4 mal von der gleichen Datei eine sha512 Prüfsumme erstellen und hab 4 verschiedene Ergebnisse bekommen...und Windows dachte alles wäre bestens...
Hatte dann memtest86 laufen lassen und das hatte dann auch gezeigt, dass da der RAM einfach endlos Fehler verursacht und da nur noch ein Bit-Brei herauskommt. Und das ganze hatte ich dann 3 mal bei jedem sterbenden RAM-Riegel...
Jetzt wo mein GamingPC auch ECC-RAM hat, sollte das hoffentlich nicht mehr vorkommen. Entweder korrigiert es die RAM-Fehler selbst oder ich werde wenigstens rechtzeitig gewarnt, dass ich da schnell den RAM austausche, damit ich nicht unbemerkt wieder über Wochen Dinge auf dem NAS kaputtschreibe.

Für ZFS ist ECC-RAM übrigens auch dringend empfohlen. Laufen wird es auch ohne, aber ZFS verlässt sich darauf, dass der RAM fehlerfrei funktioniert. ZFS macht ja Prüfsummen von allem und gleicht die regelmäßig ab (nennt man Scrubbing). Sollte da irgendetwas wegen schleichendem Dateiverfallen (Bit Rot) korrumpiert sein, dann kann es die Daten selbstständig reparieren, sofern da Paritätsdaten vorhanden sind (also ein Raidz oder Mirror benutzt wird). Das ganze klappt aber natürlich nicht, wenn da schon im RAM etwas schief läuft bevor es auf die Laufwerke geschrieben wird. Gibt es da einen BitFlip im RAM, dann sind die Daten ja korrumpiert, bevor die Prüfsumme davon erstellt wird. Dann denkt ZFS fälschlicherweise die Daten wären heil, weil ja die Prüfsumme stimmt.

Und Enterprise SSDs sind dann noch einmal ein ganz eigenes Thema. Hier wird auch stark dazu angeraten eine Enterpreise SSD für ZFS zu nehmen. Das könnte ich auch noch lange ausführen, aber vielleicht reicht ja schon ein Zitat aus dem FAQ des offiziellen "Proxmox VE ZFS Benchmark with NVMe" Papers:

Can I use consumer or pro-sumer SSDs, as these are much cheaper than enterprise-class SSD?
No. Never. These SSDs wont provide the required performance, reliability or endurance. See the fio results from before and/or run your own fio tests.

Edit:
Achso, und bei Server Mainboards hast du halt meistens auch gleich 8 oder 16 RAM-Slots und maaaassig PCIe Lanes. Da hat man dann viel mehr Spielraum später noch etwas nachzurüsten. Bei einem Ryzen Maiboard hast du nur 20 (B550) oder 24 (X570) PCIe Lanes wovon 4 meist wegen dem M.2 Slot wegfallen. Da kann man dann kaum etwas nachrüsten. So ein HBA braucht normal einen echten 8x slot. Eine 10Gbit NIC braucht auch einen 4x oder 8x slot. Eine NIC und einen HBA rein und schon passt keine GPU mehr rein. Freie Slots hätte man dann wohl oft noch, aber kann die nicht nutzen, da bereits alle PCIe Lanes verwendet sind...

 

[Foxhunter]

Wenn du allerdings von außerhalb deines Heimnetzes etwas streamen willst, dann muss es Emby ja zwangsweise enkodieren und das sieht man dann gut an der CPU-Auslastung wenn es das nicht auf die GPU auslagern kann.

Ja, aber von außerhalb des Netzes haben wir noch nie gestreamt, ist auch gar nicht eingerichtet. Also das Problem haben wir nicht, ist wirklich nur hausintern, wenn wir Abends mal einen Film oder eine Serie gucken wollen. Also wirklich nicht die Welt was Emby da leisten muss

ZFS ist da recht anspruchsvoll. Z.B. auch den RAM-Verbrauch nicht vergessen. Faustformel ist 4GB + 1GB RAM je 1TB Rohkapazität der Laufwerke. Und wenn du Deduplikation nutzen willst sind das sogar schon 4GB + 5GB je 1TB Rohkapazität. Bei 18TB HDDs ohne Deduplizierung also mit 22GB RAM alleine für den ARC (RAM cache) von ZFS einplanen. Standardmäßig wird sich ZFS 50% vom gesamten RAM zum Cachen nehmen, aber das kann man manuell limitieren.

Okay, gut zu wissen wie viel RAM da flöten geht. Aber es sollte noch machbar sein mit vielleicht 64 GB RAM. Wollte es jetzt nicht komplett übertreiben mit dem Server.

Bzgl. der Hardware muss ich jetzt echt mal schauen. Hatte bis vor einigen Jahren noch alte gebrauchte Server für meinen Betrieb, aber die fressen einem die Haare vom Kopf was den Strom betrifft, weshalb ich da eher an etwas neueres dachte. Dual-COU würde die Stromkosten ja direkt wieder in die Höhe schnellen lassen. Allerdings bin ich jetzt schon grob verunsichert bzgl. der teils immensen Hardwareanforderungen, auch das ganze mit Enterprise SSDs auszurüsten geht richtig ins Geld. Ursprünglich hatte ich angefangen mit Unraid/FreeNAS zu überlegen, aber durch das was ich gelesen habe bin ich dann schließlich bei Proxmox hängen geblieben, weil es für Virtualisierung gebaut ist, und selbige nicht nur als Feature mit kommt. Jetzt muss ich mir mal was konfigurieren und schauen was es kosten wird, hatte gedacht man käme mit 800 - 1000 Euro für die Hardware aus

Danke dir abermals für die ausführliche Antwort, ich werde im Laufe des Tages mal schauen was ich gebraucht finde, und was es mich kosten würde sowas mit einem aktuellen AMD Unterbau zu konfigurieren, soweit machbar.