Homeserver 2025 Build Diskussion

[cart3l]

Hallo zusammen

Ich möchte meinen 10+ Jahre alten Server mit 32 GB RAM, altem Xeon und Spindeldisks ablösen durch ein neues System. Da ich das Ganze möglichst lange und so low-power wie möglich betreiben möchte, würde ich gerne eure Inputs zu zwei Buildvarianten erfahren.

Auf meinem Server laufen ca 10 VMs mit verschiedenen Aufgaben: InfluxDB, Jellyfin, Firewall (opnsense, 2.5gbit/s WAN), Windows AD, Windows Terminal Server etc.

Auf dem neuen Server möchte ich 10GBit/s für WAN und Verbindung zum NAS und GPU Passthrough der iGPU/GPU.

Auf der AMD Seite habe ich folgenden Build erstellt:

MB	AsRock B650D4U-2L2T/BCM
CPU	Ryzen 9 7900
RAM
PCI	ASUS Hyper M.2 X16 Card
M2	5x Samsung 990 Pro 1TB

[td]64GB[/td]

Frage dazu: Im Internett findet man verschiedene Informationen zu Passthrough der iGPU - ich vermute es geht nicht so einfach.

Und der Intel basierte Build:

MB	ASRock EC262D4U-2L2T oder W680D4U-2L2T/G5 (Teuer)
CPU	Intel Core i9-14900T
RAM	64GB
PCI	ASUS Hyper M.2 X16 Card
M2	5x Samsung 990 Pro 1TB

Bei den Mainboard Optionen weiss ich nur, dass der W680 Aufpreis ca 200€ ist. Das Paathrough der iGPU sollte bei diesem Build keine Probleme machen.

Bifurcation auf dem x16 Slot sollte uach bei beiden kein Problem sein. Gemäss einem Reddit Thread sollen die Consumer NVMEs mit TLC Chip keine grossen Probleme mit ZFS haben. Geplant ist ein RAIDZ-1 für OS und eins für die VMs.

Ich habe gelesen, dass die Intel CPUs etwas sparsamer sind als die AMD. Die Anschaffungskosten sind in etwa gleich (billigere Intel MB Variante).

Hat jemand Erfahrung mit dieser Hardware? Gibt es Überlegungsfehler oder bessere Optionen?

Herzlichen Dank für Euer Feedback!

 

[t.lamprecht]

Hallo, du hast (fast) denselben Post auch in Englisch erstellt:

C

Thread 'Homelab build confirmation'

Yesterday at 15:06

Hi all

I am struggling to decide on a new homelab server. I have needs for GPU passthrough, Firewall with 2.5GBit/s throughput, a couple of Windows and Linux VMs. I want to build a power efficient server.

I am considering several builds, AMD and Intel based builds:

MB	AsRock B650D4U-2L2T/BCM
CPU	Ryzen 9 7900
RAM	64GB
PCI	ASUS Hyper M.2 X16 Card
M2	5x Samsung 990 Pro 1TB

According to my research iGPU passthrough to VMs is not properly working for AMD...

• cart3l
• Replies: 7
• Forum: Proxmox VE: Installation and configuration

Generell sind so Doppelposts nicht sehr gern gesehen, falls du mit Englisch eh gut umgehen kannst empfiehlt sich meistens bei dem zu bleiben, da dort mehr User erreicht werden.
Auf alle Fälle sollte man die Posts Querverlinken und evtl. etwas Hintergrund wieso das es Doppelt gepostet wurde dazugeben – thx!

Geplant ist ein RAIDZ-1 für OS und eins für die VMs.

Würde Empfehlen den "ZFS RAID Level Considerations" Abschnitt aus unserer Doku durchzulesen um sicherzustellen, dass die Konfiguration die richtige Variante für dein setup ist:
https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#sysadmin_zfs_raid_considerations

Etwa:

A RAIDZ of any redundancy level will approximately behave like a single disk in regard to IOPS with a lot of bandwidth. How much bandwidth depends on the size of the RAIDZ vdev and the redundancy level.

 

[mr44er]

Das Paathrough der iGPU sollte bei diesem Build keine Probleme machen.

Ich hab passthrough noch nie mit iGPU hinbekommen, sauber immer nur mit ner Karte. Hast du da andere Erfahrungen?

Auf dem neuen Server möchte ich 10GBit/s für WAN

Hast du denn ein WAN, das das auslasten kann? Wenn nein, reicht ja 10G für in Richtung LAN(NAS).

Gemäss einem Reddit Thread sollen die Consumer NVMEs mit TLC Chip keine grossen Probleme mit ZFS haben.

Um welche NVMEs gehts denn genau? Consumer und ZFS an sich macht keine Probleme, es ist eher die Haltbarkeit und das Einknicken der IOPS, gerade bei mehreren Win-VMs. Pauschal rate ich zu Enterprise-NVMes (damit hast du dann auch die Möglichkeit für Namespaces und eher die Möglichkeit, diese auf 4k zu formatieren=mehr Durchsatz, Speicher effizienter genutzt).

https://www.cpu-monkey.com/de/compare_cpu-amd_ryzen_9_7900-vs-intel_core_i9_14900t

Der Ryzen hat mehr Lanes, AVX512 und mehr Cache. Unterstützt aber weniger MAX-Ram und hat weniger Kerne/Threads zum Verteilen.

 

[cart3l]

Hallo, du hast (fast) denselben Post auch in Englisch erstellt:

C

Thread 'Homelab build confirmation'

Yesterday at 15:06

Hi all

I am struggling to decide on a new homelab server. I have needs for GPU passthrough, Firewall with 2.5GBit/s throughput, a couple of Windows and Linux VMs. I want to build a power efficient server.

I am considering several builds, AMD and Intel based builds:

MB	AsRock B650D4U-2L2T/BCM
CPU	Ryzen 9 7900
RAM	64GB
PCI	ASUS Hyper M.2 X16 Card
M2	5x Samsung 990 Pro 1TB

According to my research iGPU passthrough to VMs is not properly working for AMD...

• cart3l
• Replies: 7
• Forum: Proxmox VE: Installation and configuration

Generell sind so Doppelposts nicht sehr gern gesehen, falls du mit Englisch eh gut umgehen kannst empfiehlt sich meistens bei dem zu bleiben, da dort mehr User erreicht werden.
Auf alle Fälle sollte man die Posts Querverlinken und evtl. etwas Hintergrund wieso das es Doppelt gepostet wurde dazugeben – thx!



Würde Empfehlen den "ZFS RAID Level Considerations" Abschnitt aus unserer Doku durchzulesen um sicherzustellen, dass die Konfiguration die richtige Variante für dein setup ist:
https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#sysadmin_zfs_raid_considerations

Etwa:

Danke für dein Feeback - das mit dem Doppelpost war keine Absicht. Ich hatte ein paar Mal refreshed nachdem ich den post erstellt hatte und dann kam nichts, habe gesucht etc. und dann gedacht das ich evt gar nie abgesendet habe. Dann habe ich den auf Deutsch verfasst und als ich den abgeschickt hatte, kam der andere.. Sorry.

Den Guide schaue ich mir gerne an, danke!

 

[cart3l]

Ich hab passthrough noch nie mit iGPU hinbekommen, sauber immer nur mit ner Karte. Hast du da andere Erfahrungen?

Ich habe auf reddit gelesen, dass es jemand mit einem 5700G hingekriegt hat mit de neusten Proxmox Version. Und gemäss weiteren Posts geht es mit Intel iGPUs ohne Probleme. zBsp hier

Hast du denn ein WAN, das das auslasten kann? Wenn nein, reicht ja 10G für in Richtung LAN(NAS).


Um welche NVMEs gehts denn genau? Consumer und ZFS an sich macht keine Probleme, es ist eher die Haltbarkeit und das Einknicken der IOPS, gerade bei mehreren Win-VMs. Pauschal rate ich zu Enterprise-NVMes (damit hast du dann auch die Möglichkeit für Namespaces und eher die Möglichkeit, diese auf 4k zu formatieren=mehr Durchsatz, Speicher effizienter genutzt).

Also du meinst zBsp Intel P4610 etc? Die sind halt echt ne Nummer was das Pricing anbelangt.. es gibt zwar Gebrauchtware, aber keine Ahnung ob man sich damit einen Gefallen tut? Aber gut, dann muss ich das wohl investieren..

https://www.cpu-monkey.com/de/compare_cpu-amd_ryzen_9_7900-vs-intel_core_i9_14900t

Der Ryzen hat mehr Lanes, AVX512 und mehr Cache. Unterstützt aber weniger MAX-Ram und hat weniger Kerne/Threads zum Verteilen.

Also wenn ich wegen der GPU sowieso eine dedizierte Karte brauche, dann kann ich gut mit dem Ryzen leben. Weisst du etwas zum idle Konsum? Scheinbar seien die Intel CPUs da tiefer und das wäre mir schon noch etwas wer.

 

[t.lamprecht]

das mit dem Doppelpost war keine Absicht. Ich hatte ein paar Mal refreshed nachdem ich den post erstellt hatte und dann kam nichts, habe gesucht etc. und dann gedacht das ich evt gar nie abgesendet habe

Das liegt wahrscheinlich daran, dass du einen recht neuen Account hast, von dem noch nicht viele Postings gemacht wurden. Denn dann schaut das Anti-Spam System des Forums noch genauer hin und gibt Threads eher in die "Approval Queue", von dort werden sie von unseren Moderatoren und Moderatorinnen normalerweise recht schnell wieder freigeschaltet, zumindest unter der Woche zu mitteleuropäischen Bürozeiten. Sollte sowas also nochmal passieren, dann solltest du am besten einfach ein paar Stunden abwarten.

 

[cart3l]

Das liegt wahrscheinlich daran, dass du einen recht neuen Account hast, von dem noch nicht viele Postings gemacht wurden. Denn dann schaut das Anti-Spam System des Forums noch genauer hin und gibt Threads eher in die "Approval Queue", von dort werden sie von unseren Moderatoren und Moderatorinnen normalerweise recht schnell wieder freigeschaltet, zumindest unter der Woche zu mitteleuropäischen Bürozeiten. Sollte sowas also nochmal passieren, dann solltest du am besten einfach ein paar Stunden abwarten.

Ja, es war mir nicht bewusst, dass der Post in Arbeit ist - das nächste Mal weiss ichs. Danke!

 

[louie1961]

I answered your English post.

 

[mr44er]

Ich habe auf reddit gelesen, dass es jemand mit einem 5700G hingekriegt hat mit de neusten Proxmox Version. Und gemäss weiteren Posts geht es mit Intel iGPUs ohne Probleme.

Sieht gut aus

Also du meinst zBsp Intel P4610 etc? Die sind halt echt ne Nummer was das Pricing anbelangt.. es gibt zwar Gebrauchtware, aber keine Ahnung ob man sich damit einen Gefallen tut? Aber gut, dann muss ich das wohl investieren..

Also du musst nicht, aber du sollst dich ja im Nachhinein auch nicht ärgern. Andererseits schneller als bisher mit deinen regulären Festplatten wirds ja dennoch sein. Technisch wirds mit consumer klappen und die meisten anderen werden dir aus den Gründen haltbarkeit/IOPS aber ebenfalls abraten. Vielleicht reichts dir aber auch dann so, wie das läuft und wenn sie 1-2 Jahre durchhalten und du das sozusagen auch erwartest früher Ersatz einzukaufen, dann sollte das ok sein.
Die Gegenrechnung zu den teuren ist einfach, dass du die wahrscheinlich auch in gebrauchtem Zustand nochmal in deinem übernächsten Server einsetzen können wirst. Musst du entscheiden.

Weisst du etwas zum idle Konsum? Scheinbar seien die Intel CPUs da tiefer und das wäre mir schon noch etwas wer.

Ich hab mit den Intels gar keine Erfahrung, aber einen 7950X, ASUS Prime B650-Plus, 4x32G habe ich: https://www.bsdforen.de/threads/memtest86-ein-fehler-muss-man-sich-gedanken-machen.37025/post-338843

Ebenfalls noch einen Ryzen 5 8600G, ASUS Prime B650-Plus, 4x32G, da sieht es ähnlich aus. Eine zweite GPU und eine 10G DualNIC habe ich da drin, idle ohne Monitor bei ~60W.

Wenn du nur 2 RAM Module hast, kannst du da noch einige Watt abziehen.

Wäre jetzt interessant, was man mit dem Intel so schaffen könnte.

 

[cart3l]

Sieht gut aus

Aber schon nicht einfach 2x klicken und gut, aber wer will das schon ; )

Also du musst nicht, aber du sollst dich ja im Nachhinein auch nicht ärgern. Andererseits schneller als bisher mit deinen regulären Festplatten wirds ja dennoch sein. Technisch wirds mit consumer klappen und die meisten anderen werden dir aus den Gründen haltbarkeit/IOPS aber ebenfalls abraten. Vielleicht reichts dir aber auch dann so, wie das läuft und wenn sie 1-2 Jahre durchhalten und du das sozusagen auch erwartest früher Ersatz einzukaufen, dann sollte das ok sein.
Die Gegenrechnung zu den teuren ist einfach, dass du die wahrscheinlich auch in gebrauchtem Zustand nochmal in deinem übernächsten Server einsetzen können wirst. Musst du entscheiden.

Da hast du natürlich recht. Ich muss mir mal das enterprise SSD Angebot anschauen. Es gibt auch einen Gebrauchtmarkt. Aber da sind dann oft die U.2 im Angebot.

Ich hab mit den Intels gar keine Erfahrung, aber einen 7950X, ASUS Prime B650-Plus, 4x32G habe ich: https://www.bsdforen.de/threads/memtest86-ein-fehler-muss-man-sich-gedanken-machen.37025/post-338843

Ebenfalls noch einen Ryzen 5 8600G, ASUS Prime B650-Plus, 4x32G, da sieht es ähnlich aus. Eine zweite GPU und eine 10G DualNIC habe ich da drin, idle ohne Monitor bei ~60W.

Wenn du nur 2 RAM Module hast, kannst du da noch einige Watt abziehen.

Wäre jetzt interessant, was man mit dem Intel so schaffen könnte.

Nicht schlecht. Was hast du da für eine GPU und was für Disks? Ich hoffe ehrlichgesagt, dass ich das Ganze noch deutlich runterkriege. Aber evt. bin ich auch naiv. Ich denke ich werde mit Intel gehen, weil da habe ich eine gewisse Chance, dass die iGPU gut geht und das wäre eigentlich ein guter Bonus.

 

[mr44er]

Aber schon nicht einfach 2x klicken und gut, aber wer will das schon ; )

Mir wäre damit geholfen, die APU vom 8600G klappt nicht einfach so. Da müsste man wohl das vbios erstmal ziehen, aber aktuell hatte ich dazu keinen Nerv.

Ich muss mir mal das enterprise SSD Angebot anschauen. Es gibt auch einen Gebrauchtmarkt. Aber da sind dann oft die U.2 im Angebot.

M.2 ist leergefegt bzw. nicht existent auf dem Gebrauchtmarkt.

M

[SOLVED] Post in thread 'High IO Delay'

Feb 16, 2023

Any recommendations for decently-priced ones?

https://yourcmc.ru/wiki/Ceph_performance recommends:
Micron 5100/5200, 9300. Maybe 5300, 7300 too
Seagate Nytro 1351/1551
HGST SN260
Intel P4500

There is also an excel list with benchmarks on more disks.
Ceph is more demanding on SSDs and what's good for ceph is also good for ZFS.
Besides that the link is a good lecture with explaining the different quality of SSDs (just ignore the ceph-theming )

• mr44er

• 

M

Post in thread 'Welche gebrauchten M.2 NVMe Enterprise SSDs könnt ihr empfehlen?'

Thursday at 10:18

man solle doch lieber gebrauchte Enterprise SSDs verwenden.

Zur Not kann man sich auch mit neuen zufriedengeben.

https://geizhals.de/?cat=hdssd&xf=1035_KIOXIA~1035_Micron~1035_Seagate~252_1920~4836_7

Micron7xxx kann man so empfehlen, bei den ganz billigen Kioxias hab ich keine Ahnung, ob die "Enterprise" sind, da bitte genau informieren.
Bevor du verzweifelst, tut es zur aller-, wirklich allergrößten Not auch eine Firecuda530/540. Das ist kein Enterprise, aber nicht ganz so schäbig. Ich habe die aus Neugierde zu nem Schnapperpreis bekommen und sie laufen...

• mr44er

• 

Nicht schlecht. Was hast du da für eine GPU und was für Disks?

Das ist eine alte 1050Ti, die erfüllt rein den Zweck, dass sie passthrough sauber macht und Bild bringt. Micron7400 und Micron7450.

Ich hoffe ehrlichgesagt, dass ich das Ganze noch deutlich runterkriege. Aber evt. bin ich auch naiv.

Die beste Chance für tiefe States hast du, wenn du gar keine Karten stecken musst und das ASPM bei möglichst vielen Komponenten mitspielt. Gerade im Bereich 10G gibts alte NICs, die versauen alles und nur durch eine Karte ist dann das ganze System nicht mehr sparsam (den Eigenverbrauch davon nicht eingerechnet!)
Ebenso auch top, wenn du mit 2 RAM-Riegeln auskommst, denn damit bekommst du den schnellsten Takt.
Also wenn du auf sparsam gehen willst, dann solltest du dich eher aufs Mainboard fokussieren, anstatt auf die CPUs. Wenn die wirklich idle sind, dann unterscheiden die sich eher nur noch im einstelligen Wattbereich zwischen low-budget CPU und high-end.

Ich sags mal andersrum...wenn du eine Maschine hast, die einigermaßen potent mit Luft nach oben Dinge erledigen soll, z.B. ein Dutzend VMs befeuern, dann bist du mit 50-60W super bedient. Die Hauptersparnis hast du ja damals schon "mitgenommen", weil du nicht 10 physische Maschinen laufen hast...die insgesamt sicher jenseits der 500W wären.

Und nochmal andersrum...Richtung 40W und drunter ist unrealistisch, da gehts dann eher Richtung Holzklasse ohne Spaß mit zuviel Einschränkungen hinsichtlich möglicher Upgrades in Zukunft.
ZB. nur ein PCI-e Slot, nur zwei RAM-slots...etc...

 

[cart3l]

Mir wäre damit geholfen, die APU vom 8600G klappt nicht einfach so. Da müsste man wohl das vbios erstmal ziehen, aber aktuell hatte ich dazu keinen Nerv.

Verstehe ich

M.2 ist leergefegt bzw. nicht existent auf dem Gebrauchtmarkt.

M

[SOLVED] Post in thread 'High IO Delay'

Feb 16, 2023

Any recommendations for decently-priced ones?

https://yourcmc.ru/wiki/Ceph_performance recommends:
Micron 5100/5200, 9300. Maybe 5300, 7300 too
Seagate Nytro 1351/1551
HGST SN260
Intel P4500

There is also an excel list with benchmarks on more disks.
Ceph is more demanding on SSDs and what's good for ceph is also good for ZFS.
Besides that the link is a good lecture with explaining the different quality of SSDs (just ignore the ceph-theming )

• mr44er

• 

M

Post in thread 'Welche gebrauchten M.2 NVMe Enterprise SSDs könnt ihr empfehlen?'

Thursday at 10:18

man solle doch lieber gebrauchte Enterprise SSDs verwenden.

Zur Not kann man sich auch mit neuen zufriedengeben.

https://geizhals.de/?cat=hdssd&xf=1035_KIOXIA~1035_Micron~1035_Seagate~252_1920~4836_7

Micron7xxx kann man so empfehlen, bei den ganz billigen Kioxias hab ich keine Ahnung, ob die "Enterprise" sind, da bitte genau informieren.
Bevor du verzweifelst, tut es zur aller-, wirklich allergrößten Not auch eine Firecuda530/540. Das ist kein Enterprise, aber nicht ganz so schäbig. Ich habe die aus Neugierde zu nem Schnapperpreis bekommen und sie laufen...

• mr44er

• 

Das ist eine alte 1050Ti, die erfüllt rein den Zweck, dass sie passthrough sauber macht und Bild bringt. Micron7400 und Micron7450.

Die beiden Micron schaue ich mir an. Für eine pass-through GPU würde ich wohl eine Intel nehmen.

Die beste Chance für tiefe States hast du, wenn du gar keine Karten stecken musst und das ASPM bei möglichst vielen Komponenten mitspielt. Gerade im Bereich 10G gibts alte NICs, die versauen alles und nur durch eine Karte ist dann das ganze System nicht mehr sparsam (den Eigenverbrauch davon nicht eingerechnet!)
Ebenso auch top, wenn du mit 2 RAM-Riegeln auskommst, denn damit bekommst du den schnellsten Takt.
Also wenn du auf sparsam gehen willst, dann solltest du dich eher aufs Mainboard fokussieren, anstatt auf die CPUs. Wenn die wirklich idle sind, dann unterscheiden die sich eher nur noch im einstelligen Wattbereich zwischen low-budget CPU und high-end.

Es gibt mittlerweile auch 48GB Riegel, damit hätte ich das dreifache vom aktuellen Server. Deswegen habe ich ja auch das AsRock Rack angeschaut mit der Onboard 10GBit NIC.

Ich sags mal andersrum...wenn du eine Maschine hast, die einigermaßen potent mit Luft nach oben Dinge erledigen soll, z.B. ein Dutzend VMs befeuern, dann bist du mit 50-60W super bedient. Die Hauptersparnis hast du ja damals schon "mitgenommen", weil du nicht 10 physische Maschinen laufen hast...die

insgesamt sicher jenseits der 500W wären.

Da hast du auch wieder recht.

Und nochmal andersrum...Richtung 40W und drunter ist unrealistisch, da gehts dann eher Richtung Holzklasse ohne Spaß mit zuviel Einschränkungen hinsichtlich möglicher Upgrades in Zukunft.
ZB. nur ein PCI-e Slot, nur zwei RAM-slots...etc...

Ein bisschen Spass muss ja auch sein. Dann kaufe ich eben noch eine Batterie für die PV Anlage, dann habe ich etwas günstigeren Strom.