Hardware für Homelab Proxmox Serevr

[PVE-Newbee]

Hallo,

ich bin absoluter Newbee, was Proxmox angeht. Bisher habe ich nur einige Docker Container auf meiner Synology am Laufen und einen Hyper-V auf einem separaten Server mit einem Windows-Server VM (nur als Basis für MS SQL Server) und einer weiteren Linux-VM für Testzwecke.

Nun möchte ich die Docker Container von der Synology auf einen eigenen Server verlagern. Habe mittlerweile einiges ausprobiert: Unraid, Proxmox, CasaOS. Vom Konzept her am besten gefällt mir Proxmox, wohlwissend, dass Proxmox ein bisschen Einarbeitung benötigt.

Folgende Dienste sollen zukünftig auf dem neuen Server laufen:

Vaultwarden

Paperless NGX

Bookstack

Mattermost

Youtube-DL

Jellyfin

Homarr

Linkwarden

AgentDVR (oder Videoüberwachung über Synology, muss ich noch sehen)

Zudem würde ich gerne später einmal die Windows-Server-VM von der Hyper-V auf diesen Server umziehen

Die Synology bleibt mit ihrer ureigensten Aufgabe als NAS erhalten.

Nun geht es an die Hardwareauswahl für den Proxmox Server und möchte in die Runde fragen:

1. Ursprünglich war ich bei einem Mini-PC. Man liest hier an ein paar Stellen, dass es bei Mini-PC mit Proxmox immer mal wieder zu Abstürzen kommt. Der Server ist zwar nur für meinen privaten Gebrauch, aber dennoch soll es stabil laufen. Lieber doch ein Eigenbau-PC mit hochwertigen Komponenten, ggfs. sogar Server Hardwar? Mein Budget liegt bei max. € 1.000 (reines Homelab).

2. Welche Hardwareempfehlung gibt es bei den o.g. Diensten geben hinsichtlich CPU, Mainboard, RAM (Wieviel bei ZFS?, ECC, DDR4 oder DDR5)? Ich möchte 2 SSD (1 TB) im Raid1 laufen lassen. Wie gesagt, NAS-Funktion übernimmt weiterhin meine Synology.

Vielen Dank

 

[Johannes S]

Hallo,

ich bin absoluter Newbee, was Proxmox angeht. Bisher habe ich nur einige Docker Container auf meiner Synology am Laufen und einen Hyper-V auf einem separaten Server mit einem Windows-Server VM (nur als Basis für MS SQL Server) und einer weiteren Linux-VM für Testzwecke.

Nun möchte ich die Docker Container von der Synology auf einen eigenen Server verlagern. Habe mittlerweile einiges ausprobiert: Unraid, Proxmox, CasaOS. Vom Konzept her am besten gefällt mir Proxmox, wohlwissend, dass Proxmox ein bisschen Einarbeitung benötigt.

Folgende Dienste sollen zukünftig auf dem neuen Server laufen:

Vaultwarden

Paperless NGX

Bookstack

Mattermost

Youtube-DL

Jellyfin

Homarr

Linkwarden

AgentDVR (oder Videoüberwachung über Synology, muss ich noch sehen)

Zudem würde ich gerne später einmal die Windows-Server-VM von der Hyper-V auf diesen Server umziehen

Die Synology bleibt mit ihrer ureigensten Aufgabe als NAS erhalten.

Nun geht es an die Hardwareauswahl für den Proxmox Server und möchte in die Runde fragen:

1. Ursprünglich war ich bei einem Mini-PC. Man liest hier an ein paar Stellen, dass es bei Mini-PC mit Proxmox immer mal wieder zu Abstürzen kommt. Der Server ist zwar nur für meinen privaten Gebrauch, aber dennoch soll es stabil laufen. Lieber doch ein Eigenbau-PC mit hochwertigen Komponenten, ggfs. sogar Server Hardwar? Mein Budget liegt bei max. € 1.000 (reines Homelab).

Kommt darauf an, was man will. Die meisten Mini-PCs unterstützen kein ECC, dafür haben sie einen sehr niedrigen Stromverbrauch. Abstürze hängen eher an der verwendeten Hardware, es gibt genug Leute, die ProxmoxVE auf Mini-PCs in ihren Homelab betreiben (ich auch).
Server-Hardware wäre mir persönlich zu teuer von Stromkosten und zu laut im Alltag, aber das muss jede/r selbst wissen.

2. Welche Hardwareempfehlung gibt es bei den o.g. Diensten geben hinsichtlich CPU, Mainboard, RAM (Wieviel bei ZFS?, ECC, DDR4 oder DDR5)? Ich möchte 2 SSD (1 TB) im Raid1 laufen lassen. Wie gesagt, NAS-Funktion übernimmt weiterhin meine Synology.

Generell: Man kann nie genug RAM haben, ob es ECC sein muss, ist eine Frage, wie wichtig einen die Datenintegrität ist. Die Doku sagt zum Thema Hardware folgendes:

Memory: Minimum 2 GB for the OS and Proxmox VE services, plus designated memory for guests. For Ceph and ZFS, additional memory is required; approximately 1GB of memory for every TB of used storage.

Fast and redundant storage, best results are achieved with SSDs.
https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_system_requirements

Wenn ich deine Übersicht oben richtig deute, willst du also drei VMs (windows, eine Linux-VM für Docker (Betrieb von docker in lxc-Containern wird NICHT empfohlen, auch wenn es oft genug klappt, aber der Ärger wäre mir die gesparten Ressourcen nicht wert) plus eine weitere VM als "Spielwiese". Bei 2 TB auf den SSDs plus Betriebssystem ergeben sich somit mindestens 4 GB RAM plus für die VMs. Als Minimum musst du also rechnen, was deine Synology plus die existierende VM als RAM haben. Ich würde mindestens 16 nehmen und wie gesagt: Viel hilft viel.

Als Festplatten würde ich stark zu gebrauchten Enterprise-SSDs raten. Dafür muss man pro Platte zwischen 90 und 120 Euro für 960 GB rechnen, aber selbst gebraucht halten die länger als die typischen Consumerdinger. Das ist darum relevant, da die ganzen Proxmox-Dienste ständig Daten auf die Platte schreiben, also die Schreiblast deutlich größer als als bei einen normalen NAS- oder Desktopbetriebssystem. Und auch ZFS hat eine höhere. Ob man dann (so habe ich es gemacht, da mein Mini-PC leiter nur einen SATA-Port hat, ich also nur eine SSD + M2. NVME verbauen konnte) die in eine Platte für das Betriebssystem und eine für die VMs aufteilt oder in einen Mirror packt, ist dann wieder eine Frage, wie man Datenintegrität, Ausfallsicherheit etc. gewichtet.
Ein ZFS Mirror bietet sich an, wenn du neben den ganzen sonstigen ZFS-Feature auch dessen Funktion für Selbstheilung nutzen willst.

 

[PVE-Newbee]

Kommt darauf an, was man will. Die meisten Mini-PCs unterstützen kein ECC, dafür haben sie einen sehr niedrigen Stromverbrauch. Abstürze hängen eher an der verwendeten Hardware, es gibt genug Leute, die ProxmoxVE auf Mini-PCs in ihren Homelab betreiben (ich auch).
Server-Hardware wäre mir persönlich zu teuer von Stromkosten und zu laut im Alltag, aber das muss jede/r selbst wissen.



Generell: Man kann nie genug RAM haben, ob es ECC sein muss, ist eine Frage, wie wichtig einen die Datenintegrität ist. Die Doku sagt zum Thema Hardware folgendes:



Wenn ich deine Übersicht oben richtig deute, willst du also drei VMs (windows, eine Linux-VM für Docker (Betrieb von docker in lxc-Containern wird NICHT empfohlen, auch wenn es oft genug klappt, aber der Ärger wäre mir die gesparten Ressourcen nicht wert) plus eine weitere VM als "Spielwiese". Bei 2 TB auf den SSDs plus Betriebssystem ergeben sich somit mindestens 4 GB RAM plus für die VMs. Als Minimum musst du also rechnen, was deine Synology plus die existierende VM als RAM haben. Ich würde mindestens 16 nehmen und wie gesagt: Viel hilft viel.

Als Festplatten würde ich stark zu gebrauchten Enterprise-SSDs raten. Dafür muss man pro Platte zwischen 90 und 120 Euro für 960 GB rechnen, aber selbst gebraucht halten die länger als die typischen Consumerdinger. Das ist darum relevant, da die ganzen Proxmox-Dienste ständig Daten auf die Platte schreiben, also die Schreiblast deutlich größer als als bei einen normalen NAS- oder Desktopbetriebssystem. Und auch ZFS hat eine höhere. Ob man dann (so habe ich es gemacht, da mein Mini-PC leiter nur einen SATA-Port hat, ich also nur eine SSD + M2. NVME verbauen konnte) die in eine Platte für das Betriebssystem und eine für die VMs aufteilt oder in einen Mirror packt, ist dann wieder eine Frage, wie man Datenintegrität, Ausfallsicherheit etc. gewichtet.
Ein ZFS Mirror bietet sich an, wenn du neben den ganzen sonstigen ZFS-Feature auch dessen Funktion für Selbstheilung nutzen willst.

Vielen Dank für die ausführlichen Infos. Das mit den gebrauchten Enterprise-SSD ist ein guter Tipp. Mal schauen, wo ich die bekomme. (Bei meinem Windows-Server hab ich nämlich Consumer SSD, wovon mir eine schon nach 3 Monaten abgeschmiert ist.)
Dann werde ich es erstmal mit einem Mini-PC probieren. Zur Not kann man den dann noch anderweitig verwenden.
32 GB sollten dann ja in jedem Fall genügen.
Bleibt noch die Frage des Prozessors? Ich würde dann einen I5 nehmen. Für den Fall, dass es mit Proxmox auf dem Mini-PC nicht hinhaut, kann ich den Mini-PC dann immer noch gut als Desktop PC nutzen.
Dann weiß ich erstmal Bescheid. Danke

 

[Johannes S]

Vielen Dank für die ausführlichen Infos. Das mit den gebrauchten Enterprise-SSD ist ein guter Tipp. Mal schauen, wo ich die bekomme. (Bei meinem Windows-Server hab ich nämlich Consumer SSD, wovon mir eine schon nach 3 Monaten abgeschmiert ist.)

ebay oder Secondhand-Läden, hier im Forum wurden mal 2nd-source, tonitrus oder Servershop24 genannt. Aber gibt auch noch andere... Wichtig ist darauf zu achten, dass die Anschlüße passen, SAS ist nicht SATA. Und (mir selbst passiert) es gibt auch SATA-SSDs im 2880-Formfaktor, die werden aber nicht in den Standardslot für PCI-NVMEs passen.

Dann werde ich es erstmal mit einem Mini-PC probieren. Zur Not kann man den dann noch anderweitig verwenden.
32 GB sollten dann ja in jedem Fall genügen.

Ja und ja, egal was du damit machst Und im Worstcase kann man ihn ja auch immer noch verkaufen.

Bleibt noch die Frage des Prozessors? Ich würde dann einen I5 nehmen. Für den Fall, dass es mit Proxmox auf dem Mini-PC nicht hinhaut, kann ich den Mini-PC dann immer noch gut als Desktop PC nutzen.

Ich habe nicht wirklich Ahnung von CPU, für meiner Meinung nach sollte für deine Zwecke alles ab vier Kernen locker reichen

 

[Johannes S]

Noch was: Wenn du 32 GB RAM einplanst, hast du auf jeden Fall genug RAM für deine geplanten VMs plus ZFS. Das könntest du dann auch nutzen, um für Experimente LXC-Container zu nehmen. Sind keine "vollwertigen" VMs, da nicht so gut isoliert, aber brauchen dadurch auch deutlich weniger Ressourcen und sind somit dankbare Versuchsobjekte, wenn du z.B. mal ausprobieren willst, wie verschiedene Distributionen sich unterscheiden oder nur ein bestimmtes Tool ausprobieren und danach stressfrei wieder loswerden (Container dafür anlegen, rumspielen, danach wieder löschen). Für Docker ist wie bereits geschrieben eine VM sinnvoller.

 

[news]

Zur Hardware auf AM4 Basis, folgt hier eine Auflistung:
CPU
* 6C/12T: AMD Ryzen™ 5 5600 oder Ryzen™ 5 5600x
* 8C/16T: AMD Ryzen™ 5 5700 oder Ryzen™ 5 5700x

Mehr geht auch, aber bedingt einen höheren Grund-Leistungsbedarf.
* 12C/24T: AMD Ryzen™ 9 5900x

Zu den Kernen (C) und Threads(T) man sollte sich im klaren sein, dass das Proxmox VE auch einen CPU Kern Bedarf hat und jeder weitere Prozess auch. Gerade WinOS laufen mit 4-6 Threads annehmbar.

Teilt man die CPU Kerne auf, so sinkt die absolute Rechenleistung im mittel ab.

Mainboard
* MSI MPG B550 GAMING PLUS
* ASRock B550 Pro4
* ASRock B550M Pro4
* ASRock B550 PG RIPTIDE

Bei einem µATX Mainboard spart man sich evtl. Platz und verliert auch noch den einen oder anderen PCIe Erweiterungssteckplatz und/ oder hat nur 2x DDR4 Steckplätze. Die ASRock Pro4 haben beiden 4x DDR4 Steckplätze.

SATA PCIe Adapter
Der SilverStone SST-ECS06, Serial ATA-Controller liefert weitere 6x SATA 3 Anschlüssen, dafür benötigt man einen PCIe 2x3.0 Steckplatz. Darüber kann man dann fast 2 GBit/s Daten (~1,9 MBit/s) schaufeln.
Also sehr gut für 4x SATA III SSD mit ca. 500 MB/s Output. Bei Festplatten kann man ohne Probleme 6x SATA III HDD nutzen.
Diese Adapter laufen bei mir stabil in PCIe 16x3.0 Steckplätzen.

SSD
Zu den ZFS geeigneten SSD hier eine Möglichkeit, die ich im Raid10 (Raid1 (Mirror) - Stripe - Raid1 (Mirror)) Betreiben würde.
* Kingston DC600M 960 GB
* Kingston DC600M 1920 GB

Klar Die kosten Geld, erfüllen aber die Anforderungen an Haltbarkeit und Langlebigkeit, die ZFS benötigt.
Siehe Parameter "TBW".

Netzteil
Kann man sich noch eine "Gold" Ratet Netzteil leisten, hat man weitere 5-6 Watt gesparrt.
* be quiet! Pure Power 11 400W

RAM
DDR4 Speicher wird stromsparend, wenn man ihn mit 1.2V betreibt bei 3200 MT/s, z.B.:
* 2x Crucial DIMM 16 GB DDR4-3200 (CT16G4DFRA32A); Kit mit 2x 16 GB
* 2x Crucial DIMM 32 GB DDR4-3200 (CT32G4DFD832A); Kit mit 2x 32 GB

Ein Gehäuse ist Geschmakssache, evtl. ein 19" Rack-Gehäuse?

Grafikkarte
* MSI GeForce GT 710 2GD3H LP

Eine Grafikkarte braucht man nur bei der Installation und evtl. für WinOS BS zur Grafik-Render-Beschleunigung.

 

[PVE-Newbee]

Grafikkarte
* MSI GeForce GT 710 2GD3H LP

Eine Grafikkarte braucht man nur bei der Installation und evtl. für WinOS BS zur Grafik-Render-Beschleinigung.

Danke für die Auflistung.
Sollte ich selber bauen, würde es in jedem Fall ein 19"-Gehäuse, da ich bereits einen Schrank habe. Ich werde mal rechnen, wieviel mehr der selbstgebaute Server kostet.

Aber mal eine Frage: Warum brauche ich denn eine Grafikkarte? Liegt das an de AMD-Architektur (kein integrierter GPU)?

 

[PVE-Newbee]

Ja die AM4 Ryzen Modelle mit einem G oder GT am Ende, habe eine APU, aber auch nur 16 MB, anstatt 32 MB, Cache.

OK, danke.
Dann noch eine Frage: Warum würdest Du AMD Intel vorziehen?

 

[news]

AMD ist im Betrieb Stromsparender, der AMD Ryzen 5 5600 ist ein Beispiel aus meiner o. Auflistung.
Intel Generation 12 hat die besseren Power-control-mechanismen im Idle-Betrieb.

* https://www.hardwaredealz.com/

 

[news]

z.B. mit dem ASRock B550 PG RIPTIDE erhält man gleich eine 2.5 GBit/s Netzwerkschnittstelle und hat, im Vergl. zu Intel Generation 12, mehr PCIe Lanes an der CPU angebunden.

 

[PVE-Newbee]

So, hab mir jetzt erstmal einen Mini-PC bestellt. Damit kann ich erstmal rumprobieren. Wenn ich dann alles hinbekomme, was mir so vorschwebt, kommt ein richtiger Server in den Schrank. Der Mini-PC findet dann schon seine Verwendung. Daher danke für alle Hinweise. Ich glaube, das ist so ein sinnvoller Weg ...

 

[Johannes S]

So, hab mir jetzt erstmal einen Mini-PC bestellt. Damit kann ich erstmal rumprobieren. Wenn ich dann alles hinbekomme, was mir so vorschwebt, kommt ein richtiger Server in den Schrank. Der Mini-PC findet dann schon seine Verwendung. Daher danke für alle Hinweise. Ich glaube, das ist so ein sinnvoller Weg ...

Jo, klingt nach einen guten Plan. Den Mini-PC könntest du dann nach Einrichtung des Hauptservers als ProxmoxBackupServer nehmen. Wenn du dann noch zusätzlich ein offsite-Backup machst (ich finde da einen günstigen vserver bei netcup oder vergleichbaren Anbieter einen guten Weg, aber es gibt auch Anbieter von cloud-PBS-Diensten wie tuxis.nl), kriegst du deine Sachen auch schnell wieder ans Laufen, falls dein Hauptserver mal die Grätsche macht oder du dir aus Versehen was kaputt machst.

 

[bluesite]

also ich hab nen 5700G und die integrierte Grafikkarte kann ich z.B. an meinen Emby durchreichen das er die mit nutzen kannn zur HW Kodierung in einem LXC fand ich besser als ne extra Grafikkarte da meine PCIe Slots mit meinen nvme besetzt sind und einem HBA für die HDDs