Vorschlag zur Hardware Empfehlung für Proxmox Server

[sharbich]

Hallo Ohr Lieben,
Bevor ich mir einen neuen Proxmox Server zusammenbaue, hätte ich gerne eine Bewertung von Euch. Welche Anforderungen habe ich.
Betrieb von Netzwerkdiensten (LDAP, ISC-DHCP-Server, CUPS, PowerDNS, Fail2Ban)
Betrieb einer privaten Cloud (Nextcloud)
Betrieb von Mailserver (Postfix, Dovecot, RSPAM, Sieve, etc.)
Betrieb von Datenbanken (MariaDB und PostgreSQL)
Betrieb einer eigenen selbstsignierten CA (EJBCA)
Betrieb eines Mediaservers (Plexmediaserver)
Betrieb eines Homeassistant
Betrieb einer Backup-Software Bareos
Betrieb von Docker (ca. 20 Container)
Erweiterbarer Speicherplatz auf bis zu 100 TByte

Das ist mein Vorschlag:
Platine Supermicro H12SSL-NT Einzelhandel
CPU AMD Epyc 7252, 8C/16T, 3,10–3,20 GHz, Tray
RAM (2 Stück) Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC
Festplatte für das Betriebssystem (Proxmox) Western Digital WD Blue SN570 NVMe SSD 1TB, M.2 2280 / M-Key / PCIe 3.0 x4
Speicher (4FP) Toshiba Enterprise Capacity MG07ACA 12 TB, 24/7, 512e / 3,5 Zoll / SATA 6 Gb/s

Wobei ich denke, dass ich einen Hardware-RAID-Controller benötige. Auch wegen der Erweiterung, oder? Später ggf. eine höherwertige CPU einbauen?

Gern Eure Vorschläge.

Gruß von Stefan Harbich

 

[Falk R.]

Ich wüsste mal gern ob das im Business Umfeld genutzt werden soll mit vielen Usern und mehr DB Last oder eher im privaten Umfeld mit weniger Last.
Die Zen2 CPU ist nicht mehr brandneu aber läuft gut und nur 2 RAM Riegel bei 8 Speicherkanälen, da ist noch Performance nach oben drin.
Die NVMe nur für das OS ist OK.
Mit den HDDs und Software RAID wirst du bei keinem Setup glücklich. Ein Raidcontroller mit Batteriecache kann da noch etwas zaubern.
Wenn das für mehrere User sein soll, dann kannst du das mit den HDDs vergessen, vor allem willst du da keine Datenbanken drauf haben.
100TB ist schon eine Hausnummer, eventuell kleineren SSD Pool für VM OSes und DBs und die Dateiablage auf HDDs.

 

[sharbich]

Hallo Falk,
danke für die erste Einschätzung. Ja auf dem Server greifen ca. 100 Personen zu. Ich hatte vergessen noch zu betonen das auf dem Server die private Cloud liegt (Nextcloud) und er als Mailserver fungiert. Habe ich oben ergänzt.
Ich hatte auch gelesen das es wohl besser ist den Hardware Raid Controller wegzulassen. Wobei ich mir einen richtigen guten ausgesucht habe. Aber sehr teuer. Dann lieber mehrere Festplatten und mit ZFS als 1 Pool konfigurieren. Aber dann wohl mehr RAM. Was ist Deine Einschätzung. Zu RAM und welche FP?

Zugriff durch 2 Vereine mit der möglicher Erweiterung.

 

[Falk R.]

Ganz ehrlich, mit den HDDs und 100 User, wird auch ein arbeiten mit nextcloud keinem Spaß machen.
Wie gesagt, mit einem guten Raid Controller wie z.B. MegaRaid kannst du das deutlich verbessern aber vorsicht wenn du das Setup erweitern willst.
Eine Raid Erweiterung kann echt lange dauern und während der Zeit ist alles richtig langsam. Ich habe mal ein Raid6 mit 16 Disks um 10 Disks erweitert. Das hat 3 Monate! gedauert und währed der Zeit waren die Backups, welche da drauf geschrieben werden sollten, fast nicht möglich.
Am besten mit SSDs arbeiten und mal prüfen ob du wirklich so viel Speicher brauchst.
ZFS macht auch Komprimierung, was auch eine Menge einsparen kann.

Willst du das alles selbst zusammenbauen oder irgendwo komplett fertig kaufen?

Als Fertigserver würde so ein Setup ca. 4k kosten. Wieviel Budget hast du denn?
Beispielkonfig

 

[sharbich]

Hallo Falk, ich würde mir auch den Server zusammenstellen lassen. Ich bin noch dabei mich zu belesen. Gerade das Thema RAID Hardware Controller inkl. Schreibcache und Erweiterung von weiteren FP- versus SSD FP und ZFS inkl. viel RAM und Erweiterung weiterer FP. Ich tendiere mehr in die Richtung ZFS. Scheint auch günstiger zu sein, oder? Allerdings wohl etwas komplexer bei der Software-Konfiguration.
Hast Du da Erfahrungswerte? Vom Budget, gerne günstiger. Wer hat schon Geld locker sitzen?

Gruß von Stefan Harbich

 

[Falk R.]

Hallo Falk, ich würde mir auch den Server zusammenstellen lassen. Ich bin noch dabei mich zu belesen. Gerade das Thema RAID Hardware Controller inkl. Schreibcache und Erweiterung von weiteren FP- versus SSD FP und ZFS inkl. viel RAM und Erweiterung weiterer FP. Ich tendiere mehr in die Richtung ZFS. Scheint auch günstiger zu sein, oder? Allerdings wohl etwas komplexer bei der Software-Konfiguration.
Hast Du da Erfahrungswerte? Vom Budget, gerne günstiger. Wer hat schon Geld locker sitzen?

Gruß von Stefan Harbich

So viel RAM braucht man da auch nicht unbedingt für ZFS. Wenn du noch nie mit Raid Controllern gearbeitet hast, sind beide Technologien gleich Komplex für dich. Der Vorteil von Raid Controllern mit Batteriecache: Du holst deutlich mehr Performance aus langsamen Disks und wenn eine Disk kaputt geht, einfach Disk tauschen und der Controller kümmert sich um den Rest. Nachteil: Preis, Monitoring und langsame Erweiterung.
Vorteil von ZFS: Über die PVE GUI sehr einfach einzurichten und Datenkonsistenz ist das höchste gut. Mit weiteren vDevs auch schnell erweiterbar.
Nachteil: Da es Performance kostet, müssten die Disks schneller sein und Disktausch nur mit manuellem Eingriff auf der CLI (aber kein Hexenwerk).
ZFS ist natürlich etwas flexibler aber Geld spare tust du da auch nicht. Was du beim Controller sparst, investierst du in SSDs,

 

[sharbich]

Hallo Falk, gibt es ein schönes Tutorial das einen unterstützt, wie bei einem Hardware Raid Controller zusätzliche Festplatten eingebunden werden. Damit die Volumes vergrößert werden können? Du hast oben einen Raid Controller ausgewählt.

 

[Falk R.]

Hallo Falk, gibt es ein schönes Tutorial das einen unterstützt, wie bei einem Hardware Raid Controller zusätzliche Festplatten eingebunden werden. Damit die Volumes vergrößert werden können? Du hast oben einen Raid Controller ausgewählt.

Es gibt offizielle Dokumentationen von Broadcom, ich habe aber seit 20 Jahren nix gelesen, da sich die Technik nicht ernsthaft geändert hat außer den Geschwindigkeiten.

Hier mal ein Einstieg und da ist auch das Handbuch verlinkt:
https://www.broadcom.com/support/kn...ray-on-megaraid-controllers-adding-drives-to-

 

[sharbich]

Als Fertigserver würde so ein Setup ca. 4k kosten. Wieviel Budget hast du denn?

Ich weiß wird teuer. Ich bin mir jetzt nicht sicher ob ich mir das Board überhaupt bestelle. Sehr schlechte berechtigte Kritik.
Supermicro H12SSL-NT retail
Welche Alternative würdest Du empfehlen?

 

[Falk R.]

Ich bin derzeit ein Freund von AMD Systemen und da bietet ASUS ein sehr gutes Preis/Leistungsverhältnis an.

Beispielserver ohne Konfiguration, kannst dir da deine Komponenten selbst klicken.
Ich nehme eigentlich nur noch NVMe für VMs.

 

[sharbich]

Ich bin derzeit ein Freund von AMD Systemen und da bietet ASUS ein sehr gutes Preis/Leistungsverhältnis an.

Welches Board ist den im Rack verbaut?

 

[sharbich]

Hallo,
ich habe mir jetzt folgendes zusammengestellt:
Server Rack
Inter-Tech 88887118 Case IPC Storage 2U-2412, o.PSU
Netzteil
Inter-Tech ASPOWER R1A-KH0400
Motherboard
ASUS KRPA-U16 - Motherboard - SSI EEB - Socket SP
CPU
AMD Epyc 7252 8x 3.10GHz So.SP3 TRAY
RAM
64 GB Micron 4x 16GB 2Rx8 PC4-3200AA Server RAM ECC DDR4 MTA18ASF2G72PDZ-3G2J3UI für G431-MM0
NVMe
HPE 3.84TB U.2 PCIe Gen3 Read Intensive SSD 2.5" SFF Solid State Disk (CD5) - P08983-003

Was mir noch fehlt ist ein Hardware Raid Controller für die NVMe SSD Festplatten. Da bräuchte ich noch Deine Expertise.
Gruß von Stefan Harbich

 

[Falk R.]

Hallo,
ich habe mir jetzt folgendes zusammengestellt:
Server Rack
Inter-Tech 88887118 Case IPC Storage 2U-2412, o.PSU
Netzteil
Inter-Tech ASPOWER R1A-KH0400
Motherboard
ASUS KRPA-U16 - Motherboard - SSI EEB - Socket SP
CPU
AMD Epyc 7252 8x 3.10GHz So.SP3 TRAY
RAM
64 GB Micron 4x 16GB 2Rx8 PC4-3200AA Server RAM ECC DDR4 MTA18ASF2G72PDZ-3G2J3UI für G431-MM0
NVMEe
HPE 3.84TB U.2 PCIe Gen3 Read Intensive SSD 2.5" SFF Solid State Disk (CD5) - P08983-003

Was mir noch fehlt ist ein Hardware Raid Controller für die NVMe SSD Festplatten. Da bräuchte ich noch Deine Expertise.
Gruß von Stefan Harbich

Wenn du NVMe nutzt, keinen Hardware Raid. Dann kannst du besser mit Software Raid arbeiten.
Mit NVMe und ZFS Mirror hast du deutlich mehr Performance als mit Raid und mit RaidZ hast du zwar etwas weniger Performance als mit einem Batterigestützten Raid Controller. Die Raid Controller können bisher fast alle nur 4 NVMe Devices, daher wäre eine Erweiterung eh nicht möglich.

 

[sharbich]

Wenn du NVMe nutzt, keinen Hardware Raid. Dann kannst du besser mit Software Raid arbeiten.
Mit NVMe und ZFS Mirror hast du deutlich mehr Performance als mit Raid und mit RaidZ hast du zwar etwas weniger Performance als mit einem Batterigestützten Raid Controller. Die Raid Controller können bisher fast alle nur 4 NVMe Devices, daher wäre eine Erweiterung eh nicht möglich.

Das bedeutet mit der oben angeführten Konfiguration wäre ich für die Zukunft gut abgesichert und hätte noch viel Luft nach oben? Noch eine Frage zum redundanten Netzteil die 440 Watt, reicht dass?

 

[Falk R.]

Das musst du schon selbst ausrechnen. Am besten die Peak Leistungsaufnahme der einzelenen Bauteile addieren, wenn das Netzteil das mit einer kleinen Reserve schafft, wirst du keine Probleme haben.

P.S: vergiss die Lüfter nicht, die ziehen unter Volllast auch einiges weg.

 

[sharbich]

Das musst du schon selbst ausrechnen. Am besten die Peak Leistungsaufnahme der einzelenen Bauteile addieren, wenn das Netzteil das mit einer kleinen Reserve schafft, wirst du keine Probleme haben.

P.S: vergiss die Lüfter nicht, die ziehen unter Volllast auch einiges weg.

Bin dabei. Wobei ich keine Angaben zur NVMe SSD finde. Was meinst Du?