Neue Hardware Idee und Vorschläge

V

vikozo

Renowned Member
May 4, 2014
827
34
93
suisse
www.wombat.ch
Guten Tag

Neue Hardware idee und Vorschläge
Ziel möglichst leise und "kein" Strom verbrauch.
Ein Gehäuse bei dem ich von vorne und im laufenden Betrieb, Festplatten austauschen kann wenn nötig!

Nachstehend eine Idee, wäre froh um feedback und Punkt die ich nicht beachtet habe.

SUPERMICRO SC721 TQ-350B2 (Mini ITX)
Mainboard Formfaktor: Mini-ITX Supermicro

Mainboard: X13SCL-IF
Intel® C262, LGA-1700
Intel® Xeon ® 6300-series/ E-2400/Pentium®* Processor

CPU:
Xeon 6353P vs Xeon E-2468
Xeon 6353P (günstiger) vs Xeon E-2468 (teurer)

RAM: 64G RAM (11.09.2025 angepasst)
ECC DDR5 Memory - DDR5-4800MHz

Disk:
2 x SSD (1TB) für Betriebssystem Proxmox
2 x SSD (4TB) für die VM (ca 7VM werden erwartet)
SSD werden von verschiedenen Hersteller gekauft Crucial, Westen Digital, Samsung, Seagate

LAN:
2 LAN Anschlüsse

je nach Lautstärke:
Ersatz der Ventilator durch Noctua Gehäuselüfter

https://www.thomas-krenn.com/de/wiki/Intel_Xeon_E-2400_und_Xeon_6300

==============================
Nachstehend sollte ersetzt werden (wohl aus dem 2014) Disk wurden ersetzt:
Shuttle XPC Barebone SZ87R6
4 x Intel(R) Core(TM) i5-4570T CPU @ 2.90GHz (1 Socket)
32G RAM
2 x WDC 3TB Disk

Vielen Dank
gruss
Vinc
 
Last edited:
Wirkt auf den ersten Blick nicht schlecht. Besonders das Gehäuse habe ich mir auf die Merkliste gesetzt.
32GB RAM für 7 VMs finde ich aber schon komisch.

Ich würde eher refurbished ThinkCentre, Optiplex oder HP Elitedesks einsetzen.

Davon 3 Stk, und du bist bei gleicher bzw. sogar höherer Leistung zusätzlich noch recht heftig redundant.

Der Spaß liegt dann bei ca. 1000-2000€

Die Stromaufnahme bei weniger als 50Watt-
 
@TErxleben
Danke für das Feedback.
Zurzeit gibt es bereits 3 Nodes im Datencenter, einer mehr für Backup, der andere mehr als Fileserver für Plex, Musik und Fotos.
Der der ersetzt werden müsste ist dann für Web, Mail, DNS und für Datenbanken und Daten aus dem Netz (Wetter)
 
vikozo said:
@TErxleben
Danke für das Feedback.
Zurzeit gibt es bereits 3 Nodes im Datencenter, einer mehr für Backup, der andere mehr als Fileserver für Plex, Musik und Fotos.
Der der ersetzt werden müsste ist dann für Web, Mail, DNS und für Datenbanken und Daten aus dem Netz (Wetter)
Click to expand...
Dann scheinst du mit Kanonen auf Spatzen zu schiessen, obwohl 32GB-RAM immer noch gar nicht passen. Mach 64 oder besser 128GB draus. Das MB kann es ja und preislich hält es sich in Relation auch Grenzen.
 
32GB RAM erscheint mir auch etwas mau. 1TB Kapazität nur für den PVE bzw. das OS ist überdimensioniert. Wenn die SSDs mit ZFS verwendet werden sollen tust Du Dir bei 7 VMs und dadurch nicht gerader kleiner Schreiblast mit Consumer SSDs wie von Crucial & Co. keinen Gefallen, ich würde SSDs auch nicht mischen. Im RAID wenn möglich immer gleicher Hersteller und Modell.
 
  • Like
Reactions: news and Johannes S
cwt said:
1TB Kapazität nur für den PVE bzw. das OS ist überdimensioniert. Wenn die SSDs mit ZFS verwendet werden sollen tust Du Dir bei 7 VMs und dadurch nicht gerader kleiner Schreiblast mit Consumer SSDs wie von Crucial & Co. keinen Gefallen, ich würde SSDs auch nicht mischen. Im RAID wenn möglich immer gleicher Hersteller und Modell.
Click to expand...
Danke für dein Feedback @cwt (RAM ist angepasst auf 64)
Ich hatte mal gelesen das man SSD oder auch Harddisk von verschiedenen Hersteller nehmen soll. Solle eine Serie faul sein, ist bloss eine Disk betroffen.
Aber gleiche grösse klar!
 
Da kann man sich drüber streiten. Mir persönlich ist sowas in den letzten 30 Jahren noch nicht passiert, besonders bei konventionellen HDDs in großen RAID Setups. Jeder Hersteller kocht sein eigenes Süppchen und komplett andere Modelle mischen kann komische Effekte geben hinsichtlich Zugriffszeiten, Cache, etc. Bei Dir wäre es im Mirror Setup auch sehr überschaubar.

Wie ist denn das Budget für die SSDs? 4 TB ist ja nun nicht die Standardgröße. Mit Crucial & Co. wirst Du nicht viel Spaß haben bei ZFS.
 
  • Like
Reactions: Johannes S
Wenn Geld da ist, dann 4x DC600M Serie Enterprise SATA 3.0 SSD, alle vier SSD bilden einen ZFS Pool, den man als 2 VDEV ZFS mirror erstellt.

VDEV0 ZFS mirror 2x ssd - Stripe - VDEV1 ZFS mirror 2x ssd

Dadurch nutzt man maximal, ca. 80 %, der ca 7,6 TB * 0,80 an SSD aus.
Die Daten werden in Datasets verteilt und es spricht nichts dagen, solch ein Setup zu nutzen.

Wenn DDR5, dann sollte das MB auch maximal 192 GB unterstützen.

Generell würde ich auf eine andere Hardwareplatform setzen: AMD Ryzen.
z.B.
* AMD Ryzen 5 PRO 5655G, 6C/12T, 3.90-4.40GHz oder
* AMD Ryzen 7 PRO 5755G, 8C/16T, 3.80-4.60GHz

IPMI, Management-Port ist nice, aber brauche ich die Funktionalität?

* ASRock Rack X570D4U oder
* ASRock Rack X570D4U-2L2T/BCM

Die oben dargestellen AMD Ryzen PRO CPU benötigt man für die ECC Ram Unterstützung auf Consumer Mainboard.

Bei der AMD Ryzen 7 5700X CPU, 8C/16T, 3.40-4.60GHz erhält man keine AGPU aber ebenfalls ECC Ram Unterstützung.

Somit könnte man mit den o.g. beiden Mainboards, je nach dem, ob man zusätzlich 2x 10 GBit/s benötigt, ein klasse System mit ECC Ram bei 128 GByte und AMD Ryzen 7 5700X CPU, 8C/16T aufbauen.
 
Last edited:
  • Like
Reactions: UdoB and Johannes S
Noch ein Nachtrag zu deinen ca. 7 VM.
Was bei der Virtualisierung auch zählt ist die Anzahl der realen Kerne.

So könnte man den neuen Proxmox VE Server auch maximal auslegen:
* AMD Ryzen 9 5950X, 16C/32T, 3.40-4.90GHz oder
* AMD Ryzen 9 5900X, 12C/24T, 3.70-4.80GHz

Eine CPU mit nur 65 Watt kann man hier nicht mehr erwarten, 105 Watt sind bei den dicken Dingern angegeben und die sollten auch, nach Herstellerangabe, auf dem ASRock Rack X570D4U laufen.

Preislich liegen die alle unter deinem Intel Xeon 6353P Vorschlag.
Wobei die CPU habe ich nur noch bei Proshop.de gefunden.
 
Last edited:
Hallo @vikozo ich hoffe für Dich waren einige Anregungen dabei. Wie nun die "Lage" in der Schweiz, insbesondere für Einkäufe aus der EU sind, kann ich nicht einschätzen.
Viel Erfolg.
 
news said:
Hallo @vikozo ich hoffe für Dich waren einige Anregungen dabei. Wie nun die "Lage" in der Schweiz, insbesondere für Einkäufe aus der EU sind, kann ich nicht einschätzen.
Viel Erfolg.
Click to expand...
Das war anregend ja - Suche ein passendes Gehäuse nun. Will die SSD ja von vorne austauschen können und gell deine Berechnung sind mit 1.92TB SSD?
 
news said:
Wenn Geld da ist, dann 4x DC600M Serie Enterprise SATA 3.0 SSD, alle vier SSD bilden einen ZFS Pool, den man als 2 VDEV ZFS mirror erstellt.

VDEV0 ZFS mirror 2x ssd - Stripe - VDEV1 ZFS mirror 2x ssd

Dadurch nutzt man maximal, ca. 80 %, der ca 7,6 TB * 0,80 an SSD aus.
Die Daten werden in Datasets verteilt und es spricht nichts dagen, solch ein Setup zu nutzen.
Click to expand...
Hallo @news
Wie setzt man das auf? Muss ja zuerst Proxmox auf Server installieren und dann ZFS Pool machen und dann 2 VDEV ZFS erstellen???
 
Hallo @vikozo danke, dass Du fragst.
Ich nutze selbst bei 4 SSDs jeweils obiges Schema gerne.

Man wählt bei der Installation ZFS Mirror mit 2x SSDs vom selben Typ aus.
Dann läuft der gesamte Installationsprozess durch.
Man richtet sich noch das passende Repo ein.
Ich bewege mich dann nur auf der root-console.
apt update && apt dist-upgrade -y

Dann Installiere ich noch die Tools die ich so verwende.
z.B. apt install zfs-auto-snapshot
zfs set com.sun:auto-snapshot=false rpool
zfs set atime=off rpool # mein default

Dann "formatiere" ich die weiteren beiden neuen SSDs noch.
Ihre Name erhalte ich so:
ls -la /dev/disk/by-id/

Weiter geht es mit einer neuen GPT Tabelle und dem Partitionieren der SSD:
cfdisk -z /dev/disk/by-id/<new-ssd1> # wähle gpt

Danach eine Partition 1, Größe 100 % anlegen und Dateitype Solaris /usr & Apple ZFS wählen.

Das selbe dann noch mit der 2.ten SSD:
cfdisk -z /dev/disk/by-id/<new-ssd2> # wähle gpt

Danach eine Partition 1, Größe 100 % anlegen und Dateitype Solaris /usr & Apple ZFS wählen

Der spannende Teil ist das, hot:
zpool add rpool mirror /dev/disk/by-id/<new-ssd1-part1> /dev/disk/by-id/<new-ssd2-part1>

Danach noch ein Quota auf dem ZFS rpool einrichten:
zfs get quota rpool # wird nicht gesetzt sein
zpool list -v rpool

Das Quota solle ca. 80% der gesamt Größe des Pools sein.
Diese Regel wurde für reine ZFS Pools mit HDDs aufgesellt.

Ich wähle dann meistens etwas zwischen 80 % und 90 %.
Die Angabe <size> kann als, z.B. 2500G geschrieben werden.
zfs set quota=<size> rpool

Für das automatische erzeugen von ZFS Snapshots legt man sich eine ZFS Dataset an: zfs create rpool/<new-dataset> und setze zfs set com.sun:auto-snapshot=true rpool/<new-dataset>

Will man die zfs snapshot im Auge behalten, empfiehlt es sich check-zfs-replication zu installieren.
Unter YoutTube sysops tv suchen.

# https://github.com/bashclub/check-zfs-replication
Code: 
wget -O /usr/local/bin/checkzfs https://raw.githubusercontent.com/bashclub/check-zfs-replication/main/checkzfs.py
chmod +x /usr/local/bin/checkzfs
checkzfs --help
Anwendung:
checkzfs --sourceonly
 
Last edited:
  • Like
Reactions: Johannes S
Hallo
gemäss den Vorschlägen habe ich es zusammengestellt wie folgt:
Hier ist die Quelle für günstige Preise - https://www.toppreise.ch/de

Was noch nicht klar ist ist die RAM die empfohlenen vom Board kann ich nicht finden.
Gibt es noch Vorschläge oder Ergänzungen?

------------------------------------------------------------------------------------------
ASRock Rack X570D4U
Formfaktor µATX (=Micro-ATX)

https://www.asrockrack.com/general/productdetail.de.asp?Model=X570D4U
https://www.asrockrack.com/general/productdetail.de.asp?Model=X570D4U#Specifications
https://www.asrockrack.com/general/productdetail.de.asp?Model=X570D4U#HDD
------------------------------------------------------------------------------------------
AMD Ryzen 9 5950X, 16C/32T, 3.40-4.90GHz Vermeer
Speichercontroller: Dual Channel DDR4, max. 128GB
Speicherkompatibilität: max. DDR4-3200 (PC4-25600, 51.2GB/s)
------------------------------------------------------------------------------------------
SSD
4 x2TB
Kingston DC600M Serie 2,5” SATA Enterprise SSD 1.92TB
WD Red SA500 2000 GB, 2.5
------------------------------------------------------------------------------------------
2 x Icy Dock flexiDOCK MB014SP-B R1, Wechselrahmen
https://de.icydock.com/product_1367.html
------------------------------------------------------------------------------------------
Kühler für CPU
https://ncc.noctua.at/cpus/model/AMD-Ryzen-9-5950X-1044
IM Rack hat es 156mm für Ventilator platz

würde wohl gehen
Noctua’s Standardised Performance Rating (NSPR)
NH-D12L 148NSPR (Winner)
NH-L12Sx77 100NSPR
NH-C14S 119NSPR

Kühler für Gehäuse 120mm
https://noctua.at/de/products/fan?size=2649&connector=12&voltage=12
Front NF-A12x25 G2 LS-PWM
Back
------------------------------------------------------------------------------------------
PowerSupply
ATX-Netzteil mit 850 W

------------------------------------------------------------------------------------------
RAM
ECC Memory?

Board infos:
Supported DIMM Quantity 4 DIMM slots (2DPC)
Max. Capacity per DIMM up to 32GB
Max. DIMM Frequency up to 3200 MHz
 
Guten Morgen,

Was willst Du wissen?

Nimm ein Kingston 2x 16 GB oder 2x 32 GB 3200 MT/s CL 16-18-18-36 Kit und es läuft.

Mein Desktop Rechner mit Ryzen 9 5900x auf ASRock B550M PG Riptide hat dieses Kit erhalten:
* Kingston DIMM 32 GB DDR4-3200 KF432C16BB1K2/32
Das Kit hatte ich für 37 € kaufen können und heute liegt der VK bei 180 € in DE.

Willst Du ZFS nutzen und dein Board unterstützt auch ECC UDIMM Ram, dann nimmst Du das, was du bekommen kannst.
Diese Kits laufen nicht alle mit 3200 MT/s, so dass da schon mal 2666 MT/s oder 2133 MT/s dabei sein können.
Muss mal halt mal ausprobieren und evtl. dann, bei nicht erfolg, wieder zurück senden.
 
Last edited:
  • Like
Reactions: Johannes S
@news Danke
Was ich wissen wollte, es ist mehr ein absegnen lassen das ich nichts übersehen habe ;-)
Wegen dem Kühler will ich mal lesen, muss einfach extrem leise sein weil das Ding 24h am Tag zu hause am laufen sein wird.
 
You must log in or register to reply here.
Top Bottom