Neue Hardware Idee und Vorschläge

V

vikozo

Renowned Member
May 4, 2014
824
34
93
suisse
www.wombat.ch
Guten Tag

Neue Hardware idee und Vorschläge
Ziel möglichst leise und "kein" Strom verbrauch.
Ein Gehäuse bei dem ich von vorne und im laufenden Betrieb, Festplatten austauschen kann wenn nötig!

Nachstehend eine Idee, wäre froh um feedback und Punkt die ich nicht beachtet habe.

SUPERMICRO SC721 TQ-350B2 (Mini ITX)
Mainboard Formfaktor: Mini-ITX Supermicro

Mainboard: X13SCL-IF
Intel® C262, LGA-1700
Intel® Xeon ® 6300-series/ E-2400/Pentium®* Processor

CPU:
Xeon 6353P vs Xeon E-2468
Xeon 6353P (günstiger) vs Xeon E-2468 (teurer)

RAM: 64G RAM (11.09.2025 angepasst)
ECC DDR5 Memory - DDR5-4800MHz

Disk:
2 x SSD (1TB) für Betriebssystem Proxmox
2 x SSD (4TB) für die VM (ca 7VM werden erwartet)
SSD werden von verschiedenen Hersteller gekauft Crucial, Westen Digital, Samsung, Seagate

LAN:
2 LAN Anschlüsse

je nach Lautstärke:
Ersatz der Ventilator durch Noctua Gehäuselüfter

https://www.thomas-krenn.com/de/wiki/Intel_Xeon_E-2400_und_Xeon_6300

==============================
Nachstehend sollte ersetzt werden (wohl aus dem 2014) Disk wurden ersetzt:
Shuttle XPC Barebone SZ87R6
4 x Intel(R) Core(TM) i5-4570T CPU @ 2.90GHz (1 Socket)
32G RAM
2 x WDC 3TB Disk

Vielen Dank
gruss
Vinc
 
Last edited:
Wirkt auf den ersten Blick nicht schlecht. Besonders das Gehäuse habe ich mir auf die Merkliste gesetzt.
32GB RAM für 7 VMs finde ich aber schon komisch.

Ich würde eher refurbished ThinkCentre, Optiplex oder HP Elitedesks einsetzen.

Davon 3 Stk, und du bist bei gleicher bzw. sogar höherer Leistung zusätzlich noch recht heftig redundant.

Der Spaß liegt dann bei ca. 1000-2000€

Die Stromaufnahme bei weniger als 50Watt-
 
@TErxleben
Danke für das Feedback.
Zurzeit gibt es bereits 3 Nodes im Datencenter, einer mehr für Backup, der andere mehr als Fileserver für Plex, Musik und Fotos.
Der der ersetzt werden müsste ist dann für Web, Mail, DNS und für Datenbanken und Daten aus dem Netz (Wetter)
 
vikozo said:
@TErxleben
Danke für das Feedback.
Zurzeit gibt es bereits 3 Nodes im Datencenter, einer mehr für Backup, der andere mehr als Fileserver für Plex, Musik und Fotos.
Der der ersetzt werden müsste ist dann für Web, Mail, DNS und für Datenbanken und Daten aus dem Netz (Wetter)
Click to expand...
Dann scheinst du mit Kanonen auf Spatzen zu schiessen, obwohl 32GB-RAM immer noch gar nicht passen. Mach 64 oder besser 128GB draus. Das MB kann es ja und preislich hält es sich in Relation auch Grenzen.
 
32GB RAM erscheint mir auch etwas mau. 1TB Kapazität nur für den PVE bzw. das OS ist überdimensioniert. Wenn die SSDs mit ZFS verwendet werden sollen tust Du Dir bei 7 VMs und dadurch nicht gerader kleiner Schreiblast mit Consumer SSDs wie von Crucial & Co. keinen Gefallen, ich würde SSDs auch nicht mischen. Im RAID wenn möglich immer gleicher Hersteller und Modell.
 
  • Like
Reactions: news and Johannes S
cwt said:
1TB Kapazität nur für den PVE bzw. das OS ist überdimensioniert. Wenn die SSDs mit ZFS verwendet werden sollen tust Du Dir bei 7 VMs und dadurch nicht gerader kleiner Schreiblast mit Consumer SSDs wie von Crucial & Co. keinen Gefallen, ich würde SSDs auch nicht mischen. Im RAID wenn möglich immer gleicher Hersteller und Modell.
Click to expand...
Danke für dein Feedback @cwt (RAM ist angepasst auf 64)
Ich hatte mal gelesen das man SSD oder auch Harddisk von verschiedenen Hersteller nehmen soll. Solle eine Serie faul sein, ist bloss eine Disk betroffen.
Aber gleiche grösse klar!
 
Da kann man sich drüber streiten. Mir persönlich ist sowas in den letzten 30 Jahren noch nicht passiert, besonders bei konventionellen HDDs in großen RAID Setups. Jeder Hersteller kocht sein eigenes Süppchen und komplett andere Modelle mischen kann komische Effekte geben hinsichtlich Zugriffszeiten, Cache, etc. Bei Dir wäre es im Mirror Setup auch sehr überschaubar.

Wie ist denn das Budget für die SSDs? 4 TB ist ja nun nicht die Standardgröße. Mit Crucial & Co. wirst Du nicht viel Spaß haben bei ZFS.
 
  • Like
Reactions: Johannes S
Wenn Geld da ist, dann 4x DC600M Serie Enterprise SATA 3.0 SSD, alle vier SSD bilden einen ZFS Pool, den man als 2 VDEV ZFS mirror erstellt.

VDEV0 ZFS mirror 2x ssd - Stripe - VDEV1 ZFS mirror 2x ssd

Dadurch nutzt man maximal, ca. 80 %, der ca 7,6 TB * 0,80 an SSD aus.
Die Daten werden in Datasets verteilt und es spricht nichts dagen, solch ein Setup zu nutzen.

Wenn DDR5, dann sollte das MB auch maximal 192 GB unterstützen.

Generell würde ich auf eine andere Hardwareplatform setzen: AMD Ryzen.
z.B.
* AMD Ryzen 5 PRO 5655G, 6C/12T, 3.90-4.40GHz oder
* AMD Ryzen 7 PRO 5755G, 8C/16T, 3.80-4.60GHz

IPMI, Management-Port ist nice, aber brauche ich die Funktionalität?

* ASRock Rack X570D4U oder
* ASRock Rack X570D4U-2L2T/BCM

Die oben dargestellen AMD Ryzen PRO CPU benötigt man für die ECC Ram Unterstützung auf Consumer Mainboard.

Bei der AMD Ryzen 7 5700X CPU, 8C/16T, 3.40-4.60GHz erhält man keine AGPU aber ebenfalls ECC Ram Unterstützung.

Somit könnte man mit den o.g. beiden Mainboards, je nach dem, ob man zusätzlich 2x 10 GBit/s benötigt, ein klasse System mit ECC Ram bei 128 GByte und AMD Ryzen 7 5700X CPU, 8C/16T aufbauen.
 
Last edited:
  • Like
Reactions: UdoB and Johannes S
Noch ein Nachtrag zu deinen ca. 7 VM.
Was bei der Virtualisierung auch zählt ist die Anzahl der realen Kerne.

So könnte man den neuen Proxmox VE Server auch maximal auslegen:
* AMD Ryzen 9 5950X, 16C/32T, 3.40-4.90GHz oder
* AMD Ryzen 9 5900X, 12C/24T, 3.70-4.80GHz

Eine CPU mit nur 65 Watt kann man hier nicht mehr erwarten, 105 Watt sind bei den dicken Dingern angegeben und die sollten auch, nach Herstellerangabe, auf dem ASRock Rack X570D4U laufen.

Preislich liegen die alle unter deinem Intel Xeon 6353P Vorschlag.
Wobei die CPU habe ich nur noch bei Proshop.de gefunden.
 
Last edited:
Hallo @vikozo ich hoffe für Dich waren einige Anregungen dabei. Wie nun die "Lage" in der Schweiz, insbesondere für Einkäufe aus der EU sind, kann ich nicht einschätzen.
Viel Erfolg.
 
news said:
Hallo @vikozo ich hoffe für Dich waren einige Anregungen dabei. Wie nun die "Lage" in der Schweiz, insbesondere für Einkäufe aus der EU sind, kann ich nicht einschätzen.
Viel Erfolg.
Click to expand...
Das war anregend ja - Suche ein passendes Gehäuse nun. Will die SSD ja von vorne austauschen können und gell deine Berechnung sind mit 1.92TB SSD?
 
news said:
Wenn Geld da ist, dann 4x DC600M Serie Enterprise SATA 3.0 SSD, alle vier SSD bilden einen ZFS Pool, den man als 2 VDEV ZFS mirror erstellt.

VDEV0 ZFS mirror 2x ssd - Stripe - VDEV1 ZFS mirror 2x ssd

Dadurch nutzt man maximal, ca. 80 %, der ca 7,6 TB * 0,80 an SSD aus.
Die Daten werden in Datasets verteilt und es spricht nichts dagen, solch ein Setup zu nutzen.
Click to expand...
Hallo @news
Wie setzt man das auf? Muss ja zuerst Proxmox auf Server installieren und dann ZFS Pool machen und dann 2 VDEV ZFS erstellen???
 
Hallo @vikozo danke, dass Du fragst.
Ich nutze selbst bei 4 SSDs jeweils obiges Schema gerne.

Man wählt bei der Installation ZFS Mirror mit 2x SSDs vom selben Typ aus.
Dann läuft der gesamte Installationsprozess durch.
Man richtet sich noch das passende Repo ein.
Ich bewege mich dann nur auf der root-console.
apt update && apt dist-upgrade -y

Dann Installiere ich noch die Tools die ich so verwende.
z.B. apt install zfs-auto-snapshot
zfs set com.sun:auto-snapshot=false rpool
zfs set atime=off rpool # mein default

Dann "formatiere" ich die weiteren beiden neuen SSDs noch.
Ihre Name erhalte ich so:
ls -la /dev/disk/by-id/

Weiter geht es mit einer neuen GPT Tabelle und dem Partitionieren der SSD:
cfdisk -z /dev/disk/by-id/<new-ssd1> # wähle gpt

Danach eine Partition 1, Größe 100 % anlegen und Dateitype Solaris /usr & Apple ZFS wählen.

Das selbe dann noch mit der 2.ten SSD:
cfdisk -z /dev/disk/by-id/<new-ssd2> # wähle gpt

Danach eine Partition 1, Größe 100 % anlegen und Dateitype Solaris /usr & Apple ZFS wählen

Der spannende Teil ist das, hot:
zpool add rpool mirror /dev/disk/by-id/<new-ssd1-part1> /dev/disk/by-id/<new-ssd2-part1>

Danach noch ein Quota auf dem ZFS rpool einrichten:
zfs get quota rpool # wird nicht gesetzt sein
zpool list -v rpool

Das Quota solle ca. 80% der gesamt Größe des Pools sein.
Diese Regel wurde für reine ZFS Pools mit HDDs aufgesellt.

Ich wähle dann meistens etwas zwischen 80 % und 90 %.
Die Angabe <size> kann als, z.B. 2500G geschrieben werden.
zfs set quota=<size> rpool

Für das automatische erzeugen von ZFS Snapshots legt man sich eine ZFS Dataset an: zfs create rpool/<new-dataset> und setze zfs set com.sun:auto-snapshot=true rpool/<new-dataset>

Will man die zfs snapshot im Auge behalten, empfiehlt es sich check-zfs-replication zu installieren.
Unter YoutTube sysops tv suchen.

# https://github.com/bashclub/check-zfs-replication
Code: 
wget -O /usr/local/bin/checkzfs https://raw.githubusercontent.com/bashclub/check-zfs-replication/main/checkzfs.py
chmod +x /usr/local/bin/checkzfs
checkzfs --help
Anwendung:
checkzfs --sourceonly
 
Last edited:
  • Like
Reactions: Johannes S
You must log in or register to reply here.
Top Bottom