Wahl der richtigen Storage Lösung für neuen Server

[wit4r7]

Hallo in die Runde,

auch wenn es bereits aktuell ein ähnliches Thema gibt, unterscheidet sich die Frage dennoch ein wenig.

Ich möchte mir demnächst einen neuen Server anschaffen, auf welchem Proxmox laufen soll (mein erster Proxmox Server).

Ich plane aktuell mit folgendem Setup:

• Intel Xeon Silver 4110
  
• Supermicro X11SPi-TF
• 64 GB LRDRIMM RAM

Ich bin mir aktuell an 2 Punkten noch etwas unsicher:
1. Ich werde wahrscheinlich ZFS nutzen. Lohnt es trotzdem einen Hardware RaidController einzubauen (z.B. Broadcom MegaRAID SAS 9440-8i).

2. Installiert man Proxmox am besten auf einer HDD oder SSD und kann man problemlos ein RAID 1 betreiben oder gibt es damit Probleme?

Ich plane u.a. mit einerm File-/Cloud Server, wofür ich HDDs nutzen werde (WD Red oder vergleichbares). Ist es sinnvoll, die eigentlichen VMs auf der selben Platte wie das eigentliche System zu nutzen und nur die Daten auf die HDDs oder packt man den VM und die Daten auf die gleichen HDDs (im Raid).

Vielen Dank schonmal für euren Input.

wit4r7

 

[udo]

Hi,
Raidcontroller nur, wenn er echtes path trough unterstützt - also sie HDDs an das OS durchreichen kann. Können einige MegaSAS-Controller nicht! Trotz teuer...

Raid 1 hat nur das Problem der mangelnden perfomance...

PVE braucht nicht auf ner SSD zu liegen - achte drauf, dass die HDDs schnell genug sind. Finger weg von 5400er HDDs.

Eigentlich möchte man Enterprise-SSDs... aber das hängt stark von Deinem Einsatzsweck ab.
BTW. ich würde mir noch den AMD Epyc 7251 ansehen.

Udo

 

[wit4r7]

Danke für deine Antwort. Den RAID Controller kann ich mir also sparen.

Enterprise SSDs müssen es doch nicht sein (Preis/Leistung). Der Epyc ist für ähnliche Leistung etwas teurer - zumindest meiner Recherche nach.

Was möchte ich mit dem neuen System machen:
- Dateisystem für Daten von 2-4 Personen inkl. Sharing
- Cloud Server
- Backupserver für 3 Macs
- Media Server (Foto, Musik und Videoverwaltung)
- E-Book Server
- Datenbankserver für 2-3 Datenbanken (Stand jetzt)
- Webserver für interne Dienste wie z.B. Webinterface für Datenbank
- Kontakte und Kalenderserver (CalDAV, CardDAV)
- Virtualisierung von verschiedenen Systemen (Win, Linux, Win-Server...) zum Testen und Ausprobieren
- Docker
- Git Server
- ...

Aktuell denke ich an 3-4 HDDs (8-10 TB) aus der Seagate Exos Serie (7E8 oder X10). Würde man alle Server auf den Platten laufen lassen oder nimmt man kleinere Platten und dann lieber 6-8 Platten und verteilt die Daten?

Lohnt es, SSDs (Consumer)mit einzuplanen?

Vielen Dank.

 

[LnxBil]

Aktuell denke ich an 3-4 HDDs (8-10 TB) aus der Seagate Exos Serie (7E8 oder X10). Würde man alle Server auf den Platten laufen lassen oder nimmt man kleinere Platten und dann lieber 6-8 Platten und verteilt die Daten?

Geschwindigkeit bekommst du über die Anzahl von Platten und mehrere vdevs im ZFS - über nichts sonst - egal ob für SSD oder Spindeln. Das was du vor hast würde ich nie auf 2 Platten legen, mindestens 4, besser 6 oder 8. (Falls es SSD wären würden 2 ausreichen, aber da ist es schwierig so viel Speicherplatz kostengünstig zu bekommen).

Warum kaufst du dir Serverhardware, aber keine Server-Platten und keine Server SSDs? Warum reicht hier nicht ein "normales" CPU-Setup mit einem i3/i5/i7 (i9 ist dafür schon zu fett). Das ist billiger und du kannst das gesparte Geld in mehr RAM stecken. 6 SATA-Anschlüsse sind bei modernen Boards mittlerweile standard, sodass du hier schon in der Anfangskonfiguration genug hast.

Willst du das System im familiären Umfeld oder in einer Firma nutzen? Falls letzteres spielt Geld eine untergeordnete Rolle, da du mit Serverhardware (inkl. Serviceverträgen) immer besser fährst, da du viel Geld durch Arbeitsausfälle wegen vorhandenen oder zu hohen Time-to-Recovery-Zeiten verbrennst.

 

[wit4r7]

Geschwindigkeit bekommst du über die Anzahl von Platten und mehrere vdevs im ZFS - über nichts sonst - egal ob für SSD oder Spindeln. Das was du vor hast würde ich nie auf 2 Platten legen, mindestens 4, besser 6 oder 8.

Warum kaufst du dir Serverhardware, aber keine Server-Platten und keine Server SSDs? [...] Das ist billiger und du kannst das gesparte Geld in mehr RAM stecken.

Danke für deine Antwort. Zu Punkt 1: Deshalb bin ich hier und frage, wie sich ZFS/PVW verhält, da ich damit aktuell noch keine Erfahrung gesammelt habe - diese aber gerne sammeln würde.

Was ich gerade nicht ganz verstehe, was sind denn bei dir Server-Platten?
Wie ich geschrieben habe, plane ich mit EXOS Platten, welcher meiner Auffassung dieses Kriterium erfüllen. Oder missverstehe ich dich da?

Ich habe mich für den XEON entschieden, da ich perspektivisch den Server weiter aufrüsten kann/möchte. Ich fange mit 64 GB RAM an, was m.E. nicht wenig ist, für den Home-Bereich im 3-4 User Betrieb. Perspektivisch komme ich bis 256 GB RAM mit meinen Riegeln. Desweiteren studiere ich Informatike, weshalb ich viel ausprobiere und z.T. auch Simulationen/Berechnungen wie z.B. Mathlab laufen habe, die CPU Ressorcen benötigen. Deshalb ein 8C/16T CPU.

Das Produktivsystem soll natürlich auf den Enterprise HDDs laufen, ggf. möchte ich aber auch einige VMs als "Workstation für Softwareentwicklung" nutzen. Daher überlege ich, eben diese VMs auf SSDs zu packen (Samsung Pro 860). Da hier keine großen Schreiboperationen stattfinden, müsste das doch eigentlich funktionieren.

Installiere ich PVE auf die EXOS Platten mit oder nutze ich dafür eine eigene HDD/SSD?
Wie habt ihr es installiert?


Vielen Dank!

 

[LnxBil]

Danke für deine Antwort. Zu Punkt 1: Deshalb bin ich hier und frage, wie sich ZFS/PVW verhält, da ich damit aktuell noch keine Erfahrung gesammelt habe - diese aber gerne sammeln würde.

Das ist nicht unbedingt ZFS spezifisch, sondern allgemein für Festplattenverbünde mit oder ohne RAID-Controller. Gerade heute ist das sehr wichtig, da z.B. 8x 1 TB viel schneller sind als 2x 6 TB um 6 TB Nettospeicher zu bekommen. Früher musste man viele Platte kaufen um auf einen bestimmten TB-Wert zu kommen, heute bei den riesigen Platten ist man schnell auf dem Wert, hat aber extrem schlechte Performance.

Was ich gerade nicht ganz verstehe, was sind denn bei dir Server-Platten?
Wie ich geschrieben habe, plane ich mit EXOS Platten, welcher meiner Auffassung dieses Kriterium erfüllen. Oder missverstehe ich dich da?

Serverplatten haben mindestens 10k, die schnellsten 15krpm und haben Enterprise Firmware, die bei Fehlern schneller den Fehler zurückmelden, sodass die Performance nicht beeinträchtigt wird. Bei nicht-Enterprise-Festplatten wird viel länger versucht ein Fehler zu korrigieren und somit kann jeder I/O mehrere Sekunden dauern. Das ist im Enterprise-Umfeld, bei dem man mit garantierten Antwortzeiten arbeitet inakzeptabel. Ich würde keine anderen Festplatten in einen Server einbauen - kann man normalerweise auch nicht ohne die Garantie (mit Servicevertrag) zu verlieren. Es gibt im Enterprise-Umfeld auch eigentlich kein SATA, sondern alles läuft über SAS. Die großen Platten, die man so kennt (und die du meinst) gibt es auch in einer Enterprise-Version mit Enterprise Firmware und SAS Anschluß - nennt man dann NearLine SAS (NL-SAS). Auch ist im Server-Markt eigentlich alles mittlerweile 2,5'', da die Packdichte einfach viel höher ist.

Desweiteren studiere ich Informatike, weshalb ich viel ausprobiere und z.T. auch Simulationen/Berechnungen wie z.B. Mathlab laufen habe, die CPU Ressorcen benötigen. Deshalb ein 8C/16T CPU.

Okay, das verstehe ich, wobei CPU-Computing eigentlich tot ist. Alles läuft heutzutage über GPGPU. Matlab unterstützt das z.B. auch schon seit mindestens 10 Jahren über CUDA und OpenCL. Das wäre hier wahrscheinlich eine bessere Alternative für genau den Anspruch. Falls es dazu Vorlesungen gibt, besuch die auf jeden Fall.

Das Produktivsystem soll natürlich auf den Enterprise HDDs laufen, ggf. möchte ich aber auch einige VMs als "Workstation für Softwareentwicklung" nutzen. Daher überlege ich, eben diese VMs auf SSDs zu packen (Samsung Pro 860). Da hier keine großen Schreiboperationen stattfinden, müsste das doch eigentlich funktionieren.

Klar, funktioniert prima. Man muss nur bedenken, dass falls du da ZFS verwenden möchtest, du aktuell noch keine Möglichkeit hast ein TRIM abzusetzen. Aber auf keinen Fall PVE darauf laufen lassen, das schreibt sehr viel und zerstört dir die SSD in wenigen Monaten. Consumer/Prosumer sind einfach nicht dafür geeignet.

Installiere ich PVE auf die EXOS Platten mit oder nutze ich dafür eine eigene HDD/SSD?
Wie habt ihr es installiert?

Also generell (auch als Antwort auf die vorherige Frage) - wenn man physikalisch Platz hat (Einschübe) dann ist das immer gut mehr I/O-fähige Geräte zu haben und es macht Sinn PVE auf extra Platten auszulagern - es ist aber auch nicht schlimm wenn es auf den gleichen Platten liegt. PVE selbst hat ja nur wenige GB (inkl. Logdateien, meistens <5 GB). Wobei ich persönlich ein z.B. 6x Festplatte RAID (egal ob Hardware oder ZFS) immer einem 4x Festplatten + 2x SSD vorziehen würde, da die 2 extra Platten der Gesamtperformance mehr bringen als ein schnelleres Booten. Egal wie du dich entscheidest, immer Redundanz einplanen.