Storage Server Konfiguration

[wario]

Hi Leute

Wir müssen unseren Storage Server bald aufrüsten und ich wollte mal versuchen vorerst einige Informationen von Profis wie Euch einzuholen. Wir sind eine Gruppe weniger Journalisten die viel Bild und Film Material speichern. Unsere aktuelle Synology kommt langsam an die Grenzen, und eine grösser RS kommt nach längeren Überlegungen doch nicht mehr in Frage aufgrund zuvieler Einschränkungen.

Wir überlegen uns deshalb einen Storage Server selber aufzubauen. Ein fertigen Storage Server mit HW Raid Karten wäre sicherlich besser hinsichtlich der Datensicherheit, aber das würde den Rahmen leider komplett sprengen. Auch SSDs als komplettes Speicherbackend fällt aufgrund der angestebten Grösse aus. Deshalb müssen HDDs hier herhalten. Da wir praktisch auch nur Videos, Bilder und Co speichern sollten HDDs dann doch nicht einschränkenden sein. Trotzdem möchten wir das Maximum an Performance herrauszuholen.

Angestrebt sind 80 bis 100TB Storage
Die Schreibgeschwindigkeit soll, falls irgendwie nur möglich bei 500 bis 800MB liegen damit möglichst viele Ihre Daten paralell und ohne grössere Einbrüche hochgeladen werden können. Auch intern im Netzwerk selber wird gearbeitet. (Die Datenleitung und die Internet Anbindung geben es natürlich her)

Wir haben bereits ein kleineren ProxmoxCluster aus 2 Nodes und einem qDevice und nun stellt sich natürlich die Frage, ob der dritte Server auch mit proxmox laufen sollte und wir darauf einfach ensprechende ZFS Pools einrichten. Der Storage Server bekommt auch 128GB RAM spendiert damit ZFS seinen Speicher bekommt. Oder lieber Ubuntu-Server und ZFS Pools von Hand erstellen? ZFS raidz (entspräche RAID 5 mit einer Festplatte die ausfallen darf)

Bzgl der Performance, Ich habe mich über die Monate schlau gemacht bzgl SSD Caching und weitere Techniken, die den HDDs etwas unter die Arme greifen sollen, die Frage ist, ob es wirklich etwas bringt bei unserem Vorhaben. Angestrebt sind 2x 2TB NVME SSDs als Mirror einzurichten und darauf ausschliesslich ZIL/SLOG und L2ARC zu integrieren. (Lesecache muss ja nicht gesichert werden aber egal, kommt auch dort drauf auf den NvME Mirror) Nun lese ich immer mal wieder dies jenes und werde nicht schlau ob es wirklich die versprochene Mehrleistung bringt, vor allem ZIL soll ja irgendwie nur synchrone Schreibvorgänge beschleuningen die in 99% der Fälle garnicht vorkommen. Oder ich hatte auch noch gelesen verschiedene udevs einzurichten. Da war ich dann aber auch nicht weiter gekommen und ganz so schlau bin ich auch nicht geworden, und sicherlich habe ich auch einiges nicht genau verstanden. Vielleicht könnt Ihr mir kurz ein paar Tipps schicken, mich korrigieren, auf was ich achten soll, was wichtig beim einrichten ist und wie gross ich die Partitionen gestalten soll auf den NVMEs? Da war ja auch noch was mit der Blockgrösse der HDDs? Die SSDs sollen wirklich nur rein dem Caching dienen, auf dem Server sollen keine VMs oder CTs laufen da dafür die 2 anderen Nodes zuständig sind.

Bzgl Backup, aktuell sichern wir die Syno täglich auf einem eigenbau Server auf dem nur ubuntu-Server läuft und ein rsync Modul eingericht ist, nichts weiter.
Wie könnte Ich das Backupen optimieren? ZFS kann ja Snapshots, wäre es eine möglichkeit diese ebenso an den Backup Server zu schicken? Das würde vermutlich deutlich Speicherplatz sparen als rsync backups.

USV vorhanden für alle Geräte , 10Gbit Netzwerk ebenfalls bereits eingerichtet.

Hier ein Anhang der angestrebten Hardware:

5x Exos X20
Seagate Exos X20
20 TB, 3.5", CMR

als Storage

1525.–
---------------------------------------
2x Intenso Top Performance
Intenso Top Performance
512 GB, 2.5"

Proxmox Basis

64.10
---------------------------------------
2x 980 Pro
Samsung 980 Pro
2000 GB, M.2 2280

als Caching

238.–
----------------------------------------
Cipher
AeroCool Cipher
ATX, mATX, Mini ITX

106.–
---------------------------------------
Z790 Pro RS
AsRock Z790 Pro RS
LGA 1700, Intel Z790, ATX

207.–
---------------------------------------
Core i5-12400
Intel Core i5-12400
LGA 1700, 2.50 GHz, 6 -Core

172.–
---------------------------------------
FURY Beast
Kingston FURY Beast
4 x 32GB, 3200 MHz, DDR4-RAM, DIMM

239.–
----------------------------------------
System Power 10
be quiet! System Power 10
450 W

45.10
----------------------------------------
----------------------------------------
Total
2564.20

Was denkt Ihr? Wir sind leider schon über dem Budget, und ich habe wirklich versucht keinen Schrott zu kaufen. Ich wäre sehr dankbar und froh über Korrekturen, Verbesserungsvorschläge oder Kritik. Besten dank

lg

 

[Falk R.]

Das was du vorhast ist quasi nicht machbar. Die Angestrebte Performance ist mit der Hardware auf keinen Fall erreichbar.
Deine Kalkulation geht ja auch schon mal nicht auf:

5x 20TB sind = 5x18TiB echter Speicherplatz. Wenn du dann nur RaidZ1 drauf fährst hast du nur 4 Platten restkapazität. Dann solltest du ZFS nur maximal zu 80% auslasten.
Also hast du nur 57 TiB echt nutzbar.

Ich würde an eurer Stelle lieber einen gebrauchten echten Server mit RAID Controller kaufen und da die HDDs rein bauen. Der Controller holt deutlich mehr aus den HDDs, wenn der einen vernünftigen Batteriecache hat.

Backup am besten mit PBS, damit nur die Änderungen gesichert werden müssen und das ganze mit vernünftigen Dedup gespeichert wird.

 

[wario]

ja natürlich du hast recht, Ich meine natürlich Kapazität 80 bis 100 TB rein an Plattenspeicher, dass wir nur 40% nutzen können mit ZFS war uns klar. Ich hatte das nicht genau geschrieben bzw mich nicht richtig ausgedrückt.

Ok ich überdenke meine Konfiguration, leider brauchen die Storage Server verdammt viel Strom, und kosten nen Haufen Geld, auch hab ich überhaupt keine Ahnung von Raid-Controllern und was ich da genau brauche oder auf was ich achten muss, wenn ich gebrauchte Kaufe da ich leider nur im Consumer-Markt unterwegs war bis anhin.

Also Storage Server, und dann auf dem BackUp Server PBS einrichten, richtig verstanden?

lg

 

[wario]

Edit, du schriebst, dass die Performance nicht erreicht werden könne, wo wäre der Flaschenhals bzw wo möchte ich ansetzen? Was wäre mit dem Setup realistisch zu erwarten?

 

[sb-jw]

Nun lese ich immer mal wieder dies jenes und werde nicht schlau ob es wirklich die versprochene Mehrleistung bringt, vor allem ZIL soll ja irgendwie nur synchrone Schreibvorgänge beschleuningen die in 99% der Fälle garnicht vorkommen.

Du meinst hier sequenzielle Lese- und Schreibvorgänge. Aber ja, das ist korrekt. Es macht ja keinen Sinn, dass man eine 10 GB Video-Datei in den Cache schiebt, wenn man die auch direkt in einem von der Platte lesen kann. Ein Lese- und Schreibcache macht in der Regel erst bei vielen kleinen Dateien wirklich Sinn. Also wenn du einen File-Share hast mit vielen PDF oder Office Dokumenten. Ich habe das zu Hause auch mal eingerichtet gehabt und der Nutzen war fast nicht gegeben, daher alles auf SSD umgerüstet.

Statt also in SSDs für den Cache zu investieren, dann vielleicht doch lieber ein zwei Platten mehr kaufen. Alternativ wäre auch mehr Platten dafür aber kleinere. Je mehr Spindeln zu du hast, desto mehr kannst du die Last verteilen. Dadurch sorgst du aber auch für einen höheren Stromverbrauch oder ein höheres Risiko bei einem Plattenausfall (z. B. macht ein RAID5 über 90 Platten keinen Sinn, fällt eine aus ist die Wahrscheinlichkeit, dass beim Recovern eine weitere ausfällt auch gegeben und dann ist alles weg.)

2x Intenso Top Performance
Intenso Top Performance
512 GB, 2.5"

Bitte tut euch selbst einen gefallen und kauft auch für das OS SSDs die etwas beständiger sind. Debian bzw. Proxmox schreiben sehr intensiv, die Erfahrung haben wir auch bereits machen müssen, weshalb wird nach und nach alles auf Enterprise SSDs umrüsten werden. Die 10 EUR die man da spart sorgen nachher dafür, dass euch die Kiste um die Ohren fliegt.

Ansonsten kann ich den Ausführungen von @Falk R. nur beipflichten.

//EDIT:

Schau dir mal den Server an: https://2nd-source.de/Supermicro/Su...-120TB-12x-10TB-SAS-12G/SSG-6019P-ACR12L-BUN5

 

[Falk R.]

RaidZ mit den HDDs wird niemals so schnell sein. Du kannst mit NVMe Special Devices ne Menge rausholen, aber niemals die 500MB+
Das mit dem Strom ist echt ein Thema, aber vermutlich sind die HDDs, die schlimmsten schlucker.
https://www.servershop24.de/dell-t3...MIocKAgbfcggMVI5aDBx3TXAB7EAQYBSABEgLe2vD_BwE
Das wäre eine Kiste mit 3,5 Zoll Slots und vernünftigen RAID. Da 4 HDDs dazu und eine 10G Karte. Damit bleibst Du bestimmt im Budget.

 

[wario]

Also dann lass ich es glaube ich mit dem Eigenbau, ich legte auch sehr grosses Augenmerk auf den Stromverbrauch. Der Eigenbau würde ja maximal 100 bis 200 Watt ziehen, diese refurbished Geräte ziehen ja gut und gerne mal das doppelte, oder bin ich da auf dem Holzweg?

Der Server sieht auf den ersten Blick sehr interessant aus, auch preislich, RAID konfigurieren, Partitionen einrichten Proxmox installieren?

Ich dachte als Proxmox Basis wären günstige SSDs im Mirror nicht so schlimm?

Danke @Falk R. ich denke @sb-jw Variante wäre fast besser für unser vorhaben, auch wenn der vermutlich ordentlich Strom zieht?

 

[wario]

Eigenbau und ordentlichen RAID Controller wäre keine Option?

 

[sb-jw]

Der Eigenbau würde ja maximal 100 bis 200 Watt ziehen, diese refurbished Geräte ziehen ja gut und gerne mal das doppelte, oder bin ich da auf dem Holzweg?

Wenn du pauschal pro HDD schon mal 10 W rechnest, dann bist du bei 12 Stück bereits bei 120 W dazu das Board etc. dann liegst du durchaus bei 200 - 300 W. Bei Enterprise hat man aber eben auch den Fokus nicht ganz auf dem Strom sparen, der Server soll ja laufen und Lasten bedienen können, dafür muss er das aber auch dürfen. In der Regel kannst du immer hier und da Strom einsparen mit ein paar Einstellungen, aber das wird definitiv zu Lasten der Performance gehen.

Ich dachte als Proxmox Basis wären günstige SSDs im Mirrow nicht so schlimm?

Wenn du alle paar Monate / Jahre die SSDs tauschen willst oder du nach einem Update / Upgrade feststellen willst, dass die Kiste nicht mehr bootet weil beide Platten durch sind, dann ja, dann kannst du das so machen
Ich gebe dir ein Beispiel, wir haben in unseren Nodes WD Blue mit 250 GB für das OS verbaut, im ZFS Mirror. Innerhalb von 400 Tagen hat die SSD von 95 % auf stand jetzt 79 % abgebaut.
Es geht hier wirklich nur um ein paar EUR, wir reden nicht von mehreren hundert. Du kannst auch gebrauchte Enterprise SSDs kaufen, am besten unterschiedliche Abnutzung, dann hast du gleich ein Opfer definiert. Aber die Consumer Dinger die halten der Last einfach nicht lange Stand.

 

[wario]

Wenn du pauschal pro HDD schon mal 10 W rechnest, dann bist du bei 12 Stück bereits bei 120 W dazu das Board etc. dann liegst du durchaus bei 200 - 300 W. Bei Enterprise hat man aber eben auch den Fokus nicht ganz auf dem Strom sparen, der Server soll ja laufen und Lasten bedienen können, dafür muss er das aber auch dürfen. In der Regel kannst du immer hier und da Strom einsparen mit ein paar Einstellungen, aber das wird definitiv zu Lasten der Performance gehen.


Wenn du alle paar Monate / Jahre die SSDs tauschen willst oder du nach einem Update / Upgrade feststellen willst, dass die Kiste nicht mehr bootet weil beide Platten durch sind, dann ja, dann kannst du das so machen
Ich gebe dir ein Beispiel, wir haben in unseren Nodes WD Blue mit 250 GB für das OS verbaut, im ZFS Mirror. Innerhalb von 400 Tagen hat die SSD von 95 % auf stand jetzt 79 % abgebaut.
Es geht hier wirklich nur um ein paar EUR, wir reden nicht von mehreren hundert. Du kannst auch gebrauchte Enterprise SSDs kaufen, am besten unterschiedliche Abnutzung, dann hast du gleich ein Opfer definiert. Aber die Consumer Dinger die halten der Last einfach nicht lange Stand.

ich verstehe dass schon das Serverhardware nicht auf Stromsparen ausgelegt ist, nur graut es mich vor dem Stromkosten
evt Balkonkraftwerk dazu um einen Teil davon abzufangen, haben wir uns auch schon überlegt.

Ich werde mein Vorhaben überdenken, aktuell reicht die Syno sicherlich noch ein paar Monate aus,

@sb-jw Du machsz mit gerade etwas Angst.. stimmt was mit unserer Anzeige nicht? Die Intenso hier auf Node eins ist seit ca 8 Monaten im Betrieb, zuerst liefen da sogar VMs drauf aber das haben wir nun auf andere SSDs ausgelagert. Immer noch 0%

Läuft so ein wear-out auch im verborgenem ab, das einzelene Speicherzellen immer wieder beschrieben werden sollte doch verhindert werden?

Dann schau ich mich auch zuerst noch nach anderen basis SSDs um

 

[Falk R.]

Ich hatte wegen dem Strom extra einen mit einem E3 Prozessor genommen. Ich habe zuhause auch einen Rackserver zum testen. Der Zieht mit 2 HDDs 140W aber da sind auch 2 dicke CPUs drin. Wenn ich alle 16 Disks stecke bin ich bei locker 400W. Es gibt ganz viele Anbieter für refurbished Server. Such dir was schönes aus und wir sagen dir ob das was taugt. Ach und aufpassen, die meisten Server sind SFF, also gehen nur 2,5 Zoll Disks rein. Du musst nach LFF suchen.

 

[sb-jw]

Die Intenso hier auf Node eins ist seit ca 8 Monaten im Betrieb, zuerst liefen da sogar VMs drauf aber das haben wir nun auf andere SSDs ausgelagert. Immer noch 0%

Du müsstest da mal in die SMART Details schauen. Wir hatten anfangs WD Green 120 GB SSDs gehabt, die hatten kein Wear-Level angezeigt, da musste man sich die Gesamtschreibleistung ansehen und auswerten. Dadurch haben wir leider einmal eine Node nach einem Update verloren, weil diese Metriken durch das Monitoring nicht automatisch abgedeckt waren. Seither achten wir darauf und habe eigene Checks geschrieben damit wir das mitbekommen.

Deine Intenso dürfte 240 TBW haben und kostet ca. 32 EUR. Eine Samsung PM883 240GB kostet ca. das gleiche und hat schon 341 TBW. Kaufst du eine PM883 mit 480 GB für ca. 50 EUR hast du direkt 683 TBW.

Wichtig ist immer, dass ich nur aus meiner Erfahrung heraus sprechen kann, so wie viele andere auch. Die Bedingungen könnten bei dir auch gänzlich andere sein und vielleicht hier und da auch gar nicht zutreffen.

 

[wario]

ok, dann werde ich mir ma die SMART Werte demnächst anschauen. Ich muss ehrlich sein und sagen dass ich mich bis jetzt nur auf diese Prozentzahlen verlassen habe, aber mich ehrlich gesagt bereits langsam wunderte, wieso sich da nichts ändert. Danach werde ich mich diesbzgl um andere Lösung kümmern. Dann werde ich mich sicherlich die nächsten Tage bis Wochen wegen dem Server melden, ich habe genug Vorbereitungszeit eingeplant so dass ich nicht innert Wochen/wenigen Monaten eine Lösung haben muss. Es ging primär aktuell ums informieren und da ich nicht aus der IT bin, bin ich froh um solche Ratschläge Eurerseits