Proxmox Server aufrüsten/umrüsten

[S70rm7r00p3r]

Hallo Forum.

Ich bin neu hier, lese aber schon länger im Forum mit und hab auch schon viel hilfreiche Tipps hier gefunden.

Ich habe seit einiger Zeit einen Dell T20 Server mit dem ich mit Proxmox etwas rum experimentiere. Momentan läuft nur Proxmox und eine Pfsense in einer VM darauf und es sollen weitere VMs/CTs folgen, unter anderem würde ich gern ein NAS und eine Nextcloud hosten. Momentan befindet sich eine normale 1TB HDD und eine kleine 120GB SSD darin. Jetzt bin ich letztens günstig an 4 nagelneue 2TB WD Red SSDs gekommen, die ich gern in den T20 einbauen würde. Welche Konfiguration könnt ihr mir empfehlen? Also z.B. welche Raid Konfiguration sollte ich damit erstellen? Vielleicht sogar ZFS und wenn ja welche Konstellation? 1x oder 2x Parity? Oder killt ZFS die SSDs? Oder Raid mit 3 SSDs und eine SSD fürs Host System?

Ein weiteres Problem das ich habe, das Mainboard hat leider nur 4x SATA. Auf welchem Datenträger sollte ich dann Proxmox am Besten installieren? Nen zusätlichen SATA Controller rein und noch ne Festplatte/SSD einbinden? Ich hätte auch noch nen PCIe Adapter mit ner 480GB NVME SSD hier rumliegen, aber leider wird das von Proxmox nicht erkannt. Im BIOS wird das Laufwerk angezeigt. Ist aber auch nur ein billiger Amazon Adapter. Oder soll Proxmox besser mit auf den Raid Verbund?

Das sind Fragen auf die ich bis jetzt keine rechte Antwort gefunden habe. Klar, hier gibt es vermutlich verschiedenste Lösungen und kein 100% richtig oder falsch, aber in dem Bereich hab ich so überhaupt keine Erfahrungen.

Vielen Dank schon mal!

Grüße,
S70rm7r00p3r

 

[scaa]

Ich habe hier noch mehrere Hardware-Raidcontrolle rumliegen:
LSI 3ware 9690SA-8i BBU 6GBs 512MB
25 Eur
Damit kannst Du 8 Platten anschließen. Beispielsweise die 4x2TB als Raid 10, wenn dann noch der Platz reicht (4 TB)

 

[S70rm7r00p3r]

Jaaa, der Speicher ist jetzt nicht all zu üppig, aber sollte für mich reichen.
Den Controller würd ich evtl. trotzdem nehmen.

Sollte ich denn eher ein "klassisches" RAID erstellen oder ein RAID-Z erstellen?

 

[Dunuin]

Bei 4 SSDs mit 4K Sektoren im Raidz1 müsstest du den Pool auf einer Minimalen Blockgröße (volblocksize) von 32K laufen lassen, sonst verschwendest du zu viel Kapazität wegen Padding Overhead. Das sorgt dann aber für ordentlich SSD-Abnutzung und schlechte Performance sobald du irgendwie was schreiben willst was kleiner als 32K ist. MySQL und Postgres würden z.B. mit 8K oder 16K schreiben, dass wäre also nicht toll für DBs und DBs braucht man ja für quasi alles (z.B. auch dein Nextcloud).
Ich würde da wohl einfach einen ZFS Pool als Striped Mirror (aka Raid10) aus den 4 SSDs erstellen. Dann hättest du 3,2TB nutzbare Kapazität, gute Performance, Datenintegrität und Ausfallsicherheit. Dann wäre auch eine minimale Blockgröße von 8K möglich. du brauchst auch keine extra Disk für das PVE System. Da kann man bedenkenlos PVE und Storage für Gäste auf den selben Disks laufen lassen. Würde ich sogar empfehlen, weil dann dein PVE System ebenfalls vor schleichendem Datenverfall und ausfallenden Disks geschützt wäre.

Die WD Red SSDs sind aber nicht so toll. Das sind auch nur stink normale TLC Consumer SSDs und nicht wirklich besser als eine Samsung Evo. Hättest du etwas haben wollen was für Server Workloads geeignet ist, viel länger hält, schneller ist und wo die Chance Daten zu verlieren kleiner ist, dass hättest du eine richtige Datacenter/Enterprise SSD mit Powerloss Protection etc nehmen müssen. Deine WD Red SSDs sind also nicht für ZFS empfohlen, da es keine Enterprise/Datacenter SSDs sind.

 

[scaa]

Wie viel RAM steht denn im Server zur Verfügung?
Wir haben z.B. einen Server mit 4x 4 TB SAS Ultrastar 7k4000 und 32 GB Ram mit ZFS (raidz10) und würden das niemals wieder machen. Lächerliche Performance. Gleich ausgestatte Server mit Hardware-Raidcontroller laufen bei uns vielfach performanter.

 

[Dunuin]

Bei SSDs finde ich es mit kleinerem ARC deutlich weniger kritisch. Natürlich ist mehr ARC immer besser, da RAM natürlich auch massiv schneller ist als eine SATA SSD. Aber die Performance bricht nicht gleich ins Bodenlose ein, wenn mal etwas nicht im ARC gecacht ist, da die SSDs ja von Grund auf schon Faktor 100-1000 bessere IOPS Performance liefern als HDDs. Da hält sich der IO delay dann wenigstens noch in Grenzen und erlaubt weiterhin flüssiges arbeiten.
Und bei NVMe SSDs möchte man ja teils sogar den ARC überhaupt nicht für das Cachen von Daten nutzen, da die NVMe schon schnell genug sind.

Aber so 8-12GB RAM würde ich dem ARC da schon geben bei 4x 2TB SSDs.

 

[S70rm7r00p3r]

@Dunuin: Danke für deine ausführliche Antwort. Ok, da hätte ich mich wohl noch etwas besser informieren sollen, aber da ich die SSDs nicht explizit für diesen Einsatzzweck gekauft habe, wäre vielleicht eine andere Lösung doch besser. Dass die SSDs aber so schlecht für diesen Einsatzzweck geeignet sind, da sie ja auch als NAS SSDs angepriesen werden, hätte ich jetzt nicht gedacht. Muss ich mir dann nochmal Gedanken machen.

@scaa Der T20 hat 16GB RAM, könnte evtl. noch auf 32GB aufstocken.

 

[Dunuin]

@Dunuin: Danke für deine ausführliche Antwort. Ok, da hätte ich mich wohl noch etwas besser informieren sollen, aber da ich die SSDs nicht explizit für diesen Einsatzzweck gekauft habe, wäre vielleicht eine andere Lösung doch besser. Dass die SSDs aber so schlecht für diesen Einsatzzweck geeignet sind, da sie ja auch als NAS SSDs angepriesen werden, hätte ich jetzt nicht gedacht. Muss ich mir dann nochmal Gedanken machen.

Naja, musst du ja nur mal Schlüsselfaktoren zwischen verschiedenen SATA SSDs vergleichen:

	Billige Consumer SSD (Crucial BX 500 2TB):	Deine WD Red SSDs:	Bessere Consumer SSD (Samsung 870 Evo 2TB):	Billige Enterprise SSD (Intel 4510 1.92 TB):	Bessere Enterprise SSD (Intel 4610 1.92 TB):	Gute Enterprise SSD (Intel 3710 1.2 TB):
Haltbarkeit pro TB Kapazität (TBW):	360 TB	650 TB	600 TB	3250 TB	5000 TB	20250 TB
Preis pro TB Kapazität:	78 €	114 €	92 €	228 €	229 €	766 €
Preis pro geschriebenem TB wegen Abnutzung:	0,2042 € pro TB	0,1754 € pro TB	0,1542 € pro TB	0,0702 € pro TB	0,0458 € pro TB	0,0379 € pro TB
NAND:	QLC	TLC	TLC	TLC	TLC	MLC
Powerloss Protection:	nein	nein	nein	ja	ja	ja

Wenn du da auf die Powerloss Protection guckst und die Haltbarkeit, dann siehst du schon, was es da für einen großen Unterschied zwischen Consumer und Enterprise SSDs gibt. Von den Daten her ist die WD Red eine stink normale Consumer SSD nur mit extra Aufpreis weil für NAS beworben.

Und was man auch schön sieht: Je billiger die SSD in der Anschaffung ist, desto teurer ist sie über lange Lang zeit gesehen.

Ist wie mit allem anderen auch. Nur weil ein Fahrrad-Reifen 10€ kostet heißt es nicht das der günstig ist. Wenn ich den 10€ Fahrradreifen alle 1000km wegen Reifenabrieb auswechseln muss, dann kommt mich das viel teurer (und macht mir viel mehr Ärger), als wenn ich gleich einen guten Reifen für 50€ kaufe der Pannensicher ist und nur alle 10.000 km gewechselt werden muss. Dann lieber gleich das 5-fache für den Reifen zahlen, der dann 10 x so lange hält, man den Reifen dann nu alle 10 Jahre und nicht jährlich wechseln muss und sich die nervige Fahrradpanne auf dem Weg zur Arbeit sparen. Erst recht wenn der Arbeitsweg über eine Schotterpiste voller Glasscherben führt und kein nagelneuer asphaltierter Radweg ist.

Einfach immer nur auf den Anschaffungspreis zu gucken ist nicht das beste Kriterium für die Kaufentscheidung.

 

[ITT]

Ich würde beim T20 erstmal auf 32GB RAM aufrüsten.
Dann würde ich KEIN ZFS einrichten, sondern einen günstigen Raid-Controller besorgen und einrichten (Raid 5 zB.)
Die WD Red sind halt Consumerware, aber mit 0,3 DWPD auf 3 Jahre für Homeserver sehrwohl OK (wenn kein ZFS aktiv).

Ich habe diesbezüglich etwas Erfahrung, da wir im Kundenumfeld auch LowCost-Server laufen haben.
Und nochmal: Es ist ohne weiteres möglich, mit einem T20 (sehr guter Homeserver, Stromsparmeister, mit einem kleinen Xeon sogar performant) eine stabile Proxmox-Basis zu bekommen! Allerdings bitte 32GB RAM und ja kein ZFS. Frisst jede menge RAM & Performance.
Wer viele Disks benötigt, montiere sich für wenig Geld einen LSI Megaraid Controller und staune.

Achtung, jetzt werden welche entrüstet sein:
Wir haben tatsächlich bei manchen Konstellationen WD RED SSD´s und Samsung QVO´s in Einsatz!
Warum? Man rechne sich den zukünftigen Wearlevel der SSD aus und staune.
Bei kleinen Homeservern ohne ZFS, also mit ext4 über Raid reicht das manchmal locker mehrere Jahre.

EDIT:
Mal nachgesehen auf so einen ähnlichen Server:
Samsung 840 512 GB, Durchgehender Betrieb 6,6 Jahre, 30,2 TB written, Wearlevel 16%.

Eigentlich will ich damit nur sagen, dass man auch mit kleinem Geldbeutel ein Optimum suchen/erreichen kann.
Nicht jeder kann sich für Zuhause ein Enterprise-Umfeld leisten.

 

[ITT]

Jaaa, der Speicher ist jetzt nicht all zu üppig, aber sollte für mich reichen.
Den Controller würd ich evtl. trotzdem nehmen.

Sollte ich denn eher ein "klassisches" RAID erstellen oder ein RAID-Z erstellen?

Klassisches Raid (Raid 5 oder Raid10, je nach Geschmack)

 

[ITT]

Wie viel RAM steht denn im Server zur Verfügung?
Wir haben z.B. einen Server mit 4x 4 TB SAS Ultrastar 7k4000 und 32 GB Ram mit ZFS (raidz10) und würden das niemals wieder machen. Lächerliche Performance. Gleich ausgestatte Server mit Hardware-Raidcontroller laufen bei uns vielfach performanter.

Gleiche Erfahrung!
ZFS killt. Entweder HW-Raid mit ext4 oder gleich Ceph.

 

[S70rm7r00p3r]

Hallo Zusammen.

Komme heute erst wieder dazu in den Thread zu schauen, die Woche war leicht stressig bei mir...

Zuerst mal vielen Dank für Eure ausführlichen Antworten und Meinungen, hab mir ja fast schon gedacht dass es hier sehr unterschiedliche Erfahrungen/Vorlieben geben wird. Um so besser wenn @ITT hier gute Erfahrungen mit Konsumer SSDs unter nem klassischen RAID teilen kann, ich denke das werde ich dann auch vorziehen.

Kann ich denn z.B. auch den integrierten RAID Controller vom T20 nehmen, oder ist das eher keine so gute Idee und ich sollte mir lieber einen LSI Megaraid Controller besorgen? @scaa hatte mir ja evtl. so einen angeboten?

 

[ITT]

Der interne Raid ist nur ein Softwareraid.
Ein externer wäre hier angesagt. Bei den LSI´s aufpassen, dass die gut gekühlt werden, laufen gerne heiss!
Und wenn möglich, verwende keinen hin- und hergeflashten kastrierten Raidcontroller.