[SOLVED] Welches RAID für diese Konfiguration?

Justin2266

Member
Dec 27, 2020
49
4
8
22
Hallo liebe Proxmox Gemeinde,

Ich habe folgende Hardware:

Ryzen 7 1700X
16GB DDR4 RAM
B450 Mainboard
4x 1TB HDD
1x 4TB HDD (schnellste HDD)
1x 240GB SSD (SATA)

In welches RAID könnte ich das nun am besten verpacken? Um die meiste Geschwindigkeit rein zu bekommen ?
Was sind so eure Vorschläge/Bedenken (RAM auf 32GB geplant)

(Und kennt jemand eine günstige aber gute Netzwerkkarte mit Gigabit?)
 
4x 1TB HDD
1x 4TB HDD (schnellste HDD)
1x 240GB SSD (SATA)
Wirklich viele möglichkeiten hast du hier nicht. Die 4x 1TB kannst du zu einem ZFS raid 10 (pool mit 2 mirror vdevs) machen , am besten bei der Instalation, dann ist auch PVE selbst gegen den Ausfall einer Festplatte gesichert. Da die 4TB und 240GB SSD jeweils nur einmal da ist musst du überlegen was du da drauf laufen haben willst das nicht so wichtig ist und auch mal weg sein darf wenn die SDD/HDD ausfällt.
 
Danke. Kann ich die SSD als Cache für die 4x 1TB HDDs nehmen?
Nicht so wirklich sinnvoll.
SSD als L2ARC bringt nur etwas wenn dein RAM nicht mehr ausbaubar ist und dir der RAM ausgeht.
SSD als SLOG bringt dir nur etwas, wenn du viele Sync Writes hast, also wenn du z.B. Datenbanken betreibst.
SSD als Special Device für ZFS Metadaten ist meist noch das sinnvollste, aber fällt dann die SSD aus, dann sind auch alle Daten auf den 4 HDDs verloren und ich vermute mal deine SSD ist auch nicht auf Haltbarkeit ausgelegt und eigentlich nicht für Serveranwendungen geeignet, dass man der also nicht zu viel zumuten sollten.

Wegen der 1Gbit NIC:
Das günstigste ist wohl die Intel EXPI9301CTBLK. Gibt es schon für 1€ + Porto. Ist ziemlich zuverlässig und sollte überall laufen. Hat aber auch nur einen Port und ist ziemlich alt, also nicht gerade optimal wegen Stromverbrauch und hat nicht so viele Enterprise-Features bezüglich virtualisierung usw. Die Intel i350-Serie ist sehr nett. Die hat auch so gut wie alle Features und ist stromsparend, da sie recht neu ist. Da musst du nur echt aufpassen, weil da gefühlt 50% (oder 99% wenn aus China liefernd) der NICs Fälschungen sind. Meine Intel i350-T4 mit 4 Gbit-Ports hatte ich für 35€ gebraucht gekauft.
Am besten immer Intel NICs nehmen, da hast du dann unter Unix/Linux die wenigstens Probleme mit.
 
Last edited:
Als werte habe ich nun das hier: (Bild)

Aber bei I/O Thread stehen manchmal 70% und dass system reagiert relativ langsam.. macht es Sinn einfach auf 2x500GB SSD zu wechseln wenn mir nur die Geschwindigkeit wichtig ist? Oder hab ich da dann schlechtere I/O Thread Werte?
 

Attachments

  • IMG-20201227-WA0039.jpeg
    IMG-20201227-WA0039.jpeg
    266.4 KB · Views: 4
HDDs sind super schlecht wenn es um IOPS, also viele kleine Random Reads/Writes geht. Wenn die deine IO am Limit sind, dann sind SSDs definitiv die bessere Wahl. Guck nur was du da nimmst. Besonders wenn du ZFS und Co nutzt wird von normalen Consumer SSDs abgeraten, weil die bei Workloads im Serverumfeld sich zu schnell totschreiben und die kontuniierliche Performance nicht gerade toll ist. Empfehlenswert sind da Enterprise/Datacenter SSDs, aber die schlagen halt auch entsprechend zu Buche.
 
Last edited:
M.2 taugt eigentlich nichts für Server, da das bis auf eine Ausnahme alles nur Consumer SSDs sind ohne Powerloss Protection und mit TLC/QLC Flash der sich ziemlich schnell kaputt schreibt. Wenn du die schon da hast kannst du es aber natürlich mal mit denen probieren. Vielleicht schreibt dein System ja nicht so viel oder die Sync Writes machen nur einen kleinen Anteil aus. Dann reichen die vielleicht doch schon.
Würde ich dann aber immer gut die SMART-Werte im Auge behalten und ggf. wieder rechtzeitig entfernen, falls sich in einer Hochrechnung zeigen sollte, dass da die TBW schon nach Monaten erreicht wäre.
 
Sind die Curcial MX500 1TB SSDs tauglich? Die haben 5 Jahre Garantie. Und verdoppeln sich die IOPS im mirror ? Also die random schreib/lese Zugriffe.

(Das ganze würde ich in einenm mirror betreiben. Das bedeutet wenn eine ausfällt (innerhalb der ersten 5 Jahre) tausche ich sie aus (Garantie) und steck die neue an und verliere keine Daten. Würde das so funktionieren?)


Meine Restkonfiguration:
- Ryzen 7 1700X (8C16T/3,7GHz)
- DDR4 Ballistix 32GB 3000MHz CL16
- 2x 4TB SMR Barracuda 5400RPM mirror
- 2x MX500 1TB SATA SSD 95K IOPS mirror
- 750W Markennetzteil
 
Sind die Curcial MX500 1TB SSDs tauglich? Die haben 5 Jahre Garantie. Und verdoppeln sich die IOPS im mirror ? Also die random schreib/lese Zugriffe.

(Das ganze würde ich in einenm mirror betreiben. Das bedeutet wenn eine ausfällt (innerhalb der ersten 5 Jahre) tausche ich sie aus (Garantie) und steck die neue an und verliere keine Daten. Würde das so funktionieren?)


Meine Restkonfiguration:
- Ryzen 7 1700X (8C16T/3,7GHz)
- DDR4 Ballistix 32GB 3000MHz CL16
- 2x 4TB SMR Barracuda 5400RPM mirror
- 2x MX500 1TB SATA SSD 95K IOPS mirror
- 750W Markennetzteil
Denk an das Kleingedruckte..."fünf Jahre oder bis Erreichen der TBW", also wenn mehr als 360TB geschrieben wurde ist die Garantie auch vor den 5 Jahren erloschen. Die 360TB hätte ich hier am Homeserver nach knapp über über einem Jahr erreicht. Musst du vorher hochrechnen, ob dein Workload die TBW nicht vor 5 Jahren überschreitet.

Beim Schreiben werden die IOPS einfach sein, da du ja auch alles doppelt schreiben musst. Beim Lesen sollten die IOPS Richtung doppelt gehen.

Die MX500 scheint als einzige Consumer-SSD aber wenigstens eine Powerloss-Protection zu haben, dass da die TBW bei Sync Writes nicht ganz so krass nach oben schnellen sollten.
 
Last edited:
Okay. Aber ich finde wirklich keine unter 100€ SATA SSD oder M.2 SSD mit 1TB. Die crucial war relativ günstig. Und da ich das ganze ja im mirror habe würde ich sagen dass ich "ausfallgesichert" bin. Ich schau Mal was die TBW so ist bei der Festplatte.

Ich habe Mal gehört dass diese festplatten 5 Jahre Garantie haben weil man in 5 Jahren die TBW nicht erreichen kann weil sie so "gebremst" vom SATA Standard sind. Weiß nicht ob das Quatsch war, oder einfach hier nicht zutrifft. Danke für alle Antworten!
 
Okay. Aber ich finde wirklich keine unter 100€ SATA SSD oder M.2 SSD mit 1TB. Die crucial war relativ günstig. Und da ich das ganze ja im mirror habe würde ich sagen dass ich "ausfallgesichert" bin. Ich schau Mal was die TBW so ist bei der Festplatte.

Ich habe Mal gehört dass diese festplatten 5 Jahre Garantie haben weil man in 5 Jahren die TBW nicht erreichen kann weil sie so "gebremst" vom SATA Standard sind. Weiß nicht ob das Quatsch war, oder einfach hier nicht zutrifft. Danke für alle Antworten!
5 Jahre sind 157.680.000 Sekunden. 360 TB TBW / 157.680.000 Sek = 2,28 MB/s. D.h. wenn du über 5 Jahre dauerhaft mit nur 2,28MB/s schreibst hast du die TBW erreicht. Denke mal die 2,28MB/s wird die SSD schon noch schaffen ;). Ist jetzt echt nicht schwer die 2,28MB/s zu erreichen. Das schaffen bei mir schon alleine die Logs und Metrics. Du musst ja noch an die Write Amplification denken. Von Gast zu Host habe ich hier z.B. eine Write Amplification von Faktor 7 wegen Virtualisierungs- und Padding-Overhead. Und dann noch intern auf der SSD eine zusätzliche Write Amplification von rund Faktor 2,5-3. In der Summe komme ich hier auf eine Write Amplification von Faktor 20, d.h. wenn ich rund 100kb/s in der VM schreibe, dann werden 2MB/s auf den Flash der SSDs geschrieben, dass da 110kb/s Schreiben in der VM schon reichen um auf die 360TBW in 5 Jahren zu kommen. Musst du gucken was deine Write Amplification ist.
So eine 1TB Enterprise SSD mag vielleicht 300-400€ kosten, aber dafür hat die auch eine TBW von 21000TB. Also 4x die Kosten aber dafür auch 54x die Haltbarkeit.
Hat schon seinen Grund warum die Dinger so teuer sind.
Gebraucht bekommt man solche Enterprise SSDs mit Glück auch schon für rund 120€ pro TB. Die sind dann nicht neu und die Garantie ist erloschen weil die nur für den Erstkäufer gilt, aber da die so viel Abkönnen sind die meist nur minimal abgenutzt. Meine gebrauchten Enterprise SSDs hatten z.B. alle erst 0-2% der TBW geschrieben und halten damit theoretisch noch ewig.
 
Last edited:
Und wenn ich proxmox auf der HDD installiere ? schafft das ein bisschen abhilfe? und kann ich irgendwo sehen wieviel TBW ich bis HEUTE auf der HDD habe? bzw generell gibts eine möglichkeit wie ich die bisherige TBW herausfinden kann? dann weiß ich wenigstens wann sie erreicht ist
 
Und wenn ich proxmox auf der HDD installiere ? schafft das ein bisschen abhilfe? und kann ich irgendwo sehen wieviel TBW ich bis HEUTE auf der HDD habe? bzw generell gibts eine möglichkeit wie ich die bisherige TBW herausfinden kann? dann weiß ich wenigstens wann sie erreicht ist
Proxmox ist eher das kleinere Problem. Selbst mit Write Amplification schreibt das nur so 30GB am Tag. Jede deiner VMs schreibt ja aber auch pausenlos Logs auf die virtuellen Festplatten, speichert Sachen im "/tmp"-Ordner zwischen etc, welche du ja auf der SSD haben willst.

Die Frage ist dann noch, ob sich die Garantie auf die TBW vor oder nach der SSD internen Write Amplification bezieht. Also ob die TB gemeint sind welche die SSD auf die Flash-Zellen schreibt oder die TB an Daten welche dein System auf die SSDs schreiben möchte. SSDs haben technisch bedingt ja immer noch eine interne Write Amplification. Falls sich die Garatnie auf den Flash bezieht, dann kannst du locker nochmal das doppelte oder dreifache von den Writes der HDDs rechnen.
 
Last edited:
Wenn man eher Consumer-Hardware nutzt, dann muss man mehr auf Redundanz gehen und mit mehr Ausfällen rechnen. Aber das ist in der Praxis auch oft so, dass das "billige" zeug erstaunlich lange hält.

Teure Server-Hardware ist auch nicht 100% sicher vor Ausfällen. Deshalb wird man in einem Server auch nicht sehen dass nicht wenigstens Raid1 benutzt wird.
Synology z.B. bietet bei manchen NAS an, dass man m2 SSD's als Lesecache für die HDDs einbauen kann. Aber wenn man auch SSD als Schreibcache haben will, dann verlangt das System 2 SSDs als Raid1 für den Cache... wenn eine davon ausfällt ist mit hoher Wahrscheinlichkeit noch Zeit für das System die Daten aus dem SSD-Cache auf die HDD zu schreiben bevor auch die zweite SSD aufgibt ... ist ja nicht so wahrscheinlich dass die zweite zeitglich mit der ersten Fehler bringt.

Grundsätzlich eben Backups machen, regelmäßig. Immer. Außer die Daten sind egal.
 
Okay. Dann eine letzte Frage dann hab ich alles im Kopf:

Wie erhöhe ich für Container das Backup Limit bzw wie mache ich diese über Terminal um das zu automatisieren?
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!