Hardware Beratung Homeserver

[enspiro]

Hallo liebe Gemeinde,

ich bin ein fleißiger Mitleser und habe auch schon sehr viele Infos hier im Forum für mein Projekt daheim sammeln können.
Allerdings bin ich beim Storage etwas unsicher.
Ich habe in der Vergangeheit eigentlich immer ESXi eingesetzt daher ist Proxmox für mich noch Neuland.
Ich würde gerne Proxmox bei mir daheim einsetzten und auch ZFS nutzen.
Auf dem Homeserver soll zu Beginn folgendes betrieben werden:
- Homeassistant
- Homematic
- OPNsense
- Plex

Später möcht ich noch Pihole und eine Lab Umgebung aufsetzten. Allerdings frühestens in einem Jahr. Die Lab Umgebung soll dann Kali und ne Windows Kiste sein.

Was ich bereits habe ist ein Supermicro Mainboard X13SAE-F, 32 GB DDR RAM und einen Intel i5 13600.
Das Ganze in einem 3HE Intertech Gehäuse.

Wie schon geschrieben bin ich beim Thema Storage aber noch unsicher. Weil ich auch hier im Forum doch das ein oder andere Mal unterschiedliche Sachen lese was den Einsatz von SSDs und NVMEs angeht. Auf der einen Seite liest man dass empfohlen wird auf Datacenter SSDs zu setzten und auf der anderen Seite ließt man recht häufig dass consumer SSDs und auch NVMEs eingesetzt werden und das auch teilweise als Single SSD und/oder NVME.

Ich möchte schon eine gewisse Ausfallsicherheit haben daher habe ich mich für RAID mit ZFS entschieden.
Ich habe hierzu auch schon 2 Samsung SM883 960 GB gebraucht erstanden. Der Zustand laut Crystal Tool liegt bei 91%. Ich hoffe das ist noch gut einsetzbar in meinem Setup.

Jetzt habe ich versucht mich bei ZFS ein bisschen einzulesen und herausgefunden dass eine Cache und Log Partition auf den SSDs Sinn macht.
Auf dem Mainboard sind auch noch 3 M.2 Steckplätze die ich auch gerne nutzen würde. Hier passen aber von der Länge nur consumer NVMEs rein.

Meine Idee wäre die 2 Datacenter SSDs als Mirror und dort 2 Partition für Log und Cache einzurichten.
Den Rest für VMs und Container.
2 comsumer NVMEs als Mirror mit Log und Cache auf dem Datacenter RAID
1 consumer NVME (kleine die hier noch rumliegt) für das Proxmox System selber. Braucht das auch eine extra Log und Cache?
Für das Plex System würde ich dann noch Datacenter HDDs holen und diese auch als Mirror oder als RAID10 (bei 4 Platten) laufen lassen.
Hier auch wieder Log und Cache auf dem Datacenter RAID.

Ist das ein einigermaßen sinnvolles Setup?
Geht das überhaupt so dass ich für mehrere RAIDs jeweils die gleiche Log und Cache Partition nutze oder brauche ich da jeweils eine eigene?
RAM habe ich auch gelesen würde Sinn machen auf 64 zu erweitern.

Vielen Dank für eure Hilfe.

 

[news]

Hi, stelle Dir bitte die Frage, was die Unterschiede zwischen IDE HDDs, SCSI HDDs, SATA HDDs, SATA SSDs und PCIe 3,4,5 NVMe SSD sind.
Und was die gleichzeitige Bearbeitung von IO Anfrage bei alle diesen Devices bedeutet.
Dann komme bitte zurück und präsentiere deine Ergebnisse. Ich kommentiere sie dann gerne.

 

[Falk R.]

Ich würde das ganze nicht so komplex angehen. Da die Consumer SSDs schon da sind, sollte man die nutzen, aber auch mit Log/Cache Disks verschleißen die schneller mit ZFS. Du kannst deine Cache Disks in Partitionen teilen und nur die jeweiligen Partitionen als Cache angeben.
Die HDDs mit SSD zu beschleunigen macht natürlich Sinn.
Ich persönlich nutze bei ZFS nur die Special Device Funktion. Da sind dann die Metadaten und die kleinen Writes drauf. Das schont deine Consumer SSDs schon ganz schön. Bei den HDDs kann man über Cache nachdenken, wenn es auch im lesen schneller werden soll.
Und wenn man von ESXi kommt immer dran denken, ESXi = Filesystem Centric und PVE = Block Centric.
Bei VMware hängt alles vom VMFS Dateisystem ab, bei PVE wird auch oft ohne Dateisystem gearbeitet wo du umdenken musst, es aber performanter läuft.

 

[Dunuin]

Consumer SSDs als SLOG für Enteprise SSDs halte ich für eine ganz schlechte Idee. Ein SLOG macht ausschließlich Sync Writes und da werden die PM883 um Magnituden schneller sein als Consumer SSDs. Sprich die Consumer SSDs werden dir die Enterprise SSDs ausbremsen.
Consumer SSDs als L2ARC könnte man machen, aber L2ARC ist in den wenigstens Fällen sinnvoll und kann auch wieder ausbremsen, weil dir jedes GB an L2ARC auch etwas von deinem RAM verbraucht. Du opferst halt etwas super schnellen RAM Read Cache für etwas mehr aber wesentlich langsameren SSD Read Cache

PS: Und es gibt 2280 M.2 Enterprise SSDs: https://geizhals.de/?cat=hdssd&xf=4643_Power-Loss+Protection~4832_3~4836_7
Und wenn man 2,5" Slots hat wären auch M.2-zu-U.2.Adapter-Kabel eine Option um dann U.2 Enterprise SSDs an die M.2 Slots zu bekommen.

 

[enspiro]

Vielen Dank für euer Feedback.
@news
ich bin mir nicht sicher ob ich den Hintergrund deiner Antwort verstehe aber ich versuche es einfach mal.
IDE und SCSI sind parallele Schnittstellen und eher langsamer im Vergleich zu SATA die seriell und schneller getaktet sind.
Bei PCIe bin ich mir nicht sicher ob seriell oder parallel aber ich denke schneller als SATA und IDE. Für den IO vermute ich mal bedeutet das, dass der eine den anderen ausbremst sollte man diese Schnittstellen bzw. Devices mischen.

@Falk R.
vielen Dank für deinen Vorschlag. Verstehe ich das richtig, dass man für ein ZFS RAID nicht zwingend Log und Cache Funktion angeben muss? Wo wird das dann angelegt oder wird das dann gar nicht aktiviert?
Die 2 consumer NVMEs für den Mirror habe ich noch nicht gekauft, würde ich aber sobald die günstig hergehen. Dort wollte ich dann VMs und Container beherbergen die nicht andauernd laufen. Vielen Dank für den Tipp mit der Special Device, genau so würde ich das dann auch machen wollen. Muss diese Special Device dann auch ein Mirror sein aus 2 Datacenter SSDs? Und sollten das dedizierte Devices sein oder können das Partitionen auf den vorhanden Datacenter SSDs sein?

@Dunuin
ich habe mich vermutlich falsch ausgedrückt. Ich meinte es genau anders herum. Die Datacenter SSDs als Log und Cache für die Consumer SSDs. Aber ich denke ich werde es so wie Falk R. vorgeschlagen hat machen und die Special Device Funktion nutzen, falls ich die consumer SSDs einsetzen werde.

Ist eigentlich der Zustand von 91% für Datacenter SSDs ok aus eurer Sicht?

 

[Dunuin]

Und sollten das dedizierte Devices sein oder können das Partitionen auf den vorhanden Datacenter SSDs sein?

Können auch Partitionen sein.

Muss diese Special Device dann auch ein Mirror sein aus 2 Datacenter SSDs?

Muss nicht. Aber Special Devices sind kein Cache. Verlierst du deine Special Devices, sind auch alle Daten des Pools weg. Sollte also wenigstens die gleiche Redundanz wie deine normalen Vdevs haben.

Verstehe ich das richtig, dass man für ein ZFS RAID nicht zwingend Log und Cache Funktion angeben muss? Wo wird das dann angelegt oder wird das dann gar nicht aktiviert?

Log und Cache Vdevs sind optional und selten sinnvoll. Hast du kein cache nutzt der Pool halt nur den ARC im RAM statt ARC im RAM + L2ARC auf SSD. Hast du kein log, dann wird halt einfach doppelt auf die normalen Vdevs geschieben.

Ist eigentlich der Zustand von 91% für Datacenter SSDs ok aus eurer Sicht?

Hängt von den Modellen ab. Aber eine Enterprise SSd mit 91% ist mir 100 mal lieber als eine Consumer SSD mit 100%.

 

[Falk R.]

Zum Thema Special Device:
Auch bei RaidZ# (große Datenpools) nutze ich die Special Device als Mirror. Das hilft auch der Performance. Wenn ich Special Device ohne Mirror nutze, dann nur für ein Raid0. Damit kann man mal was testen, aber nie echte Daten drauf packen.

 

[news]

Ich stimme Dir genau so zu, ich konfiguriere die Server auch so oder man wertet das Special Device von Mirror weiter auf als RaidZ1-Z2. Für die Mitleser, man kann sehr genau einstellen, welche Verzeichnisse ihre keinen Dateien dann im SSD Special Device speichern müssen, anstatt sie auf den RaidZ# HDD direkt zu schreiben. Das beschleunigt den Zugriff rw sehr massiv.

 

[Falk R.]

Falk R. bist Du auch Funkamateur, evtl. bekannt aus dem QRPForum?

Nö, mit funken habe ich nix am Hut.

 

[enspiro]

Vielen Dank allen für das Feedback.
Jetzt werde ich mich demnächst an die Umsetzung machen. Bin schon echt gespannt auf Proxmox.

Hängt von den Modellen ab. Aber eine Enterprise SSd mit 91% ist mir 100 mal lieber als eine Consumer SSD mit 100%.

Die Antwort war ich dir noch schuldig. Es sind Samsung SM883

 

[dMopp]

Nachteil Special Device ist halt: Ist das kaputt, ist dein raid kaputt.

Ich arbeite mit ZIL (Sehr gut für TimeMachine) und L2 Arc + reine SSD Partitionen auf dem raid.

Habe Consumer SSDs mit sehr hoher TBW im Einsatz. p/l ist da top (1PBW)