Welche Storagelösung sollte ich nutzen - kein Durchblick

[Harald00]

Hallo,

ich bin aktuell dabei mir einen kleinen Homeserver aufzubauen. Und würde gerne ein paar Systeme mit Proxmox virtualisieren.

Also Basis soll ein Supermicro X11SLL-F mit Xeon E3-1225 v6 und 16GB DDR4 dienen Dazu 2 SSDs und 2 HDDs

Darauf laufen soll eine Visualisierung für mein Haus, ein NAS, Plex und diverse Test VMs (keiner Dauerbetrieb)

Allerdings blicke ich nicht ganz durch die ganzen Storages durch. ZFS benötige ich denke ich mal nicht in meinem Anwendungsfall.

Ich würde die VMs und den Host gerne auf SSDs laufen lassen und für Dateien dann entsprechend HDDs verwenden.
SSD und HDD im Raid1 über das Board und dann entsprechend in Proxmox einbinden, oder das ganze eher über Proxmox realisieren. Was genau macht in meinem Fall Sinn, oder doch lieber was ganz anderes?

Ich habe noch nicht mit Proxmox gearbeitet, und die Hardware ist auch noch nicht vorhanden, habe Proxmox zum "testen und schauen" aber in einer VM installiert um einfach mal einen Überblick zu bekommen.

Danke für eure Hilfe

Gruß

 

[LnxBil]

Ich würde die VMs und den Host gerne auf SSDs laufen lassen und für Dateien dann entsprechend HDDs verwenden.
SSD und HDD im Raid1 über das Board und dann entsprechend in Proxmox einbinden, oder das ganze eher über Proxmox realisieren. Was genau macht in meinem Fall Sinn, oder doch lieber was ganz anderes?

Proxmox VE unterstützt Hardware RAID oder ZFS Software RAID - vom Haus aus kein mdadm Software RAID und ist auch nicht supported - auch wenn man technisch realisieren kann (Wenn du keine Ahnung hast was mdadm ist, vergiss den Nebensatz einfach und verwende Hardware RAID).

 

[stenzelprox]

Hallo Harald,
ich persönlich würde nicht auf die Features von ZFS verzichten wollen. Allerdings 16 GB Ram sind dann zu wenig, gebaucht würden mindestens 32 GB. Statt einen Hardware Raid Controller würde ich weitere 16 GB Ram kaufen und dann mit ZFS arbeiten.

 

[Deleted member 34654]

Bei einem Testsystem und nur 2 Festplatten??

 

[Harald00]

Danke für eure Antworten.

Dass, das mit dem Raid so nicht funktioniert habe ich mittlerweile auch herausgefunden. Auf das Thema ZFS bin ich natürlich schon gestoßen, ist nicht auch nicht schwer, dazu findet man ja genug. Was für mich immer abschreckend ist, ist eben das mit dem RAM-Bedarf. Viele und Große Platten habe ich ja nicht, braucht man da wirklich so viel Speicher, oder würden ggf die 16 GB reichen? Für was braucht ein ZFS eigentlich so viel Speicher? Was wären denn die Vor und Nachteile von einem ZFS in Gegensatz zu HW-Raid?
Nochmal 16 GB würden auch um die 160 Euro kosten.

Das X11SLL-CF hat ja einen Controller onBoard den man umflashen könnte? Und kostet nur etwa um die 100 Euro mehr. Am liebsten würde ich aber komplett auf weitere Kosten verzichten.

Wenn ich so recht drüber nachdenke, brauche ich eigentlich gar kein Raid... Wichtig ist mir nur, dass das Hostsystem und die VMs sicher laufen, also die SSDs. Die HDDs dienen ja eigentlich nur als Datengrab, wobei die wichtigen Daten sowieso zusätzlich gesichert werden (sollen) uA per Cloud, externe und ggf dann FileCopy auf eine weitere interne Festplatte.

Backup für Hostsystem bräuchte ich auch noch. Was wäre da eine sinnvolle Lösung?

 

[LnxBil]

Was für mich immer abschreckend ist, ist eben das mit dem RAM-Bedarf.

Ich habe ZFS schon auf dem Raspberry PI verwendet ... klar ist das nicht schnell, aber es geht. Je nach Anforderung an dein System reichen 16 GB RAM locker aus für ZFS und virtuelle Maschinen. Die Frage ist einfach, wie schnell das FS sein wird und was du vorhast. Klar wirst du keine Deduplizierung einschalten können, aber alle Vorteile nutzen wirst du auf jeden Fall. Ich habe von sehr kleinen bis sehr große Maschinen überall ZFS im Einsatz - sogar auf externen Platten, denn die Vorteile davon sind einfach nicht wegzudiskutieren - aber langsamer als jedes Hardwareraid inkl. Cache sind sie immer bei 16 GB-RAM und bei 2 Festplatten - das kannst du einfach nicht ausgleichen in solch einem Setup.

Im Gegensatz zu anderen Dateisystemen wie ext4 gibt es bei ZFS ja mehr Metadata, variable Blockgrößen und Prüfsummen, sodass der Anteil der Metadaten viel höher ist und somit weniger Platz für gecachte Datenblöcke bleibt. Wenn die Metainformationen nicht mehr ins RAM (oder besser in den ARC) passen wird das System halt langsam.

Um es für dich schnell sein wird oder nicht hängt einfach von den Arbeiten in deinen VMs ab. Ich würde bei einem Testsystem dort immer die ARC Cache Hit rate im Auge behalten. Dort sollte bei einem performanten System die Cache Hits die Cache Misses bei weiten überschreiben.

 

[Harald00]

Grundsätzlich erstmal: Gesundheit.

Das was ich bisher verstehe, klingt schonmal nicht verkehrt. Die Frage ist nur, was die Definition von "langsam" genau ist.
Es sind eigentlich auch nicht unbedingt vieel Daten, ein paar Dokumente, Bilder, Videos, die dann entsprechend auf die HDDs sollen.
Bezieht sich das mit der Geschwindigkeit bzgl der zwei Festplatten auf ein Raid?

Aufs Raid bei den HDDs wollte ich ja sowieso verzichten, bei den SSDs ist es eben die Frage, ob ich die Redundanz wirklich benötige, oder ob es ausreicht, Die Host SSD mit den Maschinen täglich/nachts zu klonen. (Sinnvoll, oder gibt es anderen "Backup" Möglichkeiten mit Proxmox?

--
Edit: Also die Möglichkeit gibt es wohl - Wie gesagt Redundanz bräuchte ich nicht zwangsläufig. Daher würde ich die zweite SSD ggf. auch eher seperat nutzen um ggf auf diese ausweisen zu können, falls die andere mal abdankt. Worin genau liegt der unterschied zwischen den Snapshots und den Backups?
Sorry für die vielen Fragen, bin schon viel am googlen, allerdings ist englisch nicht so meins.
--

Den Arc etc überwache ich dann im Proxmox GUI oder wo genau? Und der ARC sitzt dann denke ich im RAM, deswegen so viel Bedarf?

 

[LnxBil]

Die Frage ist nur, was die Definition von "langsam" genau ist.
Es sind eigentlich auch nicht unbedingt vieel Daten, ein paar Dokumente, Bilder, Videos, die dann entsprechend auf die HDDs sollen.

Ich glaube dann brauchst du dir über "langsam" keine Gedanken zu machen. Ob ein Video vom Rechner nun in 5 Minuten oder in 4,5 Minuten kopiert ist fällt dann nicht auf. Als einziger User eines Systems ist man eh viel besonnener als wenn 20 Mann darauf arbeiten sich dann jeder gegenseitig behindert.

Ich empfehle grundsätzlich immer Redundanz, denn oft wird die Time-to-Recovery (Also die Wiederherstellungszeit) total unterschätzt. Wenn dir eine Platte kaputt geht und du eine Spiegelung hast funktioniert einfach alles weiter, du tauschst die Platte/SSD aus, Redundanz wird wieder hergestellt und dann ist alles gut. Im Falle nur einer Disk hast du kein System mehr und das Backup auf der anderen. Dann brauchst du eine 3. Disk um das Betriebssystem zu installieren (oder abwarten bis der Ersatz eintrifft, dann hat man aber mehr Ausfallzeit), das Backup einzuspielen und wieder alles so einzurichten wie es vorher war. "daheim" nach der Arbeit gehen dann einige Stunden drauf. Das muss jeder selbst entscheiden wie er seine Lebenszeit verbringt, aber ich würde mich da immer für die Redundanz entscheiden. Aus betriebswirtschaftlichen Aspekten kannst du dir ja mal überlegen, wie du deine Freizeit bewertest und je Stunde dann in SSDs umrechnen. Meistens kommt direkt dabei heraus, dass ein paar Stunden bewertete eigene Zeit die SSD Kosten schon wett machen.

Worin genau liegt der unterschied zwischen den Snapshots und den Backups?

Snapshots liegen lokal auf der Platte - ein Backup liegt nie auf der lokalen Platte, sondern ist immer extern, sodass der gesamte Kosten komplett abrauchen kann und du hast immer noch deine Daten. Mit ZFS kannst du aber beides bewerkstelligen, wenn du die Snapshots extern synchronisierst mittels send/receive und mit einer Technik dann direkt beides schon hast.

Den Arc etc überwache ich dann im Proxmox GUI oder wo genau? Und der ARC sitzt dann denke ich im RAM, deswegen so viel Bedarf?

Ne, so tief musst du eigentlich nur rein, wenn es mal Probleme gibt oder du auf Überwachung von Performancemetriken stehst :-D
Für die Verwendung als System ist das völlig nebensächlich.

 

[Harald00]

Genau meistens ist es nur ein Nutzer.
Da hast du wohl Recht, da werde ich die SSDs wohl definitv im Raid betreiben. Bei den HDDs muss ich dann mal schauen. Wichtige Daten liegen notfalls noch woanders, also könnte ich da auf die Redundanz verzichten, allerdings kosten HDDs ja auch nicht die Welt.

Snapshots kann man also mit Wiederherstellungspunkten von Windows vergleichen?

Dann werde ich das Ganze wohl so machen. Hast du eventuell Tipps für mich parat, worauf ich auf jeden Fall achten sollte? Ggf auch hilfreiche links?

 

[klav]

Also bei 2SSD´s und 2HDD´s
würde ich die HDD´s als Raidz1(für die Daten Redundanz) laufen lassen und eine SSD als cache und eine als log anhängen(für den speed).
Und zur Abrundung als"Rescue CD" einen USB-Stick mit einem proxmox img drauf.
Wen dir dann einen HDD ab raucht kannst über den USB-Stick per "zpool import" einbinden und recht einfach die defekte platte tauschen(WEN dein Host-OS auf den HDD´s mit drauf ist).
Zum RAM je nachdem was du vorhast sind 16GB ausreichen zumindest mit den SSD cache(lesen) und log(schreiben),
ich kenne für File/NAS und Co die grobe Faustregel 1GB RAM pro TB.

Und für die sache mit den Snapshot´s

Ich finde das Hr. Zengel das tema ganz gut erklärt

 

[LnxBil]

würde ich die HDD´s als Raidz1(für die Daten Redundanz) laufen lassen und eine SSD als cache und eine als log anhängen(für den speed).

Hmm ... wo genau liegt der Vorteil eines RAIDz1 bei zwei Disks gegenüber einem RAID1 (Mirroring)?

Snapshots kann man also mit Wiederherstellungspunkten von Windows vergleichen?

K.a. was Windows da genau macht, aber ein "richtiger" Storage oder sogar VM-Snapshot ist auf jeden Fall besser :-D
(Kurzgesagt: Es friert den Zustand ein und man kann nachher direkt auf diesen Zurück, perfekt zum Testen).

 

[klav]

Hmm ... wo genau liegt der Vorteil eines RAIDz1 bei zwei Disks gegenüber einem RAID1 (Mirroring)?

z.B. das du keinen RAID-Controller brauchst, der dir abrauchen kann und man ggf. dann Schwierigkeiten bekommt, wen man auf das Modell und die FW-Version achten musst.
Und so weit ich weiß kann man bei einem klassischen RAID keine cache oder log alternative anhängen.
Und nachdem mir ein RAID-Controller bereits abgeraucht ist und dich das Problem mit gleichen Modell und FW-Version hatte, habe ich für mich entschieden auf die aus meiner Sicht etwas bessere von RAID-Controller Performance zu verzichten.

 

[LnxBil]

z.B. das du keinen RAID-Controller brauchst, der dir abrauchen kann und man ggf. dann Schwierigkeiten bekommt, wen man auf das Modell und die FW-Version achten musst.

Okay, ich habe mich anscheinend nicht korrekt ausgedrückt:
Warum schlägst du RAIDz1 vor bei zwei Festplatten? Wo genau liegt da deiner Meinung nach der Vorteil gegenüber einem "normalen" gespiegelten vdev in ZFS? Ab drei Platten ist mir das klar, aber nicht bei zwei.

 

[Harald00]

Danke noch für eure Antworten. Ich werde nun erstmal die Hardware bestellen und mich in der Zwischenzeit auch noch etwas schlau machen bzgl. dem Raid.

@klav: Verstehe ich das richtig, dass du das Hostsystem nicht auf den SSDs laufen lassen würdest? Macht das überhaupt Sinn in meinem Anwendungsfall? 256GB Cache und 256GB Log? Was macht das Log genau?

 

[LnxBil]

256GB Cache und 256GB Log? Was macht das Log genau?

Bei 16 GB RAM ist ein L2 arc (cache) kontraproduktiv, da dadurch ein brauchbarer Arbeitsspeicher sinkt und das System langsamer wird. Das SLOG ist da um synchrone Schreibvorgänge zu beschleunigen, da diese zuerst auf die SSD geschrieben werden und maximal 5 Sekunden später auf die Disk. Dadurch werden nur synchrone Schreibvorgänge beschleunigt.

Man besten mal entsprechend die Manpage zu zpool durchlesen, da steht das alles nochmal genau drin.