Best practice für pools

[Meisterzunge]

Hallo zusammen,

werde meinen server komplett neu aufsetzen.
Folgende Anwendungsfälle habe ich bisher angedacht:

• Proxmox auf 2 x 240gb SSD (ZRAID1)
• VM Container auf 2 x TB SSD:
  Hier nen LVN Thin benutzen? Möchte auch Snapshots für LXC container machen können.
• Spezielle Daten, auf die möglichst schnell zugegriffen werden soll, auf eine einzelne 2TB SSH
• Backups auf 2 x HDD (ZRAID1)
• Allgemeine Daten auf 4 x HDD (ZRAID5)

Stelle das, was ich mir bisher gedacht habe, ziemlich infrage - rein vom Gefühl her (Hab etwas Erfahrung, aber bin lange kein Profi).


Ich frage mich ob ich nicht einfach einen großen pool für alles anlegen?!
Oder allenfalls zwischen schnellen (-> Proxmox, LXC/VM container, spezielle Daten) und langsamen(-> Rest) Laufwerken unterscheide.

Bin mir hier unsicher und bräuchte mal einen Denkanstoß.

 

[floh8]

Warum nicht alle raids mit zfs?

 

[Meisterzunge]

Du meinst einfach alle Laufwerke (ausser Proxmox) als ZRAID5 konfigurieren?

 

[floh8]

Nein. Du hast angegeben alle platten mit zfs zu konfigurieren außer für VMs.
Besser wäre außerdem die einzelne 2 TB SSD als l2arc + ein teil der OS ssds als slog für den Daten raidz zu nehmen. Damit bekommst du performance für den Daten pool.

 

[Meisterzunge]

Ok, dann bin ich bei:

• Proxmox auf 2 x SSD (ZRAID1)
• VM Container & alle Daten auf 6 x HDD (ZRAID5)
  • Zusätzlich einzelne 2TB SSH als L2ARC
  • Zusätzlich einen Teil der OS SSDs als SLOG
• Backups auf 2 x HDD (ZRAID1)

 

[Dunuin]

VM Container & alle Daten auf 6 x HDD (ZRAID5)

• Zusätzlich einzelne 2TB SSH als L2ARC
• Zusätzlich einen Teil der OS SSDs als SLOG

Würde ich nicht machen. Performance ist echt nicht toll wenn deine VMs/LXCs von HDDs laufen. Auch nicht vergessen, dass ein Raid5 echt nicht toll für VMs/LXCs ist. 6 Disks im Raid5 sind von den IOPS her so lahm wie eine einzelne Disk und bei ZFS wärst du auch gezwungen deine Blockgröße anzuheben, was wieder für Dinge wie Datenbanken nicht gut kommt. Lieber ein Raid1/Raid10 aus SSDs für die VMs/LXCs und Raid5/Raid6 aus HDDs dann für günstigen+lahmen Storage für Cold Data. Ggf. etwas Platz von den SSDs abzweigen, dort dann eine weitere Partition machen und diese als "Special Device" Mirror dem Pool mit dem HDDs hinzufügen.
PVE braucht nicht zwingend eigene Disks für das System. Das läuft wunderbar mit nur 2 SSDs im Mirror für PVE System + VM Storage.

 

[Falk R.]

Außerdem aufpassen, bei ZFS heist ein Raid1 ZFS Mirror, ein Raid5 (eine Parität) RaidZ1 und ein Raid6 (zwei Paritäten) RaidZ2 und so weiter.
Einfach kleinere Partitionen für das OS nutzen und vom Rest eine oder mehrere Partitionen als Special Device zu nutzen ist Sinnvoll, aber die SSDs sollten PLP (power Loss Protection) haben, sonst bringt das dir auch nicht so viele Pluspunkte.
Wenn du ein RaidZ1 auf 4 HDDs machst, auch mit Special Device, würde ich das maximal als Fileserver Ablage nutzen, wo es auch mal langsam sein darf. Andere VMs da drauf zu legen wird keinen Spaß machen.

 

[floh8]

Nicht ganz. Lass doch den mirror aus 2 TB SSD für die VMs. Kaufst du eigentlich noch oder hast du momentan diese Datenspeicher?

 

[Meisterzunge]

Dann muss ich also nur zwischen langsamen und performanten Daten unterscheiden

• System (Proxmox)
  2 x 240gb SSD als ZFS-Mirror
  • Evtl von diesem vdev noch nen Teil als special device, L2ARG oder SLOG konfigurieren für die beiden anderen Pools.
• Schnelle Daten (VMs, spezielle Daten)
  2 x 4TB SSD als ZFS-Mirror
• Langsame Daten (Backups, allgemeine Daten)
  6 x 4TB HDD als RaidZ1

Ich habe hier 3 x 240gb SSDs, 1 x 2TB SSD und einige 4TB HDDs schon hier liegen. Die 2 x 4TB SSDs, müsste ich dann noch dazu kaufen.

Evtl muss ich die schnellen Daten erstmal aus HDDs erstellen (weil noch keine 4TB SSDs vorhanden und teuer). Aber die kann ich dann einfach nacheinander austauschen vermute ich?

 

[Meisterzunge]

Hab weiter überlegt über das hier:

• System (Proxmox, VMs)
  3 x 240gb SSD als RaidZ1
• Schnelle Daten (spezielle Daten)
  2 x 4TB HDD als ZFS-Mirror + 1 x 2TB SSD als L2ARG
• Langsame Daten (Backups, allgemeine Daten)
  6 x 4TB HDD als RaidZ1

 

[Dunuin]

2 x 240gb SSD als ZFS-Mirror

• Evtl von diesem vdev noch nen Teil als special device, L2ARG oder SLOG konfigurieren für die beiden anderen Pools.

Ich würde den SLOG nie auf eine Platte mit Daten, die du nicht verlieren willst, packen. SLOG auf Systemdisk ist also eine ganz schlechte Idee. SLOG ist ja gerade das, was dir in Null-Komma-Nichts die SSDs killt und die Systemdisk möchte man ja im Normalfall nicht verlieren

Ich habe hier 3 x 240gb SSDs, 1 x 2TB SSD und einige 4TB HDDs schon hier liegen. Die 2 x 4TB SSDs, müsste ich dann noch dazu kaufen.

Dann bitte was ordentliches und ZFS geeignetes mit PLP. Da liegst du dann aber auch bei 400+€ je 4TB SSD.

System (Proxmox, VMs)
3 x 240gb SSD als RaidZ1

Kann man machen, nur wozu? PVE selbst braucht nur so 16-32GB und für ISOs und Co hast du dann ja die HDDs.

Schnelle Daten (spezielle Daten)
2 x 4TB HDD als ZFS-Mirror + 1 x 2TB SSD als L2ARG

Nicht vergessen, dass dir der L2ARC auch RAM klaut. Da gab es irgendeine Faustformel zum ARC-zu-L2ARC-Verhältnis, aber ich weiß die gerade nicht mehr. 2TB L2ARC macht aber wohl auch nur Sinn wenn du einige hundert GB an RAM hast.

 

[Meisterzunge]

Was wäre denn eine geeignete Möglichkeit um mein vdev für schnelle Daten (aus 2 x 4TB HDD als ZFS-Mirror) performater zu machen? Gibt es überhaupt eine?
Muss keine Lösung für die Ewigkeit sein. Würde vorerst nur am liebsten keine 400€ für neue SSDs ausgeben.. und erstmal Erfahrungen sammeln.

Kann man machen, nur wozu?

Du hast vermutlich "Proxmox + VMs" überlesen. Für die beiden Zwecke würden mir die 3 SSDs vermutlich reichen.

 

[Dunuin]

Was wäre denn eine geeignete Möglichkeit um mein vdev für schnelle Daten (aus 2 x 4TB HDD als ZFS-Mirror) performater zu machen? Gibt es überhaupt eine?

HDDs werden nie ansatzweise so schnell sein wie SSDs...egal was du da tust. Will man es performant haben ersetzt man die HDDs durch SSDs.
Nicht vergessen, dass da eine schnelle HDD vielleicht 200 IOPS schafft und eine schnelle SSD 2,5 Mio IOPS. Selbst eine lahme SATA SSD ist da 400x schneller als eine normale HDD. Willst du SSD-Performance brauchst du einfach SSDs, auch wenn das halt entsprechend kostet.

Du hast vermutlich "Proxmox + VMs" überlesen. Für die beiden Zwecke würden mir die 3 SSDs vermutlich reichen.

Ja, habe ich. Das kann man dann machen. Die 480GB Kapazität sind aber echt nicht viel, je nachdem was du für VMs nutzen willst. Nicht vergessen, dass du einen ZFS Pool nicht über 80% füllen solltest. Sind dann eher noch so 375GB für VMs über bzw noch viel weniger wenn du auch mit Snapshots arbeiten willst.

 

[Meisterzunge]

Ok, dann tausche ich meine 3 x 240gb SSDs noch mal um und hole mir stattdessen zwei weitere 2TB SSDs. Dass habe ich insgesamt 3 x 2TB SSDs für folgende Konfiguration:

• System (Proxmox, VMs, spezielle Daten)
  3 x 2TB SSD als RaidZ1
• Langsame Daten (Backups, allgemeine Daten)
  6 x 4TB HDD als RaidZ1

Vom Speicherplatz dürfte mir das reichen.

Jetzt kaufe ich mir vorerst einfache SSDs (klick) die (zumindest laut Datenblatt) kein PLP haben. Zwei Fragen:

• Wie regelmäßig sollte ich SSD Festplatten austauschen? Meine SATA Festplatten hatte ich etwa alle 5 Jahre gewechselt.
• Ich wollte mir sowieso eine USV anschaffen. Da die SSDs keine PLP haben wäre das sicher Sinnvoll. Richtig?

 

[Falk R.]

• Wie regelmäßig sollte ich SSD Festplatten austauschen? Meine SATA Festplatten hatte ich etwa alle 5 Jahre gewechselt.

Wenn sie Kaputt gehen oder SMART schon diverse Fehler anzeigt.

• Ich wollte mir sowieso eine USV anschaffen. Da die SSDs keine PLP haben wäre das sicher Sinnvoll. Richtig?

USV ist Sinnvoll, aber hat NULL mit PLP zu tun. Die PLP bei SSDs puffert strom um den DRAM Cache bei plötzlichem Stromverlust auf die Zellen schreiben zu können. Deshalb haben SSDs mit PLP einen DRAm Cache und können optimiert die Zellen beschreiben und SSDs ohne PLP nutzen ihre Tripple oder Quad Zellen als Single Zellen um zu cachen, aber dann müssen die Daten nachher wieder auf andere Zellen umkopiert werden. Deshalb ist da so ein großer Schreibimpact.

 

[Meisterzunge]

Das stimmt, USV != PLP, aber wenn die USV beim Stromausfall solange überbrückt, bis der Server runtergefahren ist (so würde ich ihn gerne konfigurieren), dürfte ich ja keine Probleme bekommen..

 

[Dunuin]

Bei der PLP geht es aber darum, dass dann deine SSD Faktor 100 oder so schneller bei Sync Writes ist. Das hast du nur mit SSDs mit eingebauter PLP, nicht bei einer consumer SSD an einem UPS.