Mehrere ZFS Pools

[Haithabu84]

Hallo,

mal eine generelle Frage: Bringt es irgendeinen Profit, oder vielleicht sogar einen Nachteil, wenn man Proxmox in einem rpool Mirror installiert und dann einen separaten Pool nur für die Container/VMs?

Mein Plan:

2x240Gb ZFS Mirror für Proxmox
4x960Gb ZFS Raid10 für VM + 400Gb SAS SSD SLOG und L2ARC

Ist die RAM-Auslastung höher? Für SLOG oder L2ARC müssten dan folglich extra Partitionen für jeden Pool existieren, richtig? Oder kann man ein und dieselbe SLOG-Partition mehreren Pools zuordnen? Bei zusätzlichen SLOG sagt man, ungefähr die Hälfte des Arbeitsspeichers als Richtwert, gilt das dann weiterhin?

Gruß

 

[LnxBil]

Ist die RAM-Auslastung höher?

Du hast einen ARC, also nein - natürlich hast du pro Pool gesehen weniger, denn jeder Pool schreibt Informationen in den ARC.

Für SLOG oder L2ARC müssten dan folglich extra Partitionen für jeden Pool existieren, richtig?

Ja, du benötigst extra Partitionen, wenn du diesen Weg gehen möchtest. Generell wird das nicht empfohlen, da getrennte Geräte (für SLOG sogar gespiegelt) besser geeignet. Warum du für das System überhaupt L2ARC willst weiß ich nicht. Das Beschneidet dein System enorm.

Oder kann man ein und dieselbe SLOG-Partition mehreren Pools zuordnen?

Nein.

Bei zusätzlichen SLOG sagt man, ungefähr die Hälfte des Arbeitsspeichers als Richtwert, gilt das dann weiterhin?

Nein, SLOG speichert nur die letzten 5 Sekunden (es sei denn du änderst den Wert) an Commits und somit brauchst du meistens nie mehr als 5 GB und das rechnet mit 1 GB/sec Schreiblast.

Bringt es irgendeinen Profit, oder vielleicht sogar einen Nachteil, wenn man Proxmox in einem rpool Mirror installiert und dann einen separaten Pool nur für die Container/VMs?

Nachteil auf jeden Fall:
- Teilen der ARC Performance
- Belegen von zwei extra Slots/Steckplätzen/Ports für ein rein OS-Mirror Pool
- Performance des Gesamtsystems wäre höher wenn du Anstelle von 2x2 + 4x2 disks gleich auf 6x2 Disks gehen würdest.

 

[hackmann]

Hallo,

ich denke, da gibt es keine generelle Antwort.
Da wirst du alles Testen müssen.

Seit ca. 3 Jahren setzte ich ZFS ein, zwar in einem kleinen Netzwerk, aber so langsam habe ich den Dreh raus, wie man dass ganze "je nach Netzwerk" aufbauen kann/könnte, dass ganze über NFS gesichert oder per Snapshot, wobei die automatisierung noch immer nicht will, wie ich es haben möchte.

Zumal die Hardware nicht erwähnt wurde und welche Anforderungen gegeben sind.

liebe grüsse

 

[fireon]

mal eine generelle Frage: Bringt es irgendeinen Profit, oder vielleicht sogar einen Nachteil, wenn man Proxmox in einem rpool Mirror installiert und dann einen separaten Pool nur für die Container/VMs?

Ich sehe hier einen Vorteil. Wir machen das immer so. Proxmox kommt auf 2 SSD's. Dort läuft nur Proxmox sonst nichts. VM's und CT's und auch Daten kommen auf nen extra Pool. z.B 10x 900GB SSD's im Raid10. Somit ist das getrennt und im Fehlerfall kann man leichter agieren. Auch ein Austausch oder ein hinzufügen von weiteren Datenspeichern ist einfacher, da man immer gleich das ganze Medium dem Pool hinzufügt und die nicht auch noch extra partitionieren muss.

 

[Haithabu84]

Ich sehe hier einen Vorteil. Wir machen das immer so. Proxmox kommt auf 2 SSD's. Dort läuft nur Proxmox sonst nichts. VM's und CT's und auch Daten kommen auf nen extra Pool. z.B 10x 900GB SSD's im Raid10. Somit ist das getrennt und im Fehlerfall kann man leichter agieren. Auch ein Austausch oder ein hinzufügen von weiteren Datenspeichern ist einfacher, da man immer gleich das ganze Medium dem Pool hinzufügt und die nicht auch noch extra partitionieren muss.

Ich werde es wohl auch so machen. Vor allem sehe ich problematisch, dass bei einem Fehlerfall, ebenfalls das OS betroffen wäre. Ganz simpel: Sollte mal der komplette Pool abschmieren, warum auch immer, müsste ich bevor ich ein Backup der VM/CT zurückspielen kann... erstmal eine komplette Neuinstallation fahren. Im Fehlerfall will man sich die Zeit am besten sparen.

Ich habe meine Nodes jetzt auf 64Gb RAM aufgerüstet. Sollte also genügend Ressourcen haben. Zur Not kann ich ja, den ARC vom rpool weniger RAM zuweisen.

 

[fireon]

Ich habe meine Nodes jetzt auf 64Gb RAM aufgerüstet. Sollte also genügend Ressourcen haben. Zur Not kann ich ja, den ARC vom rpool weniger RAM zuweisen.

Ja würd ich auf jeden Fall begrenzen. Ansonsten wird die Hälfte reserviert. Hab hier bei mir 8GB.

 

[Haithabu84]

Ja würd ich auf jeden Fall begrenzen. Ansonsten wird die Hälfte reserviert. Hab hier bei mir 8GB.

Wäre jetzt auch nicht so schlimm, wenn die 32Gb reserviert werden. Die restlichen 32Gb Ram reichen für meine virtuellen Maschinen und Container alle Mal.

 

[LnxBil]

Vor allem sehe ich problematisch, dass bei einem Fehlerfall, ebenfalls das OS betroffen wäre. Ganz simpel: Sollte mal der komplette Pool abschmieren, warum auch immer, müsste ich bevor ich ein Backup der VM/CT zurückspielen kann... erstmal eine komplette Neuinstallation fahren. Im Fehlerfall will man sich die Zeit am besten sparen.

Daher hat man ein ZFS backup auf einem anderen ZFS (mittels send/receive), sodass man einfach die Richtung austauschen muss und schon hat man wieder ein funktionsfähiges System.

 

[Haithabu84]

Habe es jetzt mal so gemacht und bisher muss ich sagen, läuft es auch ohne SLOG ganz passabel. Also zwei 240Gb SSD im Mirror für den rpool und dann noch einen spool mit Raid10 bestehend aus vier SSD. Letzterer Pool ist für VM und Container.

So ist man auch flexibel wenn man mal ein anderes Setting mit ZFS für die Daten fahren möchte. Proxmox bleibt dann einfach weiterhin auf seinem rpool und ich kann währenddessen einfach mal den Daten-Pool auseinander reißen, ohne Neuinstallation.