ZFS für pbs (ssd-mirror und hdd-raid10)

[bom]

Moin,

nach entsprechender Recherche habe ich folgenden Aufbau für den PBS angedacht, bis ein besser passendes System angeschafft werden kann. So wird er erstmal eine Weile "halten" denke ich.

Habe folgende grundsätzliche Informationen dazu:

• special device sollte 2% pro TB haben
• Pro TB Storage 1GB RAM als Cache

Diese Hardware, die wir tatsächlich zufällig genau so noch rumliegen haben, sollte dann ja genau passen:
12x 4TB SAS für Raid 10 = 24 TB
2x 480 GB SSD als special device (2%)
32 GB RAM (24GB für ARC max size, 8GB für System)

Ist das so weit ok?

Letztlich stellt sich mir dann noch die Frage, wo ich nun am besten die 32GB für das System des pbs abziehe. Das könnte ich ja vom SSD-mirror oder dem Raid 10 machen. Wo nimmt er sich denn eigentlich die 32GB im Raid10 weg - über alle Platten, oder nur vom ersten Mirror im R10?

LG
bom

 

[mgabriel]

Ist das so weit ok?

Ja, das sollte so reichen. Bitte unbedingt darauf achten, dass es Enterprise SSDs sind.

Letztlich stellt sich mir dann noch die Frage, wo ich nun am besten die 32GB für das System des pbs abziehe. Das könnte ich ja vom SSD-mirror oder dem Raid 10 machen. Wo nimmt er sich denn eigentlich die 32GB im Raid10 weg - über alle Platten, oder nur vom ersten Mirror im R10?

Bei der Installation des PBS kannst du auswählen, auf welche Platten das System geschrieben wird - ob auf alle oder nur den ersten Mirror oder die SSDs. Unter Optionen muss die Größe - egal bei welchen Devices - auf 32 GB eingestellt werden, damit auf den Devices noch Platz für den Datastore oder für den Special Device Mirror bleibt.

Ich würde vermutlich das OS auf die SSDs installieren, womit dir dann weniger als die 480 GB übrig bleiben. Unsere Erfahrungen zeigen, dass die 2% hoch angesetzt sind und nur dann benötigt werden, wenn man zusätzliche zu den Pool-Metadaten auch noch kleine Dateien darauf ablegt. Wenn die Special Devices volllaufen passiert nicht viel, ausser dass neue Daten auf den langsameren Pool geschrieben werden. Das verlangsamt dann die ops natürlich, endet aber nicht Datenverlust oder Ähnlichem.

 

[bom]

Klasse, vielen Dank!

 

[news]

Wie soll den der ZFS Pool, aus den 12x 4TB, genau erstellt werden?

Auch würde ich über einen ZFS ZIL/SLOG nachdenken.
Hier können für 5 Sekunden der Netzwerkverkehr gespeichert werden. Danach werden die Daten auf die HDD geschrieben.

Der könnte mit 16 GB, als mindestens ZFS Mirror (Raid1) auf SSD oder NVMe mit PLC erstellt werden.
Den kann man einfach auch nachträglich hinzufügen und auch wieder entfernen.

Mehr dazu:
# https://www.truenas.com/docs/references/zilandslog/
# https://www.truenas.com/blog/o-slog-not-slog-best-configure-zfs-intent-log/

 

[bom]

Wie soll den der ZFS Pool, aus den 12x 4TB, genau erstellt werden?

Würde den stumpf über das GUI als raid 10 anlegen...

Deine Links muß ich mir erstmal durchlesen

 

[mgabriel]

Auch würde ich über einen ZFS ZIL/SLOG nachdenken.
Hier können für 5 Sekunden der Netzwerkverkehr gespeichert werden. Danach werden die Daten auf die HDD geschrieben.

Für einen PBS bringt ein SLOG keine relevante Verbesserung.