ZFS für pbs (ssd-mirror und hdd-raid10)

bom

New Member
May 3, 2024
11
1
3
Moin,

nach entsprechender Recherche habe ich folgenden Aufbau für den PBS angedacht, bis ein besser passendes System angeschafft werden kann. So wird er erstmal eine Weile "halten" denke ich.

Habe folgende grundsätzliche Informationen dazu:
  • special device sollte 2% pro TB haben
  • Pro TB Storage 1GB RAM als Cache

Diese Hardware, die wir tatsächlich zufällig genau so noch rumliegen haben, sollte dann ja genau passen:
12x 4TB SAS für Raid 10 = 24 TB
2x 480 GB SSD als special device (2%)
32 GB RAM (24GB für ARC max size, 8GB für System)

Ist das so weit ok?

Letztlich stellt sich mir dann noch die Frage, wo ich nun am besten die 32GB für das System des pbs abziehe. Das könnte ich ja vom SSD-mirror oder dem Raid 10 machen. Wo nimmt er sich denn eigentlich die 32GB im Raid10 weg - über alle Platten, oder nur vom ersten Mirror im R10?

LG
bom
 
Ist das so weit ok?
Ja, das sollte so reichen. Bitte unbedingt darauf achten, dass es Enterprise SSDs sind.

Letztlich stellt sich mir dann noch die Frage, wo ich nun am besten die 32GB für das System des pbs abziehe. Das könnte ich ja vom SSD-mirror oder dem Raid 10 machen. Wo nimmt er sich denn eigentlich die 32GB im Raid10 weg - über alle Platten, oder nur vom ersten Mirror im R10?
Bei der Installation des PBS kannst du auswählen, auf welche Platten das System geschrieben wird - ob auf alle oder nur den ersten Mirror oder die SSDs. Unter Optionen muss die Größe - egal bei welchen Devices - auf 32 GB eingestellt werden, damit auf den Devices noch Platz für den Datastore oder für den Special Device Mirror bleibt.

Ich würde vermutlich das OS auf die SSDs installieren, womit dir dann weniger als die 480 GB übrig bleiben. Unsere Erfahrungen zeigen, dass die 2% hoch angesetzt sind und nur dann benötigt werden, wenn man zusätzliche zu den Pool-Metadaten auch noch kleine Dateien darauf ablegt. Wenn die Special Devices volllaufen passiert nicht viel, ausser dass neue Daten auf den langsameren Pool geschrieben werden. Das verlangsamt dann die ops natürlich, endet aber nicht Datenverlust oder Ähnlichem.
 
  • Like
Reactions: bom
Wie soll den der ZFS Pool, aus den 12x 4TB, genau erstellt werden?

Auch würde ich über einen ZFS ZIL/SLOG nachdenken.
Hier können für 5 Sekunden der Netzwerkverkehr gespeichert werden. Danach werden die Daten auf die HDD geschrieben.

Der könnte mit 16 GB, als mindestens ZFS Mirror (Raid1) auf SSD oder NVMe mit PLC erstellt werden.
Den kann man einfach auch nachträglich hinzufügen und auch wieder entfernen.

Mehr dazu:
# https://www.truenas.com/docs/references/zilandslog/
# https://www.truenas.com/blog/o-slog-not-slog-best-configure-zfs-intent-log/
 
Auch würde ich über einen ZFS ZIL/SLOG nachdenken.
Hier können für 5 Sekunden der Netzwerkverkehr gespeichert werden. Danach werden die Daten auf die HDD geschrieben.
Für einen PBS bringt ein SLOG keine relevante Verbesserung.
 
  • Like
Reactions: Falk R.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!