ZFS special device / 75%

[sub2o5]

Hallo,

man liest immer wieder davon, dass ZFS das specialdevice nur zu 75% nutzt, man dies aber umstellen kann.
Da ich demnächst in das Limit laufe, würde ich diesen Wert gerne auf 85-90% erhöhen, da außer den Metadaten nichts auf den SSDs ist.

Ich finde aber nirgends eine Info, wo man dies umstellen kann.
Weder zfs get all, modinfo noch sysctl -a spuckten etwas aus.

Kann mir jemand weiterhelfen?

EDIT:

- Dass man die special-devices nicht mehr entfernen kann weiß ich.
- Dass man einen weiteren mirror / set hinzufügen kann (ähnlich wie RAID10) ebenfalls

aber kann man das specialdevice vergrößern (zum bestehenden Set größere Devices in den mirror hängen und die Alten nach dem Sync entfernen?)
oder ein weiteres, größeres mirrored vdev hinzufügen und das ursprüngliche special vdev entfernen?

Gruß
Stephan

 

[fireon]

Das es nur bis einem gewissen Punkt voll geschrieben wird höre ich zum Ersten mal. Bin aber bis jetzt auch noch niemals über die Größe gekommen. Du kannst natürlich das Special Device durch größere Speichereinheiten im Betrieb ersetzten. Geht sehr einfach. Device für Device. Ab besten vorher gleich Autoexpand aktivieren.
Näheres findest du in der Doku: https://deepdoc.at/dokuwiki/doku.php?id=server_und_serverdienste:linux_zfs

 

[sub2o5]

Beispiel hier: https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954

The metadata special device stops allocating more stuff when it is more than 75% full as well, though this can be tweaked. I’d be more comfortable around 10% +/-.

Das mit dem autoexpand klappt tatsächlich, ich hatte gestern auf einer Test-VM mal alle Varianten durchgespielt, autoexpand aber vergessen zu aktivieren. Nun klappt es. Wunderbar!
Also werde ich, wenn es eng wird, einfach 2x960gb datacenter als mirror hinzufügen und die beiden 480er rauswerfen.

Gibt es irgendwo Empfehlungen für ZFS-taugliche SATA-SSDs?

 

[Falk R.]

Als Special Device würde ich gebrauchte MU oder WI SSDs nehmen. Bei den üblichen Second Hand Händlern muss man etwas Glück haben. Günstige Angebote sind immer ganz schnell weg.

 

[sub2o5]

Gebraucht? Wieso nicht neu, gibt es da aktuell nichts brauchbares mehr?
Habe aktuell 2 Micron MLC 480GB (HP-Labeled) drin, die sollten recht viel halten, dafür halt "nur" 480GB ...

 

[Dunuin]

Das es nur bis einem gewissen Punkt voll geschrieben wird höre ich zum Ersten mal.

Also eines kann man wohl in der Konfig einstellen: https://openzfs.github.io/openzfs-docs/man/4/zfs.4.html#zfs_special_class_metadata_reserve_pct

zfs_special_class_metadata_reserve_pct=25% (uint)
Only allow small data blocks to be allocated on the special and dedup vdev types when the available free space percentage on these vdevs exceeds this value. This ensures reserved space is available for pool metadata as the special vdevs approach capacity.

Also special_small_blocks wird ignoriert sofern das Special Device 75+% gefüllt ist. Metadata geht dann aber scheinbar über 75% trotzdem noch.

 

[sub2o5]

Also eines kann man wohl in der Konfig einstellen: https://openzfs.github.io/openzfs-docs/man4/zfs.4.html#zfs_special_class_metadata_reserve_pct

Also special_small_blocks wird ignoriert sofern das Special Device 75+% gefüllt ist. Metadata geht dann aber scheinbar über 75% trotzdem noch.

Ah, das bringt Licht ins Dunkel! Da ich ja keine Small Blocks sondern wirklich nur Metadaten drauf habe, spielt das in diesem Fall keine Rolle.

 

[Falk R.]

Gebraucht? Wieso nicht neu, gibt es da aktuell nichts brauchbares mehr?
Habe aktuell 2 Micron MLC 480GB (HP-Labeled) drin, die sollten recht viel halten, dafür halt "nur" 480GB ...

Neu ist halt recht teuer und der Server ist ja auch nicht neu.

 

[Dunuin]

Und MLC findet man neu eigentlich auch nicht mehr. Alles TLC oder vereinzelt sogar schon QLC.

 

[sub2o5]

Neu ist halt recht teuer und der Server ist ja auch nicht neu.

Naja, in der Kiste stecken außerdem 8 Toshiba MG10ACA20TE und 2 PM9A3... auf ein paar Euro mehr kommt es jetzt auch nicht mehr an. ;-)

 

[sub2o5]

Und MLC findet man neu eigentlich auch nicht mehr. Alles TLC oder vereinzelt sogar schon QLC.

Das ist ärgerlich. Ich könnte evtl. noch an 2 860 PRO mit je 1TB kommen. 2% Wearout. Wäre evtl. noch eine Idee.
Nach meinen Erfahrungen mit den 870 EVO bin ich ein gebranntes Kind was die modernen "Billigspeicher" angeht.
Ja, war "natürlich" nur ein Firmwareproblem, aber wer garantiert, dass soetwas nicht nocheinmal auftritt.

Edit: Puh, die wenigen MLC-SSDs die es noch gibt sind ja einfach nur abartig teuer. 350-1000Euro ... da wird gebraucht ja doch plötzlich attraktiv.

 

[Falk R.]

Gerade wenn man Enterprise SSDs haben möchte.

 

[sub2o5]

Gerade wenn man Enterprise SSDs haben möchte.

Die PM9A3 (Datacenter) sind ja geradezu spottbillig.
Dürfte dann TLC sein?

Gut, meine erste SSD war SLC und sündhaft teuer, später dann MLC. TLC war dann schon wieder "neumodischer Kram für Consumer".

Aber ich schweife ab ... danke jedenfalls für eure Hilfe!