Empfehlung L2ARC mit viel RAM ?

[crmspezi]

Hallo zusammen,
in einem PVE sind 5x Exos X16 im ZFS Raid10 + Spare und 5x SSD im ZFS Raid10 + Spare. Der Host hat 384GB RAM und meist noch 150GB RAM frei.

Die zfs Cache sind wie folgt gesetzt:

options zfs zfs_arc_min=8589934592
options zfs zfs_arc_max=68719476736
options zfs l2arc_noprefetch=0

Der Host ist schon sehr performant. Viele "Wald und Wiesen" VM's sind auf dem HDD Raid10 ZFS. Beim harten Abschalten einer wichtigen Windows VM, die auf den HDD's läuft und ca. 64GB RAM zugeordnet bekommen hat, dauert der Bootprozess inkl. Login schon lange.

Nun meine Frage:
Bringt mir ein L2ARC Cache von 400GB mit einer Enterprise SSD hier was? Meiner Meiner nach legt dann ZFS die häufig gelesenen Daten im L2ARC ab wenn diese nicht mehr in den ARC passen. Ich möchte allerdings auch nicht die Begrenzung des ARC (hier 64GB) aufheben.

Was meint ihr dazu?

VG crmspezi

 

[H4R0]

L2ARC macht nur bei NVME/Optane sinn, relevant sind die IOPS.

PVE kommt nun mit permanenten L2ARC dank ZFS 2.0

 

[Dunuin]

WAs ich mich da frage...warum nicht die ungenutzten 150GB RAM für den ARC nutzen? ARC ist ja immer besser als L2ARC und den RAM ungenutzt lassen ist ja auch Verschwendung.

 

[crmspezi]

WAs ich mich da frage...warum nicht die ungenutzten 150GB RAM für den ARC nutzen? ARC ist ja immer besser als L2ARC und den RAM ungenutzt lassen ist ja auch Verschwendung.

Weil ich den restlichen RAM für weitere VM's gern verwenden würde. Ich rede nur vom L2ARV für die HDD's, nicht SDD's.

 

[crmspezi]

L2ARC macht nur bei NVME/Optane sinn, relevant sind die IOPS.

PVE kommt nun mit permanenten L2ARC dank ZFS 2.0

Wieso nur Opane? Im Vergleich zu HDD ist eine normale Enterpreis SSD am SATA Anschluss doch auch viel schneller. Wie gesagt kein ZIL, nur L2ARC. Bitte hier nochmal mir das erklären. Danke.

Wie meist Du den 2. Satz? ZFS2.0 ? PVE lebt vom 0.8.x ?

 

[Dunuin]

Wie meist Du den 2. Satz? ZFS2.0 ? PVE lebt vom 0.8.x ?

Inzwischen ist PVE von 0.8.x auf 2.0 gewechselt.

Weil ich den restlichen RAM für weitere VM's gern verwenden würde. Ich rede nur vom L2ARV für die HDD's, nicht SDD's.

Wenn ich das richtig verstanden habe macht ZFS automatisch den RAM wieder frei, falls eine VM den RAM besser gebrauchen könnte. Halt wie beim Page File Cache von Linux, wo ja Linux auch den RAM immer auf 100% auslastet und zur Not schnell wieder Freischaufeln kann. "zfs_arc_max" sollte sich dann schon noch um 150GB oder so anheben lassen, solange du da "zfs_arc_min" nicht mit anhebst, dass da ZFS den ARC bis runter zum "zfs_arc_min" wieder freischaufeln kann.

 

[crmspezi]

Inzwischen ist PVE von 0.8.x auf 2.0 gewechselt.

Wenn ich das richtig verstanden habe macht ZFS automatisch den RAM wieder frei, falls eine VM den RAM besser gebrauchen könnte. Halt wie beim Page File Cache von Linux, wo ja Linux auch den RAM immer auf 100% auslastet und zur Not schnell wieder Freischaufeln kann. "zfs_arc_max" sollte sich dann schon noch um 150GB oder so anheben lassen, solange du da "zfs_arc_min" nicht mit anhebst, dass da ZFS den ARC bis runter zum "zfs_arc_min" wieder freischaufeln kann.

Ich sehe das auch so. Bringt mir dann ein L2ARC wirklich absolut nicht's? Einen reboot des Hosts überlebt der ARC ja nicht.