SSD-Cache für sehr große Files

[TosH45]

Hallo Foristen,

Ich setze derzeit im produktiven Bereich einen Windows Server 2016 ein, der regelmäßig Image-Backups auf eine NAS schreibt. Es geht hierbei um eine Datenmenge von 480 GB. Auf der NAS besteht ein RAID 6 (6x4TB, EXT4), die Schreib-Performance liegt bei ca. 95 MB/s, die Anbindung erfolgt über 1 Gb/s. Die Zeitdauer liegt derzeit bei ca. 3-4h inklusive Verify.

Ich würde gern zukünftig das System ändern und insbesondere die Zeit des Backups verkürzen. Meine Vorstellung wäre, einen Proxmox-Server (64 GB ECC-RAM, EXX, Xeon E-23xx) mit ZFS aufzusetzen, wobei mir dann ein Array aus 2 Festplatten (z.Bsp. Ixos Pro 20 TB als ZF1) im Mirror reichen würde, es erfolgen zusätzlich ext. Backups. Die Anbindung würde dann über 10 Gb/s erfolgen. Damit wäre eine Schreibleistung von max. ca. 250 MB/s möglich. Für den File-Transfer würde ich mir eine NAS-VM installieren, zusätzlich würden noch mehrere Windows-VM laufen, die allerdings weniger Ressourcen benötigen.

Da ich die Geschwindigkeit der Backups in den Vordergrund stelle, könnte ich durch ein ausreichend dimensionierte NVME-SSD ( z.Bsp. Samsund 9A3, 1TB, als Mirror) das gesamte File a 480GB cachen? Oder wäre es sinnvoller, alternativ 4 Festplatte a 10TB in einem Raid 10 (ggf. ohne SSD-Cache) zu installieren?
MIt geht es also um einen Schreibcache für große Files. Ein LeseCache ist für mich weniger wichtig.

Für den Fall eines SSD-Cache: Erfolgt das dann als SLOG-Device, oder gibt es andere Optionen?

PS: Ich betreibe bereits einen schwachbrüstigen Proxmox, habe aber keine praktischen Erfahren mit ZFS und kann das aktuell noch nicht simulieren/testen.

-Tosh45-

 

[Dunuin]

ZFS hat nur 3 Caches:
1.) ARC: Read Cache im RAM
2.) L2ARC: Read Cache auf SSD
3.) SLOG: Write Cache aber nur für sync Writes. Deine Backups werden vermutlich async Writes sein, werden also nicht gecacht. Außer du erzwingst alle async Writes als sync Writes.

Einfach mehr HDDs wäre da also wohl vielversprechender. Was der Performance helfen würde wäre ein Mirror aus Special Device SSDs, dass da Metadaten auf die SSDs ausgelagert werden. Das würde besonders bei vielen kleinen Dateien helfen, wo das Daten-zu-Metadaten-Verhältnis kleiner ist und die HDDs schneller an den IOPS-Flaschenhals kommen.

 

[TosH45]

Vielen Dank für die Antwort. Da es bei mir um einzelne große Dateien geht, bietet das Special Device vermutlich keinen Vorteil.

Zum SLOG habe ich widersprüchliche Aussagen, bzw. nichts gefunden, ob große Dateien, Cachespeicher vorausgesetzt, dort vollständig gepuffert werden. Kann ich mit sync=always dies für große Dateien erzwingen?

 

[Dunuin]

ZFS arbeiet üblicherweise so:

1.) Async Writes:
ZFS schreibt alles in den RAM und typischer weise wird dann alle 5 Sekunden der Inhalt im RAM auf die Disks geschrieben.

2.) Sync Writes:
Sync writes dürfen nicht im RAM gecacht werden, da RAM flüchtig ist und beim Stromausfall die Daten weg wären. Was ZFS dann macht ist die Daten sowohl in den RAM als auch ins ZIL zu schreiben. Wenn man kein SLOG hat ist das ZIL auf den Daten-Disks. Sollte es dann zum Stromausfall kommen, dann wären die gecachten Daten im RAM zwar weg, aber die Daten im ZIL sind noch da, wo dann ZFS die Daten vom ZIL auf den Daten-Disks lesen und erneut richtig auf die Datendisks schreiben würde. Gibt es keinen Stromausfall wird garnichts vom ZIL gelesen sondern nur vom RAM. Das ZIL ist also eigentlich nur ein Backup vom RAM.
Und nutzt du ein SLOG, dann liegt das ZIL nicht mehr auf den Daten-Disks. sondern auf deiner SLOG SSD. Das Prinzip bleibt aber das gleiche.

 

[TosH45]

Das habe ich soweit verstanden. Aber heißt das jetzt, dass bei sync writes und einem SLOG mit 1TB ein File mit 500GB komplett in den Cache und erst danach auf das Plattenarray geschrieben wird?

 

[Dunuin]

SLOG ist nur Backup für RAM-Caching. Wenn du nicht 500GB freien RAM hast, dann wohl nicht.

 

[TosH45]

OK, Danke.