Optimale Laufwerksnutzung für PVE und TrueNAS

felix.steinbeis

New Member
Jan 24, 2023
22
4
3
Hallo zusammen,

jetzt habe ich schon so viel zur optimalen Laufwerksnutzung, ZFS & Co. gelesen, habe aber immer noch einige Fragen an die Profis hier. Ich hoffe, ihr könnt mir helfen.

Ich habe einen Server mit i3-9100F und 64 GB ECC Ram (Supermicro X11SCL-iF). Verbaut sind
  • 1 x 250 GB M.2 NVMe (WD Red SN700)
  • 2 x 500 GB SSD (Kingston DC500M)
  • 2 x 2000 GB SSD (Kingston DC500M)
Die Kingstons SSDs sollen jeweils redundant betrieben werden. Auf den 500 GB würde ich, wenn sinnvoll (?), PVE, Container und VMs (einschl. der TrueNAS VM) laufen lassen wollen. Auf den 2000 GB sollen ausschließlich die Fileserver-Daten von TrueNAS liegen. Die zwei 500 GB SSDs möchte ich per Drive-passthrough an die TrueNAS VM durchreichen. Einen extra HBA habe ich nicht, so dass ich die Onboard-SATA-Schnittstelle des Intel C242-Chipsatzen nutzen möchte.

Nun zu meinen Fragen:
  • Welches Dateisystem mit welchen Einstellungen empfehlt ihr mir für die 500 GB und 2000 GB SSDs?
  • Wieviel RAM sollte ich für ZFS reservieren?
  • Wie kann ich die 250 GB M.2 NVMe sinnvoll nutzen und mit welchen Einstellungen?
  • Kann ich PBS sinnvoll nutzen, um auf dem System selbst (unter Verzicht auf Speicherplatz) und in der Cloud Backups abzulegen?
Passt das System als Ganzes oder liegt etwas völlig daneben?

Danke Euch vielmals.

Viele Grüße
Felix
 
Last edited:
Die zwei 500 GB SSDs möchte ich per Drive-passthrough an die TrueNAS VM durchreichen.
Meinst du nicht die beiden 2TB SSDs?
Welches Dateisystem mit welchen Einstellungen empfehlt ihr mir für die 500 GB und 2000 GB SSDs?
Gar keines. Für die 500GB ZFS was sein eigenes Dateisystem ist.
Und die 2TB SSD unpartitioniert in die TrueNAS VM per Disk Passthrough durchreichen und dann von TrueNAS als ZFS partitionieren lassen.

Wieviel RAM sollte ich für ZFS reservieren?
Je mehr desto besser. Der TrueNAS VM würde ich schon mindestens 16GB RAM verpassen. ZFS für den PVE host sollten auch 4GB für den ARC reichen.

Wie kann ich die 250 GB M.2 NVMe sinnvoll nutzen und mit welchen Einstellungen?
Wüsste ich jetzt keinen sinnvollen nutzen für. Zu klein für Backups. Nicht redundant und weniger verlässlich als die anderen SSD, dass die Daten auf anderen SSD immer besser aufgehoben wären. Würde ich ausbauen zum Strom sparen.
Kann ich PBS sinnvoll nutzen, um auf dem System selbst (unter Verzicht auf Speicherplatz) und in der Cloud Backups abzulegen?
PBS nutzt keine Backup Archive und hat keinen Cloud-Support. Man kann seine PBS Backups also nicht einfach in die Cloud syncen.
Und TrueNAS Daten backuppen wird auch schwierig, da man bei TrueNAS ja wegen Appliance nichts selbst inatallieren soll, wo dann der Proxmox Backup Client nötig wäre.
Außerdem sollten Backups nicht auf den selben Disks liegen wie deine Daten/Gäste.
 
Hallo Dunuin,

vielen Dank für Deine Antworten. Ein paar Fragen haben sich jetzt noch ergeben. :)

Meinst du nicht die beiden 2TB SSDs?
Das stimmt. Ich meinte die 2TB SSDs.

Gar keines. Für die 500GB ZFS was sein eigenes Dateisystem ist.
Und die 2TB SSD unpartitioniert in die TrueNAS VM per Disk Passthrough durchreichen und dann von TrueNAS als ZFS partitionieren lassen.
Gibt es etwas Besonderes zu beachten, z.B. für Snapshots? Welche ashift size sollte ich verwenden?
Sollte ich bei der o.g. Hardware als auch in der TrueNAS-VM Deduplizierung und Kompression nutzen? Wenn Kompression, welchen Algorithmus und ggf. Level wäre empfehlenswert?

Wüsste ich jetzt keinen sinnvollen nutzen für. Zu klein für Backups.
Würde es Sinn machen, die 250 GB M.2 NVMe z.B. durch eine 1 TB M.2. NVMe zu ersetzten, um über PBS die Container und VMs der 500 GB SSDs zu sichern? Gibt es Optionen die 250 GB vielleicht als Cache (für was?) einzusetzen?


Danke sehr und viele Grüße
Felix
 
Gibt es etwas Besonderes zu beachten, z.B. für Snapshots?
Ich würde Snapshots nicht länger als einige Tage behalten. Die werden je größer, desto älter sie sind. Wenn sich deine Daten viel verändern, dann kann so ein Snapshot schnell das vielfache der Größe der eigentlichen aktuellen Daten betragen. Für alles was du wöchentlich/monatlich/jährlich sichern willst würde sich PBS eher anbieten. Snapshots machen eher mit einem Script wie cv4pve-autosnap Sinn, was die z.B. stündlich erstellt und dann nach 2 Tagen oder so automatisch wieder löscht.
Welche ashift size sollte ich verwenden?
Würde ich 12 wählen.

Sollte ich bei der o.g. Hardware als auch in der TrueNAS-VM Deduplizierung und Kompression nutzen?
Deduplizierung macht selten Sinn, wenn du nicht gerade eine Datenbank hast die immer wieder die selben Einträge speichert oder ähnliches. Außerdem braucht Deduplikation zusätzliche 5GB RAM je 1TB Daten.
LZ4 Kompression schadet selten und ist daher auch standardmäßig aktiviert. Solange man nicht NVMe SSDs benutzt oder die CPU grottig langsam ist, würde ich das immer anlassen.
Wenn Kompression, welchen Algorithmus und ggf. Level wäre empfehlenswert?
Entweder LZ4 oder ZSTD. ZSTD wäre aber eher was fürs Datengrab, da es massiv die CPU auslastet und auvh schnell mal SSDs ausbremsen kann.
Ich nutze ZSTD nur in wenigen gezielten Fällen. Hast du große Datenmengen, dann sind das eh meist Videos, Fotos, Musik oder ähnliches, was bereits komprimiert gespeichert ist und dann Blocklevel Kompression oben drauf kaum Mehrwert bringt. Und Dinge wie Textdateien und Co, welche sich gut komprimieren lassen würden, sind eh so winzig, dass die auch unkomprimiert nicht viel Platz wegnehmen.
Da tut es dann normal auch LZ4. Da hat man wenigstens keine nennenswerten Performanceeinbußen oder zusätzliche Hardwareauslastung.

Würde es Sinn machen, die 250 GB M.2 NVMe z.B. durch eine 1 TB M.2. NVMe zu ersetzten, um über PBS die Container und VMs der 500 GB SSDs zu sichern?
Ja, für Backups sollte man schon seine eigene Disk haben. Ob 1TB dir reichen musst du wissen. Aber Deduplikation von PBS sollte das schon für einige Backups je VM/LXC reichen.
Gibt es Optionen die 250 GB vielleicht als Cache (für was?) einzusetzen?
Kannst du prinzipiell als SLOG oder L2ARC nehmen. Macht meiner Meinung nach aber keinen Sinn. SLOG würde nur Sinn machen, wenn du viele Sync Writes hast und deine SLOG disk schneller als deine Datendisks sind (und deine 250GB Consumer SSD ist lahm für Sync Writes). Außerdem killt ein SLOG solch billige SSDs in Null-Komma-Nichts.

Und L2ARC macht nur selten Sinn. Es wird generell erst zu L2ARC geraten wenn man schon das maximale an RAM verbaut hat und eine bestimmte Anwendung trotzdem noch mehr Read Cache braucht. Auch macht L2ARC keinen Sinn, wenn deine L2ARC nicht schneller als deine Datendisk ist.
Je mehr L2ARC du benutzt, desto mehr RAM wird verbraucht, den man besser für viel schnelleren ARC nutzen könnte.
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!