Festplattenkonfiguration -//- zfs-RAID0 -//- EXT4

[proxspl]

Hallo zusammen,

ich gerade dabei einen neuen Server mit Proxmox VE 8.0 einzurichten.

Hinsichtlich des SpeicherSetting habe ich mich ein wenig mit den folgenden Optionen befasst:

• Hardware-RAID mit batteriegepuffertem Schreibcache (BBU)
• Nicht-RAID für ZFS

Grundsätzlich ist die zweite Option sinnvoller, zumindest so mein Fazit.

Meine Frage ist was man bei der Installation alles berücksichtigen sollte damit die angedachten Ziele realisierbar sind.

Kurz zu den Rahmenbedingungen: Ich verwende 4x 500GB SSD, die ich mit max. Leistung betreiben möchte. Redundanz spielt hier keine Rolle da ich mittels Proxmox PBS regelmäßige Backups plane. Somit möchte ich im Idealfall alle 4x SDD im zfs-RAID0 betreiben.

Sollte man bei der Installation des Proxmox Betriebssystem auch schon ZFS-Raid0 wählen und den Speicherplatz (-> Optionale Einstellungen) auf 50GB begrenzen, da hier nur das Betriebssystem liegen würde oder doch den „Standard“ wählen und im EXT4 Format auf einer der SSD Proxmox aufsetzen? Können einer der Option die spätere Einrichtung des ZFS-Pools (wo die VMs gespeichert werden) negativ beeinflussen oder unmöglich machen? In den meisten Install-Videos die ich mir angeschaut haben wird „ZFS-Raid0“ für die Installation des Betriebssystems nicht angewendet.

Vllt. hat sich jemand bei der Einrichtung der neuen Umgebung damit bereits konfrontiert Würde mich über euren Feedback sehr freuen!

Hier die Bsp.-Screenshots aus dem Installationsschritt mit der Festplatteneinrichtung ->

 

[news]

Welche SSDs kommen den zum Einsatz?

Sorry, das ist ein komplett falscher Ansatz ZFS Raid0 nutzen zu wollen.

Ich würde bei 4 SSDs zwischen ZFS RaidZ1 und RaidZ2 entscheiden.
Aber bei max 500 MByte/s ist die Schreibrate mit Consumer SSDs eher ca. 150 MByte/s bei RaidZ1 über alles.

Man denke immer daran das die Metadaten auch noch auf den Datenträger gespeichert werden müssen.

Wer mehr will, der kaufe Enterprice ca. 4 TB NVMe SSD und nutze dann mindestens ZFS Mirror, besser ZFS RaidZ1.

 

[news]

Mit EXT4 als Dateisystem kann man nicht mehr ZFS darauf nutzen oder von ZFS Polls sprechen.

Wo man nun seine Daten mit Hilfe von Proxmox speichert, hängt von der Konfiguration am.

Z.B. 2x NVMe SSD als ZFS Mirror für das Proxmox PVE, Debian 12 BS.
Witzig ist, man könnte mit einer NVMe SSD ZFS Raid0 für Proxmox PVE starten und beim laufenden Betrieb diese Disk als ZFS Mirror mit 2x NVMe SSD erweitern. Das geht.

So könnte man auch den reinen Datenspeicher für LXC und VM nur auf den SSDs, als ZFS RaidZ1, anlegen und damit arbeiten. Diesen Pool kann man erweitern nur einen weitern SSD Block der selben Topologie: ZFS RaidZ1.

Es gibt sehr viele Kombinationen, die sinnvoll sind. Nur ohne Redundanz ZFS Mirror oder RaidZn würde ich nicht arbeiten wollen.
Denn wenn man erst mal die Funktionalität von ZFS Snapshot verstanden hat, will man sie nicht mehr missen.

 

[Falk R.]

Hi, wenn das SATA SSDs sind und du einen Controller mit BBU hast, mach lieber ein Hardware RAID und installiere ganz normal auf ext4. Die VMs dann in den Thin Pool. Das performt mit günstigen SSDs am besten.

 

[news]

Als Verweis der Link zu einer weiteren Diskussion zum Themengebiet:
https://forum.proxmox.com/threads/brauche-ich-slog-l2arc.134928/

 

[proxspl]

Aus dem was ich jetzt gelesen habe sehe ich nun die folgende SSD – Lösung für den angedachten Einsatz:

1. Für OS: 2x kleine SSD im RAID-Z1 Modus. Z.B. Samsung PM883 Enterprise SSD 240GB.

2. Für ZFS-Pool: 1x oder 2x HDD/SSD sata oder NVMe mit ca. 2-4TB aus dem Enterprise Segment. Z.B. Kingston Data Centre DC500M Enterprise Solid-State-Laufwerk.

Falls jemand einen besseren Vorschlag zu den o.a. SSDs aus dem Preissegment hat bitte um Feedback.

Die 4x bestehenden „Consumer SSDs“ verwende ich dann für den PBS (Backup Server)

 

[Falk R.]

1. RAID-Z1 ist mit 1x parität quasi wie RAID 5 also besser Mirror
2. Die PM883 und PM893 bitte nicht für ZFS benutzen, da gibts derzeit Probleme
3. Wenn du die Wahl hast und NVMe stecken kannst, kein SATA benutzen.
4. eigentlich spricht ja nix gegen deinen RAID Controller mit BBU, was für einer ist das denn? Notfalls hilft der beim PBS ebenfalls, damit die kleinen SSDs schneller werden.

 

[proxspl]

Danke für den Hinweis zu PM883 und PM893!

Bzgl. der Konfiguration ist mein Favorit aktuell: RAID-Z1 Modus mit 3x Platten.

Eine „SSD NVMe“ würde hier leider nicht in Frage kommen, da ich nur 2x Steckplätze habe.

Evtl. 3x „Kingston Data Centre DC500M (SEDC500M/960G) Enterprise Solid-State-Laufwerkes -SSD 2.5” 960GB“ wären hier gut geeignet.

 

[proxspl]

Aus dem was ich jetzt gelesen habe sehe ich nun die folgende SSD – Lösung für den angedachten Einsatz:

1. Für OS: 2x kleine SSD im RAID-Z1 Modus. Z.B. Samsung PM883 Enterprise SSD 240GB.

2. Für ZFS-Pool: 1x oder 2x HDD/SSD sata oder NVMe mit ca. 2-4TB aus dem Enterprise Segment. Z.B. Kingston Data Centre DC500M Enterprise Solid-State-Laufwerk.

Falls jemand einen besseren Vorschlag zu den o.a. SSDs aus dem Preissegment hat bitte um Feedback.

Die 4x bestehenden „Consumer SSDs“ verwende ich dann für den PBS (Backup Server)

Ich habe mir gerade mehrere Vergleiche angeschaut bzgl.:

"3x SSD SATA im ZFS RAID-Z1" und "2x SSD NVMe im ZFS Mirror".

Insgesamt kann der Leistungsunterschied zwischen den beiden Konfigurationen je nach Anwendungsfall und Workload variieren. Wenn es um reine Leistung geht, könnten die NVMe-SSDs im ZFS Mirror-Modus eine bessere Wahl sein. Wenn jedoch eine höhere Fehlertoleranz und eine größere Kapazität wichtiger sind, könnte die Verwendung von drei SATA-SSDs im ZFS RAID-Z1-Modus sinnvoller sein.

 

[Falk R.]

Ich habe mir gerade mehrere Vergleiche angeschaut bzgl.:

"3x SSD SATA im ZFS RAID-Z1" und "2x SSD NVMe im ZFS Mirror".

Insgesamt kann der Leistungsunterschied zwischen den beiden Konfigurationen je nach Anwendungsfall und Workload variieren. Wenn es um reine Leistung geht, könnten die NVMe-SSDs im ZFS Mirror-Modus eine bessere Wahl sein. Wenn jedoch eine höhere Fehlertoleranz und eine größere Kapazität wichtiger sind, könnte die Verwendung von drei SATA-SSDs im ZFS RAID-Z1-Modus sinnvoller sein.

Du hast da keine höhere Toleranz. Drei langsame SATA Disks die durch die Write Amplification zusätzlich gestresst werden und RaidZ1 hast du 33% Schutz bei viel höherer Ausfallwahrscheinlichkeit. Die beiden NVMe im Mirror werden sich langweilen und du hast 50% Schutz.
RaidZ ist für Backups gut, aber VMs packe ich da nie drauf.

 

[proxspl]

Vielen Dank für die Feedbacks! Habe inzwischen PVE im zfs-raid1 auf 2xNVMe und PBS auf 4xSSD im zfs-raid-Z1. Läuft alles sehr gut inkl. der VM-Backups vom alten Node

 

[news]

zfs-raid1 gibts nicht.
Aus $ man zpool create

raidz, raidz1, raidz2, raidz3
             A variation on RAID-5 that allows for better distribution of par‐
             ity and eliminates the RAID-5 "write hole" (in which data and
             parity become inconsistent after a power loss).  Data and parity
             is striped across all disks within a raidz group.

             A raidz group can have single-, double-, or triple-parity, mean‐
             ing that the raidz group can sustain one, two, or three failures,
             respectively, without losing any data.  The raidz1 vdev type
             specifies a single-parity raidz group; the raidz2 vdev type spec‐
             ifies a double-parity raidz group; and the raidz3 vdev type spec‐
             ifies a triple-parity raidz group.  The raidz vdev type is an
             alias for raidz1.

             A raidz group with N disks of size X with P parity disks can hold
             approximately (N-P)*X bytes and can withstand P device(s) failing
             before data integrity is compromised.  The minimum number of de‐
             vices in a raidz group is one more than the number of parity
             disks.  The recommended number is between 3 and 9 to help in‐
             crease performance.

Du meinst evtl. eine zfs mirror:

mirror  A mirror of two or more devices.  Data is replicated in an iden‐
             tical fashion across all components of a mirror.  A mirror with N
             disks of size X can hold X bytes and can withstand (N-1) devices
             failing before data integrity is compromised.