Festplattenkonfiguration -//- zfs-RAID0

[proxspl]

Hallo zusammen,

ich gerade dabei einen neuen Server mit Proxmox VE 8.0 einzurichten.

Hinsichtlich des SpeicherSetting habe ich mich ein wenig mit den folgenden Optionen befasst:

• Hardware-RAID mit batteriegepuffertem Schreibcache (BBU)
• Nicht-RAID für ZFS

Grundsätzlich ist die zweite Option sinnvoller, zumindest so mein Fazit.

Meine Frage ist was man bei der Installation alles berücksichtigen sollte damit die angedachten Ziele realisierbar sind.

Kurz zu den Rahmenbedingungen: Ich verwende 4x 500GB SSD, die ich mit max. Leistung betreiben möchte. Redundanz spielt hier keine Rolle da ich mittels Proxmox PBS regelmäßige Backups plane. Somit möchte ich im Idealfall alle 4x SDD im zfs-RAID0 betreiben.

Sollte man bei der Installation des Proxmox Betriebssystem auch schon ZFS-Raid0 wählen und den Speicherplatz (-> Optionale Einstellungen) auf 50GB begrenzen, da hier nur das Betriebssystem liegen würde oder doch den „Standard“ wählen und im EXT4 Format auf einer der SSD Proxmox aufsetzen? Können einer der Option die spätere Einrichtung des ZFS-Pools (wo die VMs gespeichert werden) negativ beeinflussen oder unmöglich machen? In den meisten Install-Videos die ich mir angeschaut haben wird „ZFS-Raid0“ für die Installation des Betriebssystems nicht angewendet.

Vllt. hat sich jemand bei der Einrichtung der neuen Umgebung damit bereits konfrontiert. Würde mich über euren Feedback sehr freuen!

Hier die Bsp.-Screenshots aus dem Installationsschritt mit der Festplatteneinrichtung ->

 

[showiproute]

Ich persönlich wäre mit RAID 0 für das OS Sytem eher vorsichtig.
Wenn da eine der Platte ausfällt, ist der komplette Server futsch.

Mein Zugang wäre eher: PVE auf einer eigenständigen Platte zu installieren (ggf. RAID 1) und die anderen Platten in einem RAID Mode deiner Wahl laufen lassen.

 

[LnxBil]

In den meisten Install-Videos die ich mir angeschaut haben wird „ZFS-Raid0“ für die Installation des Betriebssystems nicht angewendet.

Das sollte also schonmal die Alarmglocken klingeln lassen.

Sollte man bei der Installation des Proxmox Betriebssystem auch schon ZFS-Raid0 wählen und den Speicherplatz (-> Optionale Einstellungen) auf 50GB begrenzen, da hier nur das Betriebssystem liegen würde oder doch den „Standard“ wählen und im EXT4 Format auf einer der SSD Proxmox aufsetzen?

Wenn man schon ZFS RAID0 will, dann natürlich für alles, sonst macht das ja keinen Sinn. Wenn du wenigstens das OS redundant willst, kannst du probieren ein RAIDz1 auf alle 4 Platten zu legen mit einer Größenbeschränkung, jedoch weiß ich nicht ob der Installer das zulässt. ZFS nur in Partitionen zu verwenden ist auch kein normaler Use-Case von ZFS und macht aus ZFS-sicht keinen Sinn. Daher weiß ich nicht ob das so im Installer implementiert wurde.

Ich verwende 4x 500GB SSD, die ich mit max. Leistung betreiben möchte.

Ich gehe von Consumer SSDs aus:

• wenn du ZFS willst -> dann ist es am besten, du schmeißt die alle weg und kaufst dir Enterprise SSDs, denn dort wirst du Leistung haben, mit Consumer SSDs wird das nichts, auch mit RAID0 nicht. Du wirst nur enttäuscht sein und den 12398723498. Post im Forum erstellen, warum dein ZFS so langsam ist.
• für mdadm-basiertes Software-RAID sind die noch zu gebrauchen mit ext4. Dafür musst du aber zuerst Debian installieren.

 

[showiproute]

Von Consumer SSDs kann ich dir aus persönlicher Erfahrung nur abraten, da ich diesen Fehler auch gemacht habe.
Ich habe mir damals auch "bessere" Consumer SSDs (Samsung NVMe Pro serie) für den Server gekauft, da ich damit gute Erfahrungen mit meinem Desktop gemacht habe.

Einerseits gehen die unter hoher Serverlast schnell in die Knie und andererseits verschleißen diese schnell.
Von günstigeren SSDs möchte ich gar nicht anfangen zu reden.

 

[proxspl]

Ich persönlich wäre mit RAID 0 für das OS Sytem eher vorsichtig.
Wenn da eine der Platte ausfällt, ist der komplette Server futsch.

Mein Zugang wäre eher: PVE auf einer eigenständigen Platte zu installieren (ggf. RAID 1) und die anderen Platten in einem RAID Mode deiner Wahl laufen lassen.

Klingt gut. Dann würde ich aber RAID10 (Striping + Mirroring) bevorzugen da ich in der Theorie alle 4 SSD einbeziehen kann. Frage ist, wenn ich bei der Einrichtung für diese Option nur 50GB einräume, kann ich später die restlichen 450GB von jeder der 4 Festplatten für mein ZFS-Pool einrichten?

Eine andere Option wäre eine SSD nur für OS zu nutzen (dann aber im EXT4 Format) und die restlichen 3x SSD als ZFS-Pool. Hier würde ich aber mindestens 450GB (der ersten SSD) verschwenden, da die für OS komplett belegt ist.

 

[showiproute]

Klingt gut. Dann würde ich aber RAID10 (Striping + Mirroring) bevorzugen da ich in der Theorie alle 4 SSD einbeziehen kann. Frage ist, wenn ich bei der Einrichtung für diese Option nur 50GB einräume, kann ich später die restlichen 450GB von jeder der 4 Festplatten für mein ZFS-Pool einrichten?

ZFS ist prinzipiell dafür gedacht, eine ganze Platte zu verwalten und nicht nur eine Partition.
Du könntest RAID10 auf einem ganzen ZFS Pool machen mit OS und in weiterer Folge den restlichen Platz für VMs nutzen.

 

[proxspl]

Aus dem was ich jetzt gelesen habe sehe ich nun die folgende SSD – Lösung für den angedachten Einsatz:

1. Für OS: 2x kleine SSD im RAID-Z1 Modus. Z.B. Samsung PM883 Enterprise SSD 240GB.

2. Für ZFS-Pool: 1x oder 2x HDD/SSD sata oder NVMe mit ca. 2-4TB aus dem Enterprise Segment. Z.B. Kingston Data Centre DC500M Enterprise Solid-State-Laufwerk.

Falls jemand einen besseren Vorschlag zu den o.a. SSDs aus dem Preissegment hat bitte um Feedback.

Die 4x bestehenden „Consumer SSDs“ verwende ich dann für den PBS (Backup Server)

 

[Dunuin]

1. Für OS: 2x kleine SSD im RAID-Z1 Modus. Z.B. Samsung PM883 Enterprise SSD 240GB.

Du meinst vermutlich einen Mirror. Raidz1 = Raid5 = min 3 Platten nötig.

Redundanz spielt hier keine Rolle da ich mittels Proxmox PBS regelmäßige Backups plane. Somit möchte ich im Idealfall alle 4x SDD im zfs-RAID0 betreiben.

Keine Redundanz heißt dann aber auch keine Bit Rot Protection. Ohne Spiegel oder Paritätsdaten sagt zur ZFS dann nur "Hallo, deine Dateien XYZ sind kaputt...kann leider nichts reparieren...".

Die 4x bestehenden „Consumer SSDs“ verwende ich dann für den PBS (Backup Server)

Ja, das wäre eine Option, außer du willst PBS ebenfalls mit ZFS laufen lassen, was das einzige Software-Raid ist was PBS offiziell unterstützt.
Könntest du dann ein Debian mit Mdadm Raid5 installieren und da dann PBS oben drauf.

1. Für OS: 2x kleine SSD im RAID-Z1 Modus. Z.B. Samsung PM883 Enterprise SSD 240GB.

2. Für ZFS-Pool: 1x oder 2x HDD/SSD sata oder NVMe mit ca. 2-4TB aus dem Enterprise Segment. Z.B. Kingston Data Centre DC500M Enterprise Solid-State-Laufwerk.

Du brauchst nicht zwingend extra Disks für das OS. Da würden es auch zwei Enterprise SSDs im Mirror für System+Gäste tun.

 

[proxspl]

Stimmt! Für den RAID-Z1 Modus werden 3x Platten notwendig. Ich denke dieser Modus wäre optimal für mich. Und ja, für OS benötigt man keine zusätzlichen SSDs – ich habe gerade in der virtuellen Umgebung getestet – zfs pool wird automatisch bei der Installation der OS erzeugt.

Jetzt muss ich mich nur für die passenden Enterprise-SSDs entscheiden, da es riesen Auswahl gibt

Für PBS werde ich dann, denke ich, genau so vorgehen - also auch zfs RAID-Z1 mit 3x SSDs.

 

[LnxBil]

Jetzt muss ich mich nur für die passenden Enterprise-SSDs entscheiden, da es riesen Auswahl gibt

Echt? Ich fand die Auswahl an Consumer SSD immer viel gigantischer.

Willst du neue kaufen oder gebrauchte?

 

[proxspl]

Vielen Dank für die Feedbacks! Habe inzwischen PVE im zfs-raid1 auf 2xNVMe und PBS auf 4xSSD im zfs-raid-Z1. Läuft alles sehr gut inkl. der VM-Backups vom alten Node