Vergleich ZFS mit RAID-10 vs. RAID-Z2 -- was wird empfohlen?

[whiterabbit]

Hallo .
Kürzlich ist wieder die Diskussion entflammt, welche Konfiguration im Zusammenhang mit einem ZFS-Pool denn nun empfohlen wird.
Konkret ist es bei uns so: Wir haben einen Server mit ordentlich Dampf (512 GB RAM, 2x16 Cores (64 virt) @2.3 GHz)

Dazu kommen 1.8 TB Server HDDs: SAS mit 10.000 Touren. Aus 4 dieser HDDs habe ich einen RAID-Z2-Pool erstellt, so dass ich effektiv mehr Speicherplatz rausgeholt habe als bei einem reinen RAID-10. Nun kam mal wieder die Frage auf, was performanter ist bzw was von offizieller Seite empfohlen wird: Ist das Setup so ok oder sollte ich lieber auf ein RAID-10 wechseln? Nicht, dass der Pool mit Z2 schnarchlangsam ist? Wie seht ihr das? @fireon meint: RAID-10; ich meinte bis gestern: RAID-Z2. Und wie seht ihr das?

Schöne Grüße.

 

[aaron]

Aus dem Kopf ohne Referenzen, mit einer Prise Salz und Daumen mal Pi:

Raid10: Schreibend verhalten sich die IOPS wie eine Festplatte pro Mirror VDEV. Lesend hat man mehr Performance passend zu der Anzahl an Festplatten.

Raidz: Verhält sich schreibend und lesend an den IOPS gemessen wie eine einzelne Festplatte die allerdings viel Bandbreite hat.

Ausfallsicherer ist eine Raidz2 Variante auch schon bei 4 HDDs weil 2 beliebige ausfallen können während bei einem Raid10 nur die zwei richtigen (1 pro mirror VDEV) ausfallen dürfen.

Aber wenn ihr eh noch am testen seid könnt Ihr ja auch mal mit FIO ein paar Benchmarks machen mit den zwei Setups und auch vergleichen inwiefern sich die Werte bei Sequentiellem und Random IO (lesend wie schreibend) unterscheiden.

 

[s.Oliver]

@whiterabbit
habt ihr getestet? welche werte habt ihr erzielt?

danke.

 

[whiterabbit]

Ich habe keinen Vergleich sondern es beim RAID-Z2 gelassen ... ein Grund war dabei aber auch, dass man dann ja effektiv mehr Speicherplatz hat als beim RAID-10.

 

[s.Oliver]

Ich habe keinen Vergleich sondern es beim RAID-Z2 gelassen ... ein Grund war dabei aber auch, dass man dann ja effektiv mehr Speicherplatz hat als beim RAID-10.

hmm... vlt. bin ich hitzegeschädigt, aber der unterschied für den verfügbaren speicherplatz sollte bei den beiden varianten doch sehr, sehr gering sein (also eigentlich gleich).
vom speed her wär meiner meinung nach das ZFS-RAID10 schneller, der rebuild deutlich schneller, allerdings ist das RAIDZ2 ausfallsicherer (unter allen umständen, weil eben 2 beliebige drives ausfallen dürfen und nicht "nur" die beiden "richtigen").

korrigier' mich gern, wenn ich falsch liege.

 

[ph0x]

Da bei Z2 zwei Platten für die Parität benötigt werden, bin ich da ganz bei dir. Verstehe auch nicht, wo da ein Vorteil sein soll.
Und bezüglich Ausfallsicherheit ... Wie wahrscheinlich ist es, dass drei Platten gleichzeitig ausfallen? Wenn, dann doch eher beim Resilvering und da hat 10 ja ganz klar die Nase vorn.

 

[whiterabbit]

Zufällig entdeckt ... passt gerade zum Thema:

https://wintelguy.com/zfs-calc.pl/?raidtype=RZ2&ndg=4&ng=2&zmd_chkbx=ZMD

 

[LnxBil]

Aus 4 dieser HDDs habe ich einen RAID-Z2-Pool erstellt, so dass ich effektiv mehr Speicherplatz rausgeholt habe als bei einem reinen RAID-10

Das ist Quatsch und eher das Gegenteil der Fall bei 4 Platten. Eine optimale Verteilung zu haben ist nicht garantiert und wahrscheinlich wirst du mehr Platz verbraten mit dem raidz2 über 4 Disks, denn das ist stark datenabhängig. Der stripped-mirror ist im best-case 4x schneller (IOPS lesen) als das raidz2.

Generell kann ich hier immer wieder die Bücher von Jude & Lucas empfehlen, dort wird das alles genau erklärt.

 

[whiterabbit]

hm, wenn das so ist, müsste ich 4 weitere Platten als stripped-mirror einbauen und alle VMs dorthin verschieben ... eine andere Möglichkeit gibt's nicht, oder?
Dass die Platten relativ schnell voll laufen (obwohl da gar nicht sooooo viele VMs laufen) habe ich auch bereits festgestellt. Über einen direkten Geschwindigkeitsvergleich kann ich nichts sagen, da ich bisher nur dieses eine ZFS-Setup laufen hatte...

 

[LnxBil]

hm, wenn das so ist, müsste ich 4 weitere Platten als stripped-mirror einbauen und alle VMs dorthin verschieben ... eine andere Möglichkeit gibt's nicht, oder?

Generell kannst du immer mittels send/receive deine Daten auf einen anderen ZFS-Pool umziehen und dann wieder zurück. Das würde ich dem Hinzufügen und später Löschen der vdevs immer vorziehen, da es sauberer ist.

 

[whiterabbit]

, da es sauberer ist.

... warum ist das sauberer? Wenn ich einen ganz neuen Pool erzeuge und die vdevs innerhalb der WebGUI umziehen lasse, ist es doch genauso sauber, oder??

 

[LnxBil]

... warum ist das sauberer? Wenn ich einen ganz neuen Pool erzeuge und die vdevs innerhalb der WebGUI umziehen lasse, ist es doch genauso sauber, oder??

Ja, das ist das gleiche. Ich habe dein Kommentar so interpretiert, dass du den stripped-mirror in den gleichen Pool hängen willst und danach die alten vdevs entfernen willst, das würde technisch nämlich auch gehen.

müsste ich 4 weitere Platten als stripped-mirror einbauen und alle VMs dorthin verschieben

... da stand nämlich nichts von neuem Pool.