vDev mit 6HDD+2SSD. Was sind die möglichen Aufbauten

[Renegade33]

Moin,
so die Planung zu meinem ersten Proxmox System ist jetzt nahezu abgeschlossen.
Jetzt kommen wir zum letzten Punkt, bei dem ich noch einmal eure Geduld und euer Fachwissen brauche.

In den neuen Server kommen 6HDD und 2SSD als "Datengrab". Sprich die se Geräte werden für Die Datenhaltung der SMB-Freigaben genutzt.
Hauptsächlich sind es office-Dokumente, Pdf und Bilder. Also kaum größere Dateien. Ich sage mal 95% unter 10MB.

Hierzu kommen nach meinem bisherigem Wissensstand folgende mögliche Builds in Frage. In jedem Fall bilden die 2 SSD als Mirror ein "special device".
Die 6 HDD wie folgt:

1. 6 in 1 vDev Raidz2
2. 3 in 2 vDev Raidz1
3. 6 in 3x2 striped mirror aka Raid10

Vorteil von 1 die doppelte Parität, Nachteil die Zugriffsgeschwindigkeit
Vorteil von 2 schnellere Zugriffszeiten, aber nur einfache Parität bei gleichem Rohspeicherverlust
Vorteil von 3 noch schneller und leicht erweiter- bzw. reduzierbar, da zpool aus 3 vDevs. Aber nur einfache Parität bei großem Rohspeicherverlust


Hab ich das jetzt soweit richtig verstanden?


mfG
Da Rene

 

[UdoB]

1. 2 in 3 vDev Mirror
2. 6 in 3x2 Raid10

Das ist dasselbe, wenn ich deine Wortwahl richtig verstehe. Den Begriff Raid10 gibt es "offiziell" in ZFS gar nicht. Es gibt nur ein annähernd gleichwertiges "Striped Mirrors".

 

[UdoB]

Vorteil von 2 schnellere Zugriffszeiten, aber nur einfache Parität bei gleichem Rohspeicherverlust

Die absolute Zugrifsszeit ist identisch, vermutlich die der langsamsten Platte. Aber mit zwei statt einem vDev können zwei Zugriffe gleichzeitig verarbeitet werden, darum wird das System als Ganzes schneller.

 

[Renegade33]

Das ist dasselbe, wenn ich deine Wortwahl richtig verstehe. Den Begriff Raid10 gibt es "offiziell" in ZFS gar nicht. Es gibt nur ein annähernd gleichwertiges "Striped Mirrors".

Ich dachte es gibtRaid1 und den striped Mirror? Also Raid 1 und Raid 10.

Die absolute Zugrifsszeit ist identisch, vermutlich die der langsamsten Platte. Aber mit zwei statt einem vDev können zwei Zugriffe gleichzeitig verarbeitet werden, darum wird das System als Ganzes schneller.

Kann nicht auch ein Zugriff doppelt so schnell die Daten lesen?

Wie schaut es denn Bei Raidz1/2 und Mirrors beim Thema erweitern bzw. gegen größere Platten tauschen aus?

 

[UdoB]

Ich dachte es gibtRaid1 und den striped Mirror? Also Raid 1 und Raid 10.

Raid1 = klassisch ein Mirror.

Striped Mirror = mehrere "parallel" davon = Raid 10. Mit (fast) beliebig vielen solcher Pärchen.

Kann nicht auch ein Zugriff doppelt so schnell die Daten lesen?

Nach meinem besten Wissen und Gewissen: nein. Nicht in einem Lesevorgang. Das habe ich aber nie überprüft...

Wie schaut es denn Bei Raidz1/2 und Mirrors beim Thema erweitern bzw. gegen größere Platten tauschen aus?

Wir driften wieder in "den großen Rundumschlag" ab, das ist vielfach diskutiert worden.

Grundsätzlich kann man "schon immer" nur weitere vDevs hinzufügen. Daher stammt die Regel, dass man Mirrors/Raid10 immer paarweise erweitert, und RaidZ/RaidZ2 immer mit einem (möglichst) baugleichen RaidZ/RaidZ2.

Diese Faustregel brökelt gerade, ist aber noch noch nicht wirklich "für alle" verfügbar - https://github.com/openzfs/zfs/pull/12225

Austauschen von kleinen Platten gegen größere ging ebenfalls "schon immer"! Das muss man nur für alle Platten eines vDevs langsam/nacheinander tun und kommt dann in den Genuß der größeren Kapazität. Stolperfallen wie "falsche" Partitionen lassen sich in der Regel umgehen/umschiffen.

Viele Grüße

 

[Dunuin]

6 in 1 vDev Raidz2

6 in 3x2 Raid10

Dann müsstest du aber 3 SSDs nutzen als Tripple-Mirror, wenn du die Ausfallwahrscheinlichkeit nicht erhöhen willst. Fallen beide SSDs aus sind auch alle Daten auf den HDD weg. Oder eicht ja schon wenn nur eine ausfällt und die verbleibende dann einen Fehler hat.

Vorteil von 3 bessere Parität als 3, wenn es die richtigen Platten trifft und am schnellsten, was die Zugriffszeiten angeht Verlust wie 3 bei knapp 50%

Nein, 66% Verlust falls du 2 Vdevs aus je 3 Disks im Striped Mirror meinst.

 

[Renegade33]

Raid1 = klassisch ein Mirror.

Striped Mirror = mehrere "parallel" davon = Raid 10. Mit (fast) beliebig vielen solcher Pärchen.

Ja soweit klar, dachte beim stripped mirror ist das etwas anders aufgeteilt. Muss mir den wohl nochmal durchlesen.

Grundsätzlich kann man "schon immer" nur weitere vDevs hinzufügen. Daher stammt die Regel, dass man Mirrors/Raid10 immer paarweise erweitert, und RaidZ/RaidZ2 immer mit einem (möglichst) baugleichen RaidZ/RaidZ2.

Also kann ich den Raidz2 vDev nicht vergrößern, nur den zpool um ein weiteren erweitern. Also ein vDEv ist wenn erstellt nicht mehr änderbar. Soweit richtig?

Austauschen von kleinen Platten gegen größere ging ebenfalls "schon immer"! Das muss man nur für alle Platten eines vDevs langsam/nacheinander tun und kommt dann in den Genuß der größeren Kapazität. Stolperfallen wie "falsche" Partitionen lassen sich in der Regel umgehen/umschiffen.

Also Platte für Platte resilvern lassen und wenn alle durch sind, steht der volle Speicher zur Verfügung?

Dann müsstest du aber 3 SSDs nutzen als Tripple-Mirror, wenn du die Ausfallwahrscheinlichkeit nicht erhöhen willst. Fallen beide SSDs aus sind auch alle Daten auf den HDD weg. Oder eicht ja schon wenn nur eine ausfällt und die verbleibende dann einen Fehler hat.

Du redest jetzt vom special device oder? Da ist mir schon klar, dass ich nur einfache Parität habe.

Nein, 66% Verlust falls du 2 Vdevs aus je 3 Disks im Striped Mirror meinst.

Nein meine 2 Platten jeweils in insgesamt 3 vDevs. Daher 2x3. Quasi Raid10. Da habe ich ca 50% Verlust und einfache Parität.

 

[Dunuin]

Also kann ich den Raidz2 vDev nicht vergrößern, nur den zpool um ein weiteren erweitern. Also ein vDEv ist wenn erstellt nicht mehr änderbar. Soweit richtig?

Ja, außer du tauscht ALLE Disks durch größere aus oder hängst ein weitereres Vdev dran.

Also Platte für Platte resilvern lassen und wenn alle durch sind, steht der volle Speicher zur Verfügung?

Genau.

Du redest jetzt vom special device oder? Da ist mir schon klar, dass ich nur einfache Parität habe.

Ja, Special Device. Bei Raidz2 würde man drei SSDs in einen Mirror packen, weil das Special Device sonst das schwächste Glied in der Kette wäre.

Nein meine 2 Platten jeweils in insgesamt 3 vDevs. Daher 2x3. Quasi Raid10. Da habe ich ca 50% Verlust und einfache Parität.

Das ist doch dann ein normaler Striped Mirror aka Raid10. Wo ist dann der unterschied zu "3.) 2 in 3 vDev Mirror"? Ich dachte das sollte auch ein Raid10 sein.

 

[Renegade33]

Ja, außer du tauscht ALLE Disks durch größere aus oder hängst ein weitereres Vdev dran.

also Plattenanzahl bleibt immer fix.

Das ist doch dann ein normaler Striped Mirror aka Raid10. Wo ist dann der unterschied zu "3.) 2 in 3 vDev Mirror"? Ich dachte das sollte auch ein Raid10 sein.

Ja da wurde ich schon korrigiert. Es sind eigentlich nur 3 Möglichkeiten. Hab es gerade korrigiert.

6 Raidz1/2
3+3 Raidz1
2+2+2 striped mirror

Wobei nur Raidz2 doppelte Parität hat.
Wenn an meinem zpool ein special device hängt und das flöten geht sind alle meine Daten weg???

 

[Dunuin]

6 Raidz1/2
3+3 Raidz1
2+2+2 striped mirror

Wobei nur Raidz2 doppelte Parität hat.

Genau. Deshalb dachte ich du meinst zwei 3-Disk-Mirrors im Stripe (nach deinem Schema "3+3 Mirror"). Weil das wäre dann auch ein Raid10 aber hätte doppelte Parität, aber dafür dann halt auch nur 33% Rohkapazität.

Wenn an meinem zpool ein special device hängt und das flöten geht sind alle meine Daten weg???

Jup, genau. Das "special" Vdev sollte daher nach Möglichkeit die gleiche Parität wie die Datendisks haben. Also ein 2-Disk-Mirror für Raidz1/Mirror/normales Raid10. Ein 3-Disk-Mirror für Raidz2 und ein 4-Disk-Mirror für Raidz3.

 

[Renegade33]

Genau. Deshalb dachte ich du meinst zwei 3-Disk-Mirrors im Stripe (nach deinem Schema "3+3 Mirror"). Weil das wäre dann auch ein Raid10 aber hätte doppelte Parität, aber dafür dann halt auch nur 33% Rohkapazität.

OK, das wäre dann 2 Raidz1 mit je 3 Disks im Mirror oder?

Jup, genau. Das "special" Vdev sollte daher nach Möglichkeit die gleiche Parität wie die Datendisks haben. Also ein 2-Disk-Mirror für Raidz1/Mirror/normales Raid10. Ein 3-Disk-Mirror für Raidz2 und ein 4-Disk-Mirror für Raidz3.

Ich denke einfache Parität reicht mir, da im Ernstfall ja snapshots oder Backups existieren, ais denen man wieder herstellen kann.

 

[Dunuin]

OK, das wäre dann 2 Raidz1 mit je 3 Disks im Mirror oder?

Nein, ich meine schon wirklich 3 Disks im Mirror und nicht 3 Disks im Raidz1. Ein Mirror muss nicht nur aus 2 Platten bestehen. Du kannst die Daten von einer Platte auch auf 2, 3 oder sonst wieviele weitere Disks spiegeln. Bei einem 3 Disk Mirror hast du dann 3 Kopien von Allem, daher dann auch nur 33% nutzbare Rohkapazität, aber es können dir beliebige 2 Disks des Mirrors ausfallen, ohne dass da was verloren geht.

Ich denke einfache Parität reicht mir, da im Ernstfall ja snapshots oder Backups existieren, ais denen man wieder herstellen kann.

Snapshots sind Teil von ZFS und dann natürlich auch weg. Und ja, Backups braucht du so oder so. Gegen Datenverlust hilft kein Raid oder Snapshotting. Das Raid ist nur nützlich damit du nicht die Daten seit dem letzten Backup verlierst. Und natürlich gegen Downtime und um Arbeit zu unnötig Arbeit zu vermeiden

 

[Renegade33]

Nein, ich meine schon wirklich 3 Disks im Mirror und nicht 3 Disks im Raidz1. Ein Mirror muss nicht nur aus 2 Platten bestehen. Du kannst die Daten von einer Platte auch auf 2, 3 oder sonst wieviele weitere Disks spiegeln. Bei einem 3 Disk Mirror hast du dann 3 Kopien von Allem, daher dann auch nur 33% nutzbare Rohkapazität, aber es können dir beliebige 2 Disks des Mirrors ausfallen, ohne dass da was verloren geht.

Ah OK, das ist mir neu. Danke für die Info.

Snapshots sind Teil von ZFS und dann natürlich auch weg. Und ja, Backups braucht du so oder so. Gegen Datenverlust hilft kein Raid oder Snapshotting. Das Raid ist nur nützlich damit du nicht die Daten seit dem letzten Backup verlierst. Und natürlich gegen Downtime und um Arbeit zu unnötig Arbeit zu vermeiden

Das ist mir soweit schon klar. Wobei die snapshots bei mir nicht auf dem Laufwerk liegen, sondern immer in einem anderen Hardwaresektor. Damit eben bei HW-Problemen diese noch verfügbar sind. Und Backup kommt aufs Band. Da gibts eines für tägliche bzw 48h und ein band für Wöchentliche. Somit doppelt gesichert und immer ein Band mindestens auch nicht eingelegt. Klar verlier ich unter Umständen dann bis zum Backup, aber das Risiko gehe ich ein. Ist immer noch besser, als nur lokal gespeichert und in den letzten 8 Jahren gab es nur einmal einen Verlust. Das war aber ein Fehler von mir beim Recovery. (Seit dem sind die Bänder beschriftet. )

Allerdings bin ich mir immernoch unschlüssig, ob nicht Raid10 die bessere Alternative ist. Angeblich ist da der Overhead geringer als Bei Raidz2 und auch für mein Empfinden ist es komfortabler bei Änderungen/Erweiterungen. Es gehen halt auch unterschiedliche Plattengrößen.