Frage zu Raid {Hardware and/or ZFS}

[Kalone]

Moin,

ich habe eine Frage zu Raidsystemen bzgl. der Performance und Handhabung:

1. Wie ist das heutzutage mit Raidkontrollern, ich kann mich noch an Adapter vor ca. 15 Jahre erinnern, wenn dort der Strom weg war und der Akku defekt, dann waren auch die Raid Konfigurationen hinüber, somit war der Platten Raid Verbund nicht einfach wieder herstellbar. (Ist schon sehr lange her, evtl. spielt mir meine Erinnerung einen Streich und das Erlebte sind nur Artefakte einer Geistigenverwirrung...)

Wenn man sich die aktuellen MegaRaid Controller der neueren Generation ansieht, stimmt es, dass es egal ist und sich der Raidverbund leicht wieder replizieren lässt, zB. bei einem Defekt und Adapter Tausch? Welche Raid Kontroller würdet ihr empfehlen? Bei uns in der Frima/Arbeit setzen wir fast ausschließlich auf MegaRaid.


2. Ist es sinnvoll, Hardware Raid und ZFS zu kombinieren? Bringt dies Vor- oder eher Nachteile?

Wie sieht es mit der Performance aus, hat jemand von euch ein favorisiertes Setup bzgl. Hardware oder Software Raid? (Ich würde mal ZFS zu der Kategorie Software Raid zählen)


Anlass für meine Fragen, ist die Konzeptionierung eines neuen Servers und da Performance, Datenkonsistenz und Sicherheit wichtige Kriterien sind, wollte ich diese beiden Punkte hier nochmal abklären. Mein Konzept ist aktuell, Hardware Raid mit ZFS kombinieren und die SSDs in einem Raid 1 Verbund zu konfigurieren, auf den SSDs laufen ausschließlich die VMs, Nutzdaten werden auf eine NAS abgelegt. Ebenso werden nach wie vor die VMs auf eine NAS gesichert, dies mache ich bereits bei meinem aktuellen System. Jetzt ist nur die Frage, welchen Weg soll ich nur gehen, Reid + ZFS, oder nur ZFS oder nur Hardware Raid? Die Hardware kaufe ich fast ausschließlich gebraucht, deswegen sind die zusätzlich entstehenden Kosten eines Raidkontroller fast zu vernachlässigen, gut kommt drauf an ob verfügbar usw., ich lasse mich überraschen.


Würde mich über Antworten und Anregungen riesig freuen, danke im Voraus!

 

[waltar]

Zu 1) Die raidset Infos werden auf die Platten geschrieben, sodaß du den Controller auch tauschen kannst - es sollte dafür aber der gleiche oder ein neuerer gleicher Hersteller Familie sein. Und laß die Finger von Raidctrl. ohne Cache und ohne BBU.
Zu 2) Eine Raidset Kombi aus Raidctrl mit zfs mag zfs nicht und sollte man nicht machen. Pve auf hw-raid1 und vm's auf zfs pool (am besten mirror dann) ist jedoch iO. Es hängt jedoch auch von deinem Betriebskonzept zB bzgl. VM/LXC Ablage, Replikation ja/nein und Backup ab.

 

[Kalone]

Zu 1) Die raidset Infos werden auf die Platten geschrieben, sodaß du den Controller auch tauschen kannst - es sollte dafür aber der gleiche oder ein neuerer gleicher Hersteller Familie sein. Und laß die Finger von Raidctrl. ohne Cache und ohne BBU.
Zu 2) Eine Raidset Kombi aus Raidctrl mit zfs mag zfs nicht und sollte man nicht machen. Pve auf hw-raid1 und vm's auf zfs pool (am besten mirror dann) ist jedoch iO. Es hängt jedoch auch von deinem Betriebskonzept zB bzgl. VM/LXC Ablage, Replikation ja/nein und Backup ab.

Top, vielen Dank für die Infos!

Meine Überlegung ist nun denn, dass ich Boot auf HW Raid 1 ohne ZFS lege und die Pve Disks für die VMs nicht auf ein HW Raid sondern nur ZFS Raid 1.

Wenn ich dich da richtig verstanden habe "Pve auf hw-raid1 und vm's auf zfs pool" ?

Wie sieht der Performance Vergleich zwischen only ZFS Raid 1 und only HW Raid 1 aus?

 

[waltar]

Wenn ich dich da richtig verstanden habe "Pve auf hw-raid1 und vm's auf zfs pool" ?

Pve auf HW-Raid1 finde ich am Besten. Wenn zfs, dann als "option-disks-Raid" und dann am Besten jenes in "mirror" Konfig,

Wie sieht der Performance Vergleich zwischen only ZFS Raid 1 und only HW Raid 1 aus?

"ZFS Raid 1" heißt "ZFS mirror" und kann aus 2-x Platten bestehen, wobei die Anzahl meistens gerade ist (zB bei 3 jedoch nicht, ist dann aber halt ein 3fach mirror). Ein HW-raid1 besteht aus 2 Platten, darüber hinaus ist es ein Raid10 mit gerade Anzahl (zB 10), ist aber eher selten, weil man da eher in Richtung Raid6 (oder bei sehr vielen Platten Raid60) geht.
Wenn du zB ein zfs mirror mit 2 Hdd's und ein Raid1 ebenfalls mit 2 Hdd's vergleichst, ist der Unterschied unwesentlich, da sich der Unterschied ja erst mit der Anzahl der Platten multipliziert. Zfs hat wegen Checksummengenerierung und dessen zusätzlichem Schreiben etwas mehr zu tun, bietet dafür aber eben Blockinhaltgarantie und Selbstheilung beim Lesen an sowie bietet es für pve die so beliebte Blockstoragenutzung per zvol, was wenn gewünscht, bei nicht-ZFS per LVM getätigt werden muß (wenn man denn nicht Filestorage, als Files in einem Filesystem, bevorzugt).

 

[Kalone]

"ZFS Raid 1" heißt "ZFS mirror" und kann aus 2-x Platten bestehen, wobei die Anzahl meistens gerade ist (zB bei 3 jedoch nicht, ist dann aber halt ein 3fach mirror). Ein HW-raid1 besteht aus 2 Platten, darüber hinaus ist es ein Raid10 mit gerade Anzahl (zB 10), ist aber eher selten, weil man da eher in Richtung Raid6 (oder bei sehr vielen Platten Raid60) geht.

Top & Danke!

So werde ich die Sache angehen, für das System ein simples Raid 1 aus zwei NVME/2M mit je 512 GB. Kannst du mir zufälligerweise einen PCIe Adapter empfehlen, auf dem ich zwei NVME SSDs packe und der Hw-Raid unterstützt? Diese Dell BOSS-S1 Adapter wären eigentlich bei meinem Server dabei gewesen, allerdings findet sich auf dem gebraucht Markt keine passenden bzw. kompatiblen nvme's mit mehr als 120 GB.

Wenn du zB ein zfs mirror mit 2 Hdd's und ein Raid1 ebenfalls mit 2 Hdd's vergleichst, ist der Unterschied unwesentlich, da sich der Unterschied ja erst mit der Anzahl der Platten multipliziert.

Ähnliche Informationen hatte ich auch dazu vor einiger Zeit auch gelesen. Die Features und Vorteile von ZFS kann man nicht leugnen.

Dann bleibt nur noch die Frage der passenden Hardware. Enterprise SSDs sollen es werden, bisher hatte ich Intel SATA SSDs. Allerdings ist es auch so, dass ich nicht alles auf PCIe legen will/kann, da bei 2 HE der Platz limitiert ist und der Platz noch für andere Adapter reserviert ist.

Auf welchen Bus bzw. Schnittstellen System soll ich nur setzen? Mit SAS habe ich bisher keine Erfahrungen gemacht. SATA wäre mir fast zu langsam und da mein Server vorne ein Storage/Disk wechsel System hat, wären eigentlich 2.5" optimal.

 

[waltar]

Das BOSS belegt keine normalen internen Plattenplätze und für die gut 3GB von pve sind 120GB insofern luxuriös. Würde sowieso empfehlen OS und nicht-OS immer zu trennen, macht einen Crash Restore oder Serverwechsel deutlich übersichtlicher und damit einfacher.
In der Serverwelt sind diese DIMM-ähnlichen nvme's selten, da hat man idR U2 nvme oder SATA/SAS ssd slots (alle 3 2.5").
Keine Ahnung wieviel slots du hast, aber ich würde empfehlen immer min. einen frei bzw. für eine spare Platte zu reservieren für einen möglichen Ernstfall ohne dann auf's Netz zu anderem Rechner angewiesen zu sein.

 

[Kalone]

Das BOSS belegt keine normalen internen Plattenplätze und für die gut 3GB von pve sind 120GB insofern luxuriös.

Da hast du prinzipiell recht, allerdings würde ich doch gerne etwas Reserve haben



Aktuell habe ich für das System (Swap deaktiviert) eine 120 GB SSD und es scheint so, als würde dennoch mehr als 3 GB belegt werden !?

Würde sowieso empfehlen OS und nicht-OS immer zu trennen, macht einen Crash Restore oder Serverwechsel deutlich übersichtlicher und damit einfacher.

Absolut, das handhabe ich eigentlich auch so, auf der Systemplatte ist nur das System, keine Backups und keine Templates oder sonstiges, dennoch relativ hohe Auslastung!

In der Serverwelt sind diese DIMM-ähnlichen nvme's selten, da hat man idR U2 nvme oder SATA/SAS ssd slots (alle 3 2.5").

"U2 nvme" ? Bitte helfe mir auf die Sprünge.

Mein neuer Server wird ein Dell PowerEdge R740, ein H730P Adapter als Disk/Raid Controller ist mit dabei. Vorne habe ich 8 Wechselrahmen, für 2.5" oder 3" SSDs.

Die Idee auf das Boss zu verzichten, gefällt mir, nur meine Frage ist, kann ich die Disks in den Wechselrahmen von den Standards her mixen, also SATA, SAS und U2? Laut meiner Recherche ist der H730P nur mit SATA und SAS kompatibel. Dann verzichte ich auf U2 und BOSS und bauen für Boot/Sys vorne zwei 3" Laufwerke für HW-Raid 1 ein? Dann bleiben weitere 6 Schächte für die VM ZFS Raid Konfig + evtl. Reserve, oder?

Sorry für die vielen Fragen, ich will nur auf Nummer sicher gehen und nicht irgendwas kaufen, es sollte gleich korrekt funktionieren.

 

[waltar]

Da hast du prinzipiell recht, allerdings würde ich doch gerne etwas Reserve haben

115GB Reserve für root ist gut ...

Aktuell habe ich für das System (Swap deaktiviert) eine 120 GB SSD und es scheint so, als würde dennoch mehr als 3 GB belegt werden !?

Siehe lsblk, lvs, lvdisplay, ist nur aufgeteiltes LVM volume, wenn du keine VM's/LXC's auf OS-disk hast.

"U2 nvme" ? Bitte helfe mir auf die Sprünge.

Eine U.2 nvme sieht wie eine normale 2,5" sata/sas ssd/hdd aus, hat jedoch andere Anschlüße.

R740, ein H730P Adapter als Disk/Raid Controller

H730 eignet sich für ssd's+hdd's, jedoch nicht für nvme's, dafür H755.

Vorne habe ich 8 Wechselrahmen, für 2.5" oder 3" SSDs.

Mmh, wieso nicht 12 ... ? Würde die BOSS für OS nehmen und ... keine Ahnung wieviel Platz du brauchst.
Bei R730/R740 gab's doch auch die üblichen PCIe Slot PM1725a (zB 3.2TB) nvme's, heute gebraucht ...

 

[Kalone]

Mmh, wieso nicht 12 ... ?

Ich zähle 8, ist wohl Model abhängig!?

Bei R730/R740 gab's doch auch die üblichen PCIe Slot PM1725a (zB 3.2TB) nvme's, heute gebraucht ...

Ja die gibt es, zB.: "Samsung 3.2TB SSD MZ-WLL3T20 PM1725a PCIE 3.0 NVMe U.2" gebraucht ca. 300 €, wäre ok mich.

keine Ahnung wieviel Platz du brauchst.

Ich würde das gerne je nach Bedarf hoch skalieren können, das heißt, dass ich mit 2x 3 TB SSDs einsteigen würde. Wichtig wäre mir ebenfalls, dass ich die Drives in den Wechselrahmen ggf. mixen könnte, sprich SAS und bei Bedarf SATA. Eine gewisse Flexibilität wäre daher wichtig, mit dem Hintergrund, dass ich evtl. noch zwei von meinen aktuellen Intel SATA SSDs mitnehme ins neue System.


Meine Verwirrung rührt daher, weil ich noch nicht so genau weiß, wenn ich mir nun diese U2 SSD hole, wo bzw. wie ich diese dann konkret einbauen kann? Die Wechselrahmen werden nicht kompatibel sein, laut meiner Recherche??? (Ich hatte bisher noch nicht das Vergnügen, mit solchen Wechselrahmen Storrage Systemen zu arbeiten, deswegen verzeih mir meine dumme Frage...)

Könntest du mir dahingehend bitte etwas genauer erklären, welche Optionen ich hier habe bzgl. Flexibilität und Kompatibilität?

 

[waltar]

1. SAS SSD's sind selten und teuer und raidctrl. erlauben vielfach nicht einen Mix aus sata+sas in einem Raidset, insofern sind sas ssd's eigentlich generell raus.
2. Ich habe keine SAS/SATA ssd und keine U.2 nvme zum Vergleich, aber ich meine die haben "andere Nasen" und sind somit im Slot nicht gegeneinander austauschbar.
3. Ich kann dir nicht sagen, welche Art deine 8 Slots haben (8x sata/sas, 8x U.2 oder 4x sata/sas + 4x U.2), gibt immer diverse I/O options beim Konfigurieren, siehe deine HW-Ausführung auf Aufkleber im Rackdeckel von innen !!
PS: Als du von 3" SSD's sprachst, dachte ich du meintest 3,5" slots und dann sind es meistens 12 Slots vorne ...

 

[Falk R.]

In den Rahmen kannst du jede beliebige Platte mixen, die Backplane interessiert das nicht.
Der Raid Controller kann Raidsets immer nur aus einem Plattentyp erstellen SAS SSD / SATA SSD / SAS HDD. Im Raidset geht ein mix gar nicht.
Wenn du ZFS Mirror fährst, kannst du natürlich einen Mirror aus 2 SAS Disks haben und dann mit 2 SATA Disks erweitern, aber die langsamsten Geräte geben den Takt an.
Falls du ein Modell mit Tri Mode Backplane hast, kannst du dir ein Kabelkit bestellen und dann auch U.2 NVMe nutzen. (U.2 und U.3 sind im 2,5" Formfaktor.)

 

[Kalone]

PS: Als du von 3" SSD's sprachst, dachte ich du meintest 3,5" slots und dann sind es meistens 12 Slots vorne ...

Ah sorry, ich meinte auch 3.5 ", war mir nicht mehr sicher, ob es den nun 3 oder 3.5 waren^^

3. Ich kann dir nicht sagen, welche Art deine 8 Slots haben (8x sata/sas, 8x U.2 oder 4x sata/sas + 4x U.2), gibt immer diverse I/O options beim Konfigurieren, siehe deine HW-Ausführung auf Aufkleber im Rackdeckel von innen !!

Ich habe das Blech noch nicht vor Ort, daher versuche ich mich gerade durch alle Informationen zu graben, die ich finden kann.

Laut Artikelbeschreibung: "The server provides extensive storage options by offering multiple 2.5-inch or 3.5-inch hard drives or solid-state drives (SSDs) configurations."

Wenn du ZFS Mirror fährst, kannst du natürlich einen Mirror aus 2 SAS Disks haben und dann mit 2 SATA Disks erweitern, aber die langsamsten Geräte geben den Takt an.

Top, danke für die Info, genau das wollte ich hören. Diese Konfiguration von Mixes habe ich auch gemeint, hätte ich mich wohl genauer ausdrücken müssen. Also Mirrows von zwei Drives vom selben Typ.

Falls du ein Modell mit Tri Mode Backplane hast, kannst du dir ein Kabelkit bestellen und dann auch U.2 NVMe nutzen. (U.2 und U.3 sind im 2,5" ) Formfaktor.

Ich versuche, näheres herauszufinden, im Datenblatt steht nichts dazu und eine Suche mit Perplexity ergibt, dass die Wechselrahmen nicht für U2 ausgelegt sind. Von U2 oder Tri-Mode-Backblane steht auch nichts im datenblatt.

Die U2 SSDs hätten mir jetzt tatsächlich gefallen und zugesagt.

@Falk R.

Du hast nicht zufälligerweise ein R740 System irgendwo herumstehen?

Zusätzliche Informationen die ich gefunden habe:

Speicher-Controller – Technische Daten

Das PowerEdge R740-System unterstützt:

    Interne Speicher-Controller-Karten: PowerEdge RAID Controller (PERC) H330, PERC H730P, PERC H740P, HBA330, S140, Boot Optimized Server Storage (BOSS-S1), H750 (nur Adapter) , H350 und HBA350i (nur Adapter).

    Die BOSS-Karte ist eine einfache Karte für RAID-Lösungen, die speziell zum Starten eines Serverbetriebssystems bestimmt ist. Die Karte unterstützt bis zu zwei M.2-SATA-Laufwerke mit 6 Gbps. Die BOSS-Adapterkarte verfügt über einen x8-Anschluss mit PCIe Gen 2.0-x2-Lanes, der nur für flache Bauweise und halbe Baulänge verfügbar ist.

The R740 is a Dual Intel Processor server with possibilities for 12x 2.5" SAS/SATA drives; 24x 2.5" SAS/SATA Solid State Drives.
The Dell PowerEdge R740 supports 2 types of SSDs: SATA, and SAS SSDs, which can range from sizes 240 GB to 7.68 TB and speeds from 3GB/s, 6GB/s to 12GB/s depending on whether you, the consumer choose SAS or SATA SSDs. Maximum capacity the R740 can offer physically is 24x 7.68TB SSDs. Not advisable to mix the types of memories as the server will run inconsistent due to SSD drive speeds. If you want to maximize the capabilities of the Dell PowerEdge R740, choose one type of Solid State Drives to maintain consistency when running your server.

Wird wohl nichts mit den vorhanden Wechselrahmen und U2 SSDs, leider.


Ich habe aber gesehen, dass der gebraucht Markt einiges hergibt an SAS Platten:

HP DOPM3840S5xnNMRI SXMLLD 3,84 TB 12G SAS SSD 804170-001 810870-001 ohne frame 400€​

oder

Dell Enterprise Plus 3.84TB SAS 12Gbps SSD 04NMJF MZ-ILS3T8B MZILS3T8HMLH-000D4 500 €
​

 

[waltar]

Beim R740xd gehen wohl bis zu 24x (bis zu 3 cases a 8) U.2 nvme. Anscheinend kann man sich das aber in einem R740 umbauen, wenn man sich die richtigen Teile alle dazu nachträglich bestellt. IdR ist der Gebraucht-HW Lieferant dazu in der Lage. Ver-raid-en von nvme's kann zfs super.

 

[Falk R.]

@Falk R.

Du hast nicht zufälligerweise ein R740 System irgendwo herumstehen?

Nein, aber genügend bei meinen Kunden im Einsatz. Die Server kann man ganz nach belieben konfigurieren, deshalb ist selten einer wie der andere, außer die kommen aus einer Bestellung.
Daher musst du schauen wie deine Konfiguration aussieht, welche du bekommst. Wenn du die Service TAG bekommen kannst, damit kann man bei DELL nachschauen wie die Konfiguration aussieht.

Zusätzliche Informationen die ich gefunden habe:

Speicher-Controller – Technische Daten

Das PowerEdge R740-System unterstützt:

    Interne Speicher-Controller-Karten: PowerEdge RAID Controller (PERC) H330, PERC H730P, PERC H740P, HBA330, S140, Boot Optimized Server Storage (BOSS-S1), H750 (nur Adapter) , H350 und HBA350i (nur Adapter).

    Die BOSS-Karte ist eine einfache Karte für RAID-Lösungen, die speziell zum Starten eines Serverbetriebssystems bestimmt ist. Die Karte unterstützt bis zu zwei M.2-SATA-Laufwerke mit 6 Gbps. Die BOSS-Adapterkarte verfügt über einen x8-Anschluss mit PCIe Gen 2.0-x2-Lanes, der nur für flache Bauweise und halbe Baulänge verfügbar ist.

Das ist Standard aus dem Datenblatt, aber sagt nix über deine Konfiguration.

Wird wohl nichts mit den vorhanden Wechselrahmen und U2 SSDs, leider.

Wieso? Die Rahmen muss man nur bekommen, aber welche Disk du da rein schraubst, ist vollkommen egal. Die Backplane muss dann nur die richtigen Anschlüsse haben. Willst du U.2 nutzen, brauchst du eine Backplane mit NVME Support.

Ich habe aber gesehen, dass der gebraucht Markt einiges hergibt an SAS Platten:

HP DOPM3840S5xnNMRI SXMLLD 3,84 TB 12G SAS SSD 804170-001 810870-001 ohne frame 400€​

oder

Dell Enterprise Plus 3.84TB SAS 12Gbps SSD 04NMJF MZ-ILS3T8B MZILS3T8HMLH-000D4 500 €​

Auf dem Gebrauchtmarkt wird man da immer gut fündig.