Homeuse - Enterprise SSD vs Consumer SSD vs HDD - und Fragen über Fragen

[maxprox]

Datengrab war auf die Größe des Speicher bezogen nicht auf die Gefahr des Verlustes..

Die Platten die am HBA hängen gehen dann aber direkt an z.B. die TureNAS-VM durch und werden dort für einen zfs pool verwendet? Also von TrueNas verwaltet und nicht von Proxmox. Das wäre dann hier ein r5pool?

zu1:
nicht ganz: die Performance hängt vom Raid level ab, R10 schneller als R5, und ist recht unabhängig von der größe, mein R5 ist mehr als doppelt s drei mal groß wie mein R10; 12TB zu 32TB.
zu2:
ich kann dir leider nicht ganz folgen???
Was hast du denn immer mit TureNAS und durchreichen?
Du Installierst Proxmox auf die Hardware - fertig. Dabei hast du zuvor entschieden, ob alles zusammen auf ein und dasselbe Raid kommt oder ob, wie oben dargestellt, Proxmox auf separate Medien/Raid kommt oder nicht. Und ob deine VMs auf separate Medien/Raid kommen oder nicht.
NACH dieser Entscheidung, legst du INNERHALB der Proxmox Umgebung deine VMs an. Ich verstehe dein Bezug zu TrueNas nicht wirklich. Soll das eine VM werden? Da is nix mit TrueNas durchreichen(?). EDIT: Deinen Systemen, von mir aus TrueNAS weist du dann beliebig virtuellen Speicher in Form von virtuellen Festplatten zu, die dann als sogenannte "block devices" (zvol) auf dem ZFS Pool liegen UND somit auf deinem über die Proxmox Werkzeuge verwalteten ZFS Raid.

Natürlich richtest du damit KEIN weiters ZFS oder gar RAID über deine VMs ein, das ist klar oder?
Oder willst du Proxmox virtualisieren :-(

EDIT: Damit du vielleicht besser verstehst was ich meine, 2 Beispiele:
1:
Bei meinem weiter oben dargestellen System mit den drei Raids, kommt die Proxmox installation auf das kleine Raid1, da kommt sonst nix drauf. Jetzt benötige ich zB ein SAMBA Fileserver. Dem gebe ich über Proxmox zB zwei virtuelle Festplatten 1x 20 GB auf dem Raid-10 und eine weiter Festplatte mit zB 500 GB auf dem Raid-5. Bei dieser VM kommt dann zB das System, Debian + Samba4 auf das schnelle Raid-10, und die Dateifreigaben für die User zB für den Samba Mount Point /srv/samba/share verweist auf die zweite Festplatte, die vom Raid-5 kommt
2:
Zweites Beispiel: Ich habe im Server genau 4 Festplatten, sond nix. Beim Installieren richte per Proxmox installer ein Raid-10 ein. Proxmox, alle VMs und dessen virtuelle Festplatten liegen dann alle auf diesem einen Raid-10.
Beides völlig okay!


PS: guck dir mal ein paar von den ersten "ZFS Rocks" Videos an, die machen Lust auf ausprobieren

 

[Dunuin]

Nö 1:,
Wenn ZFS Raid, kommen die immer direkt an das Mainboard oder einen extra dafür vorgesehenen Controller, sogenannte HBA Conroller ohne Raid funktion. (das umflashen eines Raid-Controllers ist ein Notlösung, die funktionieren kann ... (etwas ironisch gemeint, lass da die Finger von) )

Da gibt es gute Tutorials wie man billige (30€) Dell/HP Raid-Controller, was gute teure LSI Controller mit Rebranding sind, auf die originale IT-Mode Firmware von LSI flashen kann. Dann unterscheidet sich der billige Dell/HP Raid-Controller nicht mehr vom teuren LSI HBA. Ist dann die selbe Hardware und Firmware. Jedenfalls besser da 8 SATA HDDs an so einen umgeflashen professionellen HBA zu hängen als da für den gleichen Preis irgendeine Noname Consumer SATA-Karte zu kaufen.
Hatte mir da vor über einem Jahr selbst mal einen Dell PERC H310 zum LSI 9211-8i im IT-Mode geflasht. Läuft seitdem 24/7 ohne einen einzigen Fehler im raidz1 auf einem FreeNAS Host. Aber ja...das Flashen ist schon verdammt kompliziert und wenn man was falsch macht kann man sich auch die Karte bricken.

Wenn du eine TrueNAS VM hast macht ein extra HBA den du per PCI passthrough durchreichst schon Sinn. So kann deine VM halt wirklich direkt physisch auf die Laufwerke zugreifen, ohne irgendeine zusätzliche Abstaktions-/Virtualisierungsebene dazwischen. Sollte dann weniger anfällig für Fehler sein und du sparst dir den zusätzlichen Overhead. Und eine gute HBA für 8 SATA HDDs bekommst du wie gesagt für 30€ (war glaube ich 17€ für die Karte + 1x Kabel, 4€ für die Slotblende und dann nocheinmal 7€ ein ein zweites Kabel damit da 8 statt 4 SATA Laufwerke dranpassen). Würde ich immer zum HBA greifen, sofern du da einen PCIe 8x Slot für frei hast. ZFS machst du dann in der TrueNAS VM selbst und stellst anderen VMs Speicher per NFS/SMB/iSCSI zur Verfügung.

Speicher für VMs auf dem Proxmox Host slebst braucht du natürlich trotzdem noch. Hier macht wie gesagt z.B. ein ZFS Mirror (raid1) oder ZFS Stripped Mirror (raid10) Sinn. In beiden Fällen hättest du guten Datenschutz und letztes bietet halt noch etwas mehr Performance. Raidz1/Raidz2 (raid5/raid6) ist echt eher was für ein Datengrab da du Zwangsweise die Blocksize extrem anheben musst um keine Kapazität durch schlechtes Padding zu verschwenden (z.B. Blocksize von 64K statt 8K) und weil jeder Write langsamer ist da pausenlos Paritätsdaten kompliziert berechnet werden müssen.

Also am besten SSDs mit im Mirror oder Stripped Mirror als Hot Storage für die VMs und HDDs im raidz1/raidz2 als Cold Storage für Medien und sonstige große Daten wo keine Performance gefragt ist.

 

[maxprox]

Da gibt es gute Tutorials wie man billige (30€) Dell/HP Raid-Controller, was gute teure LSI Controller mit Rebranding sind, auf die originale IT-Mode Firmware von LSI flashen kann. Dann unterscheidet sich der billige Dell/HP Raid-Controller nicht mehr vom teuren LSI HBA. Ist dann die selbe Hardware und Firmware. Jedenfalls besser da 8 SATA HDDs an so einen umgeflashen professionellen HBA zu hängen als da für den gleichen Preis irgendeine Noname Consumer SATA-Karte zu kaufen.

Wen du eine TrueNAS VM hast macht ein extra HBA den du per PCI passthrough durchreichst schon Sinn. So kann deine VM halt wirklich direkt physisch auf die Laufwerke zugreifen, ohne irgendeine zusätzliche Abstaktions-/Virtualisierungsebene dazwischen. Sollte dann weniger anfällig für Fehler sein und du sparst dir den zusätzlichen Overhead. Und eine gute HBA für 8 SATA HDDs bekommst du wie gesagt für 30€. Würde ich immer zum HBA greifen, sofern du da einen PCIe 8x Slot für frei hast. ZFS machst du dann in der TrueNAS VM selbst und stellst anderen VMs Speicher per NFS/SMB/iSCSI zur Verfügung.

Ahh, das hört sich interessant an.
Jetzt verstehe ich auch, was mit TrueNAS und Durchreichen gemeint war, danke dafür.
Meinst du die bringen gegenüber den Supermicro onboard SATA Anschlüssen Vorteile, vorausgesetzt die onboard reichen mir?
Zwei Nachteile fallen mir schnell ein: zusätzliche Fehlerquelle, und das gefummel ;-) ich hab' das schon mal vor Jahre erfolgreich gemacht, dann aber wieder verworfen, bis ich dazu alle Infos zusammen hatte ...
Aber stellt sich dann nicht auch die Frage: warum TrueNAS nicht gleich direkt auf eine separate Box?

 

[Dunuin]

Meinst du die bringen gegenüber den Supermicro onboard SATA Anschlüssen Vorteile, vorausgesetzt die onboard reichen mir?

Nein, wenn dein TrueNAS bare metal läuft, dann hat so ein HBA keinen Vorteil. Für ein virtualisiertes TrueNAS ist das aber sehr praktisch, da du keine einzelnen HDDs vom Mainboard physisch an eine VM durchreichen kannst. Echtes durchreichen geht nur per PCIe und das geht meist nicht mit dem Onboard-Controller. Oder wenn das doch geht, dann hätte man ja keine SATA-Ports mehr auf dem Mainbaord zu verfügung um da Proxmox drauf installieren zu können, da man ja immer den ganzen Controller mit allen seinen Ports zusammen durchreichen muss.
Proxmox kann zwar auch einzelne HDDs vom Mainbaord in die VM bringen, aber dann läuft das wieder alles nur über Virtualisierung und da sitzt ein virtueller Virtio SCSI Controller zwischen der dann wieder Overhead erzeugt und in die Blocksize (nutz feste 512B) reinfuscht.

Zwei Nachteile fallen mir schnell ein: zusätzliche Fehlerquelle, und das gefummel ;-) ich hab' das schon mal vor Jahre erfolgreich gemacht, dann aber wieder verworfen, bis ich dazu alle Infos zusammen hatte ...
Aber stellt sich dann nicht auch die Frage: warum TrueNAS nicht gleich direkt auf eine separate Box?

Bei mir läuft FreeNAS auch auf einem extra Host. Und da habe ich den HBA auch nur weil das Supermicro Mainboard nicht genug SATA Ports hatte.
Den FreeNAS Host hatte ich mir aber auch vor dem Proxmox Host zugelegt. Heute würde ich wohl einfach einen besseren Proxmox Host kaufen (32-64GB RAM extra + 4 CPU Kerne extra einplanen nur für die FreeNAS VM) und da das TrueNAS virtualisieren und die HDDs dann über einen HBA per PCI PAssthrough in die VM bringen. Ganz einfacher Vorteil sollte der Stromverbrauch sein. Hier schluckt der FreeNAS Host rund 100W und der Proxmox Host rund 120W. Beides im Leerlauf ohne extra Aktivität von Nutzern. Damit bin ich bei 50€ im Monat an Stromkosten rein für die beiden Server. Ein einzelner größerer Server hätte da dann vielleicht 150W statt kombinierte 220W an Stromverbrauch.
Und ein anderer Vorteil wäre noch das sichern von TrueNAS. Sind die TrueNAS-Systemlaufwerke virtualisiert, dann kann man diese sehr leicht backuppen und snapshotten. Ist bare metal schon etwas nerviger wenn man den Host erst runterfahren, dann in Clonezilla booten und alles manuell auf eine externe USB-HDD sichern muss.
Ist aber auch nicht ganz so wild, da TrueNAS ja eine Applience ist wo man eh nichts selbst am OS ändern darf und es sich gut zwischen Releases wechseln lässt, sofern man immer schön die Konfig-Datei sichert.

 

[maxprox]

Dank dir für deine Überlegung und Infos. Auf die Idee wäre ich nicht gekommen. Ich hab bisher immer auf Supermicro Boards gesetzt mit "vielen" Ports für Laufwerke (natürlich ohne onboard Raid), und auf Gehäuse wo die Laufwerke reinpassen (zB Cooler-Master Cosmos) gesetzt.
Dein Setup gibt ja noch mal erweiterte Möglichkeiten ;-)

 

[Dunuin]

Dank dir für deine Überlegung und Infos. Auf die Idee wäre ich nicht gekommen. Ich hab bisher immer auf Supermicro Boards gesetzt mit "vielen" Ports für Laufwerke (natürlich ohne onboard Raid), und auf Gehäuse wo die Laufwerke reinpassen (zB Cooler-Master Cosmos) gesetzt.
Dein Setup gibt ja noch mal erweiterte Möglichkeiten ;-)

Mit dem Gehäuse würde ich mich da wohl auch schwer tun. Also alle 3 Server zusammen (ja, hab noch einen zweiten FreeNAS Host für Backups, aber den hab ich nicht aufgeführt, weil der nur einmal die Woche kurz für 2 Stunden an ist und nicht nenneswert zur Stromrechung beiträgt) haben jetzt 10x 3,5" HDDs und 16x 2,5" SSDs. Da würde es echt schwer werden alle Laufwerke in ein Gehäuse zu bekommen, wenn man nicht ein 19" Rack-Monstrum holt was klingt wie ein Düsenjet. Habe da zwar auch gestapelte 19" Gehäuse aber die laufen wenigstens mit leisen 120mm und 80mm Lüftern die sich selbst ausgewählt habe, da ich im selben Zimmer noch schlafen muss. Auch bin ich nicht so der Fan von fertigen Servern die haufenweise propietäres Zeugs nutzen. Habe zwar auch für so gut wie alles gebrauchte zuverlässige Enterprise Hardware, aber die nutzt ausnahmslos normale Standards und ich könnte jederzeit nach Belieben das Gehäuse, Mainboard, Laufwerke, Netzteil, Lüfter etc tauschen.
Mir war das wichtig da etwas flexibler zu sein und auch mal etwas nach langer Zeit noch austauschen zu können, selbst wenn die Sachen lange "Out of Life" sind und sich kaum noch Ersatzteile auftreiben lassen. Gerade weil bei mir wegen den Kosten eh alles etwas älter ist, da es das erst güstig zu bekommen gibt, wenn das Firmen wegen Garantie und Co ausmustern wollen.

Gehäuse habe ich diese hier geholt: Inter-Tech 4U 4088-S
Kostet neu nur 60€, passen 8x 3,5" Laufwerke + 4x 2,5" Laufwerke + ATX Mainboard + ATX Netzteil rein und hat noch 3 externe 5,25" Schächte. Habe ich dann noch andere Lüfter(1x 120mm + 2x 80mm) für besorgt (kommt mit 1x 120mm, der aber nicht gerade leise ist) und drei solche 5,25" Einbau-Rahmen (für je rund 10€ glaube ich) wo jeweils 1x 3,5" + 2x 2,5" oder 6x 2,5" Laufwerke reinpassen. Rack-Schienen kann man auch noch kaufen, aber da fehlt mir eh noch der Serverschrank für. Da bin ich dann bei rund 100€ für ein Gehause was sich gut stapeln lässt, was leise ist und wo 11 HDDs + 10 SSDs reinpassen. Und das Ding ist super massiv gebaut. Nur am Entgraten im Inneren haben die leider gespart. Da muss man gut aufpassen beim Einbauen. Ansonsten super Teil für den Preis wenn man kein Hotswap, Festplattenentkopplung oder E-ATX braucht. Hat auch einen Staubschutzfilter und Schalter hinter einer verschliebaren Tür, was mir wegen meinen Katzen wichtig war. Jetzt können die höchstens noch die Server sabotieren, indem sie die SFP+ Kabel rausausziehen.
Die Kabel sind auch echt nicht für den Heimgebraucht entwickelt worden. Der Ingeneur, der auf die schlaue Idee gekommen ist, dass sich da die Arretierung löst, wenn man an der bunten weit rausbaumelnden Plastik-Schlaufe zieht, hatte sicher keine Katzen im Kopf.
Meine denken jedenfalls das ist ein tollen Spielzeug und und im Gegensatz zu Kabeln kann man eine Schlaufe auch so toll mit den Tatzen packen um richtig Zugkraft ausüben zu können.

Einen TrueNAS Host für Backups würde ich aber trotzdem immer noch behalten wollen. Den Pool für die Backups würde ich nur ungerne im selben Rechner haben wollen und so ein eigener host mit IPMI ist toll zum Fernsteuern.
Ich hatte mir da ein eigenes Shell-Script geschrieben was per Cron auf dem Haupt-FreeNAS läuft und dann den Backup-FreeNAS-Server jeden Samstag um 23:45 per IPMI anschaltet, wartet dass der fertig in FreeNAS gebootet hat, dann den verschlüsselten Pool entsperrt und darauf wartet, dass da die Replikation startet (wird alles 1 zu 1 vom Haupt-FreeNAS-Server zum Backup-FreeNAS-Server gespiegelt). Replikation startet dann jeden Sonntag um 0 Uhr (und jeden vierten Sonntag zusätzlich der Scrub). Dann fragt das Script per FreeNAS API ab, ob da noch Replikations- oder Scrub-Jobs laufen und sobald alles abgeschlossen ist wird der Backup-FreeNAS-Server wieder runtergefahren. Replikation ist meist nach rund 15 Minuten bis 2 Stunden erledigt aber der Scrub dauert leider 20 Stunden.
Außerdem habe ich noch eine Zeitschaltuhr vor dem Backup-FreeNAS-Server, welche nur zwischen Samstag 22:30 und Montag 01:00 Strom zum Server durchlässt. So spare ich mir noch 6 Tage die Woche die zusätzlichen 20W, die der Backup-Server sonst wegen dem IPMI auch noch im ausgeschalteten Zustand verbrauchen würde.
Und neben der Stromersparnis hat das mit dem separaten Backup-Server noch einen Vorteil. HDDs im laufenden Rechner bekommt man ja kaum in den Spindown. Da ist immer irgendwie ein Prozess der doch irgendwie auf die HDDs zugreifen will und die dann immer wieder aufweckt und das ständige Spinup und Spindown ist dann ja auch nicht gut für die Motoren. Wenn der Backup-FreeNAS-Server 6 Tage die Woche wirklich komplett ausgeschaltet ist, dann sollten die HDDs auch viel länger halten.

Und so ein eigener Backup-TrueNAS-Server hat noch einen Vorteil. Man kann das Ding auch woanders hinstellen. Noch steht der bei mir bei den anderen Servern aber eigentlich würde ich den gerne in den Keller verfrachten (wo dann aber statt 10Gbit leider nur WLAN gehen würde) damit wenn es mal in der Wohnung brennt oder eingebrochen wird der Backup-Server wenigstens an einem etwas anderen Ort steht und das vielleicht überlebt.

 

[Hogan]

Woha da steht man auf und dann sowas . Danke @Dunuin für die Erläutuerng mit TureNas / FreeNas. genau das meinte ich.
Danke @maxprox !
Ich lass das jetzt alles mal durch meinen Kopf gehen und dann komme ich wieder zurück

 

[0xd149e38e]

Der Ingeneur, der auf die schlaue Idee gekommen ist, dass sich da die Arretierung löst, wenn man an der bunten weit rausbaumelnden Plastik-Schlaufe zieht, hatte sicher keine Katzen im Kopf.

Eine Freundin von mir hatte mal einen Hasen in der Wohnung, der hat dann immer an den Kabeln herumgeknabbert ...

 

[Hogan]

Also ich stelle hier mal diese Plattenkonfig zur Diskussion:

root
│
├─ PVE OS + VM ISO
│    ├─ ~960 GB
│        │ ZFS Mirror
│        ├─ HDD1 - 960 GB INTEL DC S3520
│        ├─ HDD2 - 960 GB INTEL DC S3520
│
├─ VM Storage
│    ├─ ~2 TB
│        │ ZFS Striped Mirror
│        ├─ HDD1 - 1 TB 2,5 Zoll
│        ├─ HDD2 - 1 TB 2,5 Zoll
│        ├─ HDD3 - 1 TB 2,5 Zoll
│        ├─ HDD4 - 1 TB 2,5 Zoll
│
├─ TureNas Sotorage (via auf HBA geflashten RAID COnroller an TureNas VM auf VM Storage durchgereicht )
    ├─ ZFS Striped Mirror - von TrueNAS gemanaged
        ├─ HDD 1 - 10 TB Seagate Exos X16 Enterprise Class
        ├─ HDD 2 - 10 TB Seagate Exos X16 Enterprise Class
        ├─ HDD 3 - 10 TB Seagate Exos X16 Enterprise Class
        ├─ HDD 4 - 10 TB Seagate Exos X16 Enterprise Class

In meinem Gehäuse haben 12 2,5" SFF SSDs und 6 3,5" HDDs Platz. ( 2 weitre SSDs bekomm ich so noch im Gehäuse unter ohne dafür interne Schächte herzunehmen)
Der VM Storage macht mir etwas Kopfweh.... ZFS auf SSDs ist wohl auch ein umstrittenes Thema, insbesondere für VMs.
Daher würde ich hier gerne 2,5" HDDs in SFF einsetzen (leider etwas exotisch). Außer Ihr könnt mir da anderes berichten
Alternativ hätte ich sonst die INTEL DC S3520 auch für den VM Storage verwendet.

Backup Strategie ist noch nicht klar... aber erst mal eines nach dem anderen.

 

[Dunuin]

Ich selbst hatte erst Consumer SSDs benutzt. Die hätten aber kein Jahr überlebt. Dann habe ich es mit einem ZFS Mirror aus zwei 3,5" WD Reds versucht. Mussten aber auch wieder raus, da die einfach hoffnungslos von all den IOPS überlastet waren und nicht mehr hinterhergekommen sind.
Am Ende bin ich dann doch bei robusten Enterprise MLC SSDs gelandet.

Je mehr Dienste du laufen hast, desto mehr parallele kleine Zugriffe bekommst du auf den VM Storage und da hat man schnell mal hunderte IOPS im Idle zusammen. HDDs kommen da einfach physikalisch viel zu schnell an die Grenzen, weil die nicht unbegrenzt schnell die Arme bewegen können. So rund um die 100 IOPS machen die mit. Je nach Drehzahl, Scheibengröße und Anzahl der Lese/Schreibköpfe mal etwas mehr, mal etwas weniger. HDDs taugen eher für sequentielle Lese-/Schreibzugriffe und VMs verursachen aber vorallem Random Reads/Writes womit HDDs ihre Probleme haben.

 

[Hogan]

Ich püberlege gerade ob ich nicht ein ZFS RAID 5 für die VMs mache . Das ich dort Enterprise SSDs hernehme ist für mich jetzt klar, genauso wie für den PVE OS mirror.

Beim durchgereichten TrueNas/FreeNas Storage erde ich auf ein 10er ZFS Raid gehen. Die Intel Platten bekomme ich für 175 €/ Stück neu in der Bucht (960 GB) . Wenn hier jemand ene passende SFF SSD als alternative kennt, dann nur her damit

Specs Intel DC S3520: https://ark.intel.com/content/www/d...20-series-960gb-2-5in-sata-6gb-s-3d1-mlc.html

 

[Dunuin]

Ich püberlege gerade ob ich nicht ein ZFS RAID 5 für die VMs mache . Das ich dort Enterprise SSDs hernehme ist für mich jetzt klar, genauso wie für den PVE OS mirror.

Beim durchgereichten TrueNas/FreeNas Storage erde ich auf ein 10er ZFS Raid gehen. Die Intel Platten bekomme ich für 175 €/ Stück neu in der Bucht (960 GB) . Wenn hier jemand ene passende SFF SSD als alternative kennt, dann nur her damit

Specs Intel DC S3520: https://ark.intel.com/content/www/d...20-series-960gb-2-5in-sata-6gb-s-3d1-mlc.html

Raidz1 (raid5) kann man für den VM Storage machen, habe ich hier auch. Da musst du aber bedenken, dass da deine Blocksize angehoben werden muss (von 8K auf 16-64K) was dann Overhead verursacht, da ständig versucht wird mit 512B oder 4K auf die Laufwerke zu schreiben. Auch wäre ein Stripped Mirror (Raid10) deutlich schneller, da die ganzen komplexen Paritätsberechnungen wegfallen würden.
Generell wird von Raid5 für den VM Storage abgeraten.

 

[maxprox]

Raidz1 (raid5) kann man für den VM Storage machen, habe ich hier auch. Da musst du aber bedenken, dass da deine Blocksize angehoben werden muss (von 8K auf 16-64K) was dann Overhead verursacht, da ständig versucht wird mit 512B oder 4K auf die Laufwerke zu schreiben. Auch wäre ein Stripped Mirror (Raid10) deutlich schneller, da die ganzen komplexen Paritätsberechnungen wegfallen würden.
Generell wird von Raid5 für den VM Storage abgeraten.

Das wäre doch mal eine zu knackende Nuss für jemand mit etwas know-how, zu berechnen, in wie weit Raid 10 nicht auch langlebiger als Raidz1/5 wäre?
Nr1: denn zum einen habe ich durch Striping weniger Schreiblasst pro disk, Nr2: außerdem und zusätzlich fällt das Schreiben für die Parität weg.
Spricht das nicht sogar aus Effizienzgründen sogar auch noch FÜR Raid 10? Oder übersehe ich da was?

Grüße,
m.

 

[Dunuin]

Das wäre doch mal eine zu knackende Nuss für jemand mit etwas know-how, zu berechnen, in wie weit Raid 10 nicht auch langlebiger als Raidz1/5 wäre?
Nr1: denn zum einen habe ich durch Striping weniger Schreiblasst pro disk, Nr2: außerdem und zusätzlich fällt das Schreiben für die Parität weg.
Spricht das nicht sogar aus Effizienzgründen sogar auch noch FÜR Raid 10? Oder übersehe ich da was?

Grüße,
m.

Ja, interessant wäre das schon. Ich habe damals mal testweise einen Stripped Mirror aus 4 SDDs gemacht und ein Raidz1 aus 4 SDDs und wollte mal gucken, ob da die SSDs mit einem Stripped Mirror nicht vielleicht länger halten würden. Wenn ich über iostat mitgeloggt habe, wieviel da auf die Summe der Laufwerke geschrieben wurde, dann war es etwa gleich viel. Hätte da eigentlich erwartet, dass da Raidz1 weniger auf die SSDs schreiben würde, weil ja nur 1/4 statt 1/2 der Kapazität für Parität draufgeht.

 

[Hogan]

Nein tust du nicht und ja es ist so aber ein RAID5 liefert mit nur einer platte mehr wie ein RAID10 aus 4 Platten, deutlich mehr nutzbaren Speicher.

 

[maxprox]

Nein tust du nicht und ja es ist so aber ein RAID5 liefert mit nur einer platte mehr wie ein RAID10 aus 4 Platten, deutlich mehr nutzbaren Speicher.

dann sind wir uns doch im Prinzip alle einig:
wenn ZFS, dann für zB das VM Betriebssystem oder andere schreib/lese anspruchsvollere Anwendungen mindestens ein SSD-Raid1 oder ein HDD-Raid10 und wenn's noch schneller sein soll: SSDs mit U.2 / PCIe Schnittstelle.
Als Datenserver oder Archiv-/Backupspeicher, ein Raid5 (Raidz1) oder mehr Sicherheit: Raid6 (Raidz2).
Ich persönlich habe zB für letzteres -wie du schreibst- ein 5-Platten Raidz1 je 8TB Enterprise Toshibas und tausche vorsorglich alle ein zwei Jahre eine nach der anderen gegen eine neue aus, damit ich dem Problem entgehe, dass wenn nach Jarhen, die erste ausfällt, dann beim resilvern, die anderen auch aussteigen. Für die ausgetauschten gibt es noch genug Aufgaben, natürlich verschrotte ich die nicht ;-)
siehe: https://forum.proxmox.com/threads/how-do-i-replace-a-hard-drive-in-a-healthy-zfs-raid.64528/