RAIDz1 - Überlegungen

[HalloWelt]

Hallo,

ich bin noch total neu bei Proxmox und gerade dabei mir einen Hypervisor fürs Heimnetzwerk zu bauen um eine Vielzahl an Raspberries auf eine VM-Umgebung zu heben.

Ich habe aktuelle einen Server im Kopf der mit 3 SSDs ausgestattet ist und ich möchte diese in einem RAID5-Verbund laufen lassen. Der Server könnte das über einen "Intel RSTe" erstellen. Aber was ich gelesen habe, sollte man dafür ZFS direkt aus der Proxmox-Installtion nehmen. Das wäre dann eine "RAIDz1".

Nun überlege ich mir, technisch könnte der Server maximal 4 SSDs aufnhmen. Wenn ich das später mal erweitern will, ist es möglich das RAIDz1 um eine 4. Platte zu erweitern? Hier gibt es komplett gegensätzliche AUssagen:

Nein: https://forum.proxmox.com/threads/zfs-add-4th-disk-to-the-raidz1.116167/#post-502499
Jein, über etwas das sich "vdev" nennt: https://forum.proxmox.com/threads/a...n-already-exist-zfs-raidz1.88652/#post-388287
Ja: https://github.com/openzfs/zfs/pull/12225

Ich habe aktuell absolut keine Ahnung was jetzt Stand ist. Vielleicht kann das jemand klären.


Und als zweite Frage, wenn eine Platte mal defekt wird, wie tausche ich die aus? Ich vermute mit "Platte raus", "Platte rein" wie es bei DELL der Fall ist, wird das nicht getan sein? Hier habe ich das gefunden:
https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen

Ich vermute, da ich ein RAIDz1 habe (auf dem Proxmox auch selbst ist), wird dass ein "Boot-Device" sein? Auch beschreiben die ein "ZFS Mirror Disk", das wird wohl ein RAID1 sein, ich hoffe das wäre 1:1 auf mein geplantes RAIDz1 übertragbar?

 

[mr44er]

Das wäre dann eine "RAIDz1".

Exakt, raid5 ist in zfs-sprech raidz1

ist es möglich das RAIDz1 um eine 4. Platte zu erweitern?

https://freebsdfoundation.org/blog/raid-z-expansion-feature-for-zfs/
Ja, ist möglich, ist aber ein fauler Kompromiss. Sieh es als ungeplante Notlösung an, wenn dringend Speicherplatz gebraucht wird und nicht als optimalen, ausbaufähigen Weg. Auch rate ich bei den heutigen Plattengrößen mindestens mit raidz2 anzufangen, denn wenn während dem resilver/rebuild eine weitere Platte ausfällt, hast du 'game over'. Je größer die Datenmenge/Platten in diesem kritischen Zeitfenster, desto wahrscheinlicher wird der Ausfall und sowieso, wenn es gleich gealterte Platten aus der gleichen Charge sind. Speicherplatz ist billig geworden, daher müsste man schon hart gegen eine zusätzliche Redundanz argumentieren.

Und als zweite Frage, wenn eine Platte mal defekt wird, wie tausche ich die aus?

Für reine (nicht bootfähige) Datenpools: zpool replace $poolname $altedisk $neuedisk
Wobei $altedisk eine random-id bekommt, wenn sie komplett totgestorben ist oder bereits gezupft wurde.

Wenn das System ebenfalls darauf liegt und booten soll:
https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_change_failed_dev
https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen
https://r00t.dk/post/2022/05/02/proxmox-ve-7-replace-zfs-boot-disk/

ich hoffe das wäre 1:1 auf mein geplantes RAIDz1 übertragbar?

Ja

 

[UdoB]

Ja, ist möglich

Sicher?

Die aktuelle manpage auf einem PVE sagt eher:

SYNOPSIS
     zpool attach [-fsw] [-o property=value] pool device new_device

DESCRIPTION
     Attaches new_device to the existing device.  The existing device cannot be part of a raidz configuration.

Viele Grüße

 

[Dunuin]

Nun überlege ich mir, technisch könnte der Server maximal 4 SSDs aufnhmen. Wenn ich das später mal erweitern will, ist es möglich das RAIDz1 um eine 4. Platte zu erweitern? Hier gibt es komplett gegensätzliche AUssagen:

Nein: https://forum.proxmox.com/threads/zfs-add-4th-disk-to-the-raidz1.116167/#post-502499
Jein, über etwas das sich "vdev" nennt: https://forum.proxmox.com/threads/a...n-already-exist-zfs-raidz1.88652/#post-388287
Ja: https://github.com/openzfs/zfs/pull/12225

Das raidz expand feature ist wohl soweit fertig entwickelt, ist aber noch nicht enthalten. Also Raidz1 erweitern geht meines wissens aktuell immer noch nicht.

Im übrigen ist ein raidz nicht so toll für VMs. Du verlierst die gleichen 50% wie bei einem Raid1/Raid10 wenn du die Standard-Blockgöße von 8K benutzt. Da müsstest du schon die Blockgröße auf mindestens 16K anheben. Das kann dir ordentlich Overhead verschaffen, da die meisten Gastdateisysteme ja mit 4K Blocks arbeiten und dein Pool selbst dann nicht mit Blöcken unter 16K arbeiten könnte (schreibt/liest also immer 16K, selbst wenn da nur 4K oder 8K geschrieben/gelesen werden sollen).

Resilvering von raidz1/2/3 ist bei SSDs eigentlich nicht so wild, da die deutlich schneller sind als HDDs. Aber nicht vergessen, dass man für ZFS besser auch Enterprise SSDs kauft, weil Consumer SSDs ohne Power-loss Protection einfach grottig für Sync Writes sind und ZFS die SSDs auch deutlich schneller killt, weshalb die zusätzliche Haltbarkeit von Enterprise SSDs nützlich ist.

 

[mr44er]

Upsi...ihr habt Recht, das ist noch gar nicht enthalten.

 

[HalloWelt]

Hallo, ich neheme aus den Antworten jetzt mal mit, ein Erweitern des RAIDz1 ist nicht wirklich "gut" möglich. Also lieber gleich 4 SSDs kaufen, dann ist eh Ende, weil der Server nicht mehr Platz hat.

Die Frage wäre dann, nehme ich lieber ein z1 oder z2? Aber das muss ich vermutlich selbst mit mir ausmachen

Ich plane mit Samsung PM893 SSDs. Die sollten imho Enterprise-SSDs sein:
https://sg-repo-production-photos.s...do/cache/e6595d8b6654cd6ca3d4da338fa0aa5d.pdf

Danke, das hilft mir schon mal weiter!

 

[Dunuin]

Ich plane mit Samsung PM893 SSDs. Die sollten imho Enterprise-SSDs sein:
https://sg-repo-production-photos.s...do/cache/e6595d8b6654cd6ca3d4da338fa0aa5d.pdf

Jup, kann man machen.

Die Frage wäre dann, nehme ich lieber ein z1 oder z2? Aber das muss ich vermutlich selbst mit mir ausmachen

Beste Performance und die wenigstens Probleme hättest du mit einem Striped Mirror aka Raid10.
Und nicht vergessen, dass ein Raid kein Backup ersetzt. Da geht es eher um Downtime-Minimierung, Vermeidung von zusätzlicher Arbeit und das du die letzten paar Stunden/Minuten an Daten seit dem letzten Backups nicht verlierst.
Hängt dann also ab wie kritisch der Betrieb ist. Für ein Homelab würde ich da bei 4 SSDs z.B. kein Raidz2 nehmen.

 

[HalloWelt]

Ich bin nicht auf ein RAIDz-irgendwas fixiert. Mir geht es gerade darum überhaupt rauszufinden was sinnvoll ist. Wenn es ein RAID10 ist, spricht von meiner seite nichts dagegen - ich freue mich so Input zu bekommen

Kann das Proxmox selbst? Irgendwo habe ich eine Aulistung gesehen, dass nur RAID0, 1 und die z-Level gehen? Und dann gleich als Nachfrage, im Fehlerfall ist die Anleitung vom Krenn auch auf das RAID10 anwendbar? https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen

 

[mr44er]

Stimmt, wenn du insgesamt nur 4 Plätze hast, dann fehlt dafür der Spielraum.
Beispiel raidz2: Du nimmst 4 disks, jeweils 1TB

        rpool      ONLINE       0     0     0
          raidz2-0 ONLINE       0     0     0
            disk0  ONLINE       0     0     0
            disk1  ONLINE       0     0     0
            disk2  ONLINE       0     0     0
            disk3  ONLINE       0     0     0

Das gibt als Gesamtkapazität 2TB, ausfallen können 2 disks, egal welche.

Beispiel striped mirror/raid10:

        rpool       ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            disk0   ONLINE       0     0     0
            disk1   ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            disk2   ONLINE       0     0     0
            disk3   ONLINE       0     0     0

Das gibt als Gesamtkapazität ebenfalls 2TB, ausfallen darf jedoch nur eine disk pro vdev. Fallen z.B. disk1 und disk2 aus, bist du noch safe. Hier hast du den Vorteil, dass du damit die beste Performance bekommst...wenn du eben nur vier Slots hast.

Mir geht es gerade darum überhaupt rauszufinden was sinnvoll ist.

Sinnvoll sind beide Varianten, muss man nur für sich entscheiden.

Kann das Proxmox selbst?

Ja, aber ich weiß gerade nicht aus dem Gedächtnis, ob der Installer das direkt anbietet.

Und dann gleich als Nachfrage, im Fehlerfall ist die Anleitung vom Krenn auch auf das RAID10 anwendbar?

Ja. zpool replace gilt immer, egal in welcher Konstellation.

 

[Dunuin]

Ja, aber ich weiß gerade nicht aus dem Gedächtnis, ob der Installer das direkt anbietet.

Tut er. Einfach ein ZFS raid10 wählen und dann die 4 disks.

 

[mr44er]

Ah, sehr gut. Neugierde: was macht er mit 6 disks? 3x2 oder 2x3?

 

[Dunuin]

Ah, sehr gut. Neugierde: was macht er mit 6 disks? 3x2 oder 2x3?

3x gestripte 2-Disk-Mirrors. Und wenn ich mich recht erinnere kommen die Bootloader Partitionen auch nur auf den ersten Mirror.
2x gestripte 3-Disk-Mirrors müsste man sich selbst manuell machen. Dazu könnte man z.B. bei der Installation ein raid10 aus 4 Disks wählen und dann nach der Installation über die CLI jedem der beiden Mirrors eine weitere Disk hinzufügen, welche man vorher selbst partitionieren muss. Bei dem ersten Mirror müsste man dann mit dem proxmox-boot-tool auch noch die Bootloader syncen.
Das ist das schöne an PVE. Man ist zwar recht eingeschränkt, was über das webUI möglich ist, aber wenn man möchte, dann kann man so ziemlich alles über die CLI hinbekommen, da es ja ein normales vollfertiges Linux ist und keine Appliance die dir nur das erlaubt, was der Entwickler vorsieht.