ZFS für VM Disks - Mirror oder RAIDz

[SvenTej]

Hi zusammen,
ich arbeite mich gerade in das ganze Thema PVE.

Am Ende sollte auf der PVE Node folgendes laufen
- Homeassistant
- Windows Server 2022 Domänencontroller (der sekundäre meiner Domäne)

Im Rechner drin ist ein LSI 9300 HBA.
Daran insgesamt 5 SSDs (PM Serie von Samsung).

2 x 240GB habe ich bei der Installation als ZFS Mirror, also RAID1 konfiguriert und PVE drauf

Bei den restlichen 3x480GB bin ich nun etwas unsicher.
Ich habe jetzt schon an einigen Stellen gelesen, dass ein RAIDz1 für das hosten der VM Daten nicht empfohlen wird wegen Performance.

Wie ist denn hier so die Meinung?

Soll ich aus 2 der 480GB SSD ein RAID1/Mirror machen und die dritte als HotSpare oder merkt man die Performance eher nicht?

Wäre über Erfahrungen echt dankbar.

Grüße
S.

 

[news]

Moin, wenn das Systemdesign eine Trennung von Proxmox VE Hostsystem (a) und die Daten der LXC und VM (b) vorsieht, dann benötigt man:
a) rpool -- 2x ZFS Mirror 2x SSD SATA III und
b) dpool -- VDEV0: 2x ZFS Mirror 2x SSD SATA III - ZFS Stripe - VDEV1: 2x ZFS Mirror 2x SSD SATA III

Durch die ZFS Datasets kann man natürlich die VM und LXC auch wie folgt nutzen;
Proxmox VE Hostsystem und die Daten der LXC und VM liefen auf einem gemeinsammen ZFS Pool,
den man passend mit ZFS Datasets strukturiert. Das wird über die Konsole gemacht.
Z.B. kann man sich ZFS Quota und ZFS Speicher-Reservierungen für unterschiedliche Datasets anlegen.

So sieht auf einem meiner Systeme, die ZFS-Pool Struktur aus:

• VDEV0: 2x ZFS Mirror 2x SSD SATA III ->
• ZFS Stripe ->
• VDEV1: 2x ZFS Mirror 2x SSD SATA III ->
• ZFS Stripe ->
• VDEV2: 2x ZFS Mirror 2x SSD SATA III

Das erhöht merklich die IOPS für random 4k read und write!
Hat man noch 2 Netzwerkkarten:
a) 1 GBit/s für da Proxmox VE Management und
b) 2.5 GBit/s für den Datenaustausch mit anderen Proxmox Servern, auch dem Proxmox Backup Server, so maximiert man seinen Output auch auf Netzwerk Geräte.

 

[SvenTej]

Hey okay,
irgendwie allers - noch - spanische Dörfer.

Du scheibst

Moin, wenn das Systemdesign eine Trennung von Proxmox VE Hostsystem (a) und die Daten der LXC und VM (b) vorsieht, dann benötigt man:
a) rpool -- 2x ZFS Mirror 2x SSD SATA III und
b) dpool -- VDEV0: 2x ZFS Mirror 2x SSD SATA III - ZFS Stripe - VDEV1: 2x ZFS Mirror 2x SSD SATA III

a) ist klar, das hab ich ja schon.

Bei b) hab ich noch ein VProblem, da ich nur 3 SSD habe...


Wäre es frech, wenn ich Dich bitten würden, deine Struktur nochmal zu erklären?

Die vielen Pfeile verwirren mich ehrlich gesagt.
Bitte nicht bös sein, ich hab da noch nicht viel damit gemacht....


S.

 

[mr44er]

Die vielen Pfeile verwirren mich ehrlich gesagt.

Er meint 3x2er-Paare als stripe und diese 3 Doppelpacks gemirrored, das braucht logischerweise 6 disks.

Du hast nur 3, da bleibt nicht viel Wahl.

Ich habe jetzt schon an einigen Stellen gelesen, dass ein RAIDz1 für das hosten der VM Daten nicht empfohlen wird wegen Performance.

Die ist trotzdem nicht schlecht, aber ein triple mirror performt besser, sowie ein 4x, ein 5x usw. Auf der anderen Seite hast du noch die Entscheidung mit dem Netto-Speicherplatz. 3x mirror=480GB, es dürfen 2 disks gleichzeitig sterben, raidz1 mit 3 disks= 960GB, es darf nur eine sterben.

dritte als HotSpare

Würde ich nicht machen, lieber gleich aktiv in den pool rein. Sehe da auch nicht den Mehrwert, sie erst bei nem Ausfall tätig werden zu lassen.

 

[SvenTej]

Hier mal ein Bild.

Danke Dir, aber da seh ich jetzt keine Stripesets. Oder wo ist mein Denkfehler?

Würde ich nicht machen, lieber gleich aktiv in den pool rein. Sehe da auch nicht den Mehrwert, sie erst bei nem Ausfall tätig werden zu lassen.

Ihr habt mich überzeugt ;-)
Ich hab jetzt noch ne 480GB aufgetrieben und die 4 480GB werde ich dann in ein RAID10 nehmen.

Ich will auch mal bisschen damit rumspielen und Plattenausfallsimulieren usw. bevor ich das in P nehme.