Wie viel RAM für Proxmox ZFS RAID

C

Computerboss

New Member
Nov 29, 2023
24
3
3
Guten Morgen zusammen,

gerne würde ich mein RAID in Proxmox anlegen da ich so am flexibelsten bin hatte ich mir überlegt.
Nun gibt es ja über die GUI nur die Möglichkeit ein ZFS RAID zu machen.

Generell finde ich das auch nicht schlimm habe nur angst wegen dem RAM.

Wenn ich jetzt sagen wir mal 32GB ECC RAM verbaue, davon 16GB fest den VMs zuweise hätte ich noch 16GB über.

Wenn ich Beispielsweise 3-4 18TB HDDs verbaue als RAID 5 bzw RaidZ1 ist ja das Äqvivalent reicht das dann?
Nach Recherche kann Proxmox wohl nur 16GB maximal reservieren für ZFS.

Würden die 16GB ausreichen doer würde das Sytsem sehr langsam oder gar Instabil werden?
Und was ist wenn ich die nächsten Jahre noch erweitern möchte geht das überhaupt habt ihr da Erfahrungswerte für mich bezüglich ZFS und tatsächlichem RAM Verbrauch?

Viele Grüße und einen guten Start in die neue Woche!
 
Und bei der Schätzung des Speicherbedarf auch an 2 GByte für Proxmox VE selbst denken.
Ich setze rund 1 GByte Ram für 1TB an Datenspeicher an.
Mehr geht immer.

Und je nach Speichertyp bitte ein zfs quota von ca. 80 % auf den gesamten Pool setzen.
Es gibt ja im Forum immer wieder Anwendern den läuft der zfs rpool voll, sie bekommen es nicht mit und haben dann keinen Handlungsspielram zum löschen von Daten. Denn auch fürs löschen braucht man Speicherplatz.
Wenn nur HDDs im game sind, dann bite immer noch ein zfs special device mit SSDs dazu hehmen. IOPs sind dein Freund!

Bei zfs raidz1 mit 3-4 HDDs bremst das Schreiben der zfs raidz1 aus und man erhält nur die 1-fache Schreibrate.
Beim Lesen von zfs raidz1 mit 3 HDDs und zfs special device dann ca. 3-fache Leserate.
Das zfs special device muss die selbe Sicherheitsstufe, wie das zfs raid aufweisen. Mehr geht immer!
Z.B.: zfs special device mit vdev und zfs mirror mit 2-3 SSDs wäre eine gute Wahl.
Fällt das zfs special device aus, wäre auch der gesamte zfs pool nicht mehr zu benutzen!
 
Last edited:
  • Like
Reactions: Johannes S and UdoB
Wofür willst du denn die HDDs verwenden? Als Datengrab (auch für VMs und lxcs)? Dann ist RAIDZ ok. Wenn du dagegen VMs (also deren Betriebssystem und Serverdienste) darüber laufen willst, solltest du dir das noch mal überlegen, RAIDZ ist schon bei SSDs dafür keine gute Idee und bei HDDs erst Recht: https://forum.proxmox.com/posts/802200/

Den ARC Cache (also die 10%) kannst du btw auch noch anpassen, wie das geht steht in der von Udo verlinkten Dokumentation, genauso wie das Anlegen eines special devices. Als Faustregel dafür sollte man von 2% der Kapazität des ZFS-Pools pro SSD ausgehen (sprich: Braucht man im special device eine Kapazität von 1TB, so braucht man dann für einen RAIDZ3-Pool zwei 1-TB-SSDs: https://forum.proxmox.com/threads/need-help-for-zfs-special-device.100260/ ) und wie von News ausgeführt mehr geht immer ;) Bei einen RAIDZ mit 18 TB HDDs ergibt sich also (siehe https://www.raidz-calculator.com/ ) daraus folgende Kenngrößen:

Anzahl HDDs je 18 TBRAIDZ-PoolkapazitätGröße Specialdevice (bei 2%)Anzahl SSDs für special device mirror
336 GB 736 GB 2 oder mehr
454 GB1104 GB2 oder mehr

Als SSDs am besten gebrauchte Server-SSDs mit Powerloss-Protection besorgen, damit das ganze halbwegs bezahlbar bleibt. Die sind btw auch super als Storage für VMs und als boot-device für ProxmoxVE ;)

Rein theoretisch (dann würde ich die SSDs aber deutlich größer dimensionieren, also mindestens 2 TB) kann man über einen geignet gesetzten small blocks parameter und dezidiertes Dataset auch ein special device als Ablage für VMs und Container nutzen, das würde ich aber eher als Notoption sehen (da sind wir definitiv nicht mehr im Anfängerbereich, während ein special device für sich erstmal nur ein Einzeiler ist, wo man sich keine Gedanken darum machen muss, wie man die Werte small_blocks, record size etc wählen muss.
 
  • Like
Reactions: news and UdoB
You must log in or register to reply here.
Top Bottom