opt. RAID-Konfiguration für GPU-Server

[marcy]

Hey,

ich habe ein Serversystem mit folgenden Eckdaten

2x Prozessoren mit jeweils 16 Kernen
512GB RAM
6x 960GB NVMe Festplatten
1x Lenovo 940-8i RAID-Controller
1x nvidia RTX 6000 48GB
(Proxmox wird auf sep. Disk installiert)

Das System soll später mehrere Windows-Gäste betreiben, auf denen eine 3D-Anwendung genutzt wird. Was wäre hier aus eurer Sicht die beste Konfiguration des Speichersystems unter Berücksichtigung der Performance und Ausfallsicherheit.

Gruß

 

[Falk R.]

Je nachdem wie viel Kapazität du benötigst, würde ich einen ZFS Pool Mirror erstellen. Quasi wie Raid10. Performance ist Top und du kannst jederzeit Pärchen von NVMe dem Pool hinzufügen, wenn es wächst.

 

[marcy]

Je nachdem wie viel Kapazität du benötigst, würde ich einen ZFS Pool Mirror erstellen. Quasi wie Raid10. Performance ist Top und du kannst jederzeit Pärchen von NVMe dem Pool hinzufügen, wenn es wächst.

Moin,

die einzelnen VMs werden nicht viel benötigen - ich würde diese auf 150 - max. 200GB sizen. D.h. du meinst kein Hardware-RAID bauen, sondern alle 6x NVMe in einen ZFS-Pool setzen? Oder meinst du mehrere ZFS Pool Mirror erstellen mit jeweils zwei NVMes?

 

[Falk R.]

Moin,

die einzelnen VMs werden nicht viel benötigen - ich würde diese auf 150 - max. 200GB sizen. D.h. du meinst kein Hardware-RAID bauen, sondern alle 6x NVMe in einen ZFS-Pool setzen? Oder meinst du mehrere ZFS Pool Mirror erstellen mit jeweils zwei NVMes?

Hardware Raid mit NVMe ist immer eine schlechte Idee. Ich hoffe deine NVMe sind nicht am Raid Controller sondern direkt angeschlossen.
Eine NVMe hat 4 PCIe Lanes und der Raid Controller in Summe nur 8 Lanes. Daher können die NVMe nie ihre Performance ausspielen und das Bremsen des Raid Chips gucken wir uns gar nicht an. HDDs werden durch einen guten Raid Controller schneller, aber NVMe werden nur gebremst.

Einen ZFS Pool erstellen. Wenn du ein "Raid10" bei ZFS erstellen willst, macht er einen Pool mit mehreren Mirror vDEVs worüber gestriped wird.
Dann ist man auch flexibel und kann weitere Mirror vDEVs hinzufügen.