NVMe ZFS RAID 1 / Proxmox auf SSD HW Raid

Apr 22, 2019
5
0
1
35
Hallo zusammen,

ich überlege derzeit wie mein nächster Server aussehen soll. Aktuell habe ich 2x 1TB SSDs an einem HW RAID Controller, dort liegt sowohl Proxmox als auch der Storage für die VMs drauf. Der ins Auge gefasste Server kann nun auch NVMe, weshalb ich zu folgendem Setup komme:
  • 2x 240 GB SSD an HW RAID für Proxmox
  • 2x 1TB NVMe SSD mit ZFS RAID 1 als Storage
Klingt das für Euch sinnvoll, oder fahre ich ggf. besser mit einem HW RAID 5 mit weiteren SSDs? Wie sieht das aus mit einem Cache für ZFS. Ich weiß das wir in einem Backupserver zur Deduplizierung eine SSD nur als Cache eingesetzt haben.

Danke für Eure Einschätzungen!

Gruß thoand
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
4,763
316
83
Hallo,

Technisch gesehen spricht nichts dagegen.
Proxmox VE ist nicht in der Lage mit UEFI auf eine NVMe wo ZFS läuft zu booten.

Raid5 würde ich generell nicht für Virtualisierung empfehlen, da es einfach nicht performant ist.
Wie sieht das aus mit einem Cache für ZFS.
Das macht nur Sinn, wenn der schreib unterschied groß ist wie zum Beispiel bei HDD und SSD.
Bei einer NVMe mach das keinen Sinn.
 
Apr 22, 2019
5
0
1
35
Das kann man machen, ist aber reichlich overkill, da du maximal 10 GB für das OS brauchst, der Rest liegt brach.
Die 240er ist die kleinste SSD die der Hoster im Angebot hat. Direkt auf die NVMe will ich nicht gehen, da mir dann die Redundanz fehlt (gibt dort keinen NVMe raid Controller), deshalb will ich die Redundanz dort per ZFS machen. Oder sehe ich da irgendwas falsch?

Gruß thoand
 
Apr 22, 2019
5
0
1
35
Hallo zusammen,

verstehe ich folgendes richtig:
Support für ZFS auf UEFI und auf NVMe: der Proxmox VE ISO-Installer unterstützt mit der neuen Version ‚ZFS root via UEFI‘; so kann zum Beispiel ein ZFS-Mirror auf NVMe SSDs gebootet werden. Durch die Verwendung von `systemd-boot` als Bootloader anstelle von Grub lassen sich alle Pool Level-Features auf dem Root-Pool aktivieren.​
Quelle: https://www.proxmox.com/de/news/pressemitteilungen/proxmox-ve-6-0

Das ich nun auf den separaten Raid1 für die beiden SSDs zusätzlich zu den zwei NVMes ohne Raid verzichten kann?

Gruß thoand
 

LnxBil

Well-Known Member
Feb 21, 2015
3,942
367
83
Germany
Das ich nun auf den separaten Raid1 für die beiden SSDs zusätzlich zu den zwei NVMes ohne Raid verzichten kann?
Ja, wenn du vom NVMe aus booten kannst.

Der Installer ist nun automatisch in der Lage dort ein RAID zu machen UND über UEFI zu booten UND die beiden UEFIs durch PVE-Mittel manuell spiegelt.
 

michaeljk

Member
Oct 7, 2009
57
1
8
@thoand:
Booten von einem ZFS-Mirror (RAID1) von NVMe ist ab Proxmox 6 kein Problem mehr, selbst getestet, funktioniert. In Verbindung mit ZFS solltest du allerdings noch auf folgende Dinge achten:

- Keinen Hardware-RAID Controller benutzen
- Je nach Anzahl / RAM-Bedarf der virtuellen Maschinen genügend RAM verbauen (~64-128 GB) und ECC-RAM verwenden
- Vorher prüfen, welche NVMe verbaut werden (Hersteller / Modell), das sollten welche in einer "Datacenter Edition" sein. Bei Consumer SSDs leidet die Performance sehr stark.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!