ZFS auf neuen Server

[Üba3ba]

Servus.

Ich weiß, ich bin hier im Proxmox Forum.

Ich habe ein Anliegen das nur ZFS betrifft.

Ich betreibe zurzeit mein Hobe-Lab mit folgenden Komponenten:

Server sind 2 HP DL360P G8
Festplatten sind 6 Samsung 870 QVO im Raid 10 und 2 Crucial P3 Plus 1TB Nvme's(ohne Raid)
Das ganze läuft unter Esxi 7. Der Esxi7 ist auf einem USB Stick installiert(Intern im Server)
VCenter Server standard wird auch ausgeführt.

Habe mir 2 neue Server angeschafft.

Einen Cisco UCS C220 M4 mit 2* Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60GHz und 128GB DDR4 RAM 2133 MHz
Der UCS C2202 soll der Hypervisor werden.

Dann noch einen Cisco UCS C240 M4 mit einem Intel Xeon E-5 2620v3 6* 2,6GHz und 128GB RAM 2133 MHz
HBA: Cisco UCSC-SAS12GHBA 12G SAS 8-port Storage HBA IT-Mode Controller

Der USC C240 M4 soll mir als ZFS Storage dienen und die vDevs über iSCSI bereitstellen.
Auf dem UCS240 habe ich vor, TrueNas zu installieren.

Beider Server haben eine dual 40Gbit Mellanox ConnectX3 Netzwerkkarte. Es werden beide Ports angeschloßen um multi Path zu nutzen.

So, jetzt komm ich zu meinem Workload:

Folgende VM's werden auf den derzeitigen Servern(HP) ausgeführt und sollen zukünftig auf dem UCS CS220 ausgeführt werden, wobei natürlich der UCS C240 das Storagesein soll.

0. Securepoint UTM
1. VCenter Server
2. Nextcloud(zurzeit als Docker und eventuell auf dem neuen System als einzelne VM)
3. Graylog
4. Wazuh für meine vServer bei diversen Hostern
5. Cisco WLC 9800

6. Linux VM für Docker
6.1 Pi-Hole
6.2 CheckMK
6.3 Ngnix Proxy Manager
6.4 Influx DB
6.5 ioBroker
6.6 BookStack
6.7 Grafana
6.8 Vaultwarden

7. Diverse VM's Win&Linux für Test'Labs(Diese VM's werden nur bei Bedarf hochgefahren)
8. Plex Media Server(2 Personen)

Für den C240 habe ich eine

KALEA-INFORMATIQUE PCIe 3.1 x16 Controller-Karte​

für die Cricial P3 1TB Nvme's, da der USC C240 leider kein PCIe Bifuraction unterstützt.

https://shuttletitan.com/miscellane...figurations-and-use-cases-for-nvme-sdds-gpus/​

Die 6 Samsung 870 QVO würde ich erst mal auch gerne im C240 mit ZFS betreiben.
Auch wenn sich dieser Beitag: SSD gestorben - ZFS Einstellungen falsch? sich nicht so toll liest.

Da das ganze ein bisschen Kapital gefordert hat, muss ich erst mal wieder ein bisschen sparen.
Für DC SSD's und Nvme's.

Hab mich ja schließlich ein bisschen eingelesen ;-)

Ich habe hier noch 15* 300GB 10k SAS Platten liegen, die ich erst mal im C240 einsetzen möchte.


Nun zu meinem eigenlichen Anliegen:

Da mein Erfahrung mit ZFS nahe 0 ist, ersuche ich um Hilfe.

Ich möchte das best mögliche mit meinen vorhanden Kompontenten(SSD's, HDD's und den beiden Crucial Nvme's) mit ZFS rausholen.

Wie würdert ihr mit diesen Kompontenten euer ZFS Storage konfigurieren?

Es ist halt erst mal nur das vorhanden. Ich naher Zukunft werden DC Platten und Nvme's besorgt.

Ich bin schon sehr gespannt auf eure Beiträge.

 

[Falk R.]

Hi, die QVO solltest du niemals mit ZFS nutzen, da kannst du die auch gleich wegwerfen.
Die HDDs könntest du locker mit ZFS im Mirror betreiben, aber für bessere Performance wären da zwei vernünftige SSDs als Special Device nicht verkehrt.
Die Crucial kannst du maximal als Lesecache nutzen, da die auch ohne PLP sind und nicht viele Writes ab können.
Bei deinem Setup würde ich gar kein ZFS nutzen und die HDDs/SSDs mit dem eingebauten Raid Controller im Hardware Raiid betreiben mit ganz normal VMFS im ESXi. Damit kann man dann arbeiten.

 

[Üba3ba]

Servus Falk, danke für deinen Beitrag.

Das habe ich mir gedacht, das ich die QVO's nicht einsetzen sollte und auch werde.
Die Crucial werden dann auch nicht im neuen Storage zum Einsatz kommen. Schade.
Bau ich die eben in meine Workstation.

Was sind den deiner Meinung nach, 2 bernünftige SSD's um als special Device zu dienen?

 

[Falk R.]

Special Device muss nicht groß sein, aber sollte vernünftig Writes abkönnen.
Eventuell findest du einen Preisvergleich wo du PLP als Filter setzen kannst, sonst an der Cachegröße orientieren, die mit PLP haben in der Regel mehr Cache.

 

[Üba3ba]

Habe die Samsung OEM Datacenter PM897 mit 480 GB gefunden.
Die sind mit 3 DWPD für 5 Jahre angegeben. Sollten also die Writes abkönnen.

Es werden dan eben erst mal 14 von den 300GB SAS Platten eingesetzt mit einem Special Device(im Mirror)
Dafür sehe ich eben die PM897 als gut geeignet. Preislich finde ich die auch noch in Ordnung.
Die 14 300GB SAS Platten im MIrror ergeben erst mal nur 2TB Speicherplatz.
Wird knapp. Eventuell auch RaidZ1 oder 2.

Es sollen in den UCS C240 künftig erst mal 6 bis 8 DC SSD's rein, die ich im RaidZ2 betreiben möchte.
Dort sollen die Daten für Nextcloud und Plex Media Server abgelegt werden.


Auf 2 PciE x16 Steckplätze sollen künftig 2 PciE Quad Adapter mit ASM2824 Chip gesteckt werden.
Dort auch 8 vernünftige NVME's im Mirror.

Da habe ich noch nicht geschaut.
Könnt ihr da etwas empfehlen???

Was meint ihr zu den Samsung PM897 asl Special Device mit den 300GB SAS Platten zur überprückung , bis ich aufrüste?

 

[Falk R.]

Die Samsung sind gut, aber die vielen 300GB Disks fressen extrem viel Strom. Plane das bitte mit ein. Ich habe einen DL380Gen9 zum testen rumstehen. Mit 2 HDDs nimmt der sich im Idle 140 Watt, mit 16 10k HDDs nimmt der schon 400 Watt.

 

[Üba3ba]

Danke für den Tipp.
Den Stromverbrauch könnt ich erstmal für 2-3 Monate verkraften, auch wenn es heftig ist.
Im Moment bin ich bei 440W was die zwei DL360P ziehen. Bin bei ca. 110,- Euro im Monat nur für mein Lab.
Ich habe für mein Lab max. 200,-Euro monatlich einkalkuliert.


Ich werd mir aber eventuell gleich vernünftige Hardware kaufen.
Hängt jetzt erst einmal davon ab, ob die folgende Hardware für ZFS zu empfehlen ist.

Was hälst du von den Samsung PM9A3 960GB?
Davon 6 Stück auf die PciE Quad Adapter und als Striped Mirror (Raid10) im ZFS als schnelles Datastore

Habe auch die Samsung PM893 mit 1.9TB im Auge. Diese haben einen DWPD von 1 auf 5 Jahre.
Davon 6 Stück im RaidZ2. Dann hätte ich 7TB für meine kalten Daten und 3.5TB(zwei Paritäten) als Schutz

 

[Falk R.]

Klingt nach einem sehr vernünftigen Plan.

 

[Üba3ba]

Servus,

Hab mir nun 5 mal die Intel TLC/D3-S4520 + 4 mal die Samsung PM9A3 und 2 Nvme Controller mit PEX 8747 Chip geordert.
Die Intel und die Samsung's müssten bis zum WE ankommen, die Nvme Controller leider erst am 8.April
Ich bin schon ganz gespannt.
Werde dann erst mal Benchmarks fahren.