Homeuse - Enterprise SSD vs Consumer SSD vs HDD - und Fragen über Fragen

Hogan

New Member
Oct 14, 2020
7
0
1
36
Hallo PVE Community,

ich habe jetzt seit gut 4 Monaten eine PVE Spielwiese bei mir und möchte diese Spielwiese zum Homeserver weiterentwickeln.

Der / Die Use-Cases:

  • Openhab-Server (Basierend auf Opoenhabian @ ubuntu 20.04 x64)
    • Zugriff auf diverse USB Sticks (Bridges) - das klappt in der Spielwiese schon
  • Zway-Server ( Zwave.Me Server @ ubuntu 20.04 x64)
    • Zugriff auf diverse USB Sticks (Bridges) - das klappt in der Spielwiese schon
  • Plex-Server (VM-Os egal...) - Probiert über LXC und Windows Host, da stell ich mich aber noch etwas an ;)
    • Zugriff auf NAS Share - der Share ist noch ned da da das NAS noch nicht da ist
  • FreeNas bzw. TrueNas
    • Geplant sind hier 16 TB ZRAIDZ2 bestehend aus 6 x 4 TB HDD (angedacht waren hier WD RED)
  • evtl. mal ne Nextcloud
  • ganz unwahrscheinlich mal nen DB-Server
Der "Unterbau" der Spielwiese bzw. des Homeservers:

Supermicro X11SSL-F Intel C232 So.1151 Dual Channel DDR4 mATX Bulk

Intel Xeon E3-1225v6 4x 3.30GHz So.1151 BOX

16GB (1x 16384MB) Samsung M391A2K43BB1 DDR4-2133 DIMM CL15 Single


Der RAM wird dann auf 64 GB ausgebaut. Auch wenn der SAMSUNG RAM nur noch in der Bucht zu holen ist.
An Platten hab ich das hergenommen was grad rumlag. Und da fängt dann die Fragerei an.

Unter den gegeben User Cases würde mich eure Meinung interessieren wo welche Speicherart (gemeint Enterprise SSD, Consumer SSD oder HDD) und in welcher Konfiguration "sinnig" ist. Ich hab hier schon viel gelesen, aber ich bin in dem Zustand das ich eher verwirrt bin wie weiß was ich will.

Und ja ich will hier keinen Glaubenskrieg zwischen Enterprise SSD und Consumer SSD lostreten....
 

at3tb

New Member
Dec 30, 2018
25
2
3
NiederÖsterreich
at3tb.noip.me
Hallo
Bin selber auch gerade am Planen da meine alte Hardware massiv Stromhungrig ist.

Als erstes RAM : Mach Dir selber einen Gefallen und schau bei Supermicro in der Speicher Liste nach was auf dein MoBo passt.
Habe selber leider die erfahrung gemacht und falsche Ram gekauft. Persönlich würd ich ECC Ram nehmen.

Für die NAS: Einen HAB den du für die NAS Platen nimmst, und in Proxmox einfach durchreichen in die FreeNAS VM.

Für Proxmox selber: Proxmox ist sehr schreib intensief dur die Logs. Habe selber eine Consummer SSD an ihr lebensende gebracht.

Daraufhin habe ich Proxmox auf 2 kleinen HDD´s mit ZFS Raid 1 Instaliert.
Und für die VM zur zeit 4 240er Enterprise mit ZFS Raid 10.

Hoffe ich konnte Dir eine möglichkeit aufzeigen.
 

Hogan

New Member
Oct 14, 2020
7
0
1
36
Danke! Dann lag ich mit meiner Überlegung nicht soweit ab.

Also ist ein Layout wie dieses hier

Code:
root
├─ PVE-VMs
│  ├─ ZRAIDZ2 - ~ 1,5 TB nutzbar
│     ├─ Enterprise SSD 1 -  400 GB
│     ├─ Enterprise SSD 2 -  400 GB
│     ├─ Enterprise SSD 3 -  400 GB
│     ├─ Enterprise SSD 4 -  400 GB
│     ├─ Enterprise SSD 5 -  400 GB
│     ├─ Enterprise SSD 6 -  400 GB
│
├─ HBA
│  ├─ NAS-Storage
│    ├─ ZRAIDZ2 ~ 15,4 TB nutzbar
│        ├─ WD RED HDD 1 - 4 TB
│        ├─ WD RED HDD 2 - 4 TB
│        ├─ WD RED HDD 3 - 4 TB
│        ├─ WD RED HDD 4 - 4 TB
│        ├─ WD RED HDD 5 - 4 TB
│        ├─ WD RED HDD 6 - 4 TB
│
├─ PVE OS
   ├─ ZRADIZ1~ 96 GB nutzbar
      ├─ HDD1 - 100 GB
      ├─ HDD2 - 100 GB

ein sinnvoller Ansatz? Oder den VM-Pool über ein mirror ZRAIDZ1 abbilden?

Der RAM ist für das Supermicro Board ist ECC, nur leider EOL und daher nur in der Bucht. Es gibt RAM mit höherer Taktung der noch nicht EOL ist.

Das führt mich jetzt zu den weitren Fragen:

  • WelcherHBA und woher?
  • Welche Enterprise SSD und woher?
  • Da ich noch ZFS noob bin.... es gibt bestimmt x-Anletingen im Interwebz. Eine Empfehlung?
 
Last edited:
Sep 26, 2019
149
12
18
57
St Louis
katycomputer.com
My opinion: ZFS is for experts. In the right hands it will handily outperform hardware based RAID controllers. I am not an expert.

In twelve months time, I trashed a perfectly good pair of enterprise grade NVME drives, and my system performance was terrible.

I rolled out a new server last month, using a HPE Proliant DL325 Gen10 AMD EPYC 7402P P16696-B21 loaded with 8 Seagate 800GB Nytro 3531 SAS drives. It cost ($5,000) more than my 12 month old server, hopefully, I will get more life from this box.
 

Hogan

New Member
Oct 14, 2020
7
0
1
36
Okay, I don't want to spend 5000€ for a homeserver :).

So a second sugesstion is to use multiple Raids. Any suggestions for suitable raid controllers?

Is a RAID with consumer SSDs a bad idea?
 
Sep 26, 2019
149
12
18
57
St Louis
katycomputer.com
I. have successfully used better consumer SSDs with good success. I have started paying close attention to the manufacturer's TBW / DWPD specification, historically, I have been a Samsung fan, Seagate is starting to catch up.

Anyone know if the IBM M5110 is compatible with PVE? They run $20 on ebay, 3 years ago, they were a good solution, not sure about current state of affairs.
 

Hogan

New Member
Oct 14, 2020
7
0
1
36
So is using a HW-RAID for the VMs with consumer SSDs a good or bad idea? I have no real experience in enterprise sotrage soultions so i do not have a clue what a good enterprise SSd is. Until now i just used the RAID-Controllers that came with the mobo. So for what do i have to look for regardingd enterpreise SSDs and RAID-Controllers?

Is this RAID Controller: Adaptec 71605 16-port int SATA / SAS RAID Controller 6G PCIe x8 3.0 1GB AFM BBU
( Ebay ) "good"?

Does it make sense to split the RAID to two controllers.... 1 RAID-Controller only for the NAS-HDDs an the other one for PVE-Os and VMs?

Is Intel a good brand for enterprise SSDs? Eg. this one ntel Dc S3700 400GB 2.5 " 6Gbps SATA SSD SSDSC2BA400G3P ( Ebay )

I'm thinking about this:

Code:
root
├─ PVE-VMs (RAID Controller 1)
│  ├─ RAID10 - ~ 800 gb TB nutzbar
│     ├─ Enterprise SSD 1 -  400 GB
│     ├─ Enterprise SSD 2 -  400 GB
│     ├─ Enterprise SSD 3 -  400 GB
│     ├─ Enterprise SSD 4 -  400 GB
│
├─ NAS-Storage (RAID Controller 2)
│   ├─ RAID10 ~  16 TB nutzbar
│      ├─ WD RED HDD 1 - 8 TB
│      ├─ WD RED HDD 2 - 8 TB
│      ├─ WD RED HDD 3 - 8 TB
│      ├─ WD RED HDD 4 - 8 TB
│
├─ PVE OS (RAID Controller 1)
   ├─ RAID10 ~ 200 GB nutzbar
      ├─ HDD1 - 100 GB
      ├─ HDD2 - 100 GB
      ├─ HDD1 - 100 GB
      ├─ HDD2 - 100 GB
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!