Planung der Infrastruktur

[Vengance]

Hallo!

Ich bin kürzlich günstig an einige Server gekommen und plane diese in einer Colocation unterzubringen.
Nun bin ich am rätseln, wie das Setup am besten aussehen könnte.

Ich habe zwei RX300 S7 Server, welche jeweils mit zwei NVMe SSDs ausgestattet werden sollen, die im ZFS RAID 1 laufen.
Zusätzlich habe ich einen X3250 M5, welchen ich als (Backup) Storage nutzen möchte und diesen mit 2-4 x 8TB HDDs füllen.

Aktuell habe ich auf allen drei Systemen Proxmox installiert und diese als Cluster konfiguriert.

Das funktioniert soweit auch ganz gut, allerdings frage ich mich, wie ich einen Teil des Storageservers am besten im Cluster einbinden kann.
Aktuell läuft auch auf dem Storageserver Proxmox, da ich so bei Bedarf VMs auch direkt auf dem Server betreiben könnte.

Allerdings haben die anderen Server so natürlich keinen Zugriff darauf.
Gibt es eine Möglichkeit, den Storage sowohl auf dem Server, als auch für den Rest des Clusters nutzbar zu machen?
VM drauf und darin einen NFS Share Freigeben? Oder hat das unnötig viel Overhead?

Vielleicht hat jemand einen besseren Vorschlag für die Struktur?


Danke!
Ian



Hardware:

Pro RX300 S7:
2x Xeon E5 2670
32GB DDR3 ECC (Wird auf 128GB aufgerüstet)
2x 960GB NVMe (Modell wird noch gesucht, hat jemand eine Empfehlung?)


X3250 M5:
Intel Xeon E3 1220v3
16GB DDR3 ECC
2-4 x 8TB HDD

 

[pakuzaz]

Stromfresser was hast du damit denn vor

 

[Vengance]

Die Systeme haben mich nahezu nichts gekostet und ich habe 5A zum Spielen, ist also für den Anfang erstmal irrelevant.

Sobald man zuverlässiger an HW kommt, werden die Systeme gegen neuere Epycs getauscht

 

[0xd149e38e]

VM drauf und darin einen NFS Share Freigeben?

Das ist die sichere Variante.

Wenn Du z.B. auf dem Storage Server ZFS verwendest, so kannst Du Datasets via sharenfs freigeben. Das macht man aber am Besten mit einem lokalen 10GB Netz.

 

[Dunuin]

2x 960GB NVMe (Modell wird noch gesucht, hat jemand eine Empfehlung?)

Was wolltest du denn so pro SSD ausgeben? M.2 fällt ja eigentlich schonmal weg wegen ZFS. Und die U.2 SSDs sind nicht ganz günstig.

 

[0xd149e38e]

M.2 fällt ja eigentlich schonmal weg wegen ZFS.

Könntest Du mir das bitte erklären, wie du zu dieser Aussage kommst.

 

[Dunuin]

Für ZFS sollte man besser keine Consumer SSDs nehmen weil deren Leistung bei kontinuierlichen Zugriffen nicht sonderlich ist, die Write Amplification wegen fehlender Powerloss Protection bei Sync Writes in die Höhe schießt und die Lebenserwartung ziemlich miserabel ist.
Abgesehen von der P4801X gibt es meines Wissens keine M.2 SSDs die eine akzeptable Lebenserwartung und Powerloss Protection hätten. Und die P4801X ist echt mies zu kühlen, weil M.2 einfach keinen Platz bietet und der NAND deshalb auf beiden Seiten aufgelötet ist und sich die Unterseite dann nicht kühlen lässt. Auch bekommt man da wegen dem Platz keine 1TB hin, wenn man robusten NAND mit ordentlich Reserven haben möchte.
Alles an professionellen NVMe SSDs für Server, die auch für Workloads wie ZFS ausgelegt sind, nutzen da U.2 damit mehr Platz ist. Die kann man dann auch über M.2 Slots anschließen, muss dann aber M.2-zu-U.2-Adapter-Kabel kaufen.

Oder um nochmal das ZFS NVMe Benchmark Paper vom Proxmox Staff zu zitieren:

Can I use consumer or pro-sumer SSDs, as these are much cheaper than enterprise-class SSD?
No. Never. These SSDs wont provide the required performance, reliability or endurance. See the fio results from before and/or run your own fio tests.

 

[0xd149e38e]

OK, es gibt nur wenige Enterprise nvme m.2 und die Kühlung ist schwierig.
Da stimme ich zu.

Ich hab nur so blöd gefragt weil ich eine Samsung PM983 m.2 habe, die wäre eine Option.
Das Nachfolge-Model PM9A3 gibt es auch als m.2, das hat dann schon PCIe Gen4.

 

[Dunuin]

Ja, die PM983 wäre schon in Ordnung. Die hat wenigstens Powerloss Protection und eine akzeptable Lebenserwartung. Ist aber auch bei weitem nicht so robust wie andere SSDs wo die TBW 15x höher ist. SLC/MLC NAND braucht halt mehr Platz als TLC/QLC und dann will man ja meist noch recht viel NAND in Reserve haben, wo dann z.B. 2TB an Chips verbaut sind auch wenn es nur eine 1TB SSD ist. Irgendwie muss man da ja die ganzen NAND chips und Kondensatoren für die Powerloss Protection unterbringen.

 

[pakuzaz]

Eine vm und dann das Storage freigeben finde ich unverantwortlich wenn es um Firmen Anwendungen gehen soll

 

[Vengance]

Danke für die Anregungen, ich habe mir nochmal Gedanken gemacht und werde die aktuelle HW als Testsystem daheim behalten und neue Systeme anschaffen.

Geplant sind dann drei compute nodes mit jeweils 1HE und 2HE Backup Storage.
Dann würde ich die Compute Nodes in einem Ceph Cluster konfigurieren und den Storage dann auch wirklich nur als Storage nutzen