Server Konfiguration (Hardware)

[DerNorden]

Hi,

ich bin dabei ein Proxmox-Server zu erstellen. Daher mache ich mir Gedanken welche Hardware ich dazu nehmen kann und natürlich auch sollte.

Folgende Server sollen als VM laufen:
3 x Windows Server
2 x Windows 10
Evtl. eine Art NAS für die Videospeicherung von IP-Kameras

Ob später noch etwas dazu kommt ist fraglich, daher soll die Option gegeben sein.

Angedacht ist entweder ein AMD Epyc mit 32 Kernen oder 2 x 16 Kerne als CPU. Dazu mindestens 128GB RAM.

Ich würde die Systeme gerne auf SSDs laufen lassen. Ich habe hier im Forum gelesen, dass man auf billig SSDs verzichten sollte. Was haltet ihr wenn ich für Proxmox und den VMs zwei SSDs einbaue?

Für die Backups und Videoaufzeichnung wollte ich entweder SATA oder SAS Platten nehmen.

Soll alles gern auf ZFS laufen.

Mich würde interessieren wie es andere machen. Was zu empfehlen ist oder von was abzuraten wäre.

Viele Grüße aus dem Norden

 

[LnxBil]

Ich schätze mal Supermicro, da es AMD wohl noch nicht so wirklich bei die "großen" geschafft hat. Wieviele Einschübe hast du denn in dem Server für Festplatten? Das limitiert oft was man einbauen kann.

Die "guten" SSDs findet man hier in der Liste (auch wenn es für CEPH bzw. ZIL für ZFS ist):
http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/

Für Windows 10 muss man leider dazusagen, dass du hier lizenztechnisch wohl Enterprise nehmen musst, professional darf nicht auf einem Server als Desktop-OS virtualisiert werden:
https://community.spiceworks.com/ho...ws-10-with-virtualization-technologies-how-to

 

[fireon]

Ich würd da 6 Stück SATA HDD's im RaidZ1 verbauen. Dann kannst du bequem immer um 3 Stück erweitern. SSD's würde ich mind. 4 Stück im Raid10 oder auch 6 Stück im RaidZ1 verbauen. Bei Raid10 kannst du immer um 2+2+2... erweitern, im RaidZ1 bei 6 Stück wieder um 3. Je nach Datenart benötigst du für die HDD's eine SSD für ZFS Cache/Log. Wichtig ist die Wahl des Gehäuses und des Motherboards. Du kannst die HBA Controller einbauen, kannst aber auch das SATA on board nutzen. Ich misch das sogar, sofern die Geschwindigkeit gleich ist. Genug Steckplätze onboard für weitere Controller und Spezialkarten machen Sinn.

Gehäuse kann ich dir dieses empfehlen: https://www.inter-tech.de/products/ipc/storage-cases/4u-4424
Gibt es natürlich in alle möglichen Größen. Hab die Art mit 16 Einschüben im Einsatz. Absolut super geniales Gehäuse.

 

[mat5911]

Was sollen die VMs denn machen? Laufen da bspw. DBs oder nur bisschen Fileservice? Warum soviel RAM und 32 Kerne für nur 5 VMs? Überleg dir das mit ZFS. Nicht falsch verstehen, das ist wirklich cooles Zeug, frist allerdings auch ziemlich Performance und braucht auch ordentlich RAM. Mit dedup sowieso. LVMthin auf einem guten RAID Controller mit gepuffertem Cache (ja ich weiß, viele verteufeln die Dinger neuerdings) dürfte da deutlich schneller sein. Ich lass mich da aber gerne belehren.
Wenn's wirklich schnell sein soll wären NVMe wahrscheinlich nicht schlecht.

 

[DerNorden]

Danke vorab für eure Infos und natürlich auch Fragen.

Wieviele Einschübe hast du denn in dem Server für Festplatten?

Ich habe mich noch nicht entschieden... Ich tendiere zu einem Single CPU-System. Die Barebones welche ich mir angeschaut habe besitzen oft nur Einschübe für 2,5" Festplatten.

Für Windows 10 muss man leider dazusagen, dass du hier lizenztechnisch wohl Enterprise nehmen musst, professional darf nicht auf einem Server als Desktop-OS virtualisiert werden:

Danke für deinen Hinweis. War mir ehrlich gesagt nicht bewusst.

SSD's würde ich mind. 4 Stück im Raid10 oder auch 6 Stück im RaidZ1 verbauen.

Ok, also wäre es nicht zu empfehlen zwei gute SSDs zu im Raid1 zu verbauen?

Je nach Datenart benötigst du für die HDD's eine SSD für ZFS Cache/Log.

Wie funktioniert das genau? Werden die HDDs mit der SSD "verheiratet"? Ist das dann ein sehr großer Performanceunterschied? Klingt interessant (ist dann wohl so eine Art Fusion-Drive).

Was sollen die VMs denn machen? Laufen da bspw. DBs oder nur bisschen Fileservice?

Also auf den drei Windows Server laufen Datenbanken. Die Windows 10 Versionen werden nicht viel machen.

Warum soviel RAM und 32 Kerne für nur 5 VMs?

Wahrscheinlich hast du recht, das System wäre so viel zu Oversize. Die Überlegung war oder vielleicht noch ist in Zukunft noch mehr darauf laufen zu lassen. Aber ich denke 16 oder 24 Core sollten auch vollkommen ausreichend sein.

Überleg dir das mit ZFS. Nicht falsch verstehen, das ist wirklich cooles Zeug, frist allerdings auch ziemlich Performance und braucht auch ordentlich RAM. Mit dedup sowieso. LVMthin auf einem guten RAID Controller mit gepuffertem Cache (ja ich weiß, viele verteufeln die Dinger neuerdings) dürfte da deutlich schneller sein. Ich lass mich da aber gerne belehren.

Ich möchte soweit wie möglich unabhängig sein. Deshalb würde ich ZFS bevorzugen. Was die Performance angeht, meinst du da die CPU-Last? RAM sollte bei 128GB(+) kein Problem sein, oder?


Ich könnte mir auch vorstellen, für die Backups und Videoaufzeichnung einen separaten Fileserver hinzustellen. Ist evtl. auch charmanter als alles auf einem System unterkriegen zu wollen.

Auf den Servern werden im Moment die Dienste Nachts heruntergefahren und das Backup gestartet. Durch die SSDs erhoffe ich mir, dass dieser Vorgang entsprechend schneller vonstatten geht. Oder noch besser das Backups im laufenden Betrieb gemacht wird.

 

[LnxBil]

Ich habe mich noch nicht entschieden... Ich tendiere zu einem Single CPU-System. Die Barebones welche ich mir angeschaut habe besitzen oft nur Einschübe für 2,5" Festplatten.

Wegen der Packdichte ist das auch normal und alle handeslüblichen Server (keine Barebones) verbauen deshalb fast auschließlich nur noch 2,5'' Schächte. In 2 HE bekommst du ohne Probleme 24 Stück rein. SSDs sind eh alle 2,5'' und die Server-Platten sind alle SAS und die NL-SAS (also das was man privat als riesige SATA-Platten mit 7k2 rpm kauft) sind nicht unbedingt Server-tauglich. Im Serverbereich kommt es immer nur auf IOPS an, nicht auf die Menge der Daten, die ist oft eh viel zu hoch wenn man mit Festplatten eine gute Performance benötigt. Wir haben aber mittleweile den Punkt überschritten, an denen die schnellsten Festplatten (SAS, 15k rpm) teurer sind als entsprechende Enterprise SSDs (SATA) gleicher Größe.

 

[DerNorden]

Ich möchte mit vier SSDs ein ZFS Raid 10 erstellen. Ausgeschaut hatte ich mir die Intel SSD DC S4500 960GB, 2.5", SATA (SSDSC2KB960G701). Sollte ich doch lieber zu den Samsung SSD SM863a oder den Intel SSD DC S4600 greifen? Die TBW ist ja enorm höher als die Intel SSD DC S4500. Da ich keine Erfahrung mit dem Einsatz von SSDs in Servern habe kann ich es Gefühlstechnisch nicht abschätzen.

Einschübe habe ich 16, also ausreichend... Wäre es da besser lieber mit 480GB SSDs zu arbeiten? Und dabei vielleicht ein RAID-Z1, RAID-Z2 oder doch ein ZFS Raid 10 erstellen? Unterm Strich werden mir Netto 1,5 bis 2 TB an Speicherplatz ausreichen.

 

[Deleted member 34654]

Wird das System privat genutzt?

 

[DerNorden]

Wird das System privat genutzt?

Nein, gewerblich.

 

[Deleted member 34654]

Dann lass zfs weg. Hab bei der aktuellen Version damit nur Probleme gehabt.

 

[LnxBil]

Dann lass zfs weg. Hab bei der aktuellen Version damit nur Probleme gehabt.

Teste es einfach, gibt auch viele Leute die keine Probleme mit ZFS haben.

 

[DerNorden]

Dann lass zfs weg. Hab bei der aktuellen Version damit nur Probleme gehabt.

Ich habe einen weitere Server im Einsatz. Auf diesem läuft ZFS. Habe da keine Probleme.

Teste es einfach, gibt auch viele Leute die keine Probleme mit ZFS haben.

Werde sicherlich ZFS einsetzen.


Gibt es Ideen bezüglich der SSDs und deren Konfiguration?

 

[LnxBil]

Gibt es Ideen bezüglich der SSDs und deren Konfiguration?

Mit den heutigen Enterprise-SSDs ist RAID-5 bzw. in dem Fall RAID-zX kein Problem, wir haben viele Systeme damit im Einsatz, alle mit <<1 DWPD. Wir haben 6xSM861 seit über 4 Jahren Einsatz, alle schnurren noch prima vor sich hin mit RAID-10 (3 x mirrored vdevs) und hatten bisher keinen Platzbedarf. Fast alle anderen Systeme sind Intel-basiert, kommen aber direkt von Fujitsu, von daher ist mir die Marke schlußendlich eigentlich egal, da der Support darüber abgewickelt wird. Bisher noch keinen SSD-Ausfall bei über 30 SSDs.