Hallo zusammen,
ich möchte einen neuen 2HE Virtualisierungs-Server für Proxmox (und evtl. VMware als Vergleich) konfigurieren und bin Neuling sowohl was Virtualisierung, als auch Server angeht. Ich hoffe, dass wir zum Testen erstmal einen vorhandenen Server oder eine Workstation zur Verfügung kriegen, im Worst-Case müssen wir aber direkt den finalen Server bestellen.
Zur Einordnung schildere ich zunächst das Anwendungsszenario, so gut es sich bisher abschätzen lässt.
Hauptanwendung ist das Aufnehmen von Time Series Data von verschiedenen Sensoren der Prozesstechnik und der Akustik, die über SPS, Edge Computer oder direkt angebunden sind. Dafür braucht es vermutlich verschiedene VM oder Container mit unterschiedlichen Windowsversionen oder Linux. Ich schätze es werden ca. 20 bis 30 Sensoren sein, Aktoren vermutlich keine.
Außerdem wird darauf laufen Monitoring (Grafana), Firewall (OPNsense), ZFS, Datenbank (PostgreSQL oder MongoDB), eine einfache Form von einem digitalen Zwilling / Verwaltungsschale der Prozesse, Remote Access, Predictive Maintenance, Skripte zum schieben von Daten und weitere Anwendungen die sich noch ergeben.
Die Rohdaten sollen großteils direkt geschrieben werden, für die Akustikmessungen gibt es vermutlich bereits ein Pre-processing.
Der Server soll schlussendlich im Dauerbetrieb für mehrere Jahre laufen, wobei teils nur ca. 5x pro Tag halbstündige Prozesse laufen wo wirklich Daten anfallen. Ich schätze es können pro Woche ca. 2TB an Daten anfallen, im Normalfall sollen die Daten täglich wieder vom Server runter.
Wie wichtig ein ausfallsicherer Betrieb ist, ist noch zu klären.
Nun zum Server, bisher dachte ich an folgende Konfiguration:
- 2x Intel® Xeon® 16 Core Processor 4216 2.10GHZ 22MB L3 Cache TDP 100W - Silver
Gedanke: möglichst viele Kerne, damit viele VMs parallel laufen können
- Supermicro Server Board X11DPH-I - 2 x 1 Gbit/s LAN, 16 DIMMs, 10 x SATA
Gedanke: Standard, oder macht für meine Anwendung 10 Gbit LAN oder PCI-E 4.0 Sinn?
- 128GB RAM
Gedanke: Solider Start, sollte es nicht reichen kann man noch erweitern. Oder haltet ihr für maßlos unter/über geplant?
Zu den Festplatten:
Ich schätze es fallen pro Tag ca. 300GB Daten an, die eigentlich dann auch direkt wieder runter sollen ins Archiv. Notfalls sollten aber auch 2-3 Tage überbrückt werden können. Ich dachte an ein RAID-Z1 von bspw. 3x 1TB Enterprise Mixed Workload SSD (DWPD: 3). Da wären PVE, VM/LXC und die Daten drauf.
Was wäre der Vorteil, PVE und/oder VM/LXC nicht in den Pool bzw. in einen gesonderten Pool zu nehmen? Kann das RAID bei Ausfall einer Platte problemlos wieder aufgebaut werden, wenn PVE, VMs und Daten auf demselben RAID liegen?
Wenn nicht, würde ich dazu tendieren zwei getrennte RAIDs aufzubauen:
- Mirror Pool 2x 500GB SSD für PVE und VM/LXC
- Mirror Pool 2x 1TB SSD oder RAID-Z1 3x 500GB SSD für Daten. Evtl. auch RAID-Z1 3x 1TB SSD
Dazu noch die Frage, welches RAID Konzept für meine Anwendung sinnvoller ist. Ich vermute, Mirror ist sowohl im Write/Read, als auch im Rebuild schneller als RAID-Z1.
Dann wäre da noch die Frage, soll ich einfach ausschließlich SATA Platten nehmen, bspw. 960 GB Intel D3-S4520 SSD? Eine (nur ein Steckplatz) M.2 Platte zu nutzen macht ja keinen Sinn, wenn der Rest des Pools dann SATA ist. Ich bin auch nicht auf SSDs festgelegt, wenn mich jemand von HDDs überzeugt.
Ich hoffe das war jetzt halbwegs strukturiert und die relevanten Infos sind enthalten. Ich freue mich auf eure Kommentare.
Viele Grüße
Christian
ich möchte einen neuen 2HE Virtualisierungs-Server für Proxmox (und evtl. VMware als Vergleich) konfigurieren und bin Neuling sowohl was Virtualisierung, als auch Server angeht. Ich hoffe, dass wir zum Testen erstmal einen vorhandenen Server oder eine Workstation zur Verfügung kriegen, im Worst-Case müssen wir aber direkt den finalen Server bestellen.
Zur Einordnung schildere ich zunächst das Anwendungsszenario, so gut es sich bisher abschätzen lässt.
Hauptanwendung ist das Aufnehmen von Time Series Data von verschiedenen Sensoren der Prozesstechnik und der Akustik, die über SPS, Edge Computer oder direkt angebunden sind. Dafür braucht es vermutlich verschiedene VM oder Container mit unterschiedlichen Windowsversionen oder Linux. Ich schätze es werden ca. 20 bis 30 Sensoren sein, Aktoren vermutlich keine.
Außerdem wird darauf laufen Monitoring (Grafana), Firewall (OPNsense), ZFS, Datenbank (PostgreSQL oder MongoDB), eine einfache Form von einem digitalen Zwilling / Verwaltungsschale der Prozesse, Remote Access, Predictive Maintenance, Skripte zum schieben von Daten und weitere Anwendungen die sich noch ergeben.
Die Rohdaten sollen großteils direkt geschrieben werden, für die Akustikmessungen gibt es vermutlich bereits ein Pre-processing.
Der Server soll schlussendlich im Dauerbetrieb für mehrere Jahre laufen, wobei teils nur ca. 5x pro Tag halbstündige Prozesse laufen wo wirklich Daten anfallen. Ich schätze es können pro Woche ca. 2TB an Daten anfallen, im Normalfall sollen die Daten täglich wieder vom Server runter.
Wie wichtig ein ausfallsicherer Betrieb ist, ist noch zu klären.
Nun zum Server, bisher dachte ich an folgende Konfiguration:
- 2x Intel® Xeon® 16 Core Processor 4216 2.10GHZ 22MB L3 Cache TDP 100W - Silver
Gedanke: möglichst viele Kerne, damit viele VMs parallel laufen können
- Supermicro Server Board X11DPH-I - 2 x 1 Gbit/s LAN, 16 DIMMs, 10 x SATA
Gedanke: Standard, oder macht für meine Anwendung 10 Gbit LAN oder PCI-E 4.0 Sinn?
- 128GB RAM
Gedanke: Solider Start, sollte es nicht reichen kann man noch erweitern. Oder haltet ihr für maßlos unter/über geplant?
Zu den Festplatten:
Ich schätze es fallen pro Tag ca. 300GB Daten an, die eigentlich dann auch direkt wieder runter sollen ins Archiv. Notfalls sollten aber auch 2-3 Tage überbrückt werden können. Ich dachte an ein RAID-Z1 von bspw. 3x 1TB Enterprise Mixed Workload SSD (DWPD: 3). Da wären PVE, VM/LXC und die Daten drauf.
Was wäre der Vorteil, PVE und/oder VM/LXC nicht in den Pool bzw. in einen gesonderten Pool zu nehmen? Kann das RAID bei Ausfall einer Platte problemlos wieder aufgebaut werden, wenn PVE, VMs und Daten auf demselben RAID liegen?
Wenn nicht, würde ich dazu tendieren zwei getrennte RAIDs aufzubauen:
- Mirror Pool 2x 500GB SSD für PVE und VM/LXC
- Mirror Pool 2x 1TB SSD oder RAID-Z1 3x 500GB SSD für Daten. Evtl. auch RAID-Z1 3x 1TB SSD
Dazu noch die Frage, welches RAID Konzept für meine Anwendung sinnvoller ist. Ich vermute, Mirror ist sowohl im Write/Read, als auch im Rebuild schneller als RAID-Z1.
Dann wäre da noch die Frage, soll ich einfach ausschließlich SATA Platten nehmen, bspw. 960 GB Intel D3-S4520 SSD? Eine (nur ein Steckplatz) M.2 Platte zu nutzen macht ja keinen Sinn, wenn der Rest des Pools dann SATA ist. Ich bin auch nicht auf SSDs festgelegt, wenn mich jemand von HDDs überzeugt.
Ich hoffe das war jetzt halbwegs strukturiert und die relevanten Infos sind enthalten. Ich freue mich auf eure Kommentare.
Viele Grüße
Christian
Last edited: