Bräuchte mal Unterstützung bei der Planung zur Umstellung auf Proxmox/Truenas

[Peter.Roth]

Hallo,

bräuchte mal Rat für folgendes Szenario:

Bestand (unter Hyper-V, zumindest das was übernommen werden soll)

1 x Server 2019 als DC
Nur AD, DFS, DNS und DHCP
150 GB Sysmtpartition
$ GB RAM

1 x Server 2019 als File and Applicationserver:
150 GB System
600 GB Daten
450 GB Userprofile(MAX)
450 GB Home Laufwerke(MAX)
150 GB Applications und Datenbanken (keine hohe Last)
16 GB RAM (z.Zt bei ca 12GB Nutzung)

1 X Server Ubuntu 22.04 für Web, CMDB, Ansible, Nagios ,Docker ...
250 GB Festplatte
16 GBRAM

15 x VM mit Windows 10 für User
je 8 GB RAM
80 GB HDD

1 x VM als Jumphost fürs Management
16 GB
150GB SSD + x HDD

Hinzu soll ein Proxmox Backup Server als VM kommen.

Sowie ein Server für OpenThinClient





Als Server (Proxmox) soll zum Einsatz kommen:


2 x Intel Xeon E5-2690V4 SR2N2 14C Server Prozessor 14x 2,60 GHz 35MB 2011-3 CPU
288 GB RAM
LSI COntroller 3000 8 port
2 x HDD 3 TB 2-way Mirror für Tote ddaten (ISO, etc...)
4 x Kingston DC600M 3,84 TB als Raid 10
2 x Consumer SDD 120 GB als Raid 1 für Boot
HP TPM Trusted Platform Module 2.0 Board 745823-B21 812119-001 Proliant Gen9
1 x Intel X540 2 x 10 Kupfer
2 x HP 1400W PSU Netzteil DL360 DL380 ML350 Gen9 Gen10 80 Plus Platinum PLC


Als Backup (TrueNAS) soll folgendes System zum Einsatz kommen


PowerEdge T320
1 x Intel Xeon E5-2470V2 SR19S 10C Server Prozessor 10x 2,40 GHz 20MB Cache 1356 CPU
64GB Registered ECC DDR3 RAM (2x 16GB DIMM)
Dell PERC H310 6G 8-Port SAS Raid PCIe x8 Controller for HDD SSD Raid: 0, 1, 10, 5, 50 - 03P0R3 (will flsch it to IT mode)
5 x HDD 6TB RaidZ2
3 x 240GB 2,5" Samsung PM883 Datacenter 3-Mirror als Boot / Special Device
2 x DELL 1100 Watt Netzteil PSU - PowerEdge R520
1 x Intel X540 2 x 10 Kupfer


Über Anmerkungen oder Tips würde ich mich freuen.?

 

[LnxBil]

2 x Intel Xeon E5-2690V4 SR2N2 14C Server Prozessor 14x 2,60 GHz 35MB 2011-3 CPU
1 x Intel Xeon E5-2470V2 SR19S 10C Server Prozessor 10x 2,40 GHz 20MB Cache 1356 CPU

Warum diese langsamen CPUs? Maximiere pro Kern GHz. Bei den paar VMs brauch man nicht so viele Kerne. Wie ausgelastet ist denn aktuell der Hypervisor? Wir haben >60 VMs pro Knoten und bräuchten dafür im normalen Betrieb nur ne Hexa-Core-CPU, verbaut sind 16.

288 GB RAM

Komischer Wert. Die CPUs haben laut ARK 4 Speicherkanäle, sollten die dann nicht immer in 4er Päckchen verbaut werden um die RAM optimal zu haben?

2 x HDD 3 TB 2-way Mirror für Tote ddaten (ISO, etc...)
4 x Kingston DC600M 3,84 TB als Raid 10
2 x Consumer SDD 120 GB als Raid 1 für Boot

Hardware RAID oder auch ZFS? Sonst würde ich empfehlen die beiden Server ähnlich aufzubauen, also Multi-Tier ZFS pool.


Generell kann ich noch ein bzw. zwei Optane SLOG empfehlen mit 16 oder 32 GB. Das bringt noch mal etwas die sync-Schreiblatenz etwas runter.

 

[Dunuin]

3 x 240GB 2,5" Samsung PM883 Datacenter 3-Mirror als Boot / Special Device

TrueNAS will ganze Disks für Boot und Special Devices.

 

[Peter.Roth]

Vielen Dank für eure antworten:

2 x Intel Xeon E5-2690V4 SR2N2 14C Server Prozessor 14x 2,60 GHz 35MB 2011-3 CPU
1 x Intel Xeon E5-2470V2 SR19S 10C Server Prozessor 10x 2,40 GHz 20MB Cache 1356 CPU

Warum diese langsamen CPUs? Maximiere pro Kern GHz. Bei den paar VMs brauch man nicht so viele Kerne. Wie ausgelastet ist denn aktuell der Hypervisor? Wir haben >60 VMs pro Knoten und bräuchten dafür im normalen Betrieb nur ne Hexa-Core-CPU, verbaut sind 16.

Meine Rechnung war 16 bis evtl. 21 VMs Win10 a 4 vCPU = max. 84 vcpu
Server (momentan 5) ca. 4-8 vcpu ungefähr (6 vcpu) = 30
Summe 114 vcpu bei 48 pgpu = 2,375 Verhältnis
Meine Informationen waren bei einer Ratio > 3 kommt es zu Performanceeinbußen.






Denn Pozessor bekomm ich gebraucht für ca 56€ denn 5697 für 240 mit geringer single thread performance.
Was würdest Du denn empfehlen?

288 GB RAM

Komischer Wert. Die CPUs haben laut ARK 4 Speicherkanäle, sollten die dann nicht immer in 4er Päckchen verbaut werden um die RAM optimal zu haben?

Danke für den Hinweis, dann würde ich auf 320 GB ( 16 x 16 GB + 8 x 8 GB gehen.)

2 x HDD 3 TB 2-way Mirror für Tote ddaten (ISO, etc...)
4 x Kingston DC600M 3,84 TB als Raid 10
2 x Consumer SDD 120 GB als Raid 1 für Boot

Hardware RAID oder auch ZFS? Sonst würde ich empfehlen die beiden Server ähnlich aufzubauen, also Multi-Tier ZFS pool.

All ZFS.

Or better idea?

Bei dem Backup Server wollte ich schon RaidZ2 verwenden wegen der Ausfallsicherheit.

 

[Peter.Roth]

TrueNAS will ganze Disks für Boot und Special Devices.

Danke dann nehme ich zwei kleine NVMEs als Boot device zuätzlich.

 

[homelabenthusiast]

Danke dann nehme ich zwei kleine NVMEs als Boot device zuätzlich.

TrueNAS will ganze Disks für Boot und Special Devices.

Das stimmt, das ist per default so. Du kannst aber die NVME partitionieren. Es gibt genug Anleitung online.

 

[LnxBil]

Meine Rechnung war 16 bis evtl. 21 VMs Win10 a 4 vCPU = max. 84 vcpu
Server (momentan 5) ca. 4-8 vcpu ungefähr (6 vcpu) = 30
Summe 114 vcpu bei 48 pgpu = 2,375 Verhältnis
Meine Informationen waren bei einer Ratio > 3 kommt es zu Performanceeinbußen.

Ja, das sind so Stammtischweisheiten. Daher hatte ich ja gefragt wie es aktuell mit der Auslastung aussieht, also dem IST-Wert nicht das was konfiguriert ist. Das muss die Basis für eine Empfehlung und deine Entscheidung sein. Ich habe bisher noch nie an einem System gearbeitet, was durch die CPU beschränkt war. Es war immer zu wenig RAM oder eben zu viel gleichzeitige IO (also Storage zu langsam).

Leider gibt es keinen direkten vCPU Zähler in PVE, aber hab das mal gerade für meinen Cluster hier berechnet und wir haben knapp 300 vCPU (130 VMs) bei 48C/96T und laut Datacenter-Overview eine CPU-Last von 10%. Da ist also sehr, sehr viel Luft nach oben, obwohl es genau bei deinem Radio 3 liegt (wenn man die Threads anschaut, bei Kernen wäre es sogar Ratio 6). Es kommt ja immer drauf an, wieviele Prozessoren bzw. VMs gleichzeitig volle Power brauchen. Meistens idlen die ja nur rum.

Was würdest Du denn empfehlen?

Aus der Reihe für meinen Workload wahrscheinlich den E5-1680 v4, da er 8C bei Grundtaktfrequenz von 3,4GHz hat und bis 4 GHz Hochtaktet. Er hat die höchste Single-Thread Rating im Vergleich zu deinen Alternativen. Du hast ja 2 Davon, also 16/32T.

 

[Dunuin]

Aus der Reihe für meinen Workload wahrscheinlich den E5-1680 v4, da er 8C bei Grundtaktfrequenz von 3,4GHz hat und bis 4 GHz Hochtaktet. Er hat die höchste Single-Thread Rating im Vergleich zu deinen Alternativen. Du hast ja 2 Davon, also 16/32T.

Aber ging es nicht um ein Dual-Sockel-System? Die E5-1600er sind ja Single Slot CPUs.

 

[LnxBil]

Aber ging es nicht um ein Dual-Sockel-System? Die E5-1600er sind ja Single Slot CPUs.

Ah mist, hab darauf nicht geachtet ... danke ... dann wäre wohl (nach dem Fehlkauf, Reklamation und RMA ) der E5-2667 v4 meine erste Wahl.