Unterstützung bei der Auswahl eines Servers

[Pippen]

Hallo zäme
Ich bin ganz neu auf diesem Gebiet. Ich habe inzwischen zwar fast 2 Jahre bei meiner letzten Firma mit Proxmox VE gearbeitet,
aber nur als Anwender. Da ich sehr zufrieden war mit Proxmox habe ich das auch dem neuen Arbeitgeber vorgeschlagen.
Nun wurde bestimmt, dass wir so einen Virtualisierungsserver aufbauen wollen, aber es ist weder der Server noch das Betriebssystem klar.
Ich selber kümmere mich mal ums Thema Proxmox VE als Betriebssystem und den Server.

Ich habe folgende zwei Anforderungsvarianten:
1. Variante:
- 20 VM Win10 IOT je 4GB RAM, je 30GB HDD/SSD, 2Cores
- 2 VMs Windows Server 2019 oder so, je 16GB RAM

2. Variante:
- 50 VM Win10 IOT je 4GB RAM, je 30GB HDD/SSD, 2Cores
- 5 VMs Windows Server 2019 oder so, je 32GB RAM


Fragen:
1. Mit welchen Herstellern von Servern die diesen Bereich abdecken habt ihr gute Erfahrungen gemacht?
2. Hättet ihr mir vielleicht grad ein paar Vorschläge für diese Anforderungen?
3. Was haltet ihr von Thomas Kren Servern?
4. Was haltet ihr von Dell Servern?

Besten Dank für einen Einstieg in dieses Thema.

Gruss Pippen

 

[konabi]

Ich würde Thomas Krenn Server nehmen:
https://www.thomas-krenn.com/de/pro...ueFrom]=350&tksf_e_chassis_depth[valueTo]=700

Der Support ist super, einfach mal dort anrufen und deine obigen Fragen stellen. Die können sich gut beraten und ein Angebot machen.

 

[Ramalama]

vielleicht ein paar tipps:

Cpu: ist eigentlich nicht wirklich wichtig, muss nicht high end sein. Da 99% der zeit die VM's eh im leerlauf sind.

Ram: Solltest einfach ungefähr mit dem doppelten kalkulieren, was du wirklich brauchst. In deinem fall würde ich zu 512gb tendieren. Bist dann auch relativ zukunfts sicher, da du einfach den zfs arc mit der zeit kleiner machen kannst, und am anfang dem einfach 256gb gibst, für die Performance.

Und achte darauf, das dein server mindestens 12 hdd Einschübe hat. Da das relativ schnell aufgebraucht wird. z.B.:
2x als mirror für system auf lvm basis, da würde ich 2x512gb ssds nehmen. Ist mehr als du brauchst, aber es gibt sachen die mit zfs nicht gehen, wie z.b. docker container in nem lxc container ohne umweg über vm.
Dann hast du noch 10 frei. Dann je nach dem gewünschten Speicherplatz, kannst du 4/6/8/10 benutzen für nen zfs raid 10.
Zfs raid 10 ist so das beste was man empfehlen kann, da im Gegensatz zu raid z, oder raid 5, keine cpu Berechnungen nötig sind.
Falls du HDD's benutzt, rechne mit max 8 freien slots, da du 2 eventuell für cache oder log später benutzen willst.
Falls du ssds nehmen willst, ist cache/log eher unsinnig, also rechne mit 10 slots.

Im Endeffekt, wirds auf einen 2he server hinauslaufen, aber das bringt dir auch Vorteile, wie z.b. das du später falls nötig auch platz für Grafikkarte hast, für was auch immer.

Super wichtig ist aber ecc ram und ipmi/ibmc/ilo, was aber jeder server sowieso haben sollte.
Ein 2 netzteil server, ist eventuell nicht nötig, da meine Erfahrung ist, das netzteil eh nie stirbt, und falls doch ists auch kein Problem, passiert vielleicht einmal im Schaltjahr und dann kannst du einfach austauschen, da die hotplug sind. Da darf der server auch ne stunde offline sein alle 7 jahre...
2 netzteile sind nur unnötig Stromverbrauch.

Was du aber dazu kaufen solltest, ist ersatz Netzteil und mindestens eine Festplatte mehr als du brauchst. Das legst du dann einfach oben auf deinen server drauf, falls was ausfällt, hast dus dann.
Und falls ram stirbt z.B., brauchst du ja nicht auf lager, da der server auch mit weniger riegel weiterläuft etc...

Edit: Bitte drauf achten das du 2x 10gbe ports hast, egal ob in gbe oder sfp+ Ausführung. Würde sogar eher sfp+ bevorzugen, da flexibler, da gibts auch gbe sfp's.

Edit2: Noch ein ganz wichtiger punkt. Du solltest drauf achten, das dein server am besten keinen hardware raid Controller hat. Statt dessen einen hba.
Das problem ist meistens, gute hardware raid controller sind sehr teuer, für zfs wird sowieso von raid controller abgeraten und die günstigsten: z.b. was dell in den billig servern einbaut, sind nur fake raid controller, aka software raid mit speziellem treiber Müll.
Die meisten server kommen mit raid controller, musst halt drauf achten ob die nen HBA modus haben, oder noch besser, reine hba's sind.

So im großen und ganzen hilft das hoffentlich xD

 

[Dunuin]

Ist mehr als du brauchst, aber es gibt sachen die mit zfs nicht gehen, wie z.b. docker container in nem lxc container ohne umweg über vm.

Also hier geht das wunderbar. Docker läuft im unprivilegierten LXC der auf dem ZFS pool liegt.

Und wenn man sich noch ein Directory Storage in Proxmox selbst anlegt, dann kann man auch Backups, LXC Tempaltes und Isos direkt auf dem ZFS Pool speichern (wobei Backups natürlich Null sinn machen, wenn man die dann nicht danach noch auf einen anderen Storage verschiebt). Da tut es dann prinzipiell auch ein paar von 32GB SSDs für Proxmox, wobei ich da zur Sicherheit auch schon eher auf 100GB geben würde. Kostet ja nicht wirklich viel mehr. Mehr Kapazität schadet aber natürlich auch nicht, da die SSD dann länger hält, was ja auch nicht verkehrt ist, wenn man z.B. keine extra SSD für den Swap hat und den dann mit auf die System SDDs packen muss.

 

[Ramalama]

Also hier geht das wunderbar. Docker läuft im unprivilegierten LXC der auf dem ZFS pool liegt.

Und wenn man sich noch ein Directory Storage in Proxmox selbst anlegt, dann kann man auch Backups, LXC Tempaltes und Isos direkt auf dem ZFS Pool speichern (wobei Backups natürlich Null sinn machen, wenn man die dann nicht danach noch auf einen anderen Storage verschiebt). Da tut es dann prinzipiell auch ein paar von 32GB SSDs für Proxmox, wobei ich da zur Sicherheit auch schon eher auf 100GB geben würde. Kostet ja nicht wirklich viel mehr. Mehr Kapazität schadet aber natürlich auch nicht, da die SSD dann länger hält, was ja auch nicht verkehrt ist, wenn man z.B. keine extra SSD für den Swap hat und den dann mit auf die System SDDs packen muss.

mit dem zfs docker treiber? hat bei mir nie funktioniert xD

 

[Dunuin]

mit dem zfs docker treiber? hat bei mir nie funktioniert xD

Hab da keine extra Treiber benutzt. Ganz normal einen unprivilegierten Debian LXC erstellt, mein Pool als Storage gewählt, nesting und keyctl features aktiviert und fertig.

 

[Ramalama]

Hab da keine extra Treiber benutzt. Ganz normal einen unprivilegierten Debian LXC erstellt, mein Pool als Storage gewählt, nesting und keyctl features aktiviert und fertig.

Ja, hab ich auch, nur dass bei mir der docker service nicht startet, wenn der lxc container auf zfs liegt.
Auf lvm, hab ich kein problem.

Du bist eigentlich der erste von dem ich höre das es geht.

 

[pakuzaz]

Ein 2 netzteil server, ist eventuell nicht nötig, da meine Erfahrung ist, das netzteil eh nie stirbt, und falls doch ists auch kein Problem, passiert vielleicht einmal im Schaltjahr und dann kannst du einfach austauschen, da die hotplug sind. Da darf der server auch ne stunde offline sein alle 7 jahre... 2 netzteile sind nur unnötig Stromverbrauch.

guten Morgen woher hast du den diese Weisheit. Ein 2tes Netzteil ist eigentlich nicht nur dafür da um ein Ausfall zuverhindern. Sondern um 2 Stromkreise zu verwenden. Und mehr Strom verbrauchst du mit 2 auch nicht. Der Verbrauch steigt im Server ja auch nicht.

im Rechenzentrum gibt es ein Stromkabel für das Stadtwerke Netz und eins das über usv/Diesel läuft.

um es vorweg zunehmen Netzteil fallen öfters aus als du denkst.

 

[Dunuin]

Ja, hab ich auch, nur dass bei mir der docker service nicht startet, wenn der lxc container auf zfs liegt.
Auf lvm, hab ich kein problem.

Du bist eigentlich der erste von dem ich höre das es geht.

Läuft problemlos seit vielen Monaten:

root@Hypervisor:/etc/pve/lxc# cat 101.conf
arch: amd64
cores: 1
features: keyctl=1,nesting=1
hostname: DockerIntranet
memory: 2048
nameserver: 192.168.43.1
net0: name=eth0,bridge=vmbr43,firewall=1,gw=192.168.43.1,hwaddr=XX:XX:XX:XX:XX:XX,ip=192.168.43.57/24,type=veth
ostype: debian
parent: autodaily210425050004
rootfs: VMpool7_VM:subvol-101-disk-0,mountoptions=noatime,size=64G
swap: 0
unprivileged: 1

Benutzt hatte ich das normale Debian 10.X Template von Proxmox. Dann Docker und Portainer manuell eingerichtet. Das einzige Problem waren glaube ich die Iptable-Regeln. Die hatte Docker nicht korrekt eingestellt und ich musste da noch etwas anpassen, dass da das Routing zu den Docker-Containern klappte, da die sonst nicht von außerhalb der VM erreichbar waren.
VMpool7_VM ist mein Storage für VMs/LXCs. Das verweist auf ein Dataset auf einem Raidz1 Pool aus 5 SSDs.

um es vorweg zunehmen Netzteil fallen öfters aus als du denkst.

Das stimmt. Mir sind hier daheim schon ca. 7 über die letzten 25 Jahre kaputt gegangen. Das Problem ist halt, dass dir da auch die USV nichts nützt, wenn das (Nicht-Redundante-)Netzteil kaputt geht. Sind ja trotzdem alle im RAM gecachten Schreibvorgänge verloren. Für einen Homeserver nicht weiter problematisch, aber beim Firmeneinsatz würde ich mit redundantem Netzteil schon besser schlafen können.

 

[Ramalama]

Ein 2 netzteil server, ist eventuell nicht nötig, da meine Erfahrung ist, das netzteil eh nie stirbt, und falls doch ists auch kein Problem, passiert vielleicht einmal im Schaltjahr und dann kannst du einfach austauschen, da die hotplug sind. Da darf der server auch ne stunde offline sein alle 7 jahre... 2 netzteile sind nur unnötig Stromverbrauch.

guten Morgen woher hast du den diese Weisheit. Ein 2tes Netzteil ist eigentlich nicht nur dafür da um ein Ausfall zuverhindern. Sondern um 2 Stromkreise zu verwenden. Und mehr Strom verbrauchst du mit 2 auch nicht. Der Verbrauch steigt im Server ja auch nicht.

im Rechenzentrum gibt es ein Stromkabel für das Stadtwerke Netz und eins das über usv/Diesel läuft.

um es vorweg zunehmen Netzteil fallen öfters aus als du denkst.

Genau so hab ich das in der firma auch, mehrere stromkreise, und heutzutage schaltet die usv um, wenn die stadtwerke ausfallen und diesel benötigt wird.
Dafür brauchst du keinen eigenen Stromkreis.
Du brauchst aber nen eigenen Stromkreis hauptsächlich für separate Sicherungen.

Aber dann brauchst du auch switche mit redundanten Netzteilen, am besten auch welche die redundant sind in form von stacking und dem rest in deinem Rechenzentrum.

Wahrscheinlich hast du auch nie Stromverbrauch gemessen oder keine Ahnung wie das mit redundanten netzteilen funktioniert.
Die meisten server laufen im balancing mode und speisen sich von beiden netzteilen gleichzeitig, was beide netzteile in einer nicht effizienten kurve laufen lässt + nebenverbrauch der entsteht, das kann alles in einem 50-100W mehr verbrauchen.
Das ist auch ein gemessener wert bei vielen hp servern hier.
Bei nem "high-efficiency" mode, also failover, läuft das 2te netzteil im standby und verbraucht auch so 10-20W.

Dadurch das ich extrem stark bezweifle, das der thread ersteller hier, ein redundanten server raum hat, sind 2 Netzteile unsinn, und ein ersatz netzteil, fall es ausfällt die bessere Lösung.

Würde eher stattdessen ne usv empfehlen, anstatt ein 2 netzteil server. Da die usv den strom auch meistens glättet/filtert, was die Lebensdauer von netzteilen erhöht.

Und ganz ehrlich, das ist hier auch mehr ne Glaubensfrage als alles andere.
20-50w Mehrverbrauch über 7 Jahre, in einem raum ohne redundanten Stromkreisen, ohne redundante switche, um einen eventuellen ausfall vorzubeugen, der höchstwahrscheinlich keine Nachwirkungen hat, ist meiner meinung nach extrem übertrieben.

 

[pakuzaz]

123

 

[Ramalama]

Herzlichen Glückwunsch, wir haben in der firma so um die 50 Server...
Es geht aber nicht um dich und mich, es geht um jemanden, der sich anscheinend den ersten Server zulegt und garantiert nichts redundant hat...
So was wie ne kleine Anwaltskanzlei oder was auch immer.

Ganz ehrlich, ist mir aber auch egal, macht 2 Netzteile, macht 1 Netzteil, macht was auch immer ihr wollt, ist euer ding xD

Lg