Stromsparen im Homelab

BOSSJoe

Member
Aug 5, 2020
68
6
13
44
Hi zusammen,

heute hab ich mal ein Thema was denke ich viele umtreibt und mich würde mal die Meinung der Experten hier interessieren.

Es geht um den Stromverbrauch der Server speziell im Homelab Umfeld. Zugegeben habe ich vielleicht nicht das typische Homelab aber vielleicht ist der ein oder andere Tipp ja auf eure Labs übertragbar...

Aktuell habe ich folgendes in meinem Homelab verbaut:

3 x Dell R620 mit je 2x Intel Xeon E5-2670 v2 CPUs, 256 GB DDR3 RAM, 6 SSDs und redundantem 750 Watt Netzteil
1 x Dell R720 mit 2x Intel Xeon E5-2650 v2 CPUs, 256 GB DDR3 RAM, 8 HDDs und redundantem 750 Watt Netzteil
1 x Dell R720xd mit 2x Intel Xeon E5-2650 v2 CPUs, 192 GB DDR3 RAM, 12 HDDs und redundantem 750 Watt Netzteil
zusätzlich noch diverse Switche, Firewall, usw.

Die R620 verbrauchen aktuell etwa 160-170 Watt pro Server und die R720 so etwa 200 bis 250 Watt pro Server. Daher habe ich auch nie alle gemeinsam im Einsatz, erstens benötige ich die Leistung nun wirklich nicht und zweitens ist mir der Stromverbrauch und auch die Hitzeentwicklung zu hoch... (Ich weiß, Luxusprobleme... ;-))

Die meiste Zeit läuft mein R720xd als TrueNAS und mein R720 als Proxmox Host mit virtuellem Backup TrueNAS. Die R620 nutze ich aktuell nur zum testen bzw. bei Wartungen. Allerdings möchte ich in Zukunft ein wenig das Thema Hochverfügbarkeit und SDS (Ceph) für mich entdecken und dazu bieten die R620 sich ja eigentlich ideal an.

Daher war mein Gedanke jetzt ein wenig downsizing zu betreiben und das Ganze ein wenig energieeffizenter zu gestallten. Soweit das halt mit dieser Hardware geht. Dazu hab ich mir folgendes überlegt und mich würde eure Meinung zu interessieren:

1. Ich tausche die CPUs gegen welche mit einer TDP von 60 Watt (jetzige hat 115 Watt). Zum Beispiel Intel E5-2630L
2. Anstatt zwei CPUs nutze ich pro Server nur noch eine.
3. Ich verringere die Anzahl der RAM Module in jedem Server um mindestens die Hälfte.
4. Die redundanten Netzteile tausche ich gegen 465 Watt Netzteile um eine bessere Effizienz zu bekommen. Die aktuellen Netzteile laste ich ja nicht einmal zu einem drittel aus.
5. Anstatt redundantem Netzteil habe ich nur noch ein einzelnes
6. Ich baue Dinge wie die IDSDM (dual SD Kartenslot für OS) aus. Diese werden nicht benötigt.
7. Die HDDs sind aktuell recht klein (8TB und 10 TB). Eventuell macht es auch Sinn weniger und dafür größere HDDs anzuschaffen um auf eine ähnliche Kapazität zu kommen.

Meine Frage jetzt an euch wäre. Machen diese Maßnahmen Sinn? Spare ich dadurch wirklich etwas Strom ein das es die Investitionen rechtfertigt? Die neuen Intel CPUs kosten rund 5,-€ das Stück und die Netzteile liegen bei rund 20 bis 25,-€ pro Stück.

Gibt es noch andere Punkte wo ich ansetzen könnte, speziell bei der Hardware? Natürlich könnte ich mir komplett neue Hardware anschaffen. Das werde ich wohl auch über kurz oder lang tun. Bis dahin möchte ich aber mit dem arbeiten was ich habe...

Über eure Gedanken würde ich mich freuen.

Gruß
Joe
 
Hi, im bios kannst du einstellen welchen modus sie laufen sollen, so ist es bei meinen hp zumindestens. das heist du kannst wæhlen zwischen ein paar einstellungen, nim die niedrigste, bei mir war es "Akustisch-leise irgensdwas". er schraubt dan die cpu leistung runter und er zieht wenniger strom.
Was ich noch gebacht habe ich habe meine nur von 6-23 laufen lassen, ueber ein cron stoppen und dann ueber ein timer hab ich den ganzen schrank abschalten lassen, die server muessen im bios so eingestellt sein das sie wenn der strom wieder kommt automatisch einschalten.
Ich hab mit den 2 optionen fast 50% gesparrt.
 
Moin ein Ryzen 7 PRO 4750G CPU System mit passendem Mainboard.
Hi,

das mag ja sein das ich damit Strom spare. Ist aber leider nicht die Hardware welche ich zur Verfügung habe...

Allein die Hardware neu anzuschaffen kostet mich mehr als mein Lab noch ein Jahr dauerhaft zu betreiben!

Gruß
Joe
 
Hi, im bios kannst du einstellen welchen modus sie laufen sollen, so ist es bei meinen hp zumindestens. das heist du kannst wæhlen zwischen ein paar einstellungen, nim die niedrigste, bei mir war es "Akustisch-leise irgensdwas". er schraubt dan die cpu leistung runter und er zieht wenniger strom.
Was ich noch gebacht habe ich habe meine nur von 6-23 laufen lassen, ueber ein cron stoppen und dann ueber ein timer hab ich den ganzen schrank abschalten lassen, die server muessen im bios so eingestellt sein das sie wenn der strom wieder kommt automatisch einschalten.
Ich hab mit den 2 optionen fast 50% gesparrt.

Hi,

ja diese BIOS Einstellung hat der DELL auch. Soweit ich das noch weiß hab ich das auch eingerichtet. Es gibt auch die Möglichkeit das mit einem Shell Befehl die CPU runtergetaktet wird. Hier mal der Blog von einem Kollegen zu dem Thema: https://teqqy.de/proxmox-strom-sparen-4-tipps-von-mir/

Was ich auch schon gemacht habe ist die Lüftergeschwindigkeit heruntergefahren. Das geht bei DELL auch ganz gut über einen IPMI Befehl.

Allerdings geht es mir hier nicht so sehr um Software Maßnahmen oder Tweaking. Eher ganz grundsätzlich welche Hardware hat am meisten Einfluss auf den Stromverbrauch bzw. welche Hardware Maßnahmen haben in meinem speziellen Fall den größten Einfluss auf den Stromverbrauch?

Gruß
Joe
 
cpu und netzteil, es gibt bei alten servern noch das problem das sie einen festen stromverbrauch haben sind also nicht regelbar.
wenn du netzteil wechselst sollte es auch erstmal was bringen
hast du einen extra stromzeahler dazwischen?
 
cpu und netzteil, es gibt bei alten servern noch das problem das sie einen festen stromverbrauch haben sind also nicht regelbar.
wenn du netzteil wechselst sollte es auch erstmal was bringen
hast du einen extra stromzeahler dazwischen?

Hi,

nein extra Stromzähler hab ich nicht direkt. Ich hab die Werte aus dem iDRAC und zusätzlich stichprobenartig mal einzelne Server mit einem Messgerät gemessen. Aber auch da muss man ja aufpassen das man beide Netzteile gleichzeitig misst.

Du meinst also CPU und Netzteil bringen am meisten? Könntest du ungefähr einschätzen was man da so rausholen kann?

Gruß
Joe
 
Hi,
also ich habe mir jetzt testweise mal zwei 495Watt Netzteile besorgt und in einen R620 eingebaut. Also ob ein Netzteil oder zwei Netzteile scheint überhaupt keinen Effekt zu haben. Allerdings hab ich mit dem Wechsel von 750Watt auf 495Watt schon einmal eine Ersparnis von 10 bis 15 Watt hinbekommen.

Werde jetzt die Tage noch die beiden "Großen" CPUs gegen eine "Kleine" austauschen. Mal sehen was das bringt.

Aber ich Fürchte für echten 24/7 Betrieb im Homelab eignet sich sowas nicht und ich werde wohl für alles was wirklich 24/7 laufen muss zu einem Cluster aus Micro Servern greifen.

Hab bei Ebay gesehen sowas wie ein Dell Optiplex 7050 Micro mit knapp 20 Watt gibt es schon ab rund 100,-€ bis 120,-€. Ein Cluster aus drei oder vier von denen ist fast genauso teuer wie CPUs und Netzteile auszutauschen.

Mal sehen was ich mache...

Gruß
Joe
 
Morgähn ;-)

ich hab mir dazu damals auch schon gedanken gemacht und hab am ende aber keinen Weg gesehen "Enterprise HA Server" mit Homelab Stromsparen zu verbinden...

Das Problem hier ist das in "Serverhardware" einfach zu viel auf Sicherheit steht als dass es mit Stromsparen kompatibel ist...

Die Ansätze mit Stromverbrauchern ausbauen ist natürlich nützlich, klar eine CPU weniger ist eine weniger, die Strom verbraucht, vor allem dann wen man die Leistung eh nicht braucht.

Ich habe mich dann irgendwann zu PC Hardware besonnen und mein Cluster bestand aus
2 HPE Microservern die Storage liefern,
und 3 Lenovo Thinkcentre als Proxmox Cluster

Backup ein Nuc mit 2 externen SSD's via USB3 (funktioniert einwandfrei ;-)



na ja so oder so zu deinen Vorhaben...
CPU sehe ich viel Strompaar potenzial, da diese einfach Stromverbraucher sind...
Bei Memory und HDD eher so lala, da wir hier immer von einstelligen Watt Bereich reden ...
Netzteile sind Hot Standby mit unter 0.5Watt ...
Ev. aus deinen 5 Servern 3 machen, was für ein volles HA absolut reicht und manche systeme dann eher mehr via VM's ?
so kannst du ev. paar HDD's durch SSD's ersetzen?
 
@CH.illig :
Ja Moin,... :)

Da bin ich ja froh das ich nicht der einzige bin der sich da Gedanken macht... Ich dachte schon ;-)
Zu deinen Vorschlägen. Generell will ich hier weniger Hardware einsetzen und auch mehr SSDs als HDDs einsetzen. Ich hab schon ein ganzes Diskshelf (DELL MD1220) außer Betrieb genommen deswegen.
Die R620 haben komplett SSDs und mit den dreien soll auch nur der Cluster gebaut werden. Ceph dann als VM Speicher. Mein R720XD dient mir als NAS mit TrueNAS für ISO, aber auch für meine ganzen anderen Dokumente und auch meine Filmsammlung. Und da ist das Problem. Ich hab da aktuell rund 50 TB liegen und die bring ich halt nicht so einfach und vor allem günstig auf SSDs unter. Sonst könnte ich das auch über Ceph laufen lassen. Der zweite R720 war mein bisheriger Proxmox Host und zusätzlich ein virtuelles TrueNAS als Backup für das erste. Hier hab ich schon reagiert und auch aufgrund erhöhter Sicherheit durch örtliche Trennung das ganze in das Haus meiner Eltern verlagert. Ich hab mir für 150,-€ bei Kleinanzeigen einen DELL Towerserver T420 gegönnt. Der hat auch nur eine Stromsparende CPU und ein 495 Watt Netzteil. Außerdem bring ich da locker 8 HDDs rein. Proxmox drauf, virtuelles TrueNAS und fertig. Stromverbrauch rund 70 Watt, das läuft bei meinen Eltern dank PV unter dem Radar.
Sobald ich dann den Cluster am laufen habe, ziehe ich noch die VMs um und der R720 wird ausgeschaltet.

Ich hab mir von der Arbeit auch mal so einen DELL Micro PC ausgeliehen und werde da mal die Performance mit Proxmox testen. Wie gesagt für alles was 24/7 laufen soll dürfte ein Cluster aus drei dieser kleinen PC ausreichen. Bei mir läuft halt sowas wie Nextcloud, PaperlessNGX, Home Assistant, Jellyfin, diverse arr Anwendungen, usw.
Wo ich mir ein wenig Leistung wünschen würde wäre für meine VDI VMs. Ich hab da ein paar Windows VMs welche ich als virtuelle Desktops nutze und da hab ich ein wenig bammel das da die Micro PCs an ihre Grenze kommen. Speziell wenn es dann an Videowiedergabe geht.

Gruß
Joe
 
Wo ich mir ein wenig Leistung wünschen würde wäre für meine VDI VMs. Ich hab da ein paar Windows VMs welche ich als virtuelle Desktops nutze und da hab ich ein wenig bammel das da die Micro PCs an ihre Grenze kommen. Speziell wenn es dann an Videowiedergabe geht.
Hi Joe,
da habe ich gute Erfahrung mit den China Mini PCs gemacht. Die Dinger mit relativ aktuellen Mobile CPUs sind sehr sparsam und liefern trotzdem vernünftig ab. So einen alten R720 kann man damit locker ersetzen.
Nachteil, mit guter Performance kosten die Dinger auch ein paar Hundert €.
 
@Falk R. :
Hi,
ich gehe mal davon aus, das du sowas wie Geekom, Minisforum, usw. meinst? Hab ich mir auch schon überlegt, bin aber noch unschlüssig. Vielleicht leih ich mir mal den Intel NUC von meinen Eltern und teste damit mal ein wenig rum. Das Ding ist recht aktuell und hat auch ordentlich Dampf.
Was mir an den China Dingern nicht so gefällt oder generell an einem neu gekauften PC, ich habe am Anfang einen recht hohen Invest und sollte mir die Hardware dann doch nicht passen verkaufe ich meist mit hohem Verlust. Das ist bei gebrauchter Enterprise Hardware, egal jetzt ob Server oder Desktop, anders. Außerdem gibt es auch für Enterprise Desktops auf dem Gebrauchtmarkt sehr viele günstige Ersatz- und Erweiterungsteile.

Gruß
Joe
 
@Falk R. :
Hi,
ich gehe mal davon aus, das du sowas wie Geekom, Minisforum, usw. meinst? Hab ich mir auch schon überlegt, bin aber noch unschlüssig. Vielleicht leih ich mir mal den Intel NUC von meinen Eltern und teste damit mal ein wenig rum. Das Ding ist recht aktuell und hat auch ordentlich Dampf.
Was mir an den China Dingern nicht so gefällt oder generell an einem neu gekauften PC, ich habe am Anfang einen recht hohen Invest und sollte mir die Hardware dann doch nicht passen verkaufe ich meist mit hohem Verlust. Das ist bei gebrauchter Enterprise Hardware, egal jetzt ob Server oder Desktop, anders. Außerdem gibt es auch für Enterprise Desktops auf dem Gebrauchtmarkt sehr viele günstige Ersatz- und Erweiterungsteile.

Gruß
Joe
Da sind wir genau bei dem Grundproblem was immer besteht. Ältere Hardware hat weniger Leistung oder bei Enterprise Servern, deutlich mehr Stromverbrauch pro Leistung.
Neue CPUs liefern deutlich mehr Leistung/Watt, aber da muss ich in Geld in die Hand nehmen. Ist schon immer ein Rechenexempel gewesen, was sich für wen lohnt. Bei den hohen Strompreisen gehen immer mehr Leute zu neuerer Hardware.
P.S. gebrauchte NUC oder ähnliches, gibts ja auch etwas günstiger.
Wenn man kein ECC RAM braucht, fährt man mit Mobile Prozessoren immer am besten.
 
Da sind wir genau bei dem Grundproblem was immer besteht. Ältere Hardware hat weniger Leistung oder bei Enterprise Servern, deutlich mehr Stromverbrauch pro Leistung.
Neue CPUs liefern deutlich mehr Leistung/Watt, aber da muss ich in Geld in die Hand nehmen. Ist schon immer ein Rechenexempel gewesen, was sich für wen lohnt. Bei den hohen Strompreisen gehen immer mehr Leute zu neuerer Hardware.
P.S. gebrauchte NUC oder ähnliches, gibts ja auch etwas günstiger.
Wenn man kein ECC RAM braucht, fährt man mit Mobile Prozessoren immer am besten.
Okay,
klingt nachvollziehbar. Ich denke da kann man dann entweder sehr viel Recherche betreiben und rechen oder einfach ausprobieren. Da ich ja jetzt eh schon die ganze Enterprise Hardware hier habe, werde ich ein wenig testen und wenn mir das Ergebnis immer noch nicht passt kann ich ja immer noch aktuelle Hardware kaufen...
Vielen Dank
Joe
 
Wenn du 2 Trunas Systeme hast die deine Bibliothek abliefern (Meine ist im Rundordner vor Jahren archiviert worden ;-) )
dann würde ich das so lassen...
So hast du ein Server mit einer cpu mit bissel Memory bei dir als NAS Storage + Eltern Backup

Und den Rest würde ich durch normale PCs mit single oder dual SSD ersetzen.
Gesamt 3 Stück und die dann als Proxmox Cluster.
Ich würde dir kein Ceph empfehlen bei dem kleinen rahmen,
Ceph recomendet ist ab 3 Servern mit je 5 Disks ... nutzbarer speicher, ist dann 3 Disks somit 3/15 nutzbar ...

Nutz ZFS und richte ein replica ein, Server 1 replica auf 2 server 2 replica auf 3 und server 3 replica auf 1 ;-)
Bezüglich leistung,
kauf dir 3 micropc's einer mit einer guten schnellen cpu und die anderen eher günstig, so hast du im normalbetrieb den dampf und im failover gehts halt noch ;-)
 
Wenn du 2 Trunas Systeme hast die deine Bibliothek abliefern (Meine ist im Rundordner vor Jahren archiviert worden ;-) )
dann würde ich das so lassen...
So hast du ein Server mit einer cpu mit bissel Memory bei dir als NAS Storage + Eltern Backup

Und den Rest würde ich durch normale PCs mit single oder dual SSD ersetzen.
Gesamt 3 Stück und die dann als Proxmox Cluster.
Ich würde dir kein Ceph empfehlen bei dem kleinen rahmen,
Ceph recomendet ist ab 3 Servern mit je 5 Disks ... nutzbarer speicher, ist dann 3 Disks somit 3/15 nutzbar ...

Nutz ZFS und richte ein replica ein, Server 1 replica auf 2 server 2 replica auf 3 und server 3 replica auf 1 ;-)
Bezüglich leistung,
kauf dir 3 micropc's einer mit einer guten schnellen cpu und die anderen eher günstig, so hast du im normalbetrieb den dampf und im failover gehts halt noch ;-)
Interessant,
gerade das mit den Replicas klingt spannend. Da muss ich mich noch ein wenig einlesen. Hab ich noch gar nicht drüber nachgedacht...
BTW. Was meinst du mit Rundordner??? :)
 
ZFS Replica einfach gesagt
wenn du zwei ZFS Datastores hast die "identisch" heissen
dann kannst du in der VM einfach ein Replika anlegen und die vm ist alle x Minuten synchronisiert (dauert paar Sekunden weil via zfs Snapshots gearbeitet wird
betreibe ich bei vielen Kunden die nur 2 Server haben. (ev für dich auch eine Option)
mit quemu Special Device dann auch HA möglich

Rundordner ist der Papierkorb ;-)
 
ZFS Replica einfach gesagt
wenn du zwei ZFS Datastores hast die "identisch" heissen
dann kannst du in der VM einfach ein Replika anlegen und die vm ist alle x Minuten synchronisiert (dauert paar Sekunden weil via zfs Snapshots gearbeitet wird
betreibe ich bei vielen Kunden die nur 2 Server haben. (ev für dich auch eine Option)
mit quemu Special Device dann auch HA möglich

Rundordner ist der Papierkorb ;-)
Oh man "Rundordner",... :) Hätte ich auch drauf kommen können!

Ist bei der Replication nicht das Problem das ich das nicht dauerhaft mache und es dann zu Inkonsistenzen im Filesystem kommt?
 
Inkonsistent nicht unbedingt, mit qemu tools ist das FS konsistent.
Im HA Fall fehlen dir dann halt die Daten nach der letzten Replik.
Ah, okay. Wieder ein Grund mehr sich mit einem Cluster und allem drum herum zu befassen. Auch wenn es im Homelab vielleicht Overkill ist..
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!