Stromsparen im Homelab
- Thread starter BOSSJoe
- Start date
Hallo zusammen,
nachdem nun ein wenig Zeit vergangen ist wollte ich euch mal an meinen Erkenntnissen teilhaben lassen.
Ich habe ein wenig was an meinem Lab verändert und konnte auch eine wenige kleine Erfolge verbuchen...
Also was hab ich gemacht?
Wie schon in meinem initialen Beitrag geschrieben habe ich bei meinen Servern die Netzteile von 750 Watt auf 495 Watt getauscht. Ich hatte es auch erst mit nur einem Netzteil versucht, aber da war sogut wie gar keine Ersparnis, daher hab ich das Ganze dann wieder redundant gemacht.
Außerdem habe ich bei allen Servern die jeweils zwei CPU´s zu einer Intel E5-2650L v2 CPU getauscht. Teilweise habe ich dann auch noch ein wenig RAM ausbauen müssen. Diverse kleinere Maßnahmen wie zum Beispiel der Ausbau von Intel X520-DA2 Netzwerkkarten oder SAS HBA´s für externe Anschlüsse haben das Ganze dann abgerundet.
Achja, einen T420 (Verbraucht rund 70 Watt) habe ich mir auch gegönnt und als Backup NAS bei meinen Eltern aufgestellt.
Was hat das nun alles gebracht?
Die DELL R620 hab ich nun von rund 160 Watt auf so etwa 110-115 Watt bekommen. Davon hab ich immerhin 3 Stück...
Einen der R720 konnte ich ganz abschalten (Backup NAS), was mir auch noch einmal so etwa 200 Watt einspart.
Der R720xd ist von etwa 270 Watt auf rund 190 Watt runter, dieser läuft ja auch immerhin 24/7.
Da die R620 nur bei Bedarf laufen sollen brauchte ich noch etwas wo mein Proxmox Cluster 24/7 läuft. Dazu habe ich mir insgesamt 5 DELL Optiplex 7050 Micro gekauft. Jeder dieser Mini PC hat eine Intel i5-7500T CPU, 32 GB RAM, eine 80GB SSD für Proxmox und eine 1TB NMVE SSD für die VM´s und Container. Ich beabsichtige hier noch eine extra Netzwerkkarte mit 2,5Gig einzubauen und dann entweder CEPH oder ZFS Replication laufen zu lassen.
Jeder dieser Mini PC´s verbraucht im Idle etwa 7-10 Watt und unter Last max. 20-25 Watt. Das bedeutet für alle fünf sprechen wir von einem Stromverbrauch von etwa 100 Watt. Sogar weniger als einer meiner R620 und knapp die Hälfte von meinem R720.
Zusammengefasst heißt das, mit all den Investitionen habe ich gerade einmal rund 180 Watt eingespart. Wenn man mal den T420 bei meinen Eltern weglässt und die R620 nicht mitzählt. Die sind ja eh nicht immer an.
Allerdings habe ich jetzt einen dauerhaften Cluster mit dem ich experimentieren kann und wenn ich dann doch mal die großen R620 benötige fressen die auch nicht mehr soviel Strom...
Wie ist eure Meinung dazu?
Gruß
Joe
nachdem nun ein wenig Zeit vergangen ist wollte ich euch mal an meinen Erkenntnissen teilhaben lassen.
Ich habe ein wenig was an meinem Lab verändert und konnte auch eine wenige kleine Erfolge verbuchen...
Also was hab ich gemacht?
Wie schon in meinem initialen Beitrag geschrieben habe ich bei meinen Servern die Netzteile von 750 Watt auf 495 Watt getauscht. Ich hatte es auch erst mit nur einem Netzteil versucht, aber da war sogut wie gar keine Ersparnis, daher hab ich das Ganze dann wieder redundant gemacht.
Außerdem habe ich bei allen Servern die jeweils zwei CPU´s zu einer Intel E5-2650L v2 CPU getauscht. Teilweise habe ich dann auch noch ein wenig RAM ausbauen müssen. Diverse kleinere Maßnahmen wie zum Beispiel der Ausbau von Intel X520-DA2 Netzwerkkarten oder SAS HBA´s für externe Anschlüsse haben das Ganze dann abgerundet.
Achja, einen T420 (Verbraucht rund 70 Watt) habe ich mir auch gegönnt und als Backup NAS bei meinen Eltern aufgestellt.
Was hat das nun alles gebracht?
Die DELL R620 hab ich nun von rund 160 Watt auf so etwa 110-115 Watt bekommen. Davon hab ich immerhin 3 Stück...
Einen der R720 konnte ich ganz abschalten (Backup NAS), was mir auch noch einmal so etwa 200 Watt einspart.
Der R720xd ist von etwa 270 Watt auf rund 190 Watt runter, dieser läuft ja auch immerhin 24/7.
Da die R620 nur bei Bedarf laufen sollen brauchte ich noch etwas wo mein Proxmox Cluster 24/7 läuft. Dazu habe ich mir insgesamt 5 DELL Optiplex 7050 Micro gekauft. Jeder dieser Mini PC hat eine Intel i5-7500T CPU, 32 GB RAM, eine 80GB SSD für Proxmox und eine 1TB NMVE SSD für die VM´s und Container. Ich beabsichtige hier noch eine extra Netzwerkkarte mit 2,5Gig einzubauen und dann entweder CEPH oder ZFS Replication laufen zu lassen.
Jeder dieser Mini PC´s verbraucht im Idle etwa 7-10 Watt und unter Last max. 20-25 Watt. Das bedeutet für alle fünf sprechen wir von einem Stromverbrauch von etwa 100 Watt. Sogar weniger als einer meiner R620 und knapp die Hälfte von meinem R720.
Zusammengefasst heißt das, mit all den Investitionen habe ich gerade einmal rund 180 Watt eingespart. Wenn man mal den T420 bei meinen Eltern weglässt und die R620 nicht mitzählt. Die sind ja eh nicht immer an.
Allerdings habe ich jetzt einen dauerhaften Cluster mit dem ich experimentieren kann und wenn ich dann doch mal die großen R620 benötige fressen die auch nicht mehr soviel Strom...
Wie ist eure Meinung dazu?
Gruß
Joe
180W ist doch schone eine ganze Menge. Keine Ahnung was du ausgegeben hast um das zu erreichen. musst evtl.,100 Jahre laufen lassen 
Ja, was soll ich sagen...180W ist doch schone eine ganze Menge. Keine Ahnung was du ausgegeben hast um das zu erreichen. musst evtl.,100 Jahre laufen lassen
Aber im ernst, ich musste zwar ganz schön in Vorlage gehen für einige Sachen. Allerdings geht es sich eigentlich ganz gut aus. Beispielsweise die neuen Netzteile und CPU´s für die DELL Server. Interessanterweise sind die Netzteile mit 495 Watt rund 5-10 Euro teurer als die mit 750 Watt. Dafür sind die Stromspar-CPU´s etwas günstiger gewesen als die welche ich ausgebaut habe. Aktuell bin ich dabei alles was ich nicht mehr benötige zu verkaufen. Mit Glück ist das ein Nullsummenspiel!
Etwas anderes ist das mit den DELL Micro PC´s. Da kann ich zwar auch ein paar Dinge veräußern, vor allem die vorherigen SSD´s und RAM Riegel. Aber auch sowas wie ein zusätzlicher VGA-Port oder Display-Port welche in diesen Micro PC´s nur als Modul eingebaut sind. Auch WIfi konnte ich ausbauen und steht aktuell zum Verkauf. Mit etwas Glück bekomme ich so ein viertel des Invest wieder zurück.
Und dann ist da ja noch mein alter R720 bei welchem ich gerade überlege ob ich ihn noch behalte oder doch verkaufe. Sollte ich den verkaufen bekomme ich auch noch das restliche Geld für die Mini PC´s und sogar den T420 wieder rein.
Du siehst also, nicht immer ganz einfach und sicher sehr aufwändig und auch risikoreich. Aber es geht. Und selbst wenn ich ein wenig mehr Geld ausgegeben hätte, ich denke ich hab alle meine Ziele erreichen können:
1. Das alles ist mein Hobby, ich bastle gerne und lerne auch gerne neue Sachen. Das hilft mir im Job und andere Hobbys kosten auch Geld!
2. Ich hab endlich einen Cluster der 24/7 laufen kann und mit dem ich lernen kann. Das konnte ich vorher aufgrund des Stromverbrauchs nicht so einfach...
3. Das fällt zwar ein wenig bei 2. mit rein, aber durch den geringeren Stromverbrauch habe ich auch wesentlich weniger Abwärme. Vorher war es in meinem Technikraum wo auch das Rack steht immer sehr warm, vor allem im Sommer. Das hat sich jetzt schon wesentlich gebessert.
4. Mein Stromverbrauch ist runter gegangen. Hab gerade mal gerechnet. 180 Watt dauerhaft sind im Jahr auch rund 1500 kW. Macht bei 0,3 € pro kW 470,-€ im Jahr weniger. Und da zähle ich noch nicht einmal den Stromverbrauch für meine Kühlung des Technikraums bzw. des restlichen Hauses mit rein.
Alles in allem sicherlich ein wenig ein Milchmädchenrechnung. PV Anlage und Batteriespeicher hab ich jetzt hier komplett ignoriert und auch ob ich alles zu den von mir gewünschten Preisen verkauft bekomme, wenn überhaupt, steht sicherlich in den Sternen. Aber es macht das Ganze doch sicherlich etwas nachvollziehbarer als ohne diesen Kontext. Und irgendwie muss man sich sein Hobby ja schön reden,...
Gruß
Joe
Nabend,
auch, wenn die Diskution etwas älter ist, würde ich mehr darüber wissen, und zwar was die Netzwerkanschlüsse angeht.
Ich betreibe in meinem "noch" Cluster einen ähnlichen Gerät (Dell Optiplex 3020 micro) und ich ärgere mich sehr, dass das kleien flotte Stück nur einen RJ45 (1gb) hat.
Ich habe "schlauerweise" versucht, die fehlenden NICs über Adapter USB => LAN zu ersetzen. Für einen "DMZ", einen "WAN" und einen "pfSync" (ich habe eine OPNSense als VM darauf) geht es, aber für den Corosync konnte ich es nicht am laufen bekommen (latenz zu hoch glaube ich) => ich habe einen VLAN auf den NIC RJ45 (das LAN) konfiguriert und mache über diesen VLAN die Corosync Verbindung
=> wie hast du das gelöst? Da du einen Cluster betreibst, solltes du dann mind 2x RJ45 haben (LAN und Corosync), wenn du es "normkonform" (also nicht alles über das LAN) hast. Wie löst du die für einen Serverbetrieb fehlenden NICs? Alles üner 1 NIC mit verschiedenen VLANs?
Und wie siesht es aus mit der Schwitcherei? Deine Optiplex wollen auch 24/7 miteinander kommunizieren. Ich gehe auch sehr stark davon aus, dass mehrere VLANs an den Optiplex ankommen => hast du die 5 Gerät an einen großen Switch Layer 2 oder Layer 3?
Bis du noch zufrieden mit dem Setup?
Danke für die Infos.
Gruß Arnaud
Hi @arnaud056
also Netzwerktechnisch ist das eigentlich recht simpel. Alles über die LAN Schnittstelle des Optiplex bis auf den ganzen Speichertraffic. Da nutze ich CEPH. Ich hab da über Ali Express solche M.2 auf 2,5G Netzwerkadapter gekauft und diese an die interne Schnittstelle für das Wifi angeschlossen. Das hängt auch alles an einem separaten Switch, allerdings noch 1G.
Restliches Netzwerk ist an einem Unifi Switch angeschlossen und Proxmox macht die verschiedenen VLANs. Der Switch muss die ja dann nicht taggen. Ich hab zwar einen Layer 3 Switch aber bei mir macht das Routing aktuell noch die OPNsense.
Generell bin ich mit der Lösung ganz zufrieden, allerdings ist mir der Stromverbrauch immer noch ein wenig zu hoch. Gerade bin ich dabei wieder ein wenig umzubauen und ich werden meinen dedizierten TrueNAS Server zu einem Proxmox Server machen und TrueNAS virtualisieren. Genug Power sollte der haben. Dann kann ich den Mini Cluster abschalten und hab praktisch nur noch einen Server Plus OPNsense. Eventuell werde ich die aber auch noch virtualisieren.
Damit geht mir zwar der Cluster verloren aber ich hab recht viel Leistung (Was mir aktuell ein bisschen zu knapp ist, gerade RAM) und nur ein System was Strom verbraucht.
Ob das dann der Weisheit letzter Schluss ist sag ich dir wenn ich es getestet habe,...
Gruß
Joe
Moin @BOSSJoe ,
danke für die Info.
Wie du es vielleicht gesehen hast, bin ich auch auf der Suche nach dem utopischen stromsparenden Homelab https://forum.proxmox.com/threads/stromverbrauch-reduzieren-beim-cluster-mit-3-nodes.158139/
Meine "Strategie" dabei ist:
- den globalen Verbrauch inkl. Swiches sowie Nebengeräte wie usb-Festplatten usw... mit zu betrachten (ist eigentlich logisch aber oft fokusiert man sich nur auf eine besteimmte Stelle)
- so viel wie möglich komplett vom Strom zu nehmen, was nicht gebraucht wird.
Ich bin dadurch überrascht, dass du planst, alles auf dem NAS zu verlagern. Bei mir ist der NAS (auch ein TrueNAS ohne VM und ohne Apps, bis auf ClamAV) das erste Gerät, das ich ausgeschaltet habe, wenn nicht in aktuver Benutzung (die Client-PCs wecken den per WOL beim Start und per cronjob der Nas schaltet sich ab, wenn kein PC an den pings mehr antwortet - vereinfacht erklärt).
Dann kommt die Anzahl der Geräte, die "im Spiel" sind. Kleinfieh macht Mist! Ich wollte daher einen Node ausschalten. Ich habe es ausprobiert, merke aber langsam, dass das Gerät, das 24/7 laufen mit der Last allein etwas überfordert ist. Die VM-OPNSense ist lahm geworden, dadurch das LAN schneckt etwas.
Ich werde den Node also ertmal behalten, habe den aber gerade räumlich umgezogen, so dass ich dann einen Switch (15W) ausschalten kann und bei der Gelegenheit einen externen Festplattengehäuse (6W im Ruhemodus saugt das Schwein!) + 2 Netzteile => 20-25W 24/7 weniger.
Wenn ich etwas in der Leistung aufrüsten würde, könnte ich dann nur mit 1 Node den Betrieb 24/7 halten.
Aber dann muss man sich auch überlegen, wie schnell bzw. langsam man durch Ersparnis den Schein wieder raus hat, was man dafür investiert hat.
.......
Gruß Arnaud
danke für die Info.
Wie du es vielleicht gesehen hast, bin ich auch auf der Suche nach dem utopischen stromsparenden Homelab https://forum.proxmox.com/threads/stromverbrauch-reduzieren-beim-cluster-mit-3-nodes.158139/
Meine "Strategie" dabei ist:
- den globalen Verbrauch inkl. Swiches sowie Nebengeräte wie usb-Festplatten usw... mit zu betrachten (ist eigentlich logisch aber oft fokusiert man sich nur auf eine besteimmte Stelle)
- so viel wie möglich komplett vom Strom zu nehmen, was nicht gebraucht wird.
Ich bin dadurch überrascht, dass du planst, alles auf dem NAS zu verlagern. Bei mir ist der NAS (auch ein TrueNAS ohne VM und ohne Apps, bis auf ClamAV) das erste Gerät, das ich ausgeschaltet habe, wenn nicht in aktuver Benutzung (die Client-PCs wecken den per WOL beim Start und per cronjob der Nas schaltet sich ab, wenn kein PC an den pings mehr antwortet - vereinfacht erklärt).
Dann kommt die Anzahl der Geräte, die "im Spiel" sind. Kleinfieh macht Mist! Ich wollte daher einen Node ausschalten. Ich habe es ausprobiert, merke aber langsam, dass das Gerät, das 24/7 laufen mit der Last allein etwas überfordert ist. Die VM-OPNSense ist lahm geworden, dadurch das LAN schneckt etwas.
Ich werde den Node also ertmal behalten, habe den aber gerade räumlich umgezogen, so dass ich dann einen Switch (15W) ausschalten kann und bei der Gelegenheit einen externen Festplattengehäuse (6W im Ruhemodus saugt das Schwein!) + 2 Netzteile => 20-25W 24/7 weniger.
Wenn ich etwas in der Leistung aufrüsten würde, könnte ich dann nur mit 1 Node den Betrieb 24/7 halten.
Aber dann muss man sich auch überlegen, wie schnell bzw. langsam man durch Ersparnis den Schein wieder raus hat, was man dafür investiert hat.
.......
Gruß Arnaud
Hi,
das mit dem NAS ist schnell erklärt. Da liegt halt alles drauf, Filme, Musik, Bilder, Dokumente etc. Und irgendwas greift immer auf das NAS zu.
- Kinder schauen einen Film
- Frau hört Musik
- Ich scanne Dokumente ins DMS
- PBS macht Backups
- VMs liegen teilweise auch auf dem NAS
Und nachts repliziert sich das NAS auf ein Backup NAS bzw. in die Cloud.
Außerdem experimentieren ich aktuell noch mit StorJ und daher könnte ich das NAS eh nicht abschalten. Mir ist aber bewußt das das mein Hauptstromfresser ist. Daher dann alles auf eine Kiste die eh 24/7 läuft.
Gruß
Joe