Stromverbrauch senken - Brauche eure Hilfe

[Proxmox User 2022]

Hallo alle zusammen

ich benötige mal eure Hilfe und euer Wissen.

Ich habe bisher einen ProxMox Server betrieben der folgende aussattung hatte

AMD Ryzen 5 Pro 4650G
MSI Tommahawk B550
128 GB DDR4 Arbeitsspeicher
2x NVME
3x SATA SSD
2x SATA HDD
1x PCIE 4 Port Netzwerkkarte

Dieser hat im IDLE so um die 54 Watt aus der Dose gezogen. Nicht ideal aber ich konnte damit leben.
Da ioch jetzt noch einen SAS HBA für TRUENAS einbauen wollte und das auf meinem alten Mainboard leider nicht mehr möglich war, habe ich mir ein neues Setup geholt.

Aktuelle Konfig

Intel I5 13500T
Asus Prime Z690-P D4 CSM

Diese teile wurden übernommen
128 GB DDR4 Arbeitsspeicher
2x NVME
3x SATA SSD
2x SATA HDD

Was noch dazu kam

1x LSI 9300-8i SAS HBA
1x 4 Port 2.5 GB Netzwerkkarte

Leider Zieht PROXMOX nun stolze 80 - 90 WATT im Idle aus der DOSE was mit definitiv zu viel ist.
Ich kann jetzt nicht glauiben das dies nur durch die beiden weiteren PCIE Karten kommt.

Gibt es eine möglichkeit den Stromverbrauch in PROXMOX noch weiter zu drücken? Energiespareinstellungen etc?
Im Board hab ch schon alles eingestellt was geht.

Gibtr es eventuell bessere vorschläge an Hardware? Dann tausche ich das alles noch mal aus

Vielen Dank

 

[jim_os]

Du vergleichst natürlich ein wenig Äpfel mit Birnen, sprich zwei unterschiedliche Motherboards mit unterschiedlichen CPUs.

Die technischen Daten bzgl. Stromverbrauch der Intel I5 13500T kennst Du?


Die Intel CPU dürfte vermutlich mehr Strom verbrauchen als die AMD CPU.

Der LSI 9300-8i SAS HBA Controller ist, wenn ich das richtig sehe, mit 13 Watt Stromverbrauch angegeben und bei einer 4-Port 2.5G NIC würde ich mal von 5 - 10 Watt Stromverbauch ausgehen. Was die beiden PCIe Karten dann genau verbrauchen kannst Du ja selber messen/feststellen, in dem Du mal mit und mal ohne Karten den Stromverbrauch misst.

D.h. bei der genannten Ausstattung der Kiste ist ein Stromverbrauch von rund 80 Watt (im Powermode) durchaus denkbar.

Bei Proxmox selber lässt sich nichts bzgl. "Energieeinsparung" einstellen, aber was Du machen könntest wäre den CPU-Mode (Governors) einzustellen. Der dürfte bei der Intel CPU standardmäßig auf performance stehen und wenn Du diesen auf powersave einstellst spart das Strom. Allerdings natürlich auf Kosten der Performance.

Bei meiner Proxmox Kiste hier (Fujitsu Esprimo D957/E90+) mit
- Intel i3-7100 CPU
- 40 GB RAM (2 x 16 + 1 x 8 GB)
- 1TB NVMe SSD
- 2TB NVMe SSD per PCIe Adapter
- PCIe 2,5G Netzwerkkarte

habe ich durch die powersave-Einstellung den Stromverbrauch um rund 7 Watt von durchschnittlich 21 Watt auf durchschnittlich 14 Watt senken können.

VG Jim

 

[Impact]

https://wiki.ubuntuusers.de/PowerTOP/#Automatische-Anpassungen

 

[news]

@Proxmox User 2022 schau mal in den Bios nach den C-states, den PL1, Delta und PL2 Einstellungen.
Nicht benötigte Hardware abschalten:
* Sound Chip, USB 2.0, USB 3.0 evtl. noch andere Devices.
* Evtl. kann man PCIe 5.0 auf dem Board abschalten.
* Speicher: DDR4 nicht übertakten und mit Standard laden bei 1.2V
* Nur so wenige Gehäuselüfter installieren, wie nötig.
* Das verwendete Netzteil kann 5 W - 8 W idle Verbrauch mehr aus machen.
==> evtl. kann man ein Pico Power Netzteil verwenden.
# https://www.alternate.de/Chieftec/Netzteil-120W-PC-Netzteil/html/product/1273718
# https://www.alternate.de/Inter-Tech/Mini-ITX-PSU-200W-NAS-DC-DC-Adapter/html/product/1699396
# https://www.amazon.de/dp/B00YXXAG7C?
* Keine LED oder andere Beleuchtung im PC, Mainboard. LED-Controller abschalten.

Ein 240V~ Leistungsmesser kaufen.

* https://www.reichelt.de/energiekostenmessgeraet-digital-emg-pl-pm231e-p119261.html # den nutze ich selbst
* https://www.reichelt.de/energiekostenmessgeraet-digital-ans-1260-0008-p379613.html
* https://www.reichelt.de/energiekostenmessgeraet-digital-ans-1260-0007-p379612.html

 

[Beutegreifer]

Bei Proxmox selber lässt sich nichts bzgl. "Energieeinsparung" einstellen, aber was Du machen könntest wäre den CPU-Mode (Governors) einzustellen. Der dürfte bei der Intel CPU standardmäßig auf performance stehen und wenn Du diesen auf powersave einstellst spart das Strom.

Interessant, wieder was gelernt, Danke.

Asus P8Z77-V PRO, Intel Core i7 3770, 3xSSD´s.

Mit der Ondemant/Performance-Einstellung verbraucht mein Host 45W im Idle.
Im Powersavemode geht das Leistungsmessgerät leider kein einziges Watt runter.

#ondemand
processor       : 0
cpu MHz         : 3793.923
processor       : 1
cpu MHz         : 3806.417
processor       : 2
cpu MHz         : 3899.294
processor       : 3
cpu MHz         : 3801.941
processor       : 4
cpu MHz         : 3900.000
processor       : 5
cpu MHz         : 2500.000
processor       : 6
cpu MHz         : 3826.681
processor       : 7
cpu MHz         : 3795.125

#powersave
processor       : 0
cpu MHz         : 1604.734
processor       : 1
cpu MHz         : 1604.731
processor       : 2
cpu MHz         : 1600.000
processor       : 3
cpu MHz         : 1604.717
processor       : 4
cpu MHz         : 1604.741
processor       : 5
cpu MHz         : 1600.000
processor       : 6
cpu MHz         : 1604.744
processor       : 7
cpu MHz         : 1604.744

 

[news]

@Beutegreifer und welche BIOS Einstellungen wurden vorgenommen, um weniger Leistung im IDLE zu verbrauchen?

Ich habe einen Intel Core i5-4670, mit Asus H81M-K, 2x 4 GB DDR3,1600 MT/s und 1x SSD Intenso TOP 256 GByte mit BS Debian 12 auf 17 Watt im Idle gebracht.
Es wurde noch eine Crucial M.2 P3 500 GB NVMe PCIe 2.0 x4 nachgerüstet, so dass der Verbrauch nun bei ca. 18 Watt liegt.

 

[jim_os]

Mit der Ondemant/Performance-Einstellung verbraucht mein Host 45W im Idle.
Im Powersavemode geht das Leistungsmessgerät leider kein einziges Watt runter.

Dann würde ich mir ggf. mal Gedanken über ein anderes, funktionierendes Leistungsmessgerät machen. Ne mal ersthaft: Bei den geposteten Werten sieht man ja das die Taktfrequenz im Powersave-Mode entsprechend reduziert wird und das sollte sich dann eigentlich auch im Stromverbrauch bemerkbar machen. Warum das dann bei Dir scheinbar nicht der Fall ist und/oder was Du da wie misst, kann ich Dir leider auch nicht sagen.

Die Intel Core i7 3770 stammt halt schon aus dem Jahr 2012 und damals haben die Intel CPUs aufgrund der Fertigstechnik auch noch entsprechend mehr Strom verbraucht als neuere CPUs, aber wenn die CPU im Powersave-Mode läuft sollte sich das auch direkt auf dem Stromverbrauch auswirken.

Eine Intel Core i7 3770K CPU sollte man lt. den div. alten Testergebnissen zu der CPU und sofern man alle Stromsparoptionen aktiviert hat und nutzt, auf einen minimalen Stromverbrauch irgendwo um die 30 Watt bringen können. Noch weniger scheint für die Intel Core i7 3770K nicht möglich zu sein. D.h. ich vermute das die genannten 45 Watt im Idle bereits der geringste Wert ist der bei Deiner Kiste möglich ist, sprich irgendetwas um die 30 Watt verbraucht die CPU und den Rest verbrauchen die restlichen Komponenten im System (Motherboard, HDD/SSD, NIC, usw.). D.h. bei den gemessenen 45 Watt hat sich die CPU ggf. bereits aufgrund von irgendwelchen BIOS-Einstellungen in den Powersave-Mode begeben und die CPU wurde entsprechend heruntergetaket auf irgendetwas um die 1600 MHz, sodass die Governors-Einstellungen (bei Dir) keine weiteren Auswirkung haben. Das ist aber halt nur eine Vermutung von mir und es ist natürlich auch möglich das Du da irgendetwas falsch misst.

VG Jim

 

[Beutegreifer]

@Beutegreifer und welche BIOS Einstellungen wurden vorgenommen, um weniger Leistung im IDLE zu verbrauchen?

Ich habe einen Intel Core i5-4670, mit Asus H81M-K, 2x 4 GB DDR3,1600 MT/s und 1x SSD Intenso TOP 256 GByte mit BS Debian 12 auf 17 Watt im Idle gebracht.
Es wurde noch eine Crucial M.2 P3 500 GB NVMe PCIe 2.0 x4 nachgerüstet, so dass der Verbrauch nun bei ca. 18 Watt liegt.

Das Bios ist 11 Jahre alt, die Einstellmöglichkeiten halten sich da in Grenzen.
Hatte alle C-States mal auf aktiviert gesetzt, macht aber keinen Unterschied beim wechseln zwischen den Governors.
Wenn du noch Tipps hast gerne her damit

 

[Beutegreifer]

Dann würde ich mir ggf. mal Gedanken über ein anderes, funktionierendes Leistungsmessgerät machen. Ne mal ersthaft: Bei den geposteten Werten

Das Leistungsmessgerät ist ein Voltcraft Energie Check 3000, ist genau so alt wie der Rest der Technik, aber warum sollte das Lügen

ich vermute das die genannten 45 Watt im Idle bereits der geringste Wert ist der bei Deiner Kiste möglich ist, sprich irgendetwas um die 30 Watt verbraucht die CPU und den Rest verbrauchen die restlichen Komponenten im System (Motherboard, HDD/SSD, NIC, usw.). D.h. bei den gemessenen 45

Ja, seh ich genau so, die Untergrenze wird erreicht sein.

Eben auch noch mal die gegenprobe mit C-States deaktiviert gemacht, Verbrauch wie gehabt.

Danke für Deine Rückmeldung!

 

[jim_os]

Untergrenze wird erreicht sein.

Ich nutze hier einige NUC8 mit Intel i3-8109U CPU und die Fujitsu Kiste dann als Proxmox Host mit einer Intel i3-7100 CPU. Alle PCs werden per Tasmota Steckdosen mit Leistungsmessung gemessen und dann per Home Assistant protokolliert. Bsp. die Fujitsu Proxmox Kiste:



Bei den i3 CPUs der 7-ten oder 8-ten Generation liegt der niedrigste mögliche Stromverbrauch im Powersave-Mode bei ca. 8 - 9 Watt und ich kann über die Tasmota Steckdosen direkt sehen das sich der Stromverbrauch entsprechend reduziert wenn ich per Governors-Einstellungen vom Performance-Mode in den Powersave-Mode umschalte. Um wie viel sich dann der Stromverbrauch reduziert hängt natürlich auch ganz davon ab welche Anwendungen (VM und LXC) auf dem Proxmox Host gerade laufen und welche Last die dann erzeugen. Somit kann man auch keine Pauschalaussage dazu treffen bei welcher Kiste sich dann der Stromverbrauch um wie viel reduziert. Das können vielleicht nur 3 - 4 Watt sein, aber ggf. auch 10 oder 15 Watt.

Bei den Sysinfos von Home Assistant kann ich die Änderungen der Governors-Einstellungen halt auch sehen. Das sind die Werte im Powersave-Mode


und wenn ich jetzt wieder auf den Performance-Mode umschalten würde geht die Prozessor Auslastung auf ca. 5 % zurück und der Stromverbrauch auf ca. 20 Watt hoch.

Wie schon gesagt werden die rund 40 Watt bei Dir vermutlich die Untergrenze sein, wobei es mich trotzdem wundert das Du durch die Governors-Einstellungen zwar eine Reduktion der MHz sehen kannst, aber nicht von dem Stromverbrauch.

Bei dem TE mit seiner Intel I5 13500T und den 80-90 Watt, dürfte man sicherlich noch etwas optimieren können und damit den Stromverbrauch weiter reduzieren. Aber was man da machen könnte wurde ich ja schon genannt, sprich per Governors-Einstellungen in den Powersave-Modus wechseln und alles was man nicht braucht (also z.B. Schnittstellen wie z.B. USB, WLAN, Bluetooth usw.) im BIOS des Motherboards deaktivieren.

VG Jim

 

[Beutegreifer]

Ich nutze hier einige NUC8 mit Intel i3-8109U CPU und die Fujitsu Kiste dann als Proxmox Host mit einer Intel i3-7100 CPU. Alle PCs werden per Tasmota Steckdosen mit Leistungsmessung gemessen und dann per Home Assistant protokolliert. Bsp. die Fujitsu Proxmox Kiste:

Coole Technik hast Du da am laufen, besser geht es kaum
Homeassistant ist bei mir auch noch eine Baustelle, läuft bei mir in einem Docker Container aktuell nur mit Tankerkönig
Mag aber von da nicht, im Heimnetz, ein AppleTV als Zentrale für Smarthome finden. An Devices fehlt es auch noch.
Eine separate Installation (VM) lohnt deshalb noch nicht.

Wie schon gesagt werden die rund 40 Watt bei Dir vermutlich die Untergrenze sein, wobei es mich trotzdem wundert das Du durch die Governors-Einstellungen zwar eine Reduktion der MHz sehen kannst, aber nicht von dem Stromverbrauch.

Ein bisschen genauer kann ich auch noch mit einer Bluetooth Meßsteckdose.

Kleinste gesichtete Werte, CPU Last 0,x%...

Performance


Powersave


Können auch normale Schwankungen sein.
Denke mal ich muss zufrieden sein mit dem Stand.

VG Rainer

 

[jim_os]

Homeassistant ist bei mir auch noch eine Baustelle, läuft bei mir in einem Docker Container ...
Eine separate Installation (VM) lohnt deshalb noch nicht.

OT: Ich würde trotzdem empfehlen HA immer in einer VM laufen zu lassen um nicht die Einschränkungen bei der HA Docker/Container Version zu haben.


Eine HA VM ist ja in ein paar Minuten erstellt und wenn man es nicht "zu Fuß" per .qcow2 machen will (siehe https://www.home-assistant.io/installation/alternative) nutzt man einfach die Proxmox Helper Scripts dafür und macht damit eine Dialoginstallation.

HA ist eigentlich ziemlich genügsam was die Ressourcen betrifft (Minimum: 2 GB RAM, 32 GB Storage, 2vCPU), sodass eine Docker/Container-Version nicht wirklich sein muss. Für den HA VM Einstieg sind 4GB RAM und eine 64GB Diskgröße mehr als ausreichend.

VG Jim

 

[news]

Das Bios ist 11 Jahre alt, die Einstellmöglichkeiten halten sich da in Grenzen.
Hatte alle C-States mal auf aktiviert gesetzt, macht aber keinen Unterschied beim wechseln zwischen den Governors.
Wenn du noch Tipps hast gerne her damit

Also C-State auto muss nichts heißen, sondern alles Einschalten wäre gut und die anderen Einstellungen auf nicht benötigte Hardwaremodule untersuchen!

 

[Falk R.]

Sonst hilft eventuell noch undervolting. Da reduzierst du die Spannung bei CPU und RAM bis die Kiste instabil wird und dann wieder ein klein wenig hoch. Der Saint of Sinner bei Twitch hat das mal im Detail gezeigt und eine Menge gespart. Ich weiß aber nicht ob es davon Aufzeichnungen gibt.

 

[Proxmox User 2022]

Guten Abend zusammen,

Danke für die vielen Tipps

Ich habe extra einen i5 13500T genommen, da ja die T Modelle von Intel stromsparend sein sollen. Laut beschreibung soll der ja nur 35 Watt brauchen. Der AMD braucht laut beschreibung 65 Watt. Ich kann mir also merken das diese Werte nichts Aussagen :-(
I
Ohne SAS HBA habe ich 7 Watt einsparen können, was aber immer noch zu viel ist.

Ich habe zwischenzeitlich wieder auf mein AMD system umgebaut, da sich PROXMOX mit dem Intel System sehr komisch verhalten hat.

Jetzt muss ich überlegen auf welche Hardware ich umsteigen kann, im einen geringen Stromverbrauch zu Haben.
Das was ihr so schreibt sind ja teilweise Traum Werte

Gibt es überhaupt eine möglichkeit Performante stromsparende Maschinen zu bauen? Oder muss ich auf die ersten ARM Server (CPU + MAINBOARD) warten?

Schönen Abend zusammen

 

[Falk R.]

Hi, die 12te und 13te Generation mit den E+P Kernen ist eh nicht so 100% optimal für Virtualisierung.
Ich bin da eher ein freund von AMD Systemen. Wenn du richtig Strom sparen willst, nimm ein System mit Mobile CPU, so wie die China Mini PCS z.B. von Minisforum. Dann am besten noch LV RAM und nur SSDs, da der drehende Rost auch viel Strom braucht.
beim Netzteil kann man auch einiges Verschenken wenn das zu groß ist.

 

[Beutegreifer]

Mir ist der Stromverbrauch der Intel und AMD Systeme auch zu hoch. In Zukunft willst vieleicht auch noch paar NPU Kerne an Board haben für Ollama und Co. Das geht bei x86 aktuell ja nur mit dedizierter GPU und entsprechendem Verbrauch. Hab gestern spasseshalber mal CPU only ein paar LLM´s auf dem Host getestet. Da waren die 8 Intel Kerne mit 180 Watt am arbeiten und bis die Antwort kam hab ich bequem noch einen Kaffee holen können. Sowas läuft bei mir demnächst auch selfhostet. Deshalb setze ich in Zukunft eher auf ARM, muss man sich nur Effizient der Apple M4 und Qualcom SnapdragonX Prozessoren anschauen. Und für kleinere Aufgaben tuts mein Proxmox Raspi 5 auch jetzt schon mit 4 Kernen und 8GB Ram, bei einem Idle von 3,5 Watt und unter Last mit um die 7 Watt.

 

[news]

ARM Server

Was willst Du damit Test?
Für Proxmox VE oder Proxmox BS ist die CPU nicht zu gebrauchen.

 

[Beutegreifer]

Das ist doch keine Plattform für Proxmox VE oder Proxmox BS!
Wir kommt an auf so einen Unsinn?

Ist halt eine inoffizielle Plattform, muss ja nicht so bleiben

 

[Falk R.]

Mir ist der Stromverbrauch der Intel und AMD Systeme auch zu hoch. In Zukunft willst vieleicht auch noch paar NPU Kerne an Board haben für Ollama und Co. Das geht bei x86 aktuell ja nur mit dedizierter GPU und entsprechendem Verbrauch. Hab gestern spasseshalber mal CPU only ein paar LLM´s auf dem Host getestet. Da waren die 8 Intel Kerne mit 180 Watt am arbeiten und bis die Antwort kam hab ich bequem noch einen Kaffee holen können. Sowas läuft bei mir demnächst auch selfhostet. Deshalb setze ich in Zukunft eher auf ARM, muss man sich nur Effizient der Apple M4 und Qualcom SnapdragonX Prozessoren anschauen. Und für kleinere Aufgaben tuts mein Proxmox Raspi 5 auch jetzt schon mit 4 Kernen und 8GB Ram, bei einem Idle von 3,5 Watt und unter Last mit um die 7 Watt.

Hi, für LLMs würde ich auch auf ARM oder besser RiscV setzen. Aber für Proxmox bist du mit Mobile x86 super Stromsparend unterwegs.