[SOLVED] Proxmox stürzt ab mit Ryzen 5000 und Powersace Covernor

[corin.corvus]

Moin,

ich nutzte bis vor einer Weile noch die Ryzen 3000er Serie für meine kleinen Home Server. Nun habe ich alle auf den Ryzen 5600g aktualisiert, damit ich eine kleinere Bauform wählen kann und auf eine dedizierte Grafikkarte verzichten kann.

Im Crontab beim Reboot habe ich in der gesamten Zeit problemlos den Powersave Modus verwendet.

@reboot echo "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor > /dev/null 2>&

Leider klappt das mit dem aktuellen Prozessor gar nicht mehr.
Sobald ich den Powersave Modus ausführe, geht das Gesamtsystem zwar weit unter 20 Watt. allerdings scheint die CPU das nicht zu mögen. Wo der 3600x noch (links) problemlos beim Standardbetrieb die 20% Marke erreichte, zieht der 5600g komplett auf 100% an und Proxmox ist dann auch nach kurzer Zeit, hier 5-6 Minuten, nicht mehr richtig ansprechbar, VMs stürzen ab und das System friert schlussendlich ein.



Gibt es aktuell noch Probleme mit der 5000er Serie? Ich konnte jetzt nicht so viel finden, nur dass es mal bei der 3000er Serie Probleme gab.
Würde gerne weiterhin den Powersave Modus nutzen können. Werde Morgen mal "Ondemand" testen.

Hier ist zwar ein Beitrag, der befasst sich aber primär mit Intel: https://forum.proxmox.com/threads/fix-always-high-cpu-frequency-in-proxmox-host.84270/page-3

LG

 

[Dunuin]

Womit wird der CPU Governor denn benutzt? Je nach Implementierung kann "powersave" etwas anderes bedeuten. Mal erlaubt es dynamisches Takten zwischen min und und max Takt. Und mal ist die CPU einfach permanent auf den Min Takt gedrosselt, wo dann natürlich die CPU Auslastung immer hoch wäre, wenn die CPU z.B. nur permanent auf 1GHz festsitzen würde und daher keine Leistung bringen kann und überfordert ist.

 

[Neobin]

Kannst du mal bitte die Ausgabe posten von:

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_driver

und:

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_min_freq

Wie Dunuin sagt, wird vermutlich ein Treiber benutzt, bei dem powersave folgendes bedeutet:

The CPUfreq governor "powersave" sets the CPU statically to the lowest frequency within the borders of scaling_min_freq and scaling_max_freq.

https://www.kernel.org/doc/Documentation/cpu-freq/governors.txt

Warum es mit dem 3000er AMD scheinbar gut funktioniert hat und mit dem 5000er nicht mehr, leider keine Ahnung.

 

[corin.corvus]

Kannst du mal bitte die Ausgabe posten von:

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_driver

und:

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_min_freq

Wie Dunuin sagt, wird vermutlich ein Treiber benutzt, bei dem powersave folgendes bedeutet:

https://www.kernel.org/doc/Documentation/cpu-freq/governors.txt

Warum es mit dem 3000er AMD scheinbar gut funktioniert hat und mit dem 5000er nicht mehr, leider keine Ahnung.

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_driver
amd-pstate
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_min_freq
400000

 

[corin.corvus]

Womit wird der CPU Governor denn benutzt? Je nach Implementierung kann "powersave" etwas anderes bedeuten. Mal erlaubt es dynamisches Takten zwischen min und und max Takt. Und mal ist die CPU einfach permanent auf den Min Takt gedrosselt, wo dann natürlich die CPU Auslastung immer hoch wäre, wenn die CPU z.B. nur permanent auf 1GHz festsitzen würde und daher keine Leistung bringen kann und überfordert ist.

Aber wieso lief es dann mit dem Ryzen 3600x so prima? Hatte nie Probleme mit dem, der zeigte nie mehr als 20% Auslastung an.

 

[Neobin]

Gerade mal bei meinen AMDs nachgeschaut:

scaling_governor: performance	5950X	5700G
scaling_driver	acpi-cpufreq	amd-pstate
scaling_min_freq	2200000 (2200 MHz)	400000 (400 MHz)

Bei dem amd-pstate-Treiber gibt es sogar noch andere Frequenz-Werte:

cat /sys/devices/system/cpu/cpu0/cpufreq/amd_pstate_*

Die Tatsache, dass die non-APUs (AMD CPUs ohne iGPU) offensichtlich mit dem acpi-cpufreq-Treiber laufen und mit diesem eine wesentlich höhere Minimum-Frequenz haben; im Gegensatz zu den APUs (AMD CPUs mit iGPU), welche mit dem amd-pstate-Treiber laufen, der eine wesentlich niedrigere Minimum-Frequenz hat, dürfte wohl erklären, warum es vorher mit dem 3600X gut funktioniert hat und mit dem 5600G nun nicht mehr.

Soweit ich rauslesen konnte, setzt auch der amd-pstate-Treiber bei Verwendung des powersave-Governor die Frequenz fix auf den Minimum-Wert.
(Im Gegensatz zu dem intel_pstate-Treiber, welcher nur den powersave- und performance-Governor hat und auch mit dem powersave-Governor dynamisch die Frequenz regelt.)

Ist halt schon ein Unterschied, ob die CPU mit 2,2 GHz oder 400 MHz läuft.

PS.: In meinen (kurzen) Tests vor einiger Zeit konnte ich übrigens keinen nennenswerten Unterschied, sowohl beim Stromverbrauch, als auch entsprechend bei den Temperaturen zwischen performance und schedutil mit den obengenannten AMDs feststellen...

 

[corin.corvus]

Gerade mal bei meinen AMDs nachgeschaut:

scaling_governor: performance	5950X	5700G
scaling_driver	acpi-cpufreq	amd-pstate
scaling_min_freq	2200000 (2200 MHz)	400000 (400 MHz)

Bei dem amd-pstate-Treiber gibt es sogar noch andere Frequenz-Werte:

cat /sys/devices/system/cpu/cpu0/cpufreq/amd_pstate_*

Die Tatsache, dass die non-APUs (AMD CPUs ohne iGPU) offensichtlich mit dem acpi-cpufreq-Treiber laufen und mit diesem eine wesentlich höhere Minimum-Frequenz haben; im Gegensatz zu den APUs (AMD CPUs mit iGPU), welche mit dem amd-pstate-Treiber laufen, der eine wesentlich niedrigere Minimum-Frequenz hat, dürfte wohl erklären, warum es vorher mit dem 3600X gut funktioniert hat und mit dem 5600G nun nicht mehr.

Soweit ich rauslesen konnte, setzt auch der amd-pstate-Treiber bei Verwendung des powersave-Governor die Frequenz fix auf den Minimum-Wert.
(Im Gegensatz zu dem intel_pstate-Treiber, welcher nur den powersave- und performance-Governor hat und auch mit dem powersave-Governor dynamisch die Frequenz regelt.)

Ist halt schon ein Unterschied, ob die CPU mit 2,2 GHz oder 400 MHz läuft.

PS.: In meinen (kurzen) Tests vor einiger Zeit konnte ich übrigens keinen nennenswerten Unterschied, sowohl beim Stromverbrauch, als auch entsprechend bei den Temperaturen zwischen performance und schedutil mit den obengenannten AMDs feststellen...

Danke einmal für die Aufklärung.

Ich werde mir dann mal Schedutil und Conservative genauer ansehen, da Powersave dann wenig Sinn macht.

Zu deinem PS. Ich habe bei meinem System einen erheblichen Unterschied. Beim 3600x hatte ich im leerlauf bei performance nie weniger als 60 watt. Mit Powersave war ich unter 31w und kam selten auf 45w. Das ist fast 50% Stromverbrauch über den Tag hinweg.

Mit der jetzigen CPU habe ich das so schon und kam in meinen Tests bei Powersave unter die 15w Marke. Aber wenn die CPU damit nicht richtig läuft ist das Banane. Mal sehen wie sich die anderen Möglichkeiten schlagen.

Gerade in Anbetracht dessen, dass ich hier zukünftig 2-3 solcher Nodes stehen habe, ist die Ersparnis in der Summe schon entscheidend, ob ich mit 3 Systemen 45-60w oder 80-100w verbrauche. Das können bei aktuellen Strompreisen 100-200 euro werden.

Und bei einer Dauerauslastung von unter 20% CPU Last muss die CPU schlichtweg keine Leistung erbringen, die hohe Frequenzen benötigt, noch weniger wenn ich die Last auf mehrere Nodes mit Clustering und Failover aufteile. Arbeite hier derzeit mit Kubernetes und da brauchen die Services nicht so viel Leistung.

Bin auch noch komplett unerfahren was das Abschalten einzelner Proxmox Nodes mit WOL angeht und wie das Cluster das mag oder nicht mag.

 

[Neobin]

Wenn du mit Testen fertig bist, könntest du dann bitte deinen Verbrauch, einmal mit performance und einmal mit schedutil, hier posten?
Würde mich sehr interessieren. Vielleicht muss ich mich dann doch nochmal näher damit beschäftigen, wenn bei dir (und eventuell auch anderen) der Verbrauch so unterschiedlich ist.

 

[corin.corvus]

Abschließende Tests habe ich nun gemacht und mal für einen kurzen Zeitraum Messdaten eingeordnet.

Tatsächlich hat sich, da Powersave so nicht verwendbar ist, Ondemand als bester Covernor herausgestellt beim 5600g.


Das System lief nun mehrere Tage problemlos im Schedutil Modus. Ich habe dann einmal den Performance Modus eingeschaltet. Man sieht, dass der Graph ziemich glatt wird. Es sind weniger Schwankungen vorhanden, aber der Verbrauch bleibt im Veergleich zu Ondemand immer noch höher.
Hier die niedrigsten Werte:
Performance:

Schedutil:

Ondemand:


Die niedrigsten Werde sind nun natürlich nicht der Maßstab aber wenn das für sehr kurze peaks System 1-2 Watt mehr zieht, ist das nicht so wild. 1-3 Watt mehr, 24/7 x 3 Server ist dann schon wieder nicht soooo wenig, auch wenn manche das als Kleckerbetrag beurteilen würden (Performance Governor).

Werde daher mit dem 3600x weiterhin Powersave betreiben, mit dem 5600g werde ich im Crontab Ondemand einstellen und kome damit tatsächlich den größten Teil der Zeit auf 22w Verbrauch mit kurzen Peaks auf 23-24w.


Danke noch mal für die Aufklärung generell, werde mich mit den Themen wohl noch mal tiefergehend beschäftigen. Womöglich kann man ja noch hier und da was rausholen, auch wenn ich derzeit davon ausgehe, dass das Netzteil einfach zu viel zieht. Das ändert sich bei mir aber auch bald.

LG

 

[Neobin]

Vielen Dank für die Ergebnisse der Tests.