Proxmox und Intel V12 cpu

[tesme13]

Hi
soweit ich weiss werden erst ab kernel 5.18 die verschiedenen Kerne (P/E) eines core i7-12700 richtig erkannt.
Proxmox ist auf 5.15.
Hat schon jemand Erfahrung mit diesem Typ CPU und proxmox ?

Danke

 

[dcsapak]

meine workstation hier läuft mit einem 12700k ohne probleme
(potentiell bringen neuere kernel besser performance, aber er funktioniert)

 

[tesme13]

meine workstation hier läuft mit einem 12700k ohne probleme
(potentiell bringen neuere kernel besser performance, aber er funktioniert)

Danke für die Info.
Könnte man in Zukunft dann gewisse VMs auf die E-Cores zuweisen ? Oder halt P-Cores so man denn will.

 

[dcsapak]

es gibt hier[0] schon einen ansatz für cpu pinning, aber ist nicht applied bis jetzt
0: https://bugzilla.proxmox.com/show_bug.cgi?id=3593

 

[tesme13]

Habe mal ne 12700 CPU bestellt. Danke für die infos.
Hoffe das CPU Pinning kommt irgendwann.

Gruss

 

[tesme13]

Falls es jemand interessiert. Die intel v12 CPU ist da und steckt nun in einem ASrock DeskMeet 660. Mit 5 laufenden VMs (die jetzt net viel machen , also so PiHole,DNS,Zabbix,...) zieht die Kiste 20W, kann aber auch 100W ziehen wenn viel zu tun ist.
Der CPU governer (/sys/devices/system/cpu/cpu*/cpufreq/scaling_governor) ist auf PowerSave gestellt.

Ist ne schöne Kiste die man einfach durchlaufen lassen kann ohne eine zu schlechtes Gewissen zu haben.
Das schöne an der Kiste dass man 128G reinstecken kann wenn man will und aufgrudn des PCI Slots auch mal 10G nachrüsten kann.

 

[Dunuin]

Powersave ist echt eine Verschwendung. Das heißt dann quasi, dass da deine CPU höchstens den minimal möglichen Takt nutzen darf. Die dümpelt dann also zwangsweise konstant irgendwo im MHz-Bereich rum. Da hast du dir dann quasi für 350€ eine CPU geholt die niedriger taktet als ein 80€ Smartphone. Da würde ich schon "schedutil" oder "conservative" verwenden. Dann düfte die CPU wenigstens auch hochtakten, wenn doch mal Leistung benötigt wird.

 

[tesme13]

Powersave ist echt eine Verschwendung. Das heißt dann quasi, dass da deine CPU höchstens den minimal möglichen Takt nutzen darf. Die dümpelt dann also zwangsweise konstant irgendwo im MHz-Bereich rum. Da hast du dir dann quasi für 350€ eine CPU geholt die niedriger taktet als ein 80€ Smartphone. Da würde ich schon "schedutil" oder "conservative" verwenden. Dann düfte die CPU wenigstens auch hochtakten, wenn doch mal Leistung benötigt wird.

Hi
danke für die höfliche Zurechtweisung...
1) Der Kernel 5.15 bietet bei den v12 CPU nur 2 Governer an, nämlich Powersave und Performance. Deswegen wäre ja auch ein neuerer Kernel schön
2) Es geht nicht allen Menschen um Taktrate oder Benchmarks.

 

[dcsapak]

Powersave ist echt eine Verschwendung. Das heißt dann quasi, dass da deine CPU höchstens den minimal möglichen Takt nutzen darf. Die dümpelt dann also zwangsweise konstant irgendwo im MHz-Bereich rum. Da hast du dir dann quasi für 350€ eine CPU geholt die niedriger taktet als ein 80€ Smartphone. Da würde ich schon "schedutil" oder "conservative" verwenden. Dann düfte die CPU wenigstens auch hochtakten, wenn doch mal Leistung benötigt wird.

das stimmt für intel prozessoren nicht wirklich, zitat arch wiki[0]

Note: Each governor is compatible with any scaling driver. However, the intel_pstate scaling driver in active mode will bypass the generic CPUFreq governors, providing its own scaling algorithms: powersave and performance. Although they share names with generic governors, their algorithms work differently: both intel_pstate governors provide dynamic scaling similar to the schedutil or ondemand generic governors.

0: https://wiki.archlinux.org/title/CPU_frequency_scaling#Scaling_governors

 

[Neobin]

Hier auch noch etwas ausführlicher:
https://www.kernel.org/doc/html/latest/admin-guide/pm/intel_pstate.html

 

[Dunuin]

Von "intel_pstate" habe ich oben aber auch nichts gelesen. Meine Xeons hier laufen alle schrecklich mit "powersave" mit gepinnter Taktung auf 800MHz oder 1200MHz, aber die nutzen auch "intel_cpufreq" als Driver. Aber gut, wenn "intel_pstate" als Driver benutzt wird und der bei "powersave" dann auch dynamisches Takten erlaubt zwischen min und max Frequenz, dann passt ja alles.
Aber mit "intel_cpufreq" läuft es hier so:
powersave: Cores fix auf 1200MHz gezwungen
conservative/shedutil: Cores dynamisch zwischen 1200MHz und 3000 MHz taktend
performance: Cores auf 2300 MHz bis 3000MHz gezwungen
Und da macht "powersave" meiner Meinung nach Null Sinn, wenn man die CPU künstlich auf den Mindesttakt beschränkt und ihr komplett das hochtakten verbietet.

2) Es geht nicht allen Menschen um Taktrate oder Benchmarks.

Geht es mir auch nicht. Ich hab sogar teils das Boosten verboten, damit es energieeffizienter ist und übertakten oder ähnliches sollte man Server sowieso nicht wegen Stabilität und Haltbarkeit.

 

[tesme13]

Hi
erst mal danke für den link in die kernel Doku. Der ist sehr aufschlussreich.
Wenn man dort ein bischen liest findet man auch ne ganze Menge an infos. Wobei ich mir nicht sicher bin ob ich schon alles verstanden habe.
Nun habe ich bei mir die cpufrequtils installiert damit ich das Verhalten beim Neustart setzte.
Und bei mir ist wie gesagt Powersave (via cpufrequtils) gesetzt.
Nun sagt cpufreqinfo folgendes.

analyzing CPU 19:
driver: intel_pstate
CPUs which run at the same hardware frequency: 19
CPUs which need to have their frequency coordinated by software: 19
maximum transition latency: 4294.55 ms.
hardware limits: 800 MHz - 3.60 GHz
available cpufreq governors: performance, powersave
current policy: frequency should be within 800 MHz and 3.60 GHz.
The governor "powersave" may decide which speed to use
within this range.
current CPU frequency is 801 MHz.

bedeutet für mich die Kiste macht auch mal 3.6GHz.

Bei meinem Xeon (ohne irgendwelche settings).

analyzing CPU 7: driver: intel_cpufreq CPUs which run at the same hardware frequency: 7 CPUs which need to have their frequency coordinated by software: 7 maximum transition latency: 20.0 us. hardware limits: 1.60 GHz - 3.30 GHz available cpufreq governors: conservative, ondemand, userspace, powersave, performance, schedutil current policy: frequency should be within 1.60 GHz and 3.30 GHz. The governor "ondemand" may decide which speed to use within this range. current CPU frequency is 1.61 GHz.

Leider gibt es bei dem i7-12700 diesen im aktuellen Kernel noch nicht.

root@pve3:/sys/devices/system/cpu/cpufreq# cat policy?/scaling_available_governors performance powersave performance powersave performance powersave performance powersave performance powersave performance powersave performance powersave performance powersave performance powersave performance powersave

So sieht das beim Xeon E3-1260L aus

root@pve:/sys/devices/system/cpu/cpufreq# cat policy?/scaling_available_governors conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil conservative ondemand userspace powersave performance schedutil

Nun wäre es interessant ob mit einem neueren Kernel auch mehr möglich wäre.
Aber das hat anscheinend noch niemand ausprobiert: siehe: https://forum.proxmox.com/threads/linux-kernel-5-18-5-19-for-pve.113606/

 

[Neobin]

Leider gibt es bei dem i7-12700 diesen im aktuellen Kernel noch nicht.

Ich konnte leider nichts finden ab wann intel_cpufreq Alder Lake unterstützt oder ob überhaupt eine initiale Integration mit jeder neuen CPU-Generation nötig ist.

Hast du den Treiber denn auf intel_cpufreq geändert, um dessen verfügbare Governors zu sehen? Wenn nicht, kriegst du ja auch nur die vom intel_pstate angezeigt.

Hier noch ein paar Vergleichsbenchmarks:
https://www.phoronix.com/review/intel-12900k-pstate

 

[tesme13]

Ich konnte leider nichts finden ab wann intel_cpufreq Alder Lake unterstützt oder ob überhaupt eine initiale Integration mit jeder neuen CPU-Generation nötig ist.

Hast du den Treiber denn auf intel_cpufreq geändert, um dessen verfügbare Governors zu sehen? Wenn nicht, kriegst du ja auch nur die vom intel_pstate angezeigt.

Hier noch ein paar Vergleichsbenchmarks:
https://www.phoronix.com/review/intel-12900k-pstate

Hi
danke für den Hinweis mit intel_cpufreq. Da habe noch nichts geändert. Muss mal schauen wie man das umstellt. Sobald ich das habe melde ich mich noch mal hier.

Das was fehlt scheint der Thread Director zu sein welcher bei 5.18 dazukam. Der soll ein sinnvolles verteilen der Prozesse auf die verschiedenen Cores (P-/E-) erst möglich machen.

https://www.tomshardware.com/news/intel-thread-director-coming-to-linux-5-18

-----
Without HFI support, the Linux kernel makes decisions on whether to use P or E cores using Intel's ITMT/Turbo Boost Max 3.0 driver that relies on the information exposed by the firmware. That's why in many cases it prefers the fastest cores with the highest frequency (i.e., Golden Cove cores) and does not use Gracemont cores even when possible, which leads to their underutilization.
-----

Zumindest werden ja schon mal die Limits richtig erkannt.

root@pve3:~# /usr/bin/cpufreq-info | grep poli current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 4.90 GHz. current policy: frequency should be within 800 MHz and 3.60 GHz. current policy: frequency should be within 800 MHz and 3.60 GHz. current policy: frequency should be within 800 MHz and 3.60 GHz. current policy: frequency should be within 800 MHz and 3.60 GHz.

 

[Volker Eigen]

P und E Kerne,
Werden in der Übersicht beim 5.15 alle Kerne angezeigt?
Werden in der Übersicht beim 5.18 alle Kerne angezeigt?
Beim ESXi 7 Update 3 nicht und beim ESXi 8 auch noch nicht, was den Einsatz somit obsolet macht.
Kann ich den proxmox 5.15 mit Update und Upgrade auf 5.18 bringen?
Bei einer Nutzung der 12 Genertion läuft schon mal ein program nicht mehr, somit bleibt es erst mal bei der 11er Generation.
Hat noch wer in der Zwischenzeit Erfahrung sammeln können?

 

[aaron]

Kann ich den proxmox 5.15 mit Update und Upgrade auf 5.18 bringen?

Es gibt neuere Opt-In kernel. Nach dem 5.19er, ist das aktuell der 6.1er: https://forum.proxmox.com/threads/opt-in-linux-6-1-kernel-for-proxmox-ve-7-x-available.119483/

Da ich selber keine Intel Kiste mit P & E Kernen habe, können Kollegen oder andere Leute aus der Community die anderen Fragen hoffentlich beantworten.

 

[Volker Eigen]

Hallo noch einmal, also da ist Proxmox ja wirklich mal echt aktuell und nicht wie VMware^^ 20 Kerne werden erkannt und werden auch genutzt, bei VMware hatte ich, wie zuvor angesprochen nur 12 erkannt und genutzt werden können! 5 Sterne für Proxmox die CPU ist eine i7-12700T auf Fujitsu Esprimo G9012 also es braucht kein Update und Upgrade gemacht werden. Nun muss ich schauen, wie ich die VM von VMware zu Proxmox bekomme^^ Einfach mal testen und es läuft!