Shell in Webfrontend öffnen dauert "ewig" - Intel Xeon Gold 6136 CPU

[endurance]

Moin,

kein wirklich Fehler aber irgendwie nervig und evtl. hat jemand eine Idee. Ich habe hier eine Installation (pve 7.3) auf 48 x Intel(R) Xeon(R) Gold 6136 CPU @ 3.00GHz (2 Sockets) und irgendwie kommt mir die Kiste sehr zäh vor.
Wenn ich z:b. bei VMs die Browsershell öffne dauert es meist ~6sekunden bis die Eingabe kommt. Dabei fällt mir auf, dass qm immer ein paar Sekunden auf 100% CPU geht. Mache ich das gleiche auf einem uralt i7 geht das ganze um Welten schneller (<>1s).
Ist das normal? Perl installation sieht OK aus - ist auch eine default Proxmox installation von der ISO.

Die singlethread Performance von der CPU scheint auch nicht so gut zu sein

7z b -mmt1

7-Zip [64] 16.02 : Copyright (c) 1999-2016 Igor Pavlov : 2016-05-21
p7zip Version 16.02 (locale=en_US.UTF-8,Utf16=on,HugeFiles=on,64 bits,48 CPUs Intel(R) Xeon(R) Gold 6136 CPU @ 3.00GHz (50654),ASM,AES-NI)

Intel(R) Xeon(R) Gold 6136 CPU @ 3.00GHz (50654)
CPU Freq: - - - - - - - - -

RAM size: 193086 MB, # CPU hardware threads: 48
RAM usage: 435 MB, # Benchmark threads: 1

Compressing | Decompressing
Dict Speed Usage R/U Rating | Speed Usage R/U Rating
KiB/s % MIPS MIPS | KiB/s % MIPS MIPS

22: 1892 100 1844 1841 | 15147 100 1293 1293
23: 1486 100 1514 1514 | 14221 100 1231 1231
24: 1048 100 1128 1128 | 14249 100 1251 1251
25: 1064 100 1215 1215 | 13259 100 1180 1180
---------------------------------- | ------------------------------
Avr: 100 1425 1424 | 100 1239 1239
Tot: 100 1332 1332

vs altem kabby lake i7:

7z b -mmt1

7-Zip [64] 16.02 : Copyright (c) 1999-2016 Igor Pavlov : 2016-05-21
p7zip Version 16.02 (locale=en_US.UTF-8,Utf16=on,HugeFiles=on,64 bits,8 CPUs Intel(R) Core(TM) i7-7700 CPU @ 3.60GHz (906E9),ASM,AES-NI)

Intel(R) Core(TM) i7-7700 CPU @ 3.60GHz (906E9)
CPU Freq: - - - - - - - - -

RAM size: 64122 MB, # CPU hardware threads: 8
RAM usage: 435 MB, # Benchmark threads: 1

Compressing | Decompressing
Dict Speed Usage R/U Rating | Speed Usage R/U Rating
KiB/s % MIPS MIPS | KiB/s % MIPS MIPS

22: 4041 100 3941 3931 | 43718 100 3740 3733
23: 3832 100 3909 3905 | 42190 100 3653 3652
24: 3510 100 3778 3774 | 41703 100 3664 3661
25: 3433 100 3924 3921 | 41973 100 3739 3736
---------------------------------- | ------------------------------
Avr: 100 3888 3883 | 100 3699 3695
Tot: 100 3794 3789

Mehr als Faktor zwei schneller
Also zwei Fragen
1. sollte qm wirklich soviel CPU brauchen (nur qm starten ohne parameter)
2. an die CPU experten ist der 6136 Singlethreaded wirklich so "schlecht"?

Spoiler: pveversion

pveversion -v
proxmox-ve: 7.3-1 (running kernel: 6.1.2-1-pve)
pve-manager: 7.3-4 (running version: 7.3-4/d69b70d4)
pve-kernel-6.1: 7.3-2
pve-kernel-helper: 7.3-2
pve-kernel-5.15: 7.2-14
pve-kernel-6.1.2-1-pve: 6.1.2-1
pve-kernel-5.15.74-1-pve: 5.15.74-1
ceph-fuse: 15.2.17-pve1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve2
libproxmox-acme-perl: 1.4.3
libproxmox-backup-qemu0: 1.3.1-1
libpve-access-control: 7.3-1
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.3-1
libpve-guest-common-perl: 4.2-3
libpve-http-server-perl: 4.1-5
libpve-storage-perl: 7.3-1
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 5.0.0-3
lxcfs: 4.0.12-pve1
novnc-pve: 1.3.0-3
proxmox-backup-client: 2.3.2-1
proxmox-backup-file-restore: 2.3.2-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.5.3
pve-cluster: 7.3-2
pve-container: 4.4-2
pve-docs: 7.3-1
pve-edk2-firmware: 3.20220526-1
pve-firewall: 4.2-7
pve-firmware: 3.6-2
pve-ha-manager: 3.5.1
pve-i18n: 2.8-1
pve-qemu-kvm: 7.1.0-4
pve-xtermjs: 4.16.0-1
qemu-server: 7.3-2
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.8.0~bpo11+2
vncterm: 1.7-1
zfsutils-linux: 2.1.7-pve3

 

[mow]

Moin,

kein wirklich Fehler aber irgendwie nervig und evtl. hat jemand eine Idee. Ich habe hier eine Installation (pve 7.3) auf 48 x Intel(R) Xeon(R) Gold 6136 CPU @ 3.00GHz (2 Sockets) und irgendwie kommt mir die Kiste sehr zäh vor.

1. sollte qm wirklich soviel CPU brauchen (nur qm starten ohne parameter)
2. an die CPU experten ist der 6136 Singlethreaded wirklich so "schlecht"?

Da werden andere Prioritäten gesetzt. Immerhin hat der bei 3x so viel Kernen pro Chip weniger als das Dreifache der Leistung (150W vs. 65W).
Der i7-7700 ist übrigens nur zwei Monate älter als der Xeon.

Ich würde mal schauen, wie warm die beiden Prozessoren eigentlich werden.

 

[endurance]

Der i7-7700 ist übrigens nur zwei Monate älter als der Xeon.
Ich würde mal schauen, wie warm die beiden Prozessoren eigentlich werden.

Sollte aber, auch wenn es nur drei Monate, sind eine Architektur älter sein. Das es andere Prios gibt ist klar. Faktor 2-3 hätte ich aber nicht erwartet. Ja ich kenn so etwas von älteren Suns - viele cores aber schnarchzapfenlahme singlecore leistung. Da müssen eben die Anwendungen zu passen.
Ich werde halt ungeduldig wenn ich 5+ Sekunden warten muss bis ein simples Terminal aufgeht. Deswegen auch die Frage ob das wirklich soviel CPU brauchen sollte - evtl. steckt hinter den Shell issue noch was anderes.
Temp habe ich noch nicht verglichen, aber zumindest Taktraten bleiben oben, auch wenn ich den Benchmark mehrfach laufen lasse. Von daher sollte Kühlung passen.

 

[Neobin]

Was ich auf die schnelle gefunden habe, ist der Xeon Single-Core rund 10% langsamer, also das sollte es wohl nicht sein...

Vielleicht unterschiedliche Mitigations aktiv?
Oder beim Xeon nen Effizienz-Profil oder so im Bios/UEFI eingestellt?

 

[endurance]

Vielleicht unterschiedliche Mitigations aktiv?
Oder beim Xeon nen Effizienz-Profil oder so im Bios/UEFI eingestellt?

Mitigations da würde ich max 30% Verlust (sollte eher weniger sein) erwarten - wobei wir da weder noch etwas vom default abweichendes eingestellt haben. Erklärt den Faktor 2-3 nicht wirklich aber werden wir nochmals drauf schauen.
Effiziensprofile, Powersaving modes states und so etwas hatte wir auch schon gedacht. ZUmindest bei Powertop fällt mir nichts aussergewöhliches bei den C states auf aber ich werde mal jemanden mit BIOS zugriff fragen und der soll mal reinschauen.

 

[mow]

Sollte aber, auch wenn es nur drei Monate, sind eine Architektur älter sein. Das es andere Prios gibt ist klar. Faktor 2-3 hätte ich aber nicht erwartet. Ja ich kenn so etwas von älteren Suns - viele cores aber schnarchzapfenlahme singlecore leistung. Da müssen eben die Anwendungen zu passen.
Ich werde halt ungeduldig wenn ich 5+ Sekunden warten muss bis ein simples Terminal aufgeht. Deswegen auch die Frage ob das wirklich soviel CPU brauchen sollte - evtl. steckt hinter den Shell issue noch was anderes.

Vielleicht liegt es ja gerade an den vielen Kernen i.V.m. NUMA (weil zwei Sockel). Die müssen ja auch irgendwie verwaltet werden.

 

[Falk R.]

Mit dieser CPU hatte ich bei einem Kunden auf einem DELL Server auch ein ganz komisches Verhalten. Nach 2 Wochen testen haben wir herausgefunden, dass wenn man im Benchmark alle Cores (24) benutzt, kommt man auf die Performance von 8-10 Cores, wenn man aber nur 22 Cores pro CPU benutzt kommt die zu erwartende Performance raus. Mit weniger Cores auch entsprechend OK.
Fazit es gab viel Stress, da DELL das nicht fixen konnte und den Fehler abgestritten hat ohne es genau zu testen. Der Kunde hat dann AMD Systeme gekauft und der Vertrieb hat das Ding Rückabgewickelt. Ob das eine schlechte Charge war oder am Board lag, wissen wir somit nicht.
Die gleiche CPU habe ich bei anderen Kunden auf Supermicro und Intel Boards, ohne Probleme.

Eventuell hast du auch so ein Montagsmodell.

 

[endurance]

Moin so kleines Update:

Spoiler: passmark performance

Intel Xeon Gold 6136 CPU @ 3.00GHz (x86_64)
24 cores @ 3700 MHz | 188.6 GiB RAM
Number of Processes: 48 | Test Iterations: 5 | Test Duration: Medium
--------------------------------------------------------------------------
CPU Mark: 25110
Integer Math 157464 Million Operations/s
Floating Point Math 85407 Million Operations/s
Prime Numbers 218 Million Primes/s
Sorting 90162 Thousand Strings/s
Encryption 21463 MB/s
Compression 689752 KB/s
CPU Single Threaded 640 Million Operations/s
Physics 3863 Frames/s
Extended Instructions (SSE) 38146 Million Matrices/s

Memory Mark: Incomplete
Database Operations 4969 Thousand Operations/s
Memory Read Cached 6582 MB/s
Memory Read Uncached 2473 MB/s
Memory Write 2517 MB/s
Available RAM 123319 Megabytes
Memory Latency 155 Nanoseconds
Memory Threaded Running (2/5)

CPU Single Threaded 640 Million Operations/s
Memory Read Uncached 2473 MB/s
Memory Write 2517 MB/s

Overall CPU Mark ist OK - singlethread halt katastrophal.
Die Speicherperformance sieht auch mehr als merkwürdig aus.
Das sind HP G10 Rechner. Hardware defekt bei beiden wäre schon komisch, schlechte charge kann ich nicht ausschließen.

Hier mal was ich erwarten würde im Vergleich:
https://www.cpubenchmark.net/compar...6136-vs-Intel-i7-7700-vs-Intel-Xeon-Gold-6230

Temperaturen OK, Mitigations ähnlich wie andere Maschinen die ohne Befund sind, Speichertests OK. Wir haben 4 von den CPUs unter PVE mit 6er kernel alle vier dieses Ergebnis (bzw. 2x2 Sockets.)

Wir werden mal andere LiveOs starten und dann nochmals messen um OS auszuschließen.

Spoiler: 5er Kernel gleiches Ergebnis

Intel Xeon Gold 6136 CPU @ 3.00GHz (x86_64)
24 cores @ 3000 MHz | 188.5 GiB RAM
Number of Processes: 48 | Test Iterations: 5 | Test Duration: Medium
--------------------------------------------------------------------------
CPU Mark: 23135
Integer Math 157555 Million Operations/s
Floating Point Math 84511 Million Operations/s
Prime Numbers 219 Million Primes/s
Sorting 90201 Thousand Strings/s
Encryption 21692 MB/s
Compression 691743 KB/s
CPU Single Threaded 552 Million Operations/s
Physics 3903 Frames/s
Extended Instructions (SSE) 38355 Million Matrices/s

Memory Mark: 723
Database Operations 4751 Thousand Operations/s
Memory Read Cached 4845 MB/s
Memory Read Uncached 2747 MB/s
Memory Write 2451 MB/s
Available RAM 187613 Megabytes
Memory Latency 161 Nanoseconds
Memory Threaded 191103 MB/s

 

[endurance]

RHEL live OS - also am debian oder pve kernel liegt es dann schon mal nicht.

 

[Falk R.]

Was für ein Servermodell ist das? Welcher Chipsatz?

 

[endurance]

HP G10 DL380 - Hardwar ist in ordnung - BIOS auf werksrest und maximale performance - jetzt bringt er die Werte die wir erwarten.
Hätten wir gleich machen sollen da war irgendein krukselmurks vom Vorgänger drauf befürchte ich.
Hätte aber auch nicht gedacht, das sich das so extrem auf performance auswirkt. Strom verbraucht er jetzt auch nicht mehr als vorher. Extra gerade nochmals den Verbrauch geprüft.

Spoiler: Maximale Performance nach Werksreset

Intel Xeon Gold 6136 CPU @ 3.00GHz (x86_64)
24 cores @ 3000 MHz | 188.5 GiB RAM
Number of Processes: 48 | Test Iterations: 5 | Test Duration: Medium
--------------------------------------------------------------------------
CPU Mark: 41881
Integer Math 157297 Million Operations/s
Floating Point Math 97830 Million Operations/s
Prime Numbers 230 Million Primes/s
Sorting 91906 Thousand Strings/s
Encryption 21771 MB/s
Compression 688258 KB/s
CPU Single Threaded 2283 Million Operations/s
Physics 3929 Frames/s
Extended Instructions (SSE) 38334 Million Matrices/s

Memory Mark: 2940
Database Operations 15862 Thousand Operations/s
Memory Read Cached 24429 MB/s
Memory Read Uncached 11934 MB/s
Memory Write 12086 MB/s
Available RAM 191028 Megabytes
Memory Latency 48 Nanoseconds
Memory Threaded 186628 MB/s

 

[mow]

Wieviele Speichermodule sind da eigentlich drin? Die Sandy/Ivy Bridge-Xeons in der G8 haben ja schon vier Kanäle, dieser anscheinend sogar sechs, und bei der angegebenen Speicherausstattung ist bei mindestens einer der beiden Maschinen nicht jeder Kanal gleichmäßig bestückt ...

 

[endurance]

je 6x16GB also 12x16GB in summe

 

[mow]

Hm, das sollte eigentlich optimal sein. Ich wundere mich nur, daß der Unterschied zu einer G8 bzw. x3650M4 bei Read Uncached und Write so gering ist:
Intel Xeon CPU E5-2660 0 @ 2.20GHz (x86_64)
Memory Mark: 1732
Database Operations 3994 Thousand Operations/s
Memory Read Cached 17692 MB/s
Memory Read Uncached 9437 MB/s
Memory Write 9166 MB/s
Available RAM 2322 Megabytes
Memory Latency 49 Nanoseconds
Memory Threaded 33641 MB/s

 

[Falk R.]

HP G10 DL380 - Hardwar ist in ordnung - BIOS auf werksrest und maximale performance - jetzt bringt er die Werte die wir erwarten.

Setz im Bios bitte das Profil Virtualisierung Max Performance. Wenn ihr Server als reine Speicherserver nutzt, dann das Profil Low Latency.

 

[endurance]

Genau das habe ich ja gemeint - BIOS Werksreset und dann auf "Virtualisierung Max Performance". Danach sind die Werte deutlich besser - zumidnest nicht mehr Faktoren vom erwarteten weg.

Mal soll eben nicht davon ausgehen, dass wenn der Server schon im Einsatz war, dass er richtig konfiguriert ist. Deswegen hatte wir das BIOS erstmal von der Suche ausgeschlossen... - war einfach eine falsche Annahme