slow logs auf CEPH OSD's mit Kernel 6.8.8

[Klaus Steinberger]

Gestern hatten wir auf unserem Proxmox Cluster einen Update durchgeführt, dabei wurde vom Kernel 6.8.4-3 auf 6.8.8-4 upgedatet

Seit dem hatten wir etliche Hänger in den VM's und etliche "Slow Log" Meldungen im ceph.log

Ebenso waren extrem schwankend Latenzzeiten beim Zugriff auf Dateisysteme in den VM's zu beobachten. Mit "dbench" waren Latenzen zwischen 35ms und etlichen 1000 ms zu sehen.


Mit downgrade des Kernels auf 6.8.4-3 (und reboot aller 5 nodes) konnten wir das Problem anscheinend beheben.

Auch dbench liefert jetzt stabl Latenzen um die 11-15 ms und einzelne Ausreißer nach oben mit max. 46 ms und Transferraten von 557Mbyte/s

Was kann da im Kernel 6.8.8-4 passiert sein?

 

[Falk R.]

Ich habe schon ein paar Cluster auf die Kernel Version geupdatet, da ist nix passiert.
Deine Latenzen deuten darauf hin, dass du HDDs nutzt, ich habe aber nur All Flash Setups.
Eventuell hat sich auch was in Richtung Netzwerk geändert, vielleicht hast du andere Netzwerkkarten als ich und da verträgt sich eine neuer Treiber vielleicht nicht mit deiner Firmware.
Hast du auch mal auf das Netzwerk geschaut?

 

[Klaus Steinberger]

Unser Setup ist All Flash mit nvme (enterprise Intel S3510)
HDD macht mit VM's keinen Sinn, das hatte ich schon vor Jahren in den Testclustern rausgefunden.

Netzwerk lief mit den ziemlich gleichen Werten im CEPH Backend wie mit dem 6.8.4 Kernel (iperf3)

Alles sehr komisch - wir hatten gleichzeitig auch weitere NVME's eingebaut und provisioniert. Die slow logs traten aber quer über alle OSD's auf, auch nach abgeschlossenem balancing.

Mit reboot auf den vorherigen Kernel war wieder alles gut.

Eventuell hat sich da was anderes verhakt. Beim nächsten Update muss ich da mal nach dem Ersten Node eine Weile beobachten, jetzt lass ich den Cluster erstmal mit dem 6.8.4 laufen.

 

[Falk R.]

Unser Setup ist All Flash mit nvme (enterprise Intel S3510)
HDD macht mit VM's keinen Sinn, das hatte ich schon vor Jahren in den Testclustern rausgefunden.

Netzwerk lief mit den ziemlich gleichen Werten im CEPH Backend wie mit dem 6.8.4 Kernel (iperf3)

Alles sehr komisch - wir hatten gleichzeitig auch weitere NVME's eingebaut und provisioniert. Die slow logs traten aber quer über alle OSD's auf, auch nach abgeschlossenem balancing.

Mit reboot auf den vorherigen Kernel war wieder alles gut.

Eventuell hat sich da was anderes verhakt. Beim nächsten Update muss ich da mal nach dem Ersten Node eine Weile beobachten, jetzt lass ich den Cluster erstmal mit dem 6.8.4 laufen.

Wenn du All NVMe hast, solltest du keine 15ms Latenz sehen. Bei meinen Kunden mit ALL NVMe habe ich noch nie über 5ms Latenz gesehen. In der Regel 0-2ms.
Wie sind denn die NVMe angeschlossen? Direkt PCIe, über einen HBA oder geswitcht? Gerade bei den PCI Switches habe ich schon komische Probleme und schlechte Latenzen gesehen.

 

[Klaus Steinberger]

Mit welchem Tool testet du die Latenz innerhalb einer VM?
Das war bei mir jetzt recht simpel mit "dbench 5" um zu sehen was los ist. Mit "dbench 1" sind es so 4/5 ms

Backend Netz ist leider nur 2 x 25GBit da wir zum Zeitpunkt der Einrichtung nicht genügend 100 GBit Ports zur Verfügung hatten.
Mal sehen ob wir das mal umbauen, wäre sicher sinnvoll.

Die NVME's sind so angeschlossen:

root@z-ha-pvekng01:~# lspci -PP -s 64:00.0
60:03.4/64:00.0 Non-Volatile memory controller: Intel Corporation NVMe Datacenter SSD [3DNAND, Beta Rock Controller]
root@z-ha-pvekng01:~# lspci -PP -s 60:03.4
60:03.4 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge
root@z-ha-pvekng01:~#

 

[Falk R.]

Ich guck mir immer nur die Latenzen auf den OSD in der GUI an. Extra Benchmark lasse ich beim Kunden nicht laufen, nachher beeinträchtige ich dann gerade eine DB Anfrage.
Der Anschluss sieht nach direkt PCI aus, aber manche Gehäuse haben einen PCI Switch verbaut und den siehst du nicht, da der Transparent für das OS ist.

 

[Klaus Steinberger]

ok, alles klar, die Latenzen in der GUI sind aktuell bei 0 bis 1 vereinzelt mal 2 oder 3

Testen kann ich bei uns ruhig mal, die VM's sind alle von uns , der dbench macht eh nicht so viel Wind im CEPH

Schade, den Workshop bei der Kielux hätte ich gerne besucht, Kiel ist leider an dem Termin für mich nicht machbar

 

[Falk R.]

Schade, den Workshop bei der Kielux hätte ich gerne besucht, Kiel ist leider an dem Termin für mich nicht machbar

Ich bin am 26.09. auch bei Tuxis in NL, aber nur als Zuschauer. So gut ist mein Niederländisch und auch Enlisch nicht.

 

[Klaus Steinberger]

geht bei mir leider auch nicht, aber wenn du mal noch bei einer anderen Tagung (vorzugsweise mehr Richtung Bayern) bist, schau ich gerne ob ich das einrichten kann.

 

[Falk R.]

geht bei mir leider auch nicht, aber wenn du mal noch bei einer anderen Tagung (vorzugsweise mehr Richtung Bayern) bist, schau ich gerne ob ich das einrichten kann.

Dann vermutlich erst wieder Chemnitzer Linuxtage.