Frage zu corosync knet mtu flapping

Mario Hosse

Member
Oct 25, 2017
30
3
8
Hallo an das Proxmoxteam,

ich habe Proxmox in der letzten Version installiert und immer noch Probleme mit dem Flapping der mtu-size.

Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: possible MTU misconfiguration detected. kernel is reporting MTU: 9000 bytes for host 4 link 0 but the other node is not acknowledging packets of this size.
Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: This can be caused by this node interface MTU too big or a network device that does not support or has been misconfigured to manage MTU of this size, or packet loss. knet will continue to run but performances might be affected.
Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: PMTUD link change for host: 4 link: 0 from 8946 to 8945
Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: Global data MTU changed to: 8945
Aug 26 19:04:37 prox2b corosync[2704]: [KNET ] pmtud: PMTUD link change for host: 4 link: 0 from 8945 to 8946
Aug 26 19:04:37 prox2b corosync[2704]: [KNET ] pmtud: Global data MTU changed to: 8946
Nach der Suche zu diesem Fehler bin ich auf die Seite
https://github.com/corosync/corosync/issues/499
gestoßen. Mit der Änderung wäre es möglich, die mtu-size manuell zu setzen.

Wann kann ich damit rechnen, dass die Version mit der Variablen
knet_handle_pmtud_set
eingepflegt wird.
Vielen Dank!

Grüße
Mario
 

mira

Proxmox Staff Member
Staff member
Aug 1, 2018
357
28
28
ich habe Proxmox in der letzten Version installiert und immer noch Probleme mit dem Flapping der mtu-size.
Also auch mit libknet1 in Version 1.11-pve1 Probleme? Wurde nach dem Update rebooted?
 

t.lamprecht

Proxmox Staff Member
Staff member
Jul 28, 2015
1,500
213
63
South Tyrol/Italy
Wann kann ich damit rechnen, dass die Version mit der Variablen eingepflegt wird.
Wie mira bereits angedeutet hat ist sollte das PMTUD problem mit der neuen kronosnet (libknet) in version 1.11 entgültig behoben sein.
Diese Version ist zurzeit im no-subscription repo verfügbar und wird in Kürze ins Enterprise repository wandern.

Ein reboot ist nicht nötig, einfach cororsync restarten:
Code:
systemctl restart corosync
 

Mario Hosse

Member
Oct 25, 2017
30
3
8
Hallo,

vielen Dank für die Antworten.

Wie mira bereits angedeutet hat ist sollte das PMTUD problem mit der neuen kronosnet (libknet) in version 1.11 entgültig behoben sein.
Diese Version ist zurzeit im no-subscription repo verfügbar und wird in Kürze ins Enterprise repository wandern.

Ein reboot ist nicht nötig, einfach cororsync restarten:
Code:
systemctl restart corosync
Mira hatte recht, ich bin noch auf libknet1: 1.10-pve2 . Ich warte bis die Version libknet1: 1.1-pve2 im Enterprise repository ist.
Nach der Installation sehe ich mir ein paar Tage den Zustand an und schließe dann die Frage.
 

mira

Proxmox Staff Member
Staff member
Aug 1, 2018
357
28
28
Diese ist seit heute im Enterprise Repository.
 

Mario Hosse

Member
Oct 25, 2017
30
3
8
Hallo,

hier nach ein paar Tagen die Erfahrung mit dem neuen Paket libknet1: 1.1-pve2:

Sep 04 19:44:34 prox2b corosync[2792]: [KNET ] pmtud: possible MTU misconfiguration detected. kernel is reporting MTU: 9000 bytes for host 3 link 0 but the other node is not acknowledging packets of this size.
Sep 04 19:44:34 prox2b corosync[2792]: [KNET ] pmtud: This can be caused by this node interface MTU too big or a network device that does not support or has been misconfigured to manage MTU of this size, or packet loss. knet will continue to run but performances might be affected.
Sep 04 19:44:34 prox2b corosync[2792]: [KNET ] pmtud: PMTUD link change for host: 3 link: 0 from 8946 to 8945
Sep 04 19:45:04 prox2b corosync[2792]: [KNET ] pmtud: PMTUD link change for host: 3 link: 0 from 8945 to 8946
Sep 04 19:45:04 prox2b corosync[2792]: [KNET ] pmtud: Global data MTU changed to: 8946
Das Problem besteht also weiterhin.

Konfiguration:
2x Mellanox Connect-x3 im OVS-Switch Bond, an zwei Mellanox SX1012 Switchen im Mlag, mit einer gesetzten mtu=9000 auf Networkcard und Switch.
 

mira

Proxmox Staff Member
Staff member
Aug 1, 2018
357
28
28
Die Version libknet1_1.1-pve2 gibt es nicht, nur libknet1_1.10-pve2 und libknet1_1.11-pve1. libknet1_1.11-pve1 sollte das Problem eigentlich lösen.
 

Mario Hosse

Member
Oct 25, 2017
30
3
8
Die Version libknet1_1.1-pve2 gibt es nicht, nur libknet1_1.10-pve2 und libknet1_1.11-pve1. libknet1_1.11-pve1 sollte das Problem eigentlich lösen.
Sorry mein Fehler, es ist
libknet1: 1.11-pve1
installiert und das Problem ist leider nicht gelöst. Am 29.08.2019 habe ich das Paket installiert, bei jeder Vollsicherung (2x pro Woche) tritt das Problem auf.
 

t.lamprecht

Proxmox Staff Member
Staff member
Jul 28, 2015
1,500
213
63
South Tyrol/Italy

Mario Hosse

Member
Oct 25, 2017
30
3
8
Naja, läuft backup traffic auch über das Netzwer wo corosync/kronosnet drauf kommuniziert?

Das würd so einiges erklären.. https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_cluster_network
Zusätzlich: es wird auch empfohlen einen vollen reboot nach dem upgrade zu machen.
Reboot wurde nach dem Upgrade durchgeführt. Außerdem sind die Netze getrennt, nach ceph_public, ceph_cluster, corosync, migration und verwaltung. Das Backup läuft über das Verwaltungsnetz.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!