Frage zu corosync knet mtu flapping

[Mario Hosse]

Hallo an das Proxmoxteam,

ich habe Proxmox in der letzten Version installiert und immer noch Probleme mit dem Flapping der mtu-size.

Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: possible MTU misconfiguration detected. kernel is reporting MTU: 9000 bytes for host 4 link 0 but the other node is not acknowledging packets of this size.
Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: This can be caused by this node interface MTU too big or a network device that does not support or has been misconfigured to manage MTU of this size, or packet loss. knet will continue to run but performances might be affected.
Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: PMTUD link change for host: 4 link: 0 from 8946 to 8945
Aug 26 19:04:07 prox2b corosync[2704]: [KNET ] pmtud: Global data MTU changed to: 8945
Aug 26 19:04:37 prox2b corosync[2704]: [KNET ] pmtud: PMTUD link change for host: 4 link: 0 from 8945 to 8946
Aug 26 19:04:37 prox2b corosync[2704]: [KNET ] pmtud: Global data MTU changed to: 8946

Nach der Suche zu diesem Fehler bin ich auf die Seite
https://github.com/corosync/corosync/issues/499
gestoßen. Mit der Änderung wäre es möglich, die mtu-size manuell zu setzen.

Wann kann ich damit rechnen, dass die Version mit der Variablen

knet_handle_pmtud_set

eingepflegt wird.
Vielen Dank!

Grüße
Mario

 

[mira]

ich habe Proxmox in der letzten Version installiert und immer noch Probleme mit dem Flapping der mtu-size.

Also auch mit libknet1 in Version 1.11-pve1 Probleme? Wurde nach dem Update rebooted?

 

[t.lamprecht]

Wann kann ich damit rechnen, dass die Version mit der Variablen eingepflegt wird.

Wie mira bereits angedeutet hat ist sollte das PMTUD problem mit der neuen kronosnet (libknet) in version 1.11 entgültig behoben sein.
Diese Version ist zurzeit im no-subscription repo verfügbar und wird in Kürze ins Enterprise repository wandern.

Ein reboot ist nicht nötig, einfach cororsync restarten:

systemctl restart corosync

 

[Mario Hosse]

Hallo,

vielen Dank für die Antworten.

Wie mira bereits angedeutet hat ist sollte das PMTUD problem mit der neuen kronosnet (libknet) in version 1.11 entgültig behoben sein.
Diese Version ist zurzeit im no-subscription repo verfügbar und wird in Kürze ins Enterprise repository wandern.

Ein reboot ist nicht nötig, einfach cororsync restarten:

systemctl restart corosync

Mira hatte recht, ich bin noch auf libknet1: 1.10-pve2 . Ich warte bis die Version libknet1: 1.1-pve2 im Enterprise repository ist.
Nach der Installation sehe ich mir ein paar Tage den Zustand an und schließe dann die Frage.

 

[mira]

Diese ist seit heute im Enterprise Repository.

 

[Mario Hosse]

Hallo,

hier nach ein paar Tagen die Erfahrung mit dem neuen Paket libknet1: 1.1-pve2:

Sep 04 19:44:34 prox2b corosync[2792]: [KNET ] pmtud: possible MTU misconfiguration detected. kernel is reporting MTU: 9000 bytes for host 3 link 0 but the other node is not acknowledging packets of this size.
Sep 04 19:44:34 prox2b corosync[2792]: [KNET ] pmtud: This can be caused by this node interface MTU too big or a network device that does not support or has been misconfigured to manage MTU of this size, or packet loss. knet will continue to run but performances might be affected.
Sep 04 19:44:34 prox2b corosync[2792]: [KNET ] pmtud: PMTUD link change for host: 3 link: 0 from 8946 to 8945
Sep 04 19:45:04 prox2b corosync[2792]: [KNET ] pmtud: PMTUD link change for host: 3 link: 0 from 8945 to 8946
Sep 04 19:45:04 prox2b corosync[2792]: [KNET ] pmtud: Global data MTU changed to: 8946

Das Problem besteht also weiterhin.

Konfiguration:

2x Mellanox Connect-x3 im OVS-Switch Bond, an zwei Mellanox SX1012 Switchen im Mlag, mit einer gesetzten mtu=9000 auf Networkcard und Switch.

 

[mira]

Die Version libknet1_1.1-pve2 gibt es nicht, nur libknet1_1.10-pve2 und libknet1_1.11-pve1. libknet1_1.11-pve1 sollte das Problem eigentlich lösen.

 

[Mario Hosse]

Die Version libknet1_1.1-pve2 gibt es nicht, nur libknet1_1.10-pve2 und libknet1_1.11-pve1. libknet1_1.11-pve1 sollte das Problem eigentlich lösen.

Sorry mein Fehler, es ist

libknet1: 1.11-pve1

installiert und das Problem ist leider nicht gelöst. Am 29.08.2019 habe ich das Paket installiert, bei jeder Vollsicherung (2x pro Woche) tritt das Problem auf.

 

[t.lamprecht]

Vollsicherung (2x pro Woche) tritt das Problem auf.

Naja, läuft backup traffic auch über das Netzwer wo corosync/kronosnet drauf kommuniziert?

Das würd so einiges erklären.. https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_cluster_network
Zusätzlich: es wird auch empfohlen einen vollen reboot nach dem upgrade zu machen.

 

[Mario Hosse]

Naja, läuft backup traffic auch über das Netzwer wo corosync/kronosnet drauf kommuniziert?

Das würd so einiges erklären.. https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_cluster_network
Zusätzlich: es wird auch empfohlen einen vollen reboot nach dem upgrade zu machen.

Reboot wurde nach dem Upgrade durchgeführt. Außerdem sind die Netze getrennt, nach ceph_public, ceph_cluster, corosync, migration und verwaltung. Das Backup läuft über das Verwaltungsnetz.