Expected Votes CS_ERR_INVALID_PARAM

[jojowillingen]

Hallo zusammen,


ich habe ein Cluster konfiguriert, wo nicht alle Nodes die gleiche Anzahl an Votes haben soll.
Grund dafür ist deren Standort. Soweit so gut.
Allerdings werden nach aktueller Konfiguration 17 Votes benötigt um Quorum zu erreichen.
Aufgrund der Konstellation reichen allerdings bei mir 10 Votes völlig aus.

Dies wollte ich nun mit mit pvecm expected 10 einsetzten.
Mir ist bewusst, dass sich das beim Join eines neuen Hosts ins Cluster wieder zurücksetzt.

Leider kommt allerdings dann folgender Fehler:

root@PVE9:~# pvecm e 10
Unable to set expected votes: CS_ERR_INVALID_PARAM

Dabei ist es völlig egal von wo ich das Ganze ausführe.
Als noch nicht alle Nodes im Cluster waren ging das auch alles gut. Jetzt allerdings nicht mehr.

Mir ist allerdings folgendes Aufgefallen:

Das kommt ab und zu. Ich konnte das allerdings noch nicht ganz ausmerzen und bin mir auch nicht sicher, ob irgenwo noch sowas ist.
Um das Problem zu beheben hatte ich auch mal pvecm updatecerts --force gemacht.

Hier ist meine Corosync Konfiguration

root@PVE8:~# cat /etc/pve/corosync.conf
logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: PVE11
    nodeid: 6
    quorum_votes: 5
    ring0_addr: 10.69.0.11
  }
  node {
    name: PVE12
    nodeid: 5
    quorum_votes: 5
    ring0_addr: 10.69.0.12
  }
  node {
    name: PVE13
    nodeid: 7
    quorum_votes: 10
    ring0_addr: 10.79.0.13
  }
  node {
    name: PVE8
    nodeid: 1
    quorum_votes: 5
    ring0_addr: 10.59.0.8
  }
  node {
    name: PVE9
    nodeid: 8
    quorum_votes: 5
    ring0_addr: 10.59.0.9
  }
  node {
    name: PVEarchive
    nodeid: 2
    quorum_votes: 0
    ring0_addr: 10.69.220.1
  }
  node {
    name: PVEtest1
    nodeid: 3
    quorum_votes: 0
    ring0_addr: 10.59.221.1
  }
  node {
    name: PVEtest2
    nodeid: 4
    quorum_votes: 0
    ring0_addr: 10.59.221.2
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: PVEC1
  config_version: 16
  interface {
    linknumber: 0
  }
  ip_version: ipv4-6
  link_mode: passive
  secauth: on
  version: 2
}

Hat jemand eine Idee um dieses Problem zu beheben?

 

[Falk R.]

Mir erschließt sich nicht der Sinn mit den so unterschiedlichen Votes. Mir fehlt das Konzept dahinter. Mit einem Konzept gibt es in der Regel eine einfache Lösung.

 

[homelabenthusiast]

Hallo zusammen,


ich habe ein Cluster konfiguriert, wo nicht alle Nodes die gleiche Anzahl an Votes haben soll.
Grund dafür ist deren Standort. Soweit so gut.
Allerdings werden nach aktueller Konfiguration 17 Votes benötigt um Quorum zu erreichen.
Aufgrund der Konstellation reichen allerdings bei mir 10 Votes völlig aus.

Dies wollte ich nun mit mit pvecm expected 10 einsetzten.
Mir ist bewusst, dass sich das beim Join eines neuen Hosts ins Cluster wieder zurücksetzt.

Leider kommt allerdings dann folgender Fehler:

root@PVE9:~# pvecm e 10
Unable to set expected votes: CS_ERR_INVALID_PARAM

Dabei ist es völlig egal von wo ich das Ganze ausführe.
Als noch nicht alle Nodes im Cluster waren ging das auch alles gut. Jetzt allerdings nicht mehr.

Mir ist allerdings folgendes Aufgefallen:
View attachment 63714
Das kommt ab und zu. Ich konnte das allerdings noch nicht ganz ausmerzen und bin mir auch nicht sicher, ob irgenwo noch sowas ist.
Um das Problem zu beheben hatte ich auch mal pvecm updatecerts --force gemacht.

Hier ist meine Corosync Konfiguration

root@PVE8:~# cat /etc/pve/corosync.conf
logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: PVE11
    nodeid: 6
    quorum_votes: 5
    ring0_addr: 10.69.0.11
  }
  node {
    name: PVE12
    nodeid: 5
    quorum_votes: 5
    ring0_addr: 10.69.0.12
  }
  node {
    name: PVE13
    nodeid: 7
    quorum_votes: 10
    ring0_addr: 10.79.0.13
  }
  node {
    name: PVE8
    nodeid: 1
    quorum_votes: 5
    ring0_addr: 10.59.0.8
  }
  node {
    name: PVE9
    nodeid: 8
    quorum_votes: 5
    ring0_addr: 10.59.0.9
  }
  node {
    name: PVEarchive
    nodeid: 2
    quorum_votes: 0
    ring0_addr: 10.69.220.1
  }
  node {
    name: PVEtest1
    nodeid: 3
    quorum_votes: 0
    ring0_addr: 10.59.221.1
  }
  node {
    name: PVEtest2
    nodeid: 4
    quorum_votes: 0
    ring0_addr: 10.59.221.2
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: PVEC1
  config_version: 16
  interface {
    linknumber: 0
  }
  ip_version: ipv4-6
  link_mode: passive
  secauth: on
  version: 2
}

Hat jemand eine Idee um dieses Problem zu beheben?

Hallo, hast du schon corosync und pve-cluster Diesnte neugestartet?
Und bezüglich Host key verification fehler, versucht das hier mal:

ssh -o 'HostKeyAlias=<Target node Name>' root@<Target node IP>

 

[Falk R.]

Diese Anzahl an Votes klingt aber nach inkonsistentem Cluster im Worst Case.
Da würde ich zuerst Hirnschmalz rein stecken.

 

[jojowillingen]

Hallo, hast du schon corosync und pve-cluster Diesnte neugestartet?
Und bezüglich Host key verification fehler, versucht das hier mal:

ssh -o 'HostKeyAlias=<Target node Name>' root@<Target node IP>

Hi. Danke, das habe ich gemacht. Dann stehe ich immer wieder vor dem gleichen Problem :/
Dann bekommt eine andere Node diesen Fehler.

Ich gehe davon aus, dass ich das einmal mit allen Nodes machen könnte?

 

[jojowillingen]

Es handelt sich bei diesem Cluster um einen Testaufbau über verschiedene Standorte.
Wenn die VPN-Verbindung streikt dürfen alle Nodes gerne noch weiter arbeiten. Es ist dafür gesorgt, dass die sich nicht in die quäre kommen.

Allerdings habe ich es auch mit jedem 1 Vote verscuht: Gleiches Ergebnis.

 

[homelabenthusiast]

Hi. Danke, das habe ich gemacht. Dann stehe ich immer wieder vor dem gleichen Problem :/
Dann bekommt eine andere Node diesen Fehler.

Ich gehe davon aus, dass ich das einmal mit allen Nodes machen könnte?

Hallo ja, dass musst Du mit jedem Node machen