[SOLVED] 3. Node kann nicht zum Cluster hinzugefügt werden

[bforpc]

Hallo,

es existiert eine Cluster aus 2 Nodes. Der 3. Node läuft ins leere mit einem "waiting for quorum" und wartet unendlich.
Der 3.Node hat die IP 10.20.0.2 in einem eigenen Netz für den Cluster, die anderen beiden Nodes haben die 10.20.0.1 und .3:
Alle Nodes können gegenseitig per ssh aufeinander zugreifen (keys entsprechend ausgetauscht).

Infos zum Node 1 nachdem der 3. Node im "waiting" steht:

pvecm status
Quorum information
------------------
Date:             Mon Oct 14 09:56:14 2019
Quorum provider:  corosync_votequorum
Nodes:            2
Node ID:          0x00000001
Ring ID:          1/6416
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      2
Quorum:           2
Flags:            Quorate

Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 10.20.0.1 (local)
0x00000002          1 10.20.0.3

Infos zum Node 2 nachdem der 3. Node im "waiting" steht:

pvecm status
Quorum information
------------------
Date:             Mon Oct 14 09:56:12 2019
Quorum provider:  corosync_votequorum
Nodes:            2
Node ID:          0x00000002
Ring ID:          1/6416
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      2
Quorum:           2
Flags:            Quorate

Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 10.20.0.1
0x00000002          1 10.20.0.3 (local)

Wenn ich das "waiting" abbreche, steht der 3. Node mit "x" in der Nodes Liste.

Jan

 

[aaron]

Wie schaut die /etc/pve/corosync.conf aus?
Was sagen die Logs? journalctl -u corosync
Jeweils auf dem problematischen Node und einem der zwei die im Cluster sind.

 

[bforpc]

Moin,

jetzt habe ich umständlich alle Verbindungen gelöscht und den "Problem-Node" wieder stand alone geschaltet :-(
OK, also nochmal!
Die /etc/pve/corosync.conf der beiden funktionierenden Nodes sehen jetzt so aus:

logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: bh1
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 10.20.0.1
  }
  node {
    name: candy
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 10.20.0.3
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: novak
  config_version: 4
  interface {
    linknumber: 0
  }
  ip_version: ipv4-6
  secauth: on
  version: 2
}

Auf dem Problemnode:

journalctl -u corosync
-- Logs begin at Mon 2019-10-14 10:22:00 CEST, end at Mon 2019-10-14 10:51:00 CEST. --
Okt 14 10:22:11 cb systemd[1]: Condition check resulted in Corosync Cluster Engine being skipped.

Jetzt auf dem Problemnode ein

pvecm add bh

Log primären Node :

Okt 14 11:02:05 bh1 corosync[29982]:   [CFG   ] Config reload requested by node 1
Okt 14 11:02:05 bh1 corosync[29982]:   [TOTEM ] Configuring link 0
Okt 14 11:02:05 bh1 corosync[29982]:   [TOTEM ] Configured link number 0: local addr: 10.20.0.1, port=5405
Okt 14 11:02:05 bh1 corosync[29982]:   [KNET  ] host: host: 3 (passive) best link: 0 (pri: 0)
Okt 14 11:02:05 bh1 corosync[29982]:   [KNET  ] host: host: 3 has no active links
Okt 14 11:02:05 bh1 corosync[29982]:   [KNET  ] host: host: 3 (passive) best link: 0 (pri: 1)
Okt 14 11:02:05 bh1 corosync[29982]:   [KNET  ] host: host: 3 has no active links
Okt 14 11:02:05 bh1 corosync[29982]:   [KNET  ] host: host: 3 (passive) best link: 0 (pri: 1)
Okt 14 11:02:05 bh1 corosync[29982]:   [KNET  ] host: host: 3 has no active links
Okt 14 11:02:07 bh1 corosync[29982]:   [KNET  ] rx: host: 3 link: 0 is up
Okt 14 11:02:07 bh1 corosync[29982]:   [KNET  ] host: host: 3 (passive) best link: 0 (pri: 1)
Okt 14 11:02:07 bh1 corosync[29982]:   [KNET  ] pmtud: PMTUD link change for host: 3 link: 0 from 469 to 1333
Okt 14 11:02:11 bh1 corosync[29982]:   [TOTEM ] A new membership (1:10384) was formed. Members
... fortlaufend

Auf dem Problemnode (währen dieser im waiting" steht

Okt 14 11:04:46 cb corosync[16168]:   [QUORUM] Members[1]: 3
Okt 14 11:04:46 cb corosync[16168]:   [MAIN  ] Completed service synchronization, ready to provide service.
Okt 14 11:04:49 cb corosync[16168]:   [TOTEM ] A new membership (3:11304) was formed. Members
Okt 14 11:04:49 cb corosync[16168]:   [CPG   ] downlist left_list: 0 received
...forlaufend

und die Corosync des Problemnodes (während dieser im waiting steht) :

cat /etc/corosync/corosync.conf
logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: bh1
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 10.20.0.1
  }
  node {
    name: candy
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 10.20.0.3
  }
  node {
    name: cb
    nodeid: 3
    quorum_votes: 1
    ring0_addr: 10.20.0.2
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: novak
  config_version: 5
  interface {
    linknumber: 0
  }
  ip_version: ipv4-6
  secauth: on
  version: 2
}

Diese corosync ist aktuell auf allen 3 Nodes vorhanden.
Alle 3 Nodes sind per tinc verbunden.

bfo

 

[aaron]

Welche Zeiten bekommst du beim Ping wenn du die Nodes untereinanders auf die 10.20.0.X pingst?

So wie das in den Logs steht scheint Node 3 (cb) nicht mit den anderen kommunizieren zu können.

Mich verwirrt auch ein wenig, dass du beim Hinzufügen zum cluster

pvecm add bh

machst und nicht auf bh1, bzw. am besten gleich auf die 10.20.0.x von einem der zwei bestehenden Nodes.

 

[bforpc]

Die Ping Zeiten sind <10ms, bh (und bh1) sind in der hosts Datei eingetragen.
Nachdem ich den "waiting for quorum" 1,5 Srunden (!) habe stehen lassen, hat sich der 3. Node eingebunden.