IP Adressen in Corosync ändern / Cluster neu erstellen?

K

KnowVation

Renowned Member
Proxmox Subscriber
Mar 19, 2015
93
0
71
Germany, Bavaria, Adelsdorf
www.knowvation.de
Hallo Zusammen,

ausgangspunkt ist ein Cluster bestehend aus drei Knoten fertig konfiguriert ceph und erkennung der nodes alles einwandfrei. Jetzt haben wir diesen Cluster testweise in ein Serverzentrum verfrachtet und die IP Adressen aller Knoten mussten geändert werden. Habe die IPs einfach über die Web Ui in den Netzwerkeinstellungen geändert und nachher noch die /etc/hosts entsprechend angepasst. Die Knoten sind einzeln über die neuen IP Adressen erreichbar, Ceph erkennt alle OSDs der anderen Knoten, nur sehen sich die Knoten halt gegenseitig nicht pvecm status gibt ein Cannot initialize CMAP service aus, vermutlich da in der Corosync noch die alten IP Adressen stehen. Laut Doku müsste ich eine Kopie der etc/pve/corosync.conf anlegen, diese dann editieren und die Nummer der Version erhöhen. Allerdings scheitere ich schon am erstellen des Backups der corosync.cof, ich bekomme hier ein
cp /etc/pve/corosync.conf /etc/pve/corosync.conf.bak
cp: cannot create regular file '/etc/pve/corosync.conf.bak': Permission denied
Was vermutlich auf die Votes zurückzuführen ist von denen ja 3 expected sind aber es nur den einen eigenen gibt.

Kann mir jemand sagen wie ich die IP Änderung (der Corosync) für alle drei Knoten möglichst einfach über die bühne bekomme? Oder ist es vielleicht sogar einfacher den Cluster zu löschen und einen neuen zu erstellen?

Vielen Dank schonmal für eure Hilfe!
 
Hi,

pvecm expected 1

damit setzt du die Votes auf den Node temporär auf 1.
Somit kannst du am /etc/pve schreiben.
 
wolfgang said:
Hi,

pvecm expected 1

damit setzt du die Votes auf den Node temporär auf 1.
Somit kannst du am /etc/pve schreiben.
Click to expand...

Danke! Kann ich dann auch einfach ein Backup der Corosync erstellen und direkt die Original Datei bearbeiten und einfach die config_version um eine Zahl erhöhen? Ist ein Knoten Neustart nötig?

edit: bekomme nach pvecm expected 1 leider auch ein
pvecm expected 1
Cannot initialize CMAP service
 
Last edited:
KnowVation said:
Kann ich dann auch einfach ein Backup der Corosync erstellen und direkt die Original Datei bearbeiten und einfach die config_version um eine Zahl erhöhen?
Click to expand...
Ja aber du must das auf allen nodes machen da du kein cluster hast.

KnowVation said:
Ist ein Knoten Neustart nötig?
Click to expand...
Du must nur corosync restarten

Code: 
systemctl restart corosync.service
 
Vielen Dank Wolfgang! Ich kann allerdings nichtmal pvecm expected 1 ausführen und bekomme da schon die Fehlermeldung mit Cannot initialize CMAP service
Warauf könnte das hindeuten wenn ich nichtmal pvecm expected 1 ausführen kann?
Kann ich noch Hilfreiche Auszüge aus der Konfiguration zukommen lassen?
upload_2019-4-9_12-11-16.png

Die corosnyc.conf mit den alten jetzt falschen IP Adressen
root@Artemis:~# cat /etc/pve/corosync.conf
logging {
debug: off
to_syslog: yes
}

nodelist {
node {
name: Artemis
nodeid: 1
quorum_votes: 1
ring0_addr: 192.168.189.10
}
node {
name: Bahamut
nodeid: 2
quorum_votes: 1
ring0_addr: 192.168.189.11
}
node {
name: Cloud
nodeid: 3
quorum_votes: 1
ring0_addr: 192.168.189.12
}
}

quorum {
provider: corosync_votequorum
}

totem {
cluster_name: Inotron
config_version: 3
interface {
bindnetaddr: 192.168.189.10
ringnumber: 0
}
ip_version: ipv4
secauth: on
version: 2
}
 
Last edited:
Dann must du direkt im /etc/corosync/corosync.conf auf allen nodes bearbeiten.
wenn du das getan hast musst du corosync starten wenn das geht musst du pve-cluster starten.
Zum Schluss die Konf noch ins etc/pve kopieren.
 
wolfgang said:
Dann must du direkt im /etc/corosync/corosync.conf auf allen nodes bearbeiten.
wenn du das getan hast musst du corosync starten wenn das geht musst du pve-cluster starten.
Zum Schluss die Konf noch ins etc/pve kopieren.
Click to expand...

Hab die /etc/corosync/corosync.conf der Knoten A B C angepasst dann bei Knoten A Corosync und Pve-Cluster gestartet, danach pvecm expected 1 und anschließend die /etc/corosync/corosync.conf auf die /etc/pve/corosync.conf rüberkopiert. Hat alles einwandfrei funktioniert. Jetzt habe ich das Problem wenn ich bei Knoten B und C das gleiche mache bekomme ich trotzdem ein Permission denied obwohl ich pvecm expected 1 durchgeführt habe .

root@Artemis:~# pvecm expected 3
Unable to set expected votes: CS_ERR_INVALID_PARAM
root@Artemis:~# pvecm status
Quorum information
------------------
Date: Wed Apr 10 15:00:57 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000001
Ring ID: 1/1796
Quorate: No

Votequorum information
----------------------
Expected votes: 3
Highest expected: 3
Total votes: 1
Quorum: 2 Activity blocked
Flags:

Membership information
----------------------
Nodeid Votes Name
0x00000001 1 XXX.XXX.XX.XX (local)


root@Artemis:~# pvecm status
Quorum information
------------------
Date: Wed Apr 10 15:24:38 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000001
Ring ID: 1/2248
Quorate: No

Votequorum information
----------------------
Expected votes: 2
Highest expected: 2
Total votes: 1
Quorum: 2 Activity blocked
Flags:

Membership information
----------------------
Nodeid Votes Name
0x00000001 1 158.181.52.78 (local)

root@Bahamut:~# pvecm expected 1
root@Bahamut:~# pvecm status
Quorum information
------------------
Date: Wed Apr 10 15:21:19 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000002
Ring ID: 2/2696
Quorate: Yes

Votequorum information
----------------------
Expected votes: 1
Highest expected: 1
Total votes: 1
Quorum: 1
Flags: Quorate

Membership information
----------------------
Nodeid Votes Name
0x00000002 1 XXX.XXX.XX.XXX (local)
root@Bahamut:~# cp /etc/corosync/corosync.conf /etc/pve/corosync.conf
cp: cannot create regular file '/etc/pve/corosync.conf': Permission denied
root@Bahamut:~#

root@Cloud:~# pvecm status
Quorum information
------------------
Date: Wed Apr 10 15:18:10 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000003
Ring ID: 3/1376
Quorate: Yes

Votequorum information
----------------------
Expected votes: 1
Highest expected: 1
Total votes: 1
Quorum: 1
Flags: Quorate

Membership information
----------------------
Nodeid Votes Name
0x00000003 1 XXX.XXX.XX.XXX (local)
root@Cloud:~# cp /etc/corosync/corosync.conf /etc/pve/corosync.conf
cp: cannot create regular file '/etc/pve/corosync.conf': Permission denied
 
Ich habe es mittlerweile geschafft die /etc/pve/corosync.conf von allen Knoten zu überschreiben mit den neuen aktuellen IP Adressen. Nach dem corosync und pvecluster restart waren dann für ca 5 minuten alle Knoten von jedem Knoten aus grün und auch der pvecm status hat bei allen Quorate angezeigt. Nach den ca. 5 minuten ist der Cluster zusammengebrochen und jeder Knoten ist wieder alleine. Hat jemand schonmal ähnliche Erfahrungen gemacht bzw. noch einen Tipp was ich ausführen oder prüfen könnte?

Wenn ich systemctl restart pve-cluster und dann systemctl restart corosync.service auf allen Knoten ausführe ist wieder alles für ca. 5 gut danach bricht wieder alles zusammen.

ate: Thu Apr 11 10:18:33 2019
Quorum provider: corosync_votequorum
Nodes: 1
Node ID: 0x00000003
Ring ID: 3/6052
Quorate: No

Votequorum information
----------------------
Expected votes: 3
Highest expected: 3
Total votes: 1
Quorum: 2 Activity blocked
Flags:

Hier noch ein Auszug aus dem Syslog:

Apr 11 10:29:00 Artemis systemd[1]: Starting Proxmox VE replication runner...
Apr 11 10:29:01 Artemis systemd[1]: Started Proxmox VE replication runner.
Apr 11 10:29:11 Artemis sshd[641361]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost= xxx.xxx.xxx.xxx user=root
Apr 11 10:29:13 Artemis sshd[641361]: Failed password for root from xxx.xxx.xxx.xxx port 58819 ssh2
Apr 11 10:29:16 Artemis sshd[641361]: Failed password for root from xxx.xxx.xxx.xxx port 58819 ssh2
Apr 11 10:29:18 Artemis sshd[641361]: Failed password for root from xxx.xxx.xxx.xxx port 58819 ssh2
Apr 11 10:29:18 Artemis sshd[641361]: Received disconnect from xxx.xxx.xxx.xxx port 58819:11: [preauth]
Apr 11 10:29:18 Artemis sshd[641361]: Disconnected from xxx.xxx.xxx.xxx port 58819 [preauth]
Apr 11 10:29:18 Artemis sshd[641361]: PAM 2 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost= xxx.xxx.xxx.xxx user=root
Apr 11 10:29:27 Artemis corosync[640639]: error [TOTEM ] FAILED TO RECEIVE
Apr 11 10:29:27 Artemis corosync[640639]: [TOTEM ] FAILED TO RECEIVE
Apr 11 10:29:29 Artemis corosync[640639]: notice [TOTEM ] A new membership (xxx.xxx.xxx.xxx:6560) was formed. Members left: 3 2
Apr 11 10:29:29 Artemis corosync[640639]: notice [TOTEM ] Failed to receive the leave message. failed: 3 2
Apr 11 10:29:29 Artemis corosync[640639]: warning [CPG ] downlist left_list: 2 received
Apr 11 10:29:29 Artemis corosync[640639]: notice [QUORUM] This node is within the non-primary component and will NOT provide any services.
Apr 11 10:29:29 Artemis corosync[640639]: notice [QUORUM] Members[1]: 1
Apr 11 10:29:29 Artemis corosync[640639]: notice [MAIN ] Completed service synchronization, ready to provide service.
Apr 11 10:29:29 Artemis corosync[640639]: [TOTEM ] A new membership (xxx.xxx.xxx.xxx:6560) was formed. Members left: 3 2
Apr 11 10:29:29 Artemis corosync[640639]: [TOTEM ] Failed to receive the leave message. failed: 3 2
Apr 11 10:29:29 Artemis corosync[640639]: [CPG ] downlist left_list: 2 received
Apr 11 10:29:29 Artemis pmxcfs[640403]: [dcdb] notice: members: 1/640403
Apr 11 10:29:29 Artemis pmxcfs[640403]: [status] notice: members: 1/640403
Apr 11 10:29:29 Artemis corosync[640639]: [QUORUM] This node is within the non-primary component and will NOT provide any services.
Apr 11 10:29:29 Artemis corosync[640639]: [QUORUM] Members[1]: 1
Apr 11 10:29:29 Artemis corosync[640639]: [MAIN ] Completed service synchronization, ready to provide service.
Apr 11 10:29:29 Artemis pmxcfs[640403]: [status] notice: node lost quorum
 
Last edited:
KnowVation said:
Hat jemand schonmal ähnliche Erfahrungen gemacht bzw. noch einen Tipp was ich ausführen oder prüfen könnte?
Click to expand...
Das hört sich sehr nach Stormcontroll im Netzwerk an.
Frag deinen Datacenter Provider ob sie das verwenden, wenn ja deaktivieren oder du musst auf Unicast wechseln.
 
wolfgang said:
Das hört sich sehr nach Stormcontroll im Netzwerk an.
Frag deinen Datacenter Provider ob sie das verwenden, wenn ja deaktivieren oder du musst auf Unicast wechseln.
Click to expand...
Ja der Provider benutzt Storm-Control und schaltet es leider auch nicht ab. Da bleibt wohl nur auf Unicast wechseln.
Habe dazu folgenden Beitrag im Proxmox Wiki gefunden und hoffe das ist der Stand der Dinge.
https://pve.proxmox.com/wiki/Multic....29_instead_of_multicast.2C_if_all_else_fails

Vielen Dank für die vielen hilfreichen Beiträge Wolfgang!
Gruß Ronny
 
Ja das funktioniert und wenn nicht wie mann es repariert weist du ja jetzt.
Kann also nichts passieren.
 
  • Like
Reactions: CoolTux
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back