IP Adressen in Corosync ändern / Cluster neu erstellen?

Discussion in 'Proxmox VE (Deutsch)' started by KnowVation, Apr 9, 2019.

  1. KnowVation

    KnowVation Member
    Proxmox Subscriber

    Joined:
    Mar 19, 2015
    Messages:
    61
    Likes Received:
    0
    Hallo Zusammen,

    ausgangspunkt ist ein Cluster bestehend aus drei Knoten fertig konfiguriert ceph und erkennung der nodes alles einwandfrei. Jetzt haben wir diesen Cluster testweise in ein Serverzentrum verfrachtet und die IP Adressen aller Knoten mussten geändert werden. Habe die IPs einfach über die Web Ui in den Netzwerkeinstellungen geändert und nachher noch die /etc/hosts entsprechend angepasst. Die Knoten sind einzeln über die neuen IP Adressen erreichbar, Ceph erkennt alle OSDs der anderen Knoten, nur sehen sich die Knoten halt gegenseitig nicht pvecm status gibt ein Cannot initialize CMAP service aus, vermutlich da in der Corosync noch die alten IP Adressen stehen. Laut Doku müsste ich eine Kopie der etc/pve/corosync.conf anlegen, diese dann editieren und die Nummer der Version erhöhen. Allerdings scheitere ich schon am erstellen des Backups der corosync.cof, ich bekomme hier ein
    cp /etc/pve/corosync.conf /etc/pve/corosync.conf.bak
    cp: cannot create regular file '/etc/pve/corosync.conf.bak': Permission denied

    Was vermutlich auf die Votes zurückzuführen ist von denen ja 3 expected sind aber es nur den einen eigenen gibt.

    Kann mir jemand sagen wie ich die IP Änderung (der Corosync) für alle drei Knoten möglichst einfach über die bühne bekomme? Oder ist es vielleicht sogar einfacher den Cluster zu löschen und einen neuen zu erstellen?

    Vielen Dank schonmal für eure Hilfe!
     
  2. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,763
    Likes Received:
    315
    Hi,

    pvecm expected 1

    damit setzt du die Votes auf den Node temporär auf 1.
    Somit kannst du am /etc/pve schreiben.
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  3. KnowVation

    KnowVation Member
    Proxmox Subscriber

    Joined:
    Mar 19, 2015
    Messages:
    61
    Likes Received:
    0
    Danke! Kann ich dann auch einfach ein Backup der Corosync erstellen und direkt die Original Datei bearbeiten und einfach die config_version um eine Zahl erhöhen? Ist ein Knoten Neustart nötig?

    edit: bekomme nach pvecm expected 1 leider auch ein
    pvecm expected 1
    Cannot initialize CMAP service
     
    #3 KnowVation, Apr 9, 2019
    Last edited: Apr 9, 2019
  4. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,763
    Likes Received:
    315
    Ja aber du must das auf allen nodes machen da du kein cluster hast.

    Du must nur corosync restarten

    Code:
    systemctl restart corosync.service
    
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  5. KnowVation

    KnowVation Member
    Proxmox Subscriber

    Joined:
    Mar 19, 2015
    Messages:
    61
    Likes Received:
    0
    Vielen Dank Wolfgang! Ich kann allerdings nichtmal pvecm expected 1 ausführen und bekomme da schon die Fehlermeldung mit Cannot initialize CMAP service
    Warauf könnte das hindeuten wenn ich nichtmal pvecm expected 1 ausführen kann?
    Kann ich noch Hilfreiche Auszüge aus der Konfiguration zukommen lassen?
    upload_2019-4-9_12-11-16.png

    Die corosnyc.conf mit den alten jetzt falschen IP Adressen
    root@Artemis:~# cat /etc/pve/corosync.conf
    logging {
    debug: off
    to_syslog: yes
    }

    nodelist {
    node {
    name: Artemis
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 192.168.189.10
    }
    node {
    name: Bahamut
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 192.168.189.11
    }
    node {
    name: Cloud
    nodeid: 3
    quorum_votes: 1
    ring0_addr: 192.168.189.12
    }
    }

    quorum {
    provider: corosync_votequorum
    }

    totem {
    cluster_name: Inotron
    config_version: 3
    interface {
    bindnetaddr: 192.168.189.10
    ringnumber: 0
    }
    ip_version: ipv4
    secauth: on
    version: 2
    }
     
    #5 KnowVation, Apr 9, 2019
    Last edited: Apr 9, 2019
  6. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,763
    Likes Received:
    315
    Dann must du direkt im /etc/corosync/corosync.conf auf allen nodes bearbeiten.
    wenn du das getan hast musst du corosync starten wenn das geht musst du pve-cluster starten.
    Zum Schluss die Konf noch ins etc/pve kopieren.
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  7. KnowVation

    KnowVation Member
    Proxmox Subscriber

    Joined:
    Mar 19, 2015
    Messages:
    61
    Likes Received:
    0
    Hab die /etc/corosync/corosync.conf der Knoten A B C angepasst dann bei Knoten A Corosync und Pve-Cluster gestartet, danach pvecm expected 1 und anschließend die /etc/corosync/corosync.conf auf die /etc/pve/corosync.conf rüberkopiert. Hat alles einwandfrei funktioniert. Jetzt habe ich das Problem wenn ich bei Knoten B und C das gleiche mache bekomme ich trotzdem ein Permission denied obwohl ich pvecm expected 1 durchgeführt habe .

    root@Artemis:~# pvecm expected 3
    Unable to set expected votes: CS_ERR_INVALID_PARAM
    root@Artemis:~# pvecm status
    Quorum information
    ------------------
    Date: Wed Apr 10 15:00:57 2019
    Quorum provider: corosync_votequorum
    Nodes: 1
    Node ID: 0x00000001
    Ring ID: 1/1796
    Quorate: No

    Votequorum information
    ----------------------
    Expected votes: 3
    Highest expected: 3
    Total votes: 1
    Quorum: 2 Activity blocked
    Flags:

    Membership information
    ----------------------
    Nodeid Votes Name
    0x00000001 1 XXX.XXX.XX.XX (local)


    root@Artemis:~# pvecm status
    Quorum information
    ------------------
    Date: Wed Apr 10 15:24:38 2019
    Quorum provider: corosync_votequorum
    Nodes: 1
    Node ID: 0x00000001
    Ring ID: 1/2248
    Quorate: No

    Votequorum information
    ----------------------
    Expected votes: 2
    Highest expected: 2
    Total votes: 1
    Quorum: 2 Activity blocked
    Flags:

    Membership information
    ----------------------
    Nodeid Votes Name
    0x00000001 1 158.181.52.78 (local)

    root@Bahamut:~# pvecm expected 1
    root@Bahamut:~# pvecm status
    Quorum information
    ------------------
    Date: Wed Apr 10 15:21:19 2019
    Quorum provider: corosync_votequorum
    Nodes: 1
    Node ID: 0x00000002
    Ring ID: 2/2696
    Quorate: Yes

    Votequorum information
    ----------------------
    Expected votes: 1
    Highest expected: 1
    Total votes: 1
    Quorum: 1
    Flags: Quorate

    Membership information
    ----------------------
    Nodeid Votes Name
    0x00000002 1 XXX.XXX.XX.XXX (local)
    root@Bahamut:~# cp /etc/corosync/corosync.conf /etc/pve/corosync.conf
    cp: cannot create regular file '/etc/pve/corosync.conf': Permission denied
    root@Bahamut:~#

    root@Cloud:~# pvecm status
    Quorum information
    ------------------
    Date: Wed Apr 10 15:18:10 2019
    Quorum provider: corosync_votequorum
    Nodes: 1
    Node ID: 0x00000003
    Ring ID: 3/1376
    Quorate: Yes

    Votequorum information
    ----------------------
    Expected votes: 1
    Highest expected: 1
    Total votes: 1
    Quorum: 1
    Flags: Quorate

    Membership information
    ----------------------
    Nodeid Votes Name
    0x00000003 1 XXX.XXX.XX.XXX (local)
    root@Cloud:~# cp /etc/corosync/corosync.conf /etc/pve/corosync.conf
    cp: cannot create regular file '/etc/pve/corosync.conf': Permission denied
     
  8. KnowVation

    KnowVation Member
    Proxmox Subscriber

    Joined:
    Mar 19, 2015
    Messages:
    61
    Likes Received:
    0
    Ich habe es mittlerweile geschafft die /etc/pve/corosync.conf von allen Knoten zu überschreiben mit den neuen aktuellen IP Adressen. Nach dem corosync und pvecluster restart waren dann für ca 5 minuten alle Knoten von jedem Knoten aus grün und auch der pvecm status hat bei allen Quorate angezeigt. Nach den ca. 5 minuten ist der Cluster zusammengebrochen und jeder Knoten ist wieder alleine. Hat jemand schonmal ähnliche Erfahrungen gemacht bzw. noch einen Tipp was ich ausführen oder prüfen könnte?

    Wenn ich systemctl restart pve-cluster und dann systemctl restart corosync.service auf allen Knoten ausführe ist wieder alles für ca. 5 gut danach bricht wieder alles zusammen.

    ate: Thu Apr 11 10:18:33 2019
    Quorum provider: corosync_votequorum
    Nodes: 1
    Node ID: 0x00000003
    Ring ID: 3/6052
    Quorate: No

    Votequorum information
    ----------------------
    Expected votes: 3
    Highest expected: 3
    Total votes: 1
    Quorum: 2 Activity blocked
    Flags:

    Hier noch ein Auszug aus dem Syslog:

    Apr 11 10:29:00 Artemis systemd[1]: Starting Proxmox VE replication runner...
    Apr 11 10:29:01 Artemis systemd[1]: Started Proxmox VE replication runner.
    Apr 11 10:29:11 Artemis sshd[641361]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost= xxx.xxx.xxx.xxx user=root
    Apr 11 10:29:13 Artemis sshd[641361]: Failed password for root from xxx.xxx.xxx.xxx port 58819 ssh2
    Apr 11 10:29:16 Artemis sshd[641361]: Failed password for root from xxx.xxx.xxx.xxx port 58819 ssh2
    Apr 11 10:29:18 Artemis sshd[641361]: Failed password for root from xxx.xxx.xxx.xxx port 58819 ssh2
    Apr 11 10:29:18 Artemis sshd[641361]: Received disconnect from xxx.xxx.xxx.xxx port 58819:11: [preauth]
    Apr 11 10:29:18 Artemis sshd[641361]: Disconnected from xxx.xxx.xxx.xxx port 58819 [preauth]
    Apr 11 10:29:18 Artemis sshd[641361]: PAM 2 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost= xxx.xxx.xxx.xxx user=root
    Apr 11 10:29:27 Artemis corosync[640639]: error [TOTEM ] FAILED TO RECEIVE
    Apr 11 10:29:27 Artemis corosync[640639]: [TOTEM ] FAILED TO RECEIVE
    Apr 11 10:29:29 Artemis corosync[640639]: notice [TOTEM ] A new membership (xxx.xxx.xxx.xxx:6560) was formed. Members left: 3 2
    Apr 11 10:29:29 Artemis corosync[640639]: notice [TOTEM ] Failed to receive the leave message. failed: 3 2
    Apr 11 10:29:29 Artemis corosync[640639]: warning [CPG ] downlist left_list: 2 received
    Apr 11 10:29:29 Artemis corosync[640639]: notice [QUORUM] This node is within the non-primary component and will NOT provide any services.
    Apr 11 10:29:29 Artemis corosync[640639]: notice [QUORUM] Members[1]: 1
    Apr 11 10:29:29 Artemis corosync[640639]: notice [MAIN ] Completed service synchronization, ready to provide service.
    Apr 11 10:29:29 Artemis corosync[640639]: [TOTEM ] A new membership (xxx.xxx.xxx.xxx:6560) was formed. Members left: 3 2
    Apr 11 10:29:29 Artemis corosync[640639]: [TOTEM ] Failed to receive the leave message. failed: 3 2
    Apr 11 10:29:29 Artemis corosync[640639]: [CPG ] downlist left_list: 2 received
    Apr 11 10:29:29 Artemis pmxcfs[640403]: [dcdb] notice: members: 1/640403
    Apr 11 10:29:29 Artemis pmxcfs[640403]: [status] notice: members: 1/640403
    Apr 11 10:29:29 Artemis corosync[640639]: [QUORUM] This node is within the non-primary component and will NOT provide any services.
    Apr 11 10:29:29 Artemis corosync[640639]: [QUORUM] Members[1]: 1
    Apr 11 10:29:29 Artemis corosync[640639]: [MAIN ] Completed service synchronization, ready to provide service.
    Apr 11 10:29:29 Artemis pmxcfs[640403]: [status] notice: node lost quorum
     
    #8 KnowVation, Apr 11, 2019
    Last edited: Apr 11, 2019
  9. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,763
    Likes Received:
    315
    Das hört sich sehr nach Stormcontroll im Netzwerk an.
    Frag deinen Datacenter Provider ob sie das verwenden, wenn ja deaktivieren oder du musst auf Unicast wechseln.
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  10. KnowVation

    KnowVation Member
    Proxmox Subscriber

    Joined:
    Mar 19, 2015
    Messages:
    61
    Likes Received:
    0
    Ja der Provider benutzt Storm-Control und schaltet es leider auch nicht ab. Da bleibt wohl nur auf Unicast wechseln.
    Habe dazu folgenden Beitrag im Proxmox Wiki gefunden und hoffe das ist der Stand der Dinge.
    https://pve.proxmox.com/wiki/Multic....29_instead_of_multicast.2C_if_all_else_fails

    Vielen Dank für die vielen hilfreichen Beiträge Wolfgang!
    Gruß Ronny
     
  11. wolfgang

    wolfgang Proxmox Staff Member
    Staff Member

    Joined:
    Oct 1, 2014
    Messages:
    4,763
    Likes Received:
    315
    Ja das funktioniert und wenn nicht wie mann es repariert weist du ja jetzt.
    Kann also nichts passieren.
     
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
    Leon Gaultier likes this.
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice