Separates Netzwerk für Clusterkommunikation

Jan 13, 2017
16
1
3
Hi,

nach dem Versuch die Kommunikation auf meinem 3er-Cluster gemäß der Beschreibung
https://pve.proxmox.com/wiki/Separate_Cluster_Network
in der einfacheren Variante OHNE "redundant ring protocol" aufzusetzen, steht alles.
Nachfolgend die durchgeführten Schritte:
  • /etc/pve/corosync.conf.new editiert (einschl. erhöhen der "config_version")
  • /etc/hosts angepasst
  • /etc/network/interfaces die zusätzliche Netzwerkkarte für die Clusterkommunikation eingerichtet/aktiviert
  • (da nicht mehr als 5 Knoten geplant sind habe ich die Subnetzmaske mit 255.255.255.248 gesetzt)
  • mv /etc/pve/corosync.conf.new /etc/pve/corosync.conf
  • reboot der ersten beiden Knoten
Anschließend kam der Host mit der Meldung
Service engine 'corosync_quorum' failed to load for reason 'configuration error: nodelist or quorum.expected_votes must be configured!'​
zurück.

Anschließend den zweiten Host rebootet, der mit der gleichen Meldung aufwartet.

Daher dann die "expected votes" über
pvecm expected 1
Hat aber nichts gebracht.
Weg zurück geht aktuell auch nicht, da /etc/pve/ nur "lesend" geöffnet werden kann.

Hat jemand die Schritte schon einmal erfolgreich durchgeführt oder eine Idee, wie ich das cluster-filesystem wieder ans laufen kriege?
 

fabian

Proxmox Staff Member
Staff member
Jan 7, 2016
3,399
528
113
bitte die corosync.conf posten!
 
Jan 13, 2017
16
1
3
Danke für die schnelle Rückmeldung
hier die corosync.conf:

logging {
debug: off
to_syslog: yes
}

nodelist {
node {
name: pvecl03
nodeid: 3
quorum_votes: 1
ring0_addr: coro-pvecl03
}

node {
name: pvecl02
nodeid: 2
quorum_votes: 1
ring0_addr: coro-pvecl02
}

node {
name: pvecl01
nodeid: 1
quorum_votes: 1
ring0_addr: coro-pvecl01
}

}

quorum {
provider: corosync_votequorum
}

totem {
cluster_name: iccpveclprd
config_version: 4
ip_version: ipv4
secauth: on
version: 2
interface {
bindnetaddr: 10.20.20.1
ringnumber: 0
}

}
 
Jan 13, 2017
16
1
3
Den Eintrag habe ich auf der Seite auch gesehen.
Ist die Reihenfolge (s. u.a. Eintrag der /etc/hosts) relevant?
Ich kann jedenfalls mit dem angegebenen Eintrag ohne Schwierigkeiten eine ssh-Verbindung zwischen den beiden Hosts aufbauen.

lt. corosync.conf: ring0_addr: coro-pvecl01
Zeile in der /etc/hosts: 10.20.20.1 coro-pvecl01.icc coro-pvecl01

Oder bin ich da gerade an irgendeiner Stelle blind?
 

fabian

Proxmox Staff Member
Staff member
Jan 7, 2016
3,399
528
113
und solche einträge existieren auf allen drei nodes für alle 3 hostnamen?
 
Jan 13, 2017
16
1
3
Jeep, hatte unmittelbar auf allen 3 Knoten die /etc/hosts und die /etc/network/interfaces entsprechend angepasst und danach erst die "alte" /etc/pve/corosync.conf mit der modifizierten Version überschrieben.

Ich bin jetzt todesverachtend hingegangen und habe den 3ten Knoten ebenfalls neugestartet, obwohl die beiden Anderen keinen Cluster bilden wollten.
Der 3te Knoten hat unmittelbar die Kommunikation zum ersten Knoten aufgenommen.
Die vorgenommenen Konfigurationsanpassungen an den o.a. Dateien und der corosync.conf müssten also eigentlich korrekt gewesen sein.

Daraufhin habe ich jetzt den zweiten Knoten ebenfalls erneut gestartet.....
Jetzt sprechen wieder alle miteinander.....
Die VMs auf dem shared Storage sind alle wieder auf dem jeweiligen Host vorhanden und lassen sich einwandfrei starten.

Trotzdem Danke für die schnellen Antworten.

Falls Du oder jemand sonst noch eine Idee hat, was das Problem sonst noch gewesen sein könnte, wäre eine kurze Nachricht toll.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!