[SOLVED] Cluster hat 3 Nodes aber denkt selber, dass kein Cluster bestünde

flowmotion · Dec 9, 2019

Hallo, ich kämpfe mit meinem Cluster seit ich es erstellt habe.. ich sag nur ich lass die finger von Clustern! Bis mir jemand den Nutzen erklären kann, denn so wie es sich bei mir zeigt hat man nur mehr Problem als ohne...

Aktuell wird im Cluster angezeigt "Standalone Node - No Cluster defined". Aber es befinden sich 3 Nodes im Cluster ein Node davon "PSX-02" wurde schon lange entfernt

Chronologischer Hergang (Siehe auch Screenshot):

Ich habe im Node "flowmox" einen Cluster erstellt. Danach die Nodes "ProxSystemX-01" und "ProxSystemX-02" hinzugefügt.
Ich habe den Node "ProxSystemX-02"entfernt.
1. pvecm nodes
  pvecm delnode NodeName
  ls -l /etc/pve/nodes/
  mv /etc/pve/nodes/NodeName /root/NodeName
Danach wurde der Node "ProxSystemX-02" mehrere Tage immer noch im WebGui angezeigt.
Ich habe einen neuen Node "PSX-02" mit der selben IP (10.0.0.14) wie der alte "ProxSystemX-02" erstellt - ohne diesen dem Cluster hinzuzufügen.
Der Node wurde im Cluster anstatt des "ProxSystemX-02" angezeigt - wie gesagt ich habe diesen nie dem Cluster hinzugefügt!
Ich habe den Node "PSX-02" also die komplette Festplatte aus dem Server entfernt.
ich habe erneut Schritt 2 ausgeführt
Nun wird der nie dem Cluster hinzugefügte Node "PSX-02" immer noch offline angezeigt...
Ich habe mehrere Tipps aus Google Probiert:
1. Kontrolle von "/etc/corosync/corosync.conf"
2. Kontrolle von "/etc/pve/.members"
3. Kontrolle von "/etc/pve/ha/manager_status" -> Existiert bei mir nicht!
4. pve-cluster restart
5. corosync.service restart
6. Alle Nodes restarten
Nun wird - Siehe Screenshot - im Cluster "Standalone Node - No Cluster defined" angezeigt.
Wenn ich pvecm status eingebe sind aber "expected 3".

Outputs:

/etc/corosync/corosync.conf

Bash:

logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: PSX-02
    nodeid: 3
    quorum_votes: 1
    ring0_addr: 10.0.0.14
  }
  node {
    name: ProxSystemX-01
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 10.0.0.15
  }
  node {
    name: flowmox
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 10.0.0.3
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: omniflow
  config_version: 5
  interface {
    bindnetaddr: 10.0.0.3
    ringnumber: 0
  }
  ip_version: ipv4
  secauth: on
  version: 2
}

/etc/pve/.members

Bash:

{
"nodename": "flowmox",
"version": 8,
"cluster": { "name": "omniflow", "version": 5, "nodes": 3, "quorate": 1 },
"nodelist": {
  "ProxSystemX-01": { "id": 2, "online": 1, "ip": "10.0.0.15"},
  "PSX-02": { "id": 3, "online": 0},
  "flowmox": { "id": 1, "online": 1, "ip": "10.0.0.3"}
  }
}

service pve-cluster status

Bash:

● pve-cluster.service - The Proxmox VE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: enabled)
   Active: active (running) since Sat 2019-12-07 21:05:31 CET; 1 day 22h ago
  Process: 11069 ExecStart=/usr/bin/pmxcfs (code=exited, status=0/SUCCESS)
Main PID: 11071 (pmxcfs)
    Tasks: 13 (limit: 4915)
   Memory: 55.5M
   CGroup: /system.slice/pve-cluster.service
           └─11071 /usr/bin/pmxcfs

Dec 09 10:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 09 11:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 09 12:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful

Vielen Dank für jede noch so kleine Hilfe!!!

dcsapak · Dec 10, 2019

was sagt denn: 'pvesh get /cluster/config/join' ?

flowmotion · Dec 10, 2019

am 10.0.0.3 (master)
root@flowmox:~# pvesh get /cluster/config/join
'/etc/pve/nodes/PSX-02/pve-ssl.pem' does not exist!

am 10.0.0.15
root@ProxSystemX-01:~# pvesh get /cluster/config/join
unable to read '/etc/pve/nodes/PSX-02/pve-ssl.pem' - No such file or directory

flowmotion · Dec 10, 2019

flowmotion said:
am 10.0.0.3 (master)
root@flowmox:~# pvesh get /cluster/config/join
'/etc/pve/nodes/PSX-02/pve-ssl.pem' does not exist!

am 10.0.0.15
root@ProxSystemX-01:~# pvesh get /cluster/config/join
unable to read '/etc/pve/nodes/PSX-02/pve-ssl.pem' - No such file or directory

dass PSX-02 nicht existiert wäre ja eigentlich mein plan.. nur leider wirds ja trotzdem angezeigt... bzw aktuell ist der komplette cluster im A.....

flowmotion · Dec 11, 2019

Hallo Hallo ! niemand eine Idee? das Thema brennt echt sehr!

Danke!

Stoiko Ivanov · Dec 12, 2019

läuft pmxcfs/pve-cluster.service?
* `systemctl status -l pve-cluster.service`
* `ps auxwf |grep pmxcfs`

falls nicht das service mal neustarten

sonst bitte auch das output von `pvecm status` pasten

Ich hoffe das hilft!

flowmotion · Dec 12, 2019

root@flowmox:~# systemctl status -l pve-cluster.service
● pve-cluster.service - The Proxmox VE cluster filesystem
Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: enabled)
Active: active (running) since Sat 2019-12-07 21:05:31 CET; 5 days ago
Process: 11069 ExecStart=/usr/bin/pmxcfs (code=exited, status=0/SUCCESS)
Main PID: 11071 (pmxcfs)
Tasks: 13 (limit: 4915)
Memory: 52.5M
CGroup: /system.slice/pve-cluster.service
└─11071 /usr/bin/pmxcfs

Dec 12 12:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 13:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 14:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 15:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 16:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 17:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 18:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 19:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 20:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
Dec 12 21:05:30 flowmox pmxcfs[11071]: [dcdb] notice: data verification successful
root@flowmox:~# ps auxwf |grep pmxcfs
root 24983 0.0 0.0 6072 824 pts/2 S+ 21:50 0:00 \_ grep pmxcfs
root 11071 0.1 0.0 1272000 50708 ? Ssl Dec07 11:11 /usr/bin/pmxcfs

flowmotion · Dec 12, 2019

Cluster information
-------------------
Name: omniflow
Config Version: 5
Transport: knet
Secure auth: on

Quorum information
------------------
Date: Thu Dec 12 21:52:40 2019
Quorum provider: corosync_votequorum
Nodes: 2
Node ID: 0x00000001
Ring ID: 1.c14
Quorate: Yes

Votequorum information
----------------------
Expected votes: 2
Highest expected: 2
Total votes: 2
Quorum: 2
Flags: Quorate

Membership information
----------------------
Nodeid Votes Name
0x00000001 1 10.0.0.3 (local)
0x00000002 1 10.0.0.15

Stoiko Ivanov · Dec 13, 2019

Was ist der inhalt von '/etc/pve/.members'?
was ist der output von `find /etc/pve`?

dcsapak · Dec 13, 2019

nachdem ich mir den thread nochmals durchgelesen habe ist mir folgendes aufgefallen:

flowmotion said:
Ich habe den Node "PSX-02" also die komplette Festplatte aus dem Server entfernt.

um eine node zu entfernen, bitte genau diese anleitung befolgen: https://pve.proxmox.com/wiki/Cluster_Manager#_remove_a_cluster_node

flowmotion · Dec 13, 2019

Stoiko Ivanov said:
Was ist der inhalt von '/etc/pve/.members'?
was ist der output von `find /etc/pve`?

Danke für Antwort!

Zu Punkt, siehe Thread start aber hier nochmal:

/etc/pve/.members

Bash:

{
"nodename": "flowmox",
"version": 8,
"cluster": { "name": "omniflow", "version": 5, "nodes": 3, "quorate": 1 },
"nodelist": {
  "ProxSystemX-01": { "id": 2, "online": 1, "ip": "10.0.0.15"},
  "PSX-02": { "id": 3, "online": 0},
  "flowmox": { "id": 1, "online": 1, "ip": "10.0.0.3"}
  }
}

zu Punkt 2:

Bash:

root@flowmox:~# find /etc/pve
/etc/pve
/etc/pve/.debug
/etc/pve/local
/etc/pve/.version
/etc/pve/.rrd
/etc/pve/.vmlist
/etc/pve/openvz
/etc/pve/lxc
/etc/pve/.clusterlog
/etc/pve/qemu-server
/etc/pve/.members
/etc/pve/user.cfg
/etc/pve/corosync.conf
/etc/pve/pve-www.key
/etc/pve/priv
/etc/pve/priv/authorized_keys
/etc/pve/priv/lock
/etc/pve/priv/shadow.cfg
/etc/pve/priv/authkey.key
/etc/pve/priv/known_hosts
/etc/pve/priv/pve-root-ca.key
/etc/pve/priv/pve-root-ca.srl
/etc/pve/datacenter.cfg
/etc/pve/authkey.pub
/etc/pve/storage.cfg
/etc/pve/pve-root-ca.pem
/etc/pve/authkey.pub.old
/etc/pve/vzdump.cron
/etc/pve/nodes
/etc/pve/nodes/flowmox
/etc/pve/nodes/flowmox/priv
/etc/pve/nodes/flowmox/openvz
/etc/pve/nodes/flowmox/qemu-server
/etc/pve/nodes/flowmox/qemu-server/300.conf
/etc/pve/nodes/flowmox/qemu-server/108.conf
/etc/pve/nodes/flowmox/qemu-server/118.conf
/etc/pve/nodes/flowmox/qemu-server/102.conf
/etc/pve/nodes/flowmox/qemu-server/112.conf
/etc/pve/nodes/flowmox/qemu-server/107.conf
/etc/pve/nodes/flowmox/qemu-server/117.conf
/etc/pve/nodes/flowmox/qemu-server/111.conf
/etc/pve/nodes/flowmox/qemu-server/106.conf
/etc/pve/nodes/flowmox/qemu-server/116.conf
/etc/pve/nodes/flowmox/qemu-server/100.conf
/etc/pve/nodes/flowmox/qemu-server/110.conf
/etc/pve/nodes/flowmox/qemu-server/115.conf
/etc/pve/nodes/flowmox/qemu-server/114.conf
/etc/pve/nodes/flowmox/qemu-server/109.conf
/etc/pve/nodes/flowmox/qemu-server/103.conf
/etc/pve/nodes/flowmox/qemu-server/113.conf
/etc/pve/nodes/flowmox/pve-ssl.pem
/etc/pve/nodes/flowmox/pve-ssl.key
/etc/pve/nodes/flowmox/lrm_status
/etc/pve/nodes/flowmox/lxc
/etc/pve/nodes/flowmox/lxc/104.conf
/etc/pve/nodes/flowmox/lxc/105.conf
/etc/pve/nodes/ProxSystemX-01
/etc/pve/nodes/ProxSystemX-01/priv
/etc/pve/nodes/ProxSystemX-01/openvz
/etc/pve/nodes/ProxSystemX-01/qemu-server
/etc/pve/nodes/ProxSystemX-01/qemu-server/101.conf
/etc/pve/nodes/ProxSystemX-01/pve-ssl.pem
/etc/pve/nodes/ProxSystemX-01/lrm_status
/etc/pve/nodes/ProxSystemX-01/pve-ssl.key
/etc/pve/nodes/ProxSystemX-01/lxc
/etc/pve/firewall

flowmotion · Dec 13, 2019

dcsapak said:
nachdem ich mir den thread nochmals durchgelesen habe ist mir folgendes aufgefallen:

um eine node zu entfernen, bitte genau diese anleitung befolgen: https://pve.proxmox.com/wiki/Cluster_Manager#_remove_a_cluster_node

Diesen Node hatte ich aber nie einen Cluster hinzugefügt. Siehe Schritt 4

Daher habe ich ihn behandelt als sei er einfach nur ein PROXMOX Server.

Aber aktuell ist ja, das Problem, dass der Clustert angeblich nicht bestünde aber eindeutig einer besteht...

flowmotion · Dec 15, 2019

Würde es glaubt ihr helfen wenn ich nach anleitung den CLuster auflöse? also den letzten node entferne? udn dann den cluster irgendiwe lösche?

dcsapak · Dec 16, 2019

um zusammenzufassen:

im cluster befinden sich im moment 3 hosts (laut pvecm status), einer davon ist im moment nicht online und hat gar kein directory im /etc/pve (der grund warum das gui verwirrt ist)
-> den host den es nicht mehr gibt aus dem cluster entfernen laut anleitung

flowmotion · Dec 16, 2019

dcsapak said:
um zusammenzufassen:

im cluster befinden sich im moment 3 hosts (laut pvecm status), einer davon ist im moment nicht online und hat gar kein directory im /etc/pve (der grund warum das gui verwirrt ist)
-> den host den es nicht mehr gibt aus dem cluster entfernen laut anleitung

das hab ich schon x mal versucht

ich probiere es nochmal

dcsapak · Dec 16, 2019

flowmotion said:
das hab ich schon x mal versucht ich probiere es nochmal

wenn es nicht gelingt, am besten alle schritte mit output hier posten, vielleicht sieht man dann wo das problem genau liegt

flowmotion · Dec 19, 2019

dcsapak said:
wenn es nicht gelingt, am besten alle schritte mit output hier posten, vielleicht sieht man dann wo das problem genau liegt

Hi!

Also ich habe nun die Node-Leiche entfernen können ich habe dazu alle pve services in den 2 laufenden aktiven Nodes heruntergefahren und dann die Datei /etc/corosync/corosync.conf ebenfalls in beiden Nodes bearbeitet (Node-Leiche gelöscht).

danach die services wieder hochgefahren und im Anschluss darauf ein pvecm delnode PSX-02 ausgeführt.

Danke für eure Hilfe

Search

Search

[SOLVED] Cluster hat 3 Nodes aber denkt selber, dass kein Cluster bestünde

flowmotion

Member

Attachments

dcsapak

Proxmox Staff Member

flowmotion

Member

flowmotion

Member

flowmotion

Member

Stoiko Ivanov

Proxmox Staff Member

flowmotion

Member

flowmotion

Member

Stoiko Ivanov

Proxmox Staff Member

dcsapak

Proxmox Staff Member

flowmotion

Member

flowmotion

Member

flowmotion

Member

dcsapak

Proxmox Staff Member

flowmotion

Member

dcsapak

Proxmox Staff Member

flowmotion

Member