[SOLVED] Fehler beim Entfernen einesNodes

[virshling]

Hallo werte Foristen,
soeben habe ich einen nicht mehr benötigten Server aus dem Cluster entfernt, dabei aber eine Fehlermeldung erhalten:

root@pve-2:~# pvecm delnode pve-4
Killing node 4
Could not kill node (error = CS_ERR_NOT_EXIST)
command 'corosync-cfgtool -k 4' failed: exit code 1
root@pve-2:~# pvecm nodes

Der entfernte Rechner war natürlich ausgeschaltet und vom Netz getrennt.

Die weiteren Abfragen liefern aber keine Hinweise auf Fehlfunktionen, ich kann auch (noch) nix fehlerhaftes beobachten:

root@pve-2:~# pvecm nodes

Membership information
----------------------
    Nodeid      Votes Name
         2          1 pve-3
         3          1 pve-2 (local)
         5          1 pve-5
root@pve-2:~# pvecm status
Cluster information
-------------------
Name:             hipsycluster
Config Version:   19
Transport:        knet
Secure auth:      on

Quorum information
------------------
Date:             Tue Aug 10 14:51:04 2021
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000003
Ring ID:          2.37f0
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   4
Highest expected: 4
Total votes:      3
Quorum:           3 
Flags:            Quorate

Membership information
----------------------
    Nodeid      Votes Name
0x00000002          1 10.0.0.29
0x00000003          1 10.0.0.23 (local)
0x00000005          1 10.0.0.26
root@pve-2:~#

Worauf lässt denn die obige Fehlermeldung schließen?
Ein NFS-Storage, das sich auf dem entfernten Node befand, hatte ich übersehen und nicht entfernt, bevor ich den Node aus dem Cluster genommen hatte; ist das evtl. der Grund dafür?

Vielen Dank schon mal

Bernhard

PVE-Version: 6.4-8

 

[mira]

Nein, das sollte keine Rolle spielen.
Ist der Node noch in der Corosync Config vorhanden? cat /etc/pve/corosync.conf

 

[virshling]

Freut mich, das zu lesen. Der Node ist raus aus der config. :

root@pve-2:~# cat /etc/pve/corosync.conf
logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: pve
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 10.0.0.25
  }
  node {
    name: pve-2
    nodeid: 3
    quorum_votes: 1
    ring0_addr: 10.0.0.23
  }
  node {
    name: pve-3
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 10.0.0.29
  }
  node {
    name: pve-5
    nodeid: 5
    quorum_votes: 1
    ring0_addr: 10.0.0.26
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: hipsycluster
  config_version: 19
  interface {
    bindnetaddr: 10.0.0.25
    ringnumber: 0
  }
  ip_version: ipv4
  secauth: on
  version: 2
}

root@pve-2:~# ^C

Dann darf ich also doch schon Feierabend machen heute?

 

[virshling]

Ein anderer Thread brachte mich nun darauf, den Befehl pveversion -v auf mehreren Nodes auszuführen. Und tatsächlich gibt es Unterschiede. Den pve-5 hatte ich vor einigen Wochen hinzugefügt und wohl nicht auf den selben Stand gebracht:

root@pve-5:~# pveversion -v
proxmox-ve: 6.4-1 (running kernel: 5.4.114-1-pve)
pve-manager: 6.4-8 (running version: 6.4-8/185e14db)
pve-kernel-5.4: 6.4-2
pve-kernel-helper: 6.4-2
pve-kernel-5.4.114-1-pve: 5.4.114-1
pve-kernel-5.4.106-1-pve: 5.4.106-1
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.2-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.1.0
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.4-1
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.4-3
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.2-3
libpve-storage-perl: 6.4-1
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.1.8-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.5-6
pve-cluster: 6.4-1
pve-container: 3.3-5
pve-docs: 6.4-2
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-4
pve-firmware: 3.2-4
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-6
pve-xtermjs: 4.7.0-3
qemu-server: 6.4-2
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.4-pve1
root@pve-5:~#

root@pve-3:~# pveversion -v
proxmox-ve: 6.4-1 (running kernel: 5.4.114-1-pve)
pve-manager: 6.4-8 (running version: 6.4-8/185e14db)
pve-kernel-5.4: 6.4-2
pve-kernel-helper: 6.4-2
pve-kernel-5.3: 6.1-6
pve-kernel-5.4.114-1-pve: 5.4.114-1
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-4.15: 5.4-12
pve-kernel-5.3.18-3-pve: 5.3.18-3
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-4.15.18-24-pve: 4.15.18-52
pve-kernel-4.15.18-9-pve: 4.15.18-30
pve-kernel-4.13.13-2-pve: 4.13.13-33
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.2-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.1.0
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.4-1
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.4-3
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.2-3
libpve-storage-perl: 6.4-1
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.1.8-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.5-6
pve-cluster: 6.4-1
pve-container: 3.3-5
pve-docs: 6.4-2
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-4
pve-firmware: 3.2-4
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-6
pve-xtermjs: 4.7.0-3
qemu-server: 6.4-2
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.4-pve1
root@pve-3:~#

Aber es ist noch immer keine Fehlfunktion erkennbar. Replikation funktioniert, VM und Container laufen.