Clusternode entfernen mit Fehlern

J

jms1000

Well-Known Member
Proxmox Subscriber
Oct 25, 2016
150
4
58
59
Germany, Schkeuditz
www.sv-forensik.de
Hallo,

ich habe einen Proxmox Cluster mit 4 Nodes. Einen dieser Nodes habe ich mit "pvecm delnode x.x.x.x" entfernt. Das Kommando habe ich auf dem Master-Node eingegeben. Jetzt habe ich zwei Fehler:

1) In der GUI wird der entfernte Node noch immer angezeigt, auf zwei Systemen grau, auf einem mit einem "X" davor. Mit "pvecm status" bzw. "pvecm nodes" wird der entfernte Node nicht mehr angezeigt.

2) Unter Rechenzentrum -> Storage wird der entfernte Node ebenfalls noch immer angezeigt. Wie bekomme ich den dort auch wieder raus?

In der HA-Config war der fehlende Node ebenfalls noch enthalten, da liess er sich wieder entfernen, wenn man diese neu abspeichert.

Ich möchte den Node jetzt wieder hinzufügen. Was fliegt mir jetzt alles um die Ohren wenn die oben genannten Fehler bestehen. Bin etwa ratlos.

PS. Ja, auf allen Systemen ist ein aktuelles proxmox 5.irgendwas installiert ...
PPS. Mal durchbooten kommt nicht in Frage, der Cluster ist produktiv.
 
Guten Morgen,

Hab gestern mal getestet und siehe da node6 hinzugefügt und wumms sind die restlichen 5nodes durchgestartet. Zum Glück ist das unser Test Cluster und nichts produktives.

Soll das so sein ? wenn ja kann man sich das ha sparen.
 
jms1000 said:
Das Kommando habe ich auf dem Master-Node eingegeben
Click to expand...

Meinst du den zur zeitigen HA CRM? Den ansonsten ist unser cluster system ein multi-master System, du kannst es also auf allen Nodes ausführen.

jms1000 said:
1) In der GUI wird der entfernte Node noch immer angezeigt, auf zwei Systemen grau, auf einem mit einem "X" davor. Mit "pvecm status" bzw. "pvecm nodes" wird der entfernte Node nicht mehr angezeigt.
Click to expand...

Da liegen wahrscheinlich noch VM/CT configs im /etc/pve/nopes/XYZ/* rum, die mappen wir immer zu ihrer node (eine Node besitzt bei uns die VM/CT config), es wird im WebUI daher auch immer ein node eintrag gemacht, falls configs da sind. Falls du mal eine Node und ihre übrig gebliebenen Konfigurationen komplett löschen willst dann lösch alles von der alten node /etc/pve/nodes/TOBEDELETED/ (wichtig ist eigentlich das von den node spezifischen qemu und lxc ordnern was *.conf matched) und lade das interface neu, dann sollte es passen.

jms1000 said:
Ich möchte den Node jetzt wieder hinzufügen. Was fliegt mir jetzt alles um die Ohren wenn die oben genannten Fehler bestehen. Bin etwa ratlos.
Click to expand...

was hast du eigentlich wieso gemacht? Nur um zu verstehen was alles passieren kann... Ist die Node die du "gelöscht" hast und jetzt wieder hinzufügen willst die selbe? Oder neuinstalliert?
 
t.lamprecht said:
Meinst du den zur zeitigen HA CRM? Den ansonsten ist unser cluster system ein multi-master System, du kannst es also auf allen Nodes ausführen.


Da liegen wahrscheinlich noch VM/CT configs im /etc/pve/nopes/XYZ/* rum, die mappen wir immer zu ihrer node (eine Node besitzt bei uns die VM/CT config), es wird im WebUI daher auch immer ein node eintrag gemacht, falls configs da sind. Falls du mal eine Node und ihre übrig gebliebenen Konfigurationen komplett löschen willst dann lösch alles von der alten node /etc/pve/nodes/TOBEDELETED/ (wichtig ist eigentlich das von den node spezifischen qemu und lxc ordnern was *.conf matched) und lade das interface neu, dann sollte es passen.

was hast du eigentlich wieso gemacht? Nur um zu verstehen was alles passieren kann... Ist die Node die du "gelöscht" hast und jetzt wieder hinzufügen willst die selbe? Oder neuinstalliert?
Click to expand...

Ich habe den Node mit dem "roten X" leer geräumt und neu gestartet. Jetzt ist der gelöschte Node auf allen System nicht mehr zu sehen (außer in der storage config).

Ursprung war, dass ein Node nach dem Proxmox-Backup gestorben ist und das zfs vollständig zerschossen hat. Ich habe den jetzt neu - und zwar ohne das zfs - neu installiert. Sicherheitshalber habe ich den Node daher entfernt und möchte ihn jetzt wieder hinzufügen.
 
jms1000 said:
Ursprung war, dass ein Node nach dem Proxmox-Backup gestorben ist und das zfs vollständig zerschossen hat. Ich habe den jetzt neu - und zwar ohne das zfs - neu installiert. Sicherheitshalber habe ich den Node daher entfernt und möchte ihn jetzt wieder hinzufügen.
Click to expand...

OK, wenn diie Node neu installiert wurde solltest du sie problemlos, wie gewohnt, hinzufügen können. Entferne eventuell die storage Einträge davor, bzw. nimm die alte node aus den "Nodes" Parameter der Perspektiven storages heraus, wenn sie explizit dort konfiguriert war.
 
t.lamprecht said:
OK, wenn diie Node neu installiert wurde solltest du sie problemlos, wie gewohnt, hinzufügen können. Entferne eventuell die storage Einträge davor, bzw. nimm die alte node aus den "Nodes" Parameter der Perspektiven storages heraus, wenn sie explizit dort konfiguriert war.
Click to expand...

Via GUI kann ich den gelöschten Node nicht löschen. Sollte ich das von Hand machen?
 
Ok, storage.cfg anpassen hat geklappt.

"pvecm add" hat auch funktioniert. jedenfalls fast :(

Alle 4 Nodes haben die gleiche /etc/hosts - die Namensauflösung ist also 100% gleich.
Problem ein Node mag den "Neuen" Node nicht . Via "pvecm nodes" wird angezeigt:
- 3 Nodes zeigen die Namen an (ohne fqdn)
- bei einem Node wird der fqdn angezeigt

In Folge kann der Node (mit der FQDN) Anzeige den neuen Node nicht verwenden.


Wie kann man das fixen?
 
Last edited:
jms1000 said:
Ok, storage.cfg anpassen hat geklappt.

"pvecm add" hat auch funktioniert. jedenfalls fast :(

Alle 4 Nodes haben die gleiche /etc/hosts - die Namensauflösung ist also 100% gleich.
Problem ein Node mag den "Neuen" Node nicht . Via "pvecm nodes" wird angezeigt:
- 3 Nodes zeigen die Namen an (ohne fqdn)
- bei einem Node wird der fqdn angezeigt

In Folge kann der Node (mit der FQDN) Anzeige den neuen Node nicht verwenden.

Wie kann man das fixen?
Click to expand...

Nervig, nervig.

So ganz sauber tut das alles nicht:
- Files von Hand editieren (weil der gelöschte Node drin stehen bleibt)
- die HA Config anpassen (weil der gelöschte Node drin stehen bleibt)
- den einen oder Node mal eben noch booten, weil der fqdn anstelle des Hostnamen verwendet wird

Sicherlich alles nicht ganz im Sinne des Erfinders und in einem produktiven Cluster eher unerwünscht.

PS. Und alles mit der aktuellen Version und genau wie im Handbuch beschrieben :(
 
tschanness said:
Wie im Handbuch? Das habe ich nicht gelesen. Die wiki sagt aber was anderes:
https://pve.proxmox.com/wiki/Cluster_Manager
Wo und in welchem Handbuch steht das denn anders? Dann müsste das angepasst werden.
Click to expand...

Was willst Du den ins Wiki/Handbuch schreiben? Geht gelegentlich nicht / Funktioniert nicht immer / nicht in produktiven Umgebungen aufführen / nicht für Laien ?
 
jms1000 said:
Was willst Du den ins Wiki/Handbuch schreiben? Geht gelegentlich nicht / Funktioniert nicht immer / nicht in produktiven Umgebungen aufführen / nicht für Laien ?
Click to expand...
Nein. Ich konnte im von Tom verlinkter Referenzdoku auch nicht finden, dass man in den configdateien etwas ändern sollte. Bei mir hat das löschen von nodes immer einfach so funktioniert. Was hast du gemacht, damit der node aus dem Cluster entfernt wird?
 
Hi, da habe ich nicht weit genug nach oben gescrollt. Danke.
Dann scheinst du eigentlich alles richtig gemacht zu haben.

t.lamprecht said:
[...]
Da liegen wahrscheinlich noch VM/CT configs im /etc/pve/nopes/XYZ/* rum, die mappen wir immer zu ihrer node (eine Node besitzt bei uns die VM/CT config), es wird im WebUI daher auch immer ein node eintrag gemacht, falls configs da sind. Falls du mal eine Node und ihre übrig gebliebenen Konfigurationen komplett löschen willst dann lösch alles von der alten node /etc/pve/nodes/TOBEDELETED/ (wichtig ist eigentlich das von den node spezifischen qemu und lxc ordnern was *.conf matched) und lade das interface neu, dann sollte es passen.
[...]
Click to expand...
@t.lamprecht: vielleicht sollte man das mal mit in die Doku mitnehmen. Ich habe meine Nodes immer vorher "leergeräumt", das ist aber ggf. nicht immer möglich. Die Doku gibt leider keine wirklichen Informationen was man tun soll, wenn der Node nicht mehr funktionsfähig ist.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back