erst alles grau mit Fragezeichen - dann Login in WebUI auch nicht mehr möglich

[kuroyuri]

Hallo,

über das Wochenende muss irgendwas in unserem Proxmox Host passiert sein, denn seit heute früh war in der WebUI alles mit grauen Fragezeichen versehen (Cluster, host, VMs). Grundsätzlich konnte man noch hin und her klicken aber nicht mehr wirklich was bedienen. VMs laufen alle und SSH ist zum glück auch noch verwendbar, denn der Login in die WebUI war nachdem ich dann via Timeout ausgeloggt wurde auch nicht mehr möglich für niemanden.

Test die ich schon gemacht habe:

- keine der lokalen Platten voll
- Netzwerk vorhanden
- fstab, lsblk, mnt directory and the /etc/pve/storage.conf auf fehlerhafte NFS überprüft
- pvestatd and pveproxy beide neugestartet - keine Veränderung
- journalctl -xe - einzige auffällige Sache = proxy detected vanished client connection

Es handelt sich um einen single Host in einem Cluster (expected quorum 1 - nein das war nicht meine Leistung)
Leider ist diese Node produktiv, deshalb ist ein voller neustart bis jetzt nicht möglich gewesen.

Ansonsten habe ich das hier noch gefunden, was helfen könnte jedoch bin ich mir nicht sicher ob dies die VMs killen würde:

/etc/init.d/cman restart
/etc/init.d/pvedaemon restart
/etc/init.d/pvestatd restart (weiß ich das es save ist)
/etc/init.d/pve-manager restart
/etc/init.d/pve-cluster restart

Bitte um Hilfe weil so ist es halt nicht mehr verwaltbar.

 

[kuroyuri]

nachdem ich die folgenden 2 Sachen getan habe geht zumindeestens der Login in die WebUI wieder

pvecm updatecerts
systemctl restart pvedaemon pveproxy

leider ist immernoch alles grau (siehe Anhang)

 

[kuroyuri]

Nachdem ich jetzt auch nochmal (war jetzt insgesamt bestimmt das dritte mal) den pvestatd dienst neu gestartet habe sieht es jetzt so aus.

allerdings bin wieder nur ich in der lage gewesen über meinen PC mich anzumelden und neben dem das die Storage alle noch grau sind renne ich in einen haufen nicht antwortender Stat Bildschirme oder z.B. auch die Shell für den Host selber

 

[kuroyuri]

nervermind - jetzt ist alles wieder grau und ich kann mich auch nicht mehr anmelden

 

[kuroyuri]

würde mich echt freuen wenn jemand eine Meinung zu dem ganzen hätte - mehr als die grünen play-buttons an die VMs und den Login in den Host kurzzeitig zu bekommen kriege ich nicht hin.

es kann doch nicht sein das ein Host der über das Wochenende nicht einmal angefasst wurde auf einmal so dermaßen spinnt ....

 

[bluesite]

wie sind denn die storage eingebunden lokal, nfs?
Es scheint das es da nen Problem gibt

 

[Falk R.]

Ich habe auch schon eine nicht reagierende influxdb für grafana als Ursache gefunden. Da bekommt der pvestatsd seine Daten nicht los und hängt sich auf.

 

[Falk R.]

Nicht erreichbare Storages sind aber der Klassiker, also zuerst alle Datastores auf Verfügbarkeit prüfen.

 

[kuroyuri]

wie sind denn die storage eingebunden lokal, nfs?
Es scheint das es da nen Problem gibt

alles local bis auf der PBS der halt als PBS eingehangen ist

 

[kuroyuri]

Nicht erreichbare Storages sind aber der Klassiker, also zuerst alle Datastores auf Verfügbarkeit prüfen.

sind halt alles lokale platten + halt der PBS aber der ist erreichbar aber was wäre Ihrer Meinung nach der beste weg das zu validieren?

 

[Falk R.]

Hast du ein metricserver hinterlegt? Eventuell eine andere Komponente nicht erreichbar?
Am besten mal ins syslog schauen.

 

[kuroyuri]

Hast du ein metricserver hinterlegt? Eventuell eine andere Komponente nicht erreichbar?
Am besten mal ins syslog schauen.

mehr als ich hier geschrieben habe war im Syslog nicht auffällig, ein metricserver hängt nicht an dem host - sowas steht alles auf der Planung wenn ich den host endlich wegschmeißen und gegen ein sinniges Produktiv Cluster ersetzen kann - leider ist das noch zukunft

 

[kuroyuri]

Hast du ein metricserver hinterlegt? Eventuell eine andere Komponente nicht erreichbar?
Am besten mal ins syslog schauen.

habe eben auch festtsellen müssen das die Backups zum PBS nicht laufen - sehe das das erste gerade gestartet ist und danach nada - kann man an irgendeiner Stelle sehen wodran es hängt - weil auch die backups liefen letzten Freitag noch tadellos - vielleicht liegt es ja da dran? - wobei er den PBS aber ohne probleme pingen kann

 

[Falk R.]

Eventuell ein Passwort geändert?

 

[bluesite]

Zertifikate abgelaufen vielleicht?

 

[kuroyuri]

Eventuell ein Passwort geändert?

nope nichts in der Richtung.
Jetzt gerade über einen anderen beitrag mal probiert pvesm status auszuführen - kein output - cli bleibt mit leerer Zeile wartend stehen

 

[kuroyuri]

Zertifikate abgelaufen vielleicht?

certs sind über den renew schon erneuert

 

[bluesite]

wenn gar nichts geht würde ich einfach mal die Konfigs sichern der VMs und LXCs und dann neu aufsetzen
am besten den ganzen Ordner /etc/pve wegsichern dann hast alle wichtigen Dateien
und dann aber keinen Cluster mehr erstellen

 

[kuroyuri]

kriege auch andauernd diese dinger angezeigt:


Use of uninitialized value $PVE::JSONSchema:VE_TAG_RE in concatenation (.) or string at /usr/share/perl5/PVE/DataCenterConfig.pm line 147, <DATA> line 960.
Use of uninitialized value $PVE::JSONSchema:VE_TAG_RE in concatenation (.) or string at /usr/share/perl5/PVE/DataCenterConfig.pm line 182, <DATA> line 960.
Use of uninitialized value $PVE::JSONSchema:VE_TAG_RE in concatenation (.) or string at /usr/share/perl5/PVE/DataCenterConfig.pm line 182, <DATA> line 960.
Use of uninitialized value $PVE::JSONSchema:VE_TAG_RE in concatenation (.) or string at /usr/share/perl5/PVE/DataCenterConfig.pm line 208, <DATA> line 960.
Use of uninitialized value $PVE::JSONSchema:VE_TAG_RE in concatenation (.) or string at /usr/share/perl5/PVE/DataCenterConfig.pm line 208, <DATA> line 960.


und bevor wer fragt - nein updates wurden keine eingespielt weder von mir noch in letzter zeit

 

[kuroyuri]

wenn gar nichts geht würde ich einfach mal die Konfigs sichern der VMs und LXCs und dann neu aufsetzen
am besten den ganzen Ordner /etc/pve wegsichern dann hast alle wichtigen Dateien
und dann aber keinen Cluster mehr erstellen

klingt gut - nur das ich gerade keine backups mehr ziehen kann weil auf einmal auch die nicht mehr auf den PBS schreiben