Node startet bei update abrupt neu

badsmoke

Member
Nov 12, 2020
14
0
6
33
Hallo,

ich hatte jetzt schon mindestens zwei mal das Problem, das sich ein node bei einem ganz normal packages update abrupt neustartete.

das ist letzte Woche schon mal passiert, es hat also nichts mit dem update auf 7.3 zu tun

letzte kern.log zeile

`Nov 23 19:09:11 trick kernel: [284729.942724] watchdog: watchdog0: watchdog did not stop!`


syslog und term logs sind im Anhang



zum System selber

EPYC Cluster mit 3 Nodes

Node 1 AMD EPYC 7452
Node 2 AMD EPYC 7453 <--- um den gehts
Node 3 AMD EPYC 7301


bei den anderen beiden ist kein Problem aufgetreten

Proxmox Version 7.2-1


danke schon mal


logs sind noch alle Vorhanden, wenn noch was gebraucht wird
 

Attachments

  • syslog.log
    17.2 KB · Views: 7
  • term.log
    2.4 KB · Views: 3
  • term_20.11.log
    22.1 KB · Views: 3
Ich habe hier 3 AMD EPYC 7401P und bei mir ist das heute auch aufgetreten.

Bei mir passiert das, wenn der Dienst 'watchdog-mux' vom needrestart neu gestartet wird.
Das ist irgendwie neu und vorher noch nie aufgetreten. Das war eine große Überraschung.
 
Der watchdog-mux soll und darf auch nicht einfach restartet werden, Proxmox VE hat extra handling dafür, dass das beim Upgrade eben nicht automatisch gemacht wird, etwa ein Restart=no im systemd Service File und Ausnahme in debian postinst für upgrades.
Wenn needrestart sowas ignoriert und da dazwischen funkt können wir nichts dafür; eine "whitelist" Funktionalität fehlt dem needrestart Tool anscheinend noch (gibt offenes issue upstream).

Das needsrestart Tool ist mMn nach auch etwas irreführend benannt; kein Service benötigt einen restart (unbedingt) - das wird normal über apt/dpkg triggers gehandlet falls wirklich nötig...
 
Last edited:
Der watchdog-mux soll und darf auch nicht einfach restartet werden, Proxmox VE hat extra handling dafür, dass das beim Upgrade eben nicht automatisch gemacht wird, etwa ein Restart=no im systemd Service File und Ausnahme in debian postinst für upgrades.
Wenn needrestart sowas ignoriert und da dazwischen funkt können wir nichts dafür; eine "whitelist" Funktionalität fehlt dem needrestart Tool anscheinend noch (gibt offenes issue upstream).

Das needsrestart Tool ist mMn nach auch etwas irreführend benannt; kein Service benötigt einen restart (unbedingt) - das wird normal über apt/dpkg triggers gehandlet falls wirklich nötig...
Needrestart startet Services neu, die zB gelöschte/ersetzte Bibliotheken benutzen. Ein Bibliotheksupdate ist nutzlos, wenn man noch den alten Stand verwendet. Wenn needrestart etwas neu starten will, dann heißt dass, das die deployte Version von etwas gar nicht verwendet wird.

needrestart kennt blacklists:

Perl:
#/etc/needrestart/conf.d/blacklist.watchdog-mux.conf

# disable restart of watchdog-mux cause they shutdown the system
$nrconf{override_rc}->{q(^watchdog-mux)} = 0;

Das löst das Problem erst mal.
Hätte ich das OOMScoreAdjust=-1000 und Restart=no eher gesehen wäre mir das nicht passiert.
 
  • Like
Reactions: UdoB
Der watchdog-mux soll und darf auch nicht einfach restartet werden
Okay, danke für diese Aussage! Da sich nach meiner Erfahrung alle anderen Dienste problemlos restarten lassen, war das Verhalten (für mich) jedenfalls überraschend...

Insgesamt gibt es ja mehr als ein Dutzend "pve*"-Services (mit -banner und -update.timer anscheinend 18). Eine tabellarische Darstellung der Effekte und Risiken beim fehlen eines Dienstes oder beim Restart eines Dienstes wäre hilfreich. Vielleicht als vervollständigende Ergänzung zu https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_service_daemons

Viele Grüße
 
Ok alles klar danke für die Rückmeldungen, ich hab das von Björn Lässig jetzt auch eingestellt.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!