[SOLVED] 5.0 to 5.1 upgrade fails

[bladux]

Hi,

On my 17 nodes cluster I have half of my nodes that won't perform the upgrade from 5.0 to 5.1.

All the missing nodes fails installing pve-cluster, here are the logs:

Paramétrage de wget (1.18-5+deb9u1) ...
Paramétrage de pve-cluster (5.0-15) ...
Job for pve-cluster.service failed because a timeout was exceeded.
See "systemctl status pve-cluster.service" and "journalctl -xe" for details.
invoke-rc.d: initscript pve-cluster, action "restart" failed.
● pve-cluster.service - The Proxmox VE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: enabled)
   Active: failed (Result: timeout) since Fri 2017-11-03 13:53:56 CET; 7ms ago
  Process: 8302 ExecStartPost=/usr/bin/pvecm updatecerts --silent (code=killed, signal=TERM)
  Process: 8294 ExecStart=/usr/bin/pmxcfs $DAEMON_OPTS (code=exited, status=0/SUCCESS)
 Main PID: 8298 (code=killed, signal=KILL)

nov. 03 13:53:42 B1M2 pmxcfs[8298]: [status] notice: members: 2/1606, 3/9075, 4/25076, …48532
nov. 03 13:53:46 B1M2 systemd[1]: pve-cluster.service: Start-post operation timed out. …ping.
nov. 03 13:53:49 B1M2 pmxcfs[8298]: [status] notice: members: 2/1606, 3/9075, 4/25076, …48532
nov. 03 13:53:56 B1M2 systemd[1]: pve-cluster.service: State 'stop-sigterm' timed out. …ling.
nov. 03 13:53:56 B1M2 systemd[1]: pve-cluster.service: Killing process 8298 (pmxcfs) wi…KILL.
nov. 03 13:53:56 B1M2 systemd[1]: pve-cluster.service: Killing process 8302 (pvecm) wit…KILL.
nov. 03 13:53:56 B1M2 systemd[1]: pve-cluster.service: Main process exited, code=killed…/KILL
nov. 03 13:53:56 B1M2 systemd[1]: Failed to start The Proxmox VE cluster filesystem.
nov. 03 13:53:56 B1M2 systemd[1]: pve-cluster.service: Unit entered failed state.
nov. 03 13:53:56 B1M2 systemd[1]: pve-cluster.service: Failed with result 'timeout'.
Hint: Some lines were ellipsized, use -l to show in full.
dpkg: erreur de traitement du paquet pve-cluster (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 1
Paramétrage de libkrb5-3:amd64 (1.15-1+deb9u1) ...
Paramétrage de dbus (1.10.22-0+deb9u1) ...
A reboot is required to replace the running dbus-daemon.
Please reboot the system when convenient.
Paramétrage de dirmngr (2.1.18-8~deb9u1) ...
dpkg: des problèmes de dépendances empêchent la configuration de pve-firewall :
 pve-firewall dépend de pve-cluster ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.

dpkg: erreur de traitement du paquet pve-firewall (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de libpve-guest-common-perl :
 libpve-guest-common-perl dépend de pve-cluster ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.

I did try on one node to reboot and go a little further with no luck by removing then re-installing the list of blocking packages:
pve-cluster pve-firewall libpve-guest-common-perl qemu-server pve-manager libpve-access-control pve-container pve-ha-manager

I've looked around without any luck finding related post.. Did I miss something ?

Regards

 

[bladux]

Here is what happens when I try to apt-get -f install:

Les paquets suivants ont été installés automatiquement et ne sont plus nécessaires :
  corosync-pve docutils-common docutils-doc javascript-common libalgorithm-c3-perl libarchive-extract-perl libasprintf0c2 libb-hooks-endofscope-perl libbind9-90 libboost-system1.55.0 libboost-thread1.55.0 libclass-c3-perl libclass-c3-xs-perl
  libclass-method-modifiers-perl libclass-xsaccessor-perl libcorosync4-pve libcpan-changes-perl libcpan-meta-perl libdata-optlist-perl libdata-perl-perl libdata-section-perl libdevel-caller-perl libdevel-globaldestruction-perl libdevel-lexalias-perl
  libdirectfb-1.2-9 libdns100 libexporter-tiny-perl libfile-slurp-perl libgetopt-long-descriptive-perl libgoogle-perftools4 libimport-into-perl libisc95 libisccc90 libisccfg90 libiscsi4 libjasper1 libjs-jquery liblcms2-2 liblist-moreutils-perl
  liblog-message-perl liblog-message-simple-perl liblwres90 libmodule-build-perl libmodule-implementation-perl libmodule-load-conditional-perl libmodule-pluggable-perl libmodule-runtime-perl libmodule-signature-perl libmoo-perl libmoox-handlesvia-perl
  libmro-compat-perl libnamespace-autoclean-perl libnamespace-clean-perl libpackage-constants-perl libpackage-stash-perl libpackage-stash-xs-perl libpaper-utils libpaper1 libparams-classify-perl libparams-util-perl libparams-validate-perl libpath-tiny-perl
  libperl4-corelibs-perl libpng12-0 libpod-latex-perl libpod-markdown-perl libpod-readme-perl libprotobuf9 libpth20 libregexp-common-perl librole-tiny-perl librrd4 libsoftware-license-perl libstrictures-perl libsub-exporter-perl
  libsub-exporter-progressive-perl libsub-identify-perl libsub-install-perl libtcmalloc-minimal4 libterm-ui-perl libtext-template-perl libtry-tiny-perl libtype-tiny-perl libtype-tiny-xs-perl libunicode-utf8-perl libunwind8 libvariable-magic-perl libwebp5
  libwebp6 libwebpdemux1 libwebpdemux2 libwebpmux1 libwebpmux2 libxapian22 linux-image-3.16.0-4-amd64 netcat6 python-blinker python-ceph python-cffi python-click python-colorama python-defusedxml python-docutils python-flask python-itsdangerous python-jinja2
  python-markupsafe python-ndg-httpsclient python-pil python-ply python-pycparser python-pygments python-pyinotify python-roman python-simplejson python-soappy python-werkzeug python-wstools
Veuillez utiliser « apt autoremove » pour les supprimer.
0 mis à jour, 0 nouvellement installés, 0 à enlever et 0 non mis à jour.
9 partiellement installés ou enlevés.
Après cette opération, 0 o d'espace disque supplémentaires seront utilisés.
Souhaitez-vous continuer ? [O/n]
Paramétrage de pve-cluster (5.0-15) ...
Job for pve-cluster.service failed because a timeout was exceeded.
See "systemctl status pve-cluster.service" and "journalctl -xe" for details.
invoke-rc.d: initscript pve-cluster, action "restart" failed.
● pve-cluster.service - The Proxmox VE cluster filesystem
   Loaded: loaded (/lib/systemd/system/pve-cluster.service; enabled; vendor preset: enabled)
   Active: failed (Result: timeout) since Fri 2017-11-03 15:39:53 CET; 8ms ago
  Process: 25973 ExecStartPost=/usr/bin/pvecm updatecerts --silent (code=killed, signal=TERM)
  Process: 25969 ExecStart=/usr/bin/pmxcfs $DAEMON_OPTS (code=exited, status=0/SUCCESS)
 Main PID: 25971 (code=killed, signal=KILL)

nov. 03 15:38:13 B1M1 pmxcfs[25971]: [status] notice: starting data syncronisation
nov. 03 15:38:13 B1M1 pmxcfs[25971]: [status] notice: received sync request (epoch 1/1269/00000009)
nov. 03 15:39:43 B1M1 systemd[1]: pve-cluster.service: Start-post operation timed out. Stopping.
nov. 03 15:39:53 B1M1 systemd[1]: pve-cluster.service: State 'stop-sigterm' timed out. Killing.
nov. 03 15:39:53 B1M1 systemd[1]: pve-cluster.service: Killing process 25971 (pmxcfs) with signal SIGKILL.
nov. 03 15:39:53 B1M1 systemd[1]: pve-cluster.service: Killing process 25973 (pvecm) with signal SIGKILL.
nov. 03 15:39:53 B1M1 systemd[1]: pve-cluster.service: Main process exited, code=killed, status=9/KILL
nov. 03 15:39:53 B1M1 systemd[1]: Failed to start The Proxmox VE cluster filesystem.
nov. 03 15:39:53 B1M1 systemd[1]: pve-cluster.service: Unit entered failed state.
nov. 03 15:39:53 B1M1 systemd[1]: pve-cluster.service: Failed with result 'timeout'.
dpkg: erreur de traitement du paquet pve-cluster (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 1
dpkg: des problèmes de dépendances empêchent la configuration de pve-firewall :
 pve-firewall dépend de pve-cluster ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.

dpkg: erreur de traitement du paquet pve-firewall (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de libpve-guest-common-perl :
 libpve-guest-common-perl dépend de pve-cluster ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.

dpkg: erreur de traitement du paquet libpve-guest-common-perl (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de qemu-server :
 qemu-server dépend de libpve-guest-common-perl ; cependant :
 Le paquet libpve-guest-common-perl n'est pas encore configuré.
 qemu-server dépend de pve-cluster ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.
 qemu-server dépend de pve-firewall ; cependant :
 Le paquet pve-firewall n'est pas encore configuré.

dpkg: erreur de traitement du paquet qemu-server (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de pve-manager :
 pve-manager dépend de pve-cluster (>= 1.0-29) ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.
 pve-manager dépend de pve-firewall ; cependant :
 Le paquet pve-firewall n'est pas encore configuré.
 pve-manager dépend de qemu-server (>= 1.1-1) ; cependant :
 Le paquet qemu-server n'est pas encore configuré.

dpkg: erreur de traitement du paquet pve-manager (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de libpve-access-control :
 libpve-access-control dépend de pve-cluster ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.

dpkg: erreur de traitement du paquet libpve-access-control (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de pve-container :
 pve-container dépend de libpve-guest-common-perl ; cependant :
 Le paquet libpve-guest-common-perl n'est pas encore configuré.
 pve-container dépend de pve-cluster (>= 4.0-8) ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.

dpkg: erreur de traitement du paquet pve-container (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de pve-ha-manager :
 pve-ha-manager dépend de pve-cluster (>= 3.0-17) ; cependant :
 Le paquet pve-cluster n'est pas encore configuré.
 pve-ha-manager dépend de qemu-server ; cependant :
 Le paquet qemu-server n'est pas encore configuré.

dpkg: erreur de traitement du paquet pve-ha-manager (--configure) :
 problèmes de dépendances - laissé non configuré
dpkg: des problèmes de dépendances empêchent la configuration de librados2-perl :
 librados2-perl dépend de libpve-access-control ; cependant :
 Le paquet libpve-access-control n'est pas encore configuré.

dpkg: erreur de traitement du paquet librados2-perl (--configure) :
 problèmes de dépendances - laissé non configuré
Des erreurs ont été rencontrées pendant l'exécution :
 pve-cluster
 pve-firewall
 libpve-guest-common-perl
 qemu-server
 pve-manager
 libpve-access-control
 pve-container
 pve-ha-manager
 librados2-perl
E: Sub-process /usr/bin/dpkg returned an error code (1)

 

[tom]

you did not post the command you run.?

1. please make sure that you have a valid update repo (see https://pve.proxmox.com/wiki/Downloads)
2. apt update
3. apt dist-upgrade
4. if you accidentally remove some needed packages, run:
   apt install proxmox-ve

 

[bladux]

Hi Tom, thanks for your reply.

I did a regular upgrade:
apt-get update
apt-get dist-upgrade

repos are valid.

If I try to apt install proxmox-ve, it also hangs when trying to install pve-cluster (5.0-15)...

 

[bladux]

It seems "/usr/bin/pvecm updatecert" times out when trying to restart pve-cluster

Any hint ?

 

[bladux]

Ok, in case it ever happens to someone else, I managed to update by manually stop corosync and pve-cluster on all nodes, then apt-get -f install.

 

[Carlos López]

good to know. We are about do the upgrade due problems with network cuts during backups.
Wish me luck

 

[bladux]

In case you have an issue with pmxcfs as I did, I'll update the other thread I started after I finally had the upgrade done:

 

[Carlos López]

In case you have an issue with pmxcfs as I did, I'll update the other thread I started after I finally had the upgrade done:

Ah great, thanks a lot. It's not the first time i get stuck upgrading proxmox. (I didn't knew if you don't upgrade the kernel at the same time of the pve-manager. it doesn't come up again.)