Migration oder Backup abgebrochen. Wie hebe ich den Status(gesperrt) wieder auf?

bitboy0 · Jan 11, 2021

Wenn ich aus irgendeinem Grund ein laufendes Backup(auch Einzelsystem) oder eine Migration(Cluster) abbreche (über die Weboberfläche mit STOP im Fortschrittsfenster), dann bleibt die Maschine im gesperrten Zustand.
Sie Läuft dann zwar normal, aber oben in der Summary steht dann hinter dem Namen der VM ein Schloss und z.B. (migrate).

Wenn ich das ganze Proxmox-System neu starte, ist die Sperre wieder weg, aber das muss doch auch anders gehen?
Also wie kann ich diesen Status ohne Neustart der ganzen Kiste wieder gerade biegen?

fabian · Jan 11, 2021

das sollte eigentlich nicht passieren (vielleicht kannst du ja einen entsprechenden task log und output von pveversion -v posten?).. mit qm unlock <VMID> lässt sich das lock entfernen - aber je nachdem was beim abbrechen schief gegangen ist können eventuell noch überbleibsel rumliegen (volumes am storage, block jobs in der VM, ...).

bitboy0 · Jan 11, 2021

Nun also das ist gut reproduzierbar, kann ich jetzt aber nicht machen... also ich liefere das nach.

Dunuin · Jan 11, 2021

Ich hatte das auch heute. Habe während des Backups auf Stop gedrückt und dann hing die VM. Habe dann den Server neu gestartet und auf dem NAS (war Backup-Ziel) den Tmp-Ordner und die angefangene Backup-Datei gelöscht.

Gestoppter Backup-Task:

Code:

INFO: starting new backup job: vzdump 104 --remove 0 --compress 0 --storage PVE_Dump2 --node Hypervisor --mode stop
INFO: Starting Backup of VM 104 (qemu)
INFO: Backup started at 2021-01-11 08:10:26
INFO: status = running
INFO: backup mode: stop
INFO: ionice priority: 7
INFO: VM Name: Graylog
INFO: include disk 'scsi0' 'VMpool8_VM:vm-104-disk-0' 2G
INFO: stopping vm
INFO: snapshots found (not included into backup)
INFO: creating vzdump archive '/mnt/pve/PVE_Dump2/dump/vzdump-qemu-104-2021_01_11-08_10_26.vma'
INFO: starting kvm to execute backup task
INFO: started backup task 'e65720fd-2a42-44bc-b292-6de0ac9a8db8'
INFO: resuming VM again after 42 seconds
INFO:   0% (515.6 MiB of 66.0 GiB) in  3s, read: 171.9 MiB/s, write: 39.4 MiB/s
INFO:   1% (920.9 MiB of 66.0 GiB) in  6s, read: 135.1 MiB/s, write: 58.8 MiB/s
INFO:   2% (1.4 GiB of 66.0 GiB) in  9s, read: 187.2 MiB/s, write: 25.7 MiB/s
INFO:   3% (2.0 GiB of 66.0 GiB) in 14s, read: 118.2 MiB/s, write: 68.0 MiB/s
INFO:   4% (2.7 GiB of 66.0 GiB) in 18s, read: 160.4 MiB/s, write: 10.7 MiB/s
INFO:   5% (3.4 GiB of 66.0 GiB) in 23s, read: 144.6 MiB/s, write: 9.5 MiB/s
INFO:   6% (4.1 GiB of 66.0 GiB) in 30s, read: 105.4 MiB/s, write: 35.2 MiB/s
INFO:   7% (4.6 GiB of 66.0 GiB) in 37s, read: 80.1 MiB/s, write: 52.4 MiB/s
INFO:   8% (5.3 GiB of 66.0 GiB) in 47s, read: 73.2 MiB/s, write: 63.9 MiB/s
INFO:   9% (6.0 GiB of 66.0 GiB) in 56s, read: 70.3 MiB/s, write: 68.1 MiB/s
INFO:  10% (6.6 GiB of 66.0 GiB) in  1m  4s, read: 82.3 MiB/s, write: 62.8 MiB/s
INFO:  11% (7.3 GiB of 66.0 GiB) in  1m 14s, read: 72.2 MiB/s, write: 70.8 MiB/s
INFO:  12% (8.0 GiB of 66.0 GiB) in  1m 24s, read: 68.7 MiB/s, write: 67.7 MiB/s
INFO:  13% (8.6 GiB of 66.0 GiB) in  1m 32s, read: 78.5 MiB/s, write: 61.5 MiB/s
INFO:  14% (9.3 GiB of 66.0 GiB) in  1m 41s, read: 75.1 MiB/s, write: 73.4 MiB/s
INFO:  15% (10.0 GiB of 66.0 GiB) in  1m 51s, read: 73.0 MiB/s, write: 71.8 MiB/s
INFO:  16% (10.6 GiB of 66.0 GiB) in  1m 58s, read: 94.2 MiB/s, write: 71.7 MiB/s
INFO:  17% (11.2 GiB of 66.0 GiB) in  2m  5s, read: 91.0 MiB/s, write: 82.3 MiB/s
INFO:  18% (11.9 GiB of 66.0 GiB) in  2m 15s, read: 70.4 MiB/s, write: 68.8 MiB/s
INFO:  19% (12.6 GiB of 66.0 GiB) in  2m 23s, read: 84.5 MiB/s, write: 68.1 MiB/s
INFO:  20% (13.2 GiB of 66.0 GiB) in  2m 32s, read: 75.4 MiB/s, write: 74.7 MiB/s
INFO:  21% (13.9 GiB of 66.0 GiB) in  2m 44s, read: 56.9 MiB/s, write: 56.5 MiB/s

pveversion -v:

Code:

proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-3 (running version: 6.3-3/eee5f901)
pve-kernel-5.4: 6.3-3
pve-kernel-helper: 6.3-3
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.78-1-pve: 5.4.78-1
pve-kernel-5.4.73-1-pve: 5.4.73-1
pve-kernel-5.4.65-1-pve: 5.4.65-1
pve-kernel-5.4.60-1-pve: 5.4.60-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksmtuned: 4.20150325+b1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.7
libproxmox-backup-qemu0: 1.0.2-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-2
libpve-guest-common-perl: 3.1-3
libpve-http-server-perl: 3.1-1
libpve-storage-perl: 6.3-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.3-1
lxcfs: 4.0.3-pve3
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.6-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-3
pve-cluster: 6.2-1
pve-container: 3.3-2
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.1-3
pve-ha-manager: 3.1-1
pve-i18n: 2.2-2
pve-qemu-kvm: 5.1.0-7
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-2
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.5-pve1

fabian · Jan 11, 2021

Dunuin said:

Ich hatte das auch heute. Habe während des Backups auf Stop gedrückt und dann hing die VM. Habe dann den Server neu gestartet und auf dem NAS (war Backup-Ziel) den Tmp-Ordner und die angefangene Backup-Datei gelöscht.

Gestoppter Backup-Task:

Code:

INFO: starting new backup job: vzdump 104 --remove 0 --compress 0 --storage PVE_Dump2 --node Hypervisor --mode stop
INFO: Starting Backup of VM 104 (qemu)
INFO: Backup started at 2021-01-11 08:10:26
INFO: status = running
INFO: backup mode: stop
INFO: ionice priority: 7
INFO: VM Name: Graylog
INFO: include disk 'scsi0' 'VMpool8_VM:vm-104-disk-0' 2G
INFO: stopping vm
INFO: snapshots found (not included into backup)
INFO: creating vzdump archive '/mnt/pve/PVE_Dump2/dump/vzdump-qemu-104-2021_01_11-08_10_26.vma'
INFO: starting kvm to execute backup task
INFO: started backup task 'e65720fd-2a42-44bc-b292-6de0ac9a8db8'
INFO: resuming VM again after 42 seconds
INFO:   0% (515.6 MiB of 66.0 GiB) in  3s, read: 171.9 MiB/s, write: 39.4 MiB/s
INFO:   1% (920.9 MiB of 66.0 GiB) in  6s, read: 135.1 MiB/s, write: 58.8 MiB/s
INFO:   2% (1.4 GiB of 66.0 GiB) in  9s, read: 187.2 MiB/s, write: 25.7 MiB/s
INFO:   3% (2.0 GiB of 66.0 GiB) in 14s, read: 118.2 MiB/s, write: 68.0 MiB/s
INFO:   4% (2.7 GiB of 66.0 GiB) in 18s, read: 160.4 MiB/s, write: 10.7 MiB/s
INFO:   5% (3.4 GiB of 66.0 GiB) in 23s, read: 144.6 MiB/s, write: 9.5 MiB/s
INFO:   6% (4.1 GiB of 66.0 GiB) in 30s, read: 105.4 MiB/s, write: 35.2 MiB/s
INFO:   7% (4.6 GiB of 66.0 GiB) in 37s, read: 80.1 MiB/s, write: 52.4 MiB/s
INFO:   8% (5.3 GiB of 66.0 GiB) in 47s, read: 73.2 MiB/s, write: 63.9 MiB/s
INFO:   9% (6.0 GiB of 66.0 GiB) in 56s, read: 70.3 MiB/s, write: 68.1 MiB/s
INFO:  10% (6.6 GiB of 66.0 GiB) in  1m  4s, read: 82.3 MiB/s, write: 62.8 MiB/s
INFO:  11% (7.3 GiB of 66.0 GiB) in  1m 14s, read: 72.2 MiB/s, write: 70.8 MiB/s
INFO:  12% (8.0 GiB of 66.0 GiB) in  1m 24s, read: 68.7 MiB/s, write: 67.7 MiB/s
INFO:  13% (8.6 GiB of 66.0 GiB) in  1m 32s, read: 78.5 MiB/s, write: 61.5 MiB/s
INFO:  14% (9.3 GiB of 66.0 GiB) in  1m 41s, read: 75.1 MiB/s, write: 73.4 MiB/s
INFO:  15% (10.0 GiB of 66.0 GiB) in  1m 51s, read: 73.0 MiB/s, write: 71.8 MiB/s
INFO:  16% (10.6 GiB of 66.0 GiB) in  1m 58s, read: 94.2 MiB/s, write: 71.7 MiB/s
INFO:  17% (11.2 GiB of 66.0 GiB) in  2m  5s, read: 91.0 MiB/s, write: 82.3 MiB/s
INFO:  18% (11.9 GiB of 66.0 GiB) in  2m 15s, read: 70.4 MiB/s, write: 68.8 MiB/s
INFO:  19% (12.6 GiB of 66.0 GiB) in  2m 23s, read: 84.5 MiB/s, write: 68.1 MiB/s
INFO:  20% (13.2 GiB of 66.0 GiB) in  2m 32s, read: 75.4 MiB/s, write: 74.7 MiB/s
INFO:  21% (13.9 GiB of 66.0 GiB) in  2m 44s, read: 56.9 MiB/s, write: 56.5 MiB/s

pveversion -v:

Code:

proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-3 (running version: 6.3-3/eee5f901)
pve-kernel-5.4: 6.3-3
pve-kernel-helper: 6.3-3
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.78-1-pve: 5.4.78-1
pve-kernel-5.4.73-1-pve: 5.4.73-1
pve-kernel-5.4.65-1-pve: 5.4.65-1
pve-kernel-5.4.60-1-pve: 5.4.60-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksmtuned: 4.20150325+b1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.7
libproxmox-backup-qemu0: 1.0.2-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-2
libpve-guest-common-perl: 3.1-3
libpve-http-server-perl: 3.1-1
libpve-storage-perl: 6.3-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.3-1
lxcfs: 4.0.3-pve3
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.6-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-3
pve-cluster: 6.2-1
pve-container: 3.3-2
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.1-3
pve-ha-manager: 3.1-1
pve-i18n: 2.2-2
pve-qemu-kvm: 5.1.0-7
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-2
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.5-pve1

das ist ein anderes problem - sh https://bugzilla.proxmox.com/show_bug.cgi?id=2723

bitboy0 · Jan 11, 2021

fabian said:
das ist ein anderes problem - sh https://bugzilla.proxmox.com/show_bug.cgi?id=2723

Dann habe ich vielleicht dieses "andere" Problem bei dem Backup (ebenfalls auf NFS/NAS)
UND
Das mit der Migration ist vermutlich was eigenes ...

fabian · Jan 11, 2021

@bitboy0 beim verlinkten bug hängt die VM nach dem abbrechen - du schreibst im ersten post sie läuft ganz normal weiter aber ist gesperrt..

bitboy0 · Jan 11, 2021

Ich hab das noch Mal getestet ...
Die VM läuft während der Migration und bleibt dann DOCH stehen wenn ich die Migration abbreche..
Das sieht nur zunächst noch anders aus weil die Console zunächst noch anzeigt, als würde alles laufen.

bitboy0 · Jan 12, 2021

"have you tried the pve-qemu package from pvetest? it contains the fix for the linked issue.."

Helft mir bitte Mal ... wo bekomme ich dieses Paket und reicht es das zu installieren oder muss ich noch mehr tun?

Stefan_R · Jan 12, 2021

https://pve.proxmox.com/wiki/Package_Repositories#sysadmin_test_repo

Also TL;DR:

Code:

echo "deb http://download.proxmox.com/debian/pve buster pvetest" > /etc/apt/sources.list.d/pvetest.list
apt update && apt dist-upgrade

bitboy0 · Jan 12, 2021

Sollte ich diese Datei.list wieder löschen wenn es funktioniert?

Stefan_R · Jan 12, 2021

Solange die pvetest.list Datei existiert werden alle Pakete mit den etwas experimentelleren aus dem pvetest reporitory geupdated. Nachdem der QEMU fix inwzischen auch in pve-no-subscription existiert, kann man sie auch getrost entfernen.

bitboy0 · Jan 13, 2021

Also gestern während dem Backup hatte ich ein paar Aussetzer bei der Erreichbarkeit...
Über IRMC konnte ich auf die Shell und konnte keine Probleme erkennen. Die Load lag bei 2-3, und ZSTD belegte 80% der CPU... aber sonst war da nix wildes zu sehen.

Zeitweise waren aber alle Maschinen (3*UCS und ein Windows) sowie die Proxmox-Shell NICHT über das normale Netzwerk erreichbar.
Dann ging es wieder und zwar auch ohne Probleme bei der Geschwindigkeit.... dann plötzlich wieder gar nicht.

Währenddessen habe ich nur marginale Schwankungen über den IRMC-Screen bei der Load gesehen und danach lief dann auch alles wieder völlig normal.

pixelpeter · Jan 13, 2021

Hallo,

Ich hänge mich hier mal mit an.
Mir ist gestern beim Backup folgendes passiert:
Das freeze Kommando hat einen Timeout erzeugt.
Die VM hing in dem Fall auch.
Warum der Timoeut kam ist mir noch unklar.
Softwarestand aktuelles Enterprise Repository. Patch bezüglich Backup abbrechen gibt es hier noch nicht.
Habe das Gefühl das das alles irgendwie zusammenhängt.
Ist leider nicht reproduzierbar.

Code:

INFO: creating Proxmox Backup Server archive 'vm/103/2021-01-12T03:21:34Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
ERROR: VM 103 qmp command 'guest-fsfreeze-thaw' failed - got timeout
ERROR: VM 103 qmp command 'backup' failed - got timeout
INFO: aborting backup job
ERROR: Backup of VM 103 failed - VM 103 qmp command 'backup' failed - got timeout
INFO: Failed at 2021-01-12 04:23:27

Peter

bitboy0 · Jan 14, 2021

Das kommt normal dann, wenn die Gasterweiterungen nicht installiert sind...

pixelpeter · Jan 14, 2021

Hallo bitboy0,

Der Agent läuft auf allen VM.
Das ist auch nicht das Problem, sondern das die VM danach tot ist.

Peter

Search

Search

Migration oder Backup abgebrochen. Wie hebe ich den Status(gesperrt) wieder auf?

bitboy0

Member

fabian

Proxmox Staff Member

bitboy0

Member

Dunuin

Distinguished Member

fabian

Proxmox Staff Member

bitboy0

Member

fabian

Proxmox Staff Member

bitboy0

Member

bitboy0

Member

Stefan_R

Proxmox Retired Staff

bitboy0

Member

Stefan_R

Proxmox Retired Staff

bitboy0

Member

pixelpeter

Renowned Member

bitboy0

Member

pixelpeter

Renowned Member