vm Start + vzdump - QEMU exited with code -1

crmspezi

Well-Known Member
Sep 5, 2019
384
28
48
44
Germany/Thueringen
Hallo,
am WE habe ich meine 3 Home Proxmox'e auf das letzte pve-no-subscription Release gebracht. Vorher hatte ich auch jeweils eine v6.2 (6 Wochen alt). Keine weiteren Updates sind verfügbar.

Seit dem habe ich bei manchen VM's (debian + win10) den Effekt, das ich diese nicht in der Oberfläche starten kann. Der Fehler "QEMU exited with code -1" erscheint. Der gleiche Fehler tritt dann auch bei diesen VM's mit dem vzdump Backup auf, aber nur, wenn diese ausgeschaltet sind. Andere VM's funktionieren problemlos, auch debian + win10.

Ich kann allerdings an der Shell mit "qm start <VMID>" problemlos die VM's, die den Fehler in der Oberfläche zeigen, starten.

Wo finde ich ein aussagekräftiges LOG? Ich habe nicht's dazu gefunden.

VG crmspezi
 
Liebes Proxmox-Team,
ich konnte den Fehler weiter eingrenzen, scheinbar habe ich das Problem fast nur bei ZFS over iSCSI bei Verwendung von OpenmediaVault v4.x (Debian 9 mit pve Kernel 4.x)

Ist dies bei euch nicht bekannt?

VG crmspezi
 
Hallo,
leider habe ich keine Rückmeldungen hier erhalten. Gestern kamen für die Community Edition von pve6.2 zwei kleine Updates. Ich habe diese eingespielt und werde berichten.
VG crmspezi
 
Es wird noch schlimmer!

Schade das ich hier keine Antwort bekomme. Um den Fehler beim Backup und Start aus der Oberfläche einzustellen fahre ich jedes Update der Community Edition, aber jetzt ein weiteres Risiko für meine Daten einzugehen traue ich mich nicht mehr und sichere vorerst wieder mit Veeam Free Edition in den VM's, das läuft zuverlässig. Das Update von heute 19 Uhr (proxmox backup client und server - ja ich mache den pbs beta Test wegen den inkrementellen Backups, weil ich viele TB Daten immer sichere) verschlimmert alles. Viele VM's sind trotz snaphot Methode beim pbs Backup minutenlang (!) am Ende des Backup Prozesses bei 97-99% NICHT mehr erreichbar. Hier hilft nur der Abbruch des Backup's. Das ist nicht gut. Vor gut 2 Wochen, vor meinem Wagnis der Updates von Proxmox, war alles noch super. Leider habe ich die Release Stände nicht mehr im Kopf.

VG crmspezi
 
Hier das Resultat einer anderen VM (Windows 10), auch wenn der Name Win7xxx ist.





Task viewer: VM/CT 152 - Backup

AusgabeStatus

Stopp
INFO: starting new backup job: vzdump 152 --quiet 1 --mailnotification always --node pve10 --all 0 --compress zstd --mode snapshot --storage pbs02
INFO: Starting Backup of VM 152 (qemu)
INFO: Backup started at 2020-09-25 21:37:57
INFO: status = running
INFO: VM Name: win7x6401
INFO: include disk 'scsi0' 'nasomv7-ZFS-SSD1:vm-152-disk-0' 470G
INFO: include disk 'scsi1' 'nasomv7-ZFS-SSD1:vm-152-disk-1' 120G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: snapshots found (not included into backup)
INFO: creating Proxmox Backup Server archive 'vm/152/2020-09-25T19:37:57Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '4cb3d720-c1a2-4105-941c-052a8f10baeb'
INFO: resuming VM again
INFO: scsi0: dirty-bitmap status: OK (9.9 GiB of 470.0 GiB dirty)
INFO: scsi1: dirty-bitmap status: OK (20.0 MiB of 120.0 GiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 9.9 GiB dirty of 590.0 GiB total
INFO: 6% (696.0 MiB of 9.9 GiB) in 3s, read: 232.0 MiB/s, write: 230.7 MiB/s
INFO: 8% (856.0 MiB of 9.9 GiB) in 6s, read: 53.3 MiB/s, write: 52.0 MiB/s
INFO: 12% (1.2 GiB of 9.9 GiB) in 9s, read: 125.3 MiB/s, write: 125.3 MiB/s
INFO: 15% (1.5 GiB of 9.9 GiB) in 12s, read: 116.0 MiB/s, write: 116.0 MiB/s
INFO: 19% (1.9 GiB of 9.9 GiB) in 15s, read: 136.0 MiB/s, write: 130.7 MiB/s
INFO: 22% (2.3 GiB of 9.9 GiB) in 18s, read: 110.7 MiB/s, write: 109.3 MiB/s
INFO: 26% (2.6 GiB of 9.9 GiB) in 21s, read: 114.7 MiB/s, write: 113.3 MiB/s
INFO: 29% (2.9 GiB of 9.9 GiB) in 24s, read: 116.0 MiB/s, write: 110.7 MiB/s
INFO: 33% (3.3 GiB of 9.9 GiB) in 27s, read: 116.0 MiB/s, write: 112.0 MiB/s
INFO: 36% (3.6 GiB of 9.9 GiB) in 30s, read: 116.0 MiB/s, write: 116.0 MiB/s
INFO: 40% (4.0 GiB of 9.9 GiB) in 33s, read: 125.3 MiB/s, write: 124.0 MiB/s
INFO: 43% (4.3 GiB of 9.9 GiB) in 36s, read: 118.7 MiB/s, write: 114.7 MiB/s
INFO: 47% (4.7 GiB of 9.9 GiB) in 39s, read: 120.0 MiB/s, write: 117.3 MiB/s
INFO: 50% (5.0 GiB of 9.9 GiB) in 42s, read: 122.7 MiB/s, write: 121.3 MiB/s
INFO: 54% (5.4 GiB of 9.9 GiB) in 45s, read: 122.7 MiB/s, write: 106.7 MiB/s
INFO: 58% (5.8 GiB of 9.9 GiB) in 48s, read: 137.3 MiB/s, write: 124.0 MiB/s
INFO: 62% (6.2 GiB of 9.9 GiB) in 51s, read: 122.7 MiB/s, write: 117.3 MiB/s
INFO: 65% (6.5 GiB of 9.9 GiB) in 54s, read: 122.7 MiB/s, write: 118.7 MiB/s
INFO: 69% (6.9 GiB of 9.9 GiB) in 57s, read: 133.3 MiB/s, write: 128.0 MiB/s
INFO: 73% (7.3 GiB of 9.9 GiB) in 1m 0s, read: 121.3 MiB/s, write: 116.0 MiB/s
INFO: 77% (7.6 GiB of 9.9 GiB) in 1m 3s, read: 128.0 MiB/s, write: 124.0 MiB/s
INFO: 80% (8.0 GiB of 9.9 GiB) in 1m 6s, read: 124.0 MiB/s, write: 114.7 MiB/s
INFO: 84% (8.4 GiB of 9.9 GiB) in 1m 9s, read: 125.3 MiB/s, write: 124.0 MiB/s
INFO: 88% (8.8 GiB of 9.9 GiB) in 1m 12s, read: 136.0 MiB/s, write: 132.0 MiB/s
INFO: 92% (9.2 GiB of 9.9 GiB) in 1m 15s, read: 130.7 MiB/s, write: 121.3 MiB/s
INFO: 96% (9.5 GiB of 9.9 GiB) in 1m 18s, read: 132.0 MiB/s, write: 126.7 MiB/s
ERROR: VM 152 qmp command 'query-backup' failed - got timeout
INFO: aborting backup job
ERROR: Backup of VM 152 failed - VM 152 qmp command 'query-backup' failed - got timeout
INFO: Failed at 2020-09-25 21:51:56
INFO: Backup job finished with errors
TASK ERROR: job errors


Ab ca. 96% dann ging alles Offline. Bei ALLEN gesicherten VM's (Win, Debian, Ubuntu, etc.).

Leider ein Mega Bug. Danach waren die jeweiligen VM's wieder ohne Eingreifen erreichbar. Dauert eben nur 30min.
 
Gibt seit heute Nachmittag ein Upgrade auf 0.8.21-1, haste das bereits probiert ? Sowohl auf PVE (no-sub) und PBS installieren.

Bin noch auf 0.8.16 wollte heute eigentlich updaten, aber ich verfolg das erstmal..

--- Changes for rust-proxmox-backup (proxmox-backup-client) ---
rust-proxmox-backup (0.8.21-1) unstable; urgency=medium

* depend on crossbeam-channel

* speedup sync jobs (allow up to 4 worker threads)

* improve docs

* use jobstate mechanism for verify/garbage_collection schedules

* proxy: fix error handling in prune scheduling

-- Proxmox Support Team <support@proxmox.com> Fri, 25 Sep 2020 13:20:19 +0200

rust-proxmox-backup (0.8.20-1) unstable; urgency=medium

* improve sync speed

* benchmark: use compressable data to get more realistic result

* docs: add onlineHelp to some panels

-- Proxmox Support Team <support@proxmox.com> Thu, 24 Sep 2020 13:15:45 +0200

rust-proxmox-backup (0.8.19-1) unstable; urgency=medium

* src/api2/reader.rs: use std::fs::read instead of tokio::fs::read

-- Proxmox Support Team <support@proxmox.com> Tue, 22 Sep 2020 13:30:27 +0200

rust-proxmox-backup (0.8.18-1) unstable; urgency=medium

* src/client/pull.rs: allow up to 20 concurrent download streams

* docs: add version and date to HTML index

-- Proxmox Support Team <support@proxmox.com> Tue, 22 Sep 2020 12:39:26 +0200

rust-proxmox-backup (0.8.17-1) unstable; urgency=medium

* src/client/pull.rs: open temporary manifest with truncate(true)

* depend on proxmox 0.4.1

* fix #3017: check array boundaries before using

* datastore/prune schedules: use JobState for tracking of schedules

* improve docs

* fix #3015: allow user self-service

* add verification scheduling to proxmox-backup-proxy

* fix #3014: allow DataStoreAdmins to list DS config

* depend on pxar 0.6.1

* fix #2942: implement lacp bond mode and bond_xmit_hash_policy

* api2/pull: make pull worker abortable

* fix #2870: renew tickets in HttpClient

* always allow retrieving (censored) subscription info

* fix #2957: allow Sys.Audit access to node RRD

* backup: check all referenced chunks actually exist

* backup: check verify state of previous backup before allowing reuse

* avoid chrono dependency

-- Proxmox Support Team <support@proxmox.com> Mon, 21 Sep 2020 14:08:32 +0200
 
So, ich habe es geprüft. Die Version 0.8.21-1 war schon gestern verfügbar und die hatte ich auch installiert (pve und pbs). Finger davon weg von der Version und der vorigen. Das bringt derzeit nur Probleme. Alle VM's sind beim Backup auf allen (!) 3 Hosts eingefroren (habe auch 2 verschiedene pbs getestet), siehe meinen Beitrag von gestern 21:59 Uhr.

VG
 
Und läuft OHNE Probleme:

Proxmox
Virtual Environment 6.2-11


Task viewer: VM/CT 154 - Backup

AusgabeStatus

Stopp
INFO: starting new backup job: vzdump 154 --compress zstd --mailnotification always --all 0 --quiet 1 --mode snapshot --node pve09 --storage pbs02
INFO: Starting Backup of VM 154 (qemu)
INFO: Backup started at 2020-09-26 20:50:21
INFO: status = running
INFO: VM Name: MMM
INFO: include disk 'scsi0' 'nasomv11-ZFS:vm-154-disk-0' 500G
INFO: include disk 'scsi1' 'nasomv7-ZFS:vm-154-disk-0' 4T
INFO: include disk 'efidisk0' 'nasomv11-ZFS:vm-154-disk-1' 1M
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: snapshots found (not included into backup)
INFO: creating Proxmox Backup Server archive 'vm/154/2020-09-26T18:50:21Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task 'a095e377-b085-41ae-886d-41457e3cb1ff'
INFO: resuming VM again
INFO: efidisk0: dirty-bitmap status: OK (drive clean)
INFO: scsi0: dirty-bitmap status: OK (5.4 GiB of 500.0 GiB dirty)
INFO: scsi1: dirty-bitmap status: OK (20.6 GiB of 4.0 TiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 26.0 GiB dirty of 4.5 TiB total
INFO: 2% (604.0 MiB of 26.0 GiB) in 3s, read: 201.3 MiB/s, write: 197.3 MiB/s
INFO: 3% (908.0 MiB of 26.0 GiB) in 6s, read: 101.3 MiB/s, write: 100.0 MiB/s
INFO: 4% (1.2 GiB of 26.0 GiB) in 9s, read: 108.0 MiB/s, write: 105.3 MiB/s
INFO: 5% (1.5 GiB of 26.0 GiB) in 12s, read: 94.7 MiB/s, write: 94.7 MiB/s
INFO: 6% (1.8 GiB of 26.0 GiB) in 15s, read: 109.3 MiB/s, write: 109.3 MiB/s
INFO: 8% (2.1 GiB of 26.0 GiB) in 18s, read: 110.7 MiB/s, write: 109.3 MiB/s
INFO: 9% (2.5 GiB of 26.0 GiB) in 21s, read: 124.0 MiB/s, write: 121.3 MiB/s
INFO: 10% (2.9 GiB of 26.0 GiB) in 24s, read: 125.3 MiB/s, write: 125.3 MiB/s
INFO: 13% (3.5 GiB of 26.0 GiB) in 27s, read: 228.0 MiB/s, write: 72.0 MiB/s
INFO: 18% (4.8 GiB of 26.0 GiB) in 30s, read: 437.3 MiB/s, write: 0 B/s
INFO: 20% (5.5 GiB of 26.0 GiB) in 33s, read: 225.3 MiB/s, write: 40.0 MiB/s
INFO: 24% (6.4 GiB of 26.0 GiB) in 36s, read: 309.3 MiB/s, write: 9.3 MiB/s
INFO: 30% (7.9 GiB of 26.0 GiB) in 39s, read: 510.7 MiB/s, write: 0 B/s
INFO: 35% (9.3 GiB of 26.0 GiB) in 42s, read: 490.7 MiB/s, write: 0 B/s
INFO: 41% (10.7 GiB of 26.0 GiB) in 45s, read: 486.7 MiB/s, write: 0 B/s
INFO: 46% (12.1 GiB of 26.0 GiB) in 48s, read: 481.3 MiB/s, write: 0 B/s
INFO: 51% (13.5 GiB of 26.0 GiB) in 51s, read: 468.0 MiB/s, write: 0 B/s
INFO: 57% (15.0 GiB of 26.0 GiB) in 54s, read: 509.3 MiB/s, write: 0 B/s
INFO: 63% (16.4 GiB of 26.0 GiB) in 57s, read: 485.3 MiB/s, write: 0 B/s
INFO: 68% (17.9 GiB of 26.0 GiB) in 1m 0s, read: 506.7 MiB/s, write: 0 B/s
INFO: 74% (19.4 GiB of 26.0 GiB) in 1m 3s, read: 505.3 MiB/s, write: 0 B/s
INFO: 79% (20.8 GiB of 26.0 GiB) in 1m 6s, read: 486.7 MiB/s, write: 0 B/s
INFO: 85% (22.3 GiB of 26.0 GiB) in 1m 9s, read: 506.7 MiB/s, write: 0 B/s
INFO: 91% (23.8 GiB of 26.0 GiB) in 1m 12s, read: 510.7 MiB/s, write: 0 B/s
INFO: 97% (25.3 GiB of 26.0 GiB) in 1m 15s, read: 508.0 MiB/s, write: 0 B/s
INFO: 100% (26.0 GiB of 26.0 GiB) in 1m 17s, read: 384.0 MiB/s, write: 34.0 MiB/s
INFO: backup is sparse: 22.67 GiB (87%) total zero data
INFO: backup was done incrementally, reused 4.49 TiB (99%)
INFO: transferred 26.04 GiB in 77 seconds (346.2 MiB/s)
INFO: run: /usr/bin/proxmox-backup-client prune vm/154 --quiet 1 --keep-last 4 --repository root@pam@pbs02:ZFSDATA
INFO: vm/154/2020-09-14T15:30:02Z Mon Sep 14 17:30:02 2020 remove
INFO: Finished Backup of VM 154 (00:01:21)
INFO: Backup finished at 2020-09-26 20:51:42
INFO: Backup job finished successfully
TASK OK


Jede Version, wie die 0.8.17, 19, 21 waren alle nicht geeignet. Ich verstehe nicht, warum das niemanden von den Jungs von Proxmox auffällt? Ok, Vollbackups liefen auch, nur wenn "dirty-bitmap" für inkrementelle Backup's in's Spiel kam ging nichts mehr.

Vielen Dank für die Befehle zum Downgrade. Ich wollte schon die Pakete manuell runterladen und mit dpkg installieren.
Du solltest in dem anderen Forum, wo Du den Hinweis auch gegeben hast, evtl. auch posten.

Danke sehr für Deine Antworten und auch Hilfe. Es scheint alles wieder super zu laufen!
VG crmspezi
 
Last edited:
  • Like
Reactions: H4R0
Ein Fehler bleibt aber trotzdem! VM's die gestoppt sind, lassen sich NICHT mehr backupen, "qemu Feherl -1" - siehe oben, genau wie das Starten aus der Oberfläche, per "qm start <vmid>" gehts aber.

Aber das Einfrieren ist weg, viel wert! Vielleicht liest ja auch mal ein Entwickler hier mit.

VG crmspezi
 
Danke für die Rückmeldung. Mir würde helfen wo ich ein Log dazu finden könnte. Eben nicht nur qemu error -1 beim Start aus der Oberfläche und beim vzdump pbs Backup nicht gestarteter VM's.

Ich finde eben nichts.
VG
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!