backup läuft und läuft und läuft seit nunmehr 2 Wochen

[swoop]

Hallo Gemeinde,

ich wünsche euch ein frohes neues Jahr.

So, zum Problem.
Ich habe ein Proxmox-Cluster mit 4 NUCs am Laufen und es läuft sehr gut.
Seit nunmehr 3 oder 4 Wochen habe ich festgestellt, dass ein Backup-Job mehrere Tage läuft.
Daraufhin habe ich in Backup-Log nachgeschaut und für mich schaut es so aus als ob das Backup soweit funktioniert hätte aber das Backup nicht zur nächsten VM weiterspringt um diese zu Backupen.

INFO: starting new backup job: vzdump 103 100 118 --mailnotification failure --storage backups --mode snapshot --compress zstd --mailto office@bl-its.at --quiet 1
INFO: skip external VMs: 100, 118
INFO: Starting Backup of VM 103 (qemu)
INFO: Backup started at 2023-12-24 01:00:02
INFO: status = running
INFO: VM Name: blitsdc4
INFO: include disk 'scsi0' 'container:vm-103-disk-1' 127G
INFO: include disk 'scsi1' 'container:vm-103-disk-2' 110G
INFO: include disk 'efidisk0' 'container:vm-103-disk-0' 528K
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating vzdump archive '/mnt/pve/backups/dump/vzdump-qemu-103-2023_12_24-01_00_02.vma.zst'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '128ae81a-e904-4187-b3c1-a8b6c0478304'
INFO: resuming VM again
INFO:   0% (560.2 MiB of 237.0 GiB) in 3s, read: 186.8 MiB/s, write: 167.9 MiB/s
INFO:   1% (2.5 GiB of 237.0 GiB) in 19s, read: 122.1 MiB/s, write: 121.0 MiB/s
INFO:   2% (4.8 GiB of 237.0 GiB) in 38s, read: 123.9 MiB/s, write: 122.2 MiB/s
INFO:   3% (7.2 GiB of 237.0 GiB) in 1m 1s, read: 107.1 MiB/s, write: 106.3 MiB/s
INFO:   4% (9.5 GiB of 237.0 GiB) in 1m 24s, read: 105.9 MiB/s, write: 104.6 MiB/s
INFO:   5% (12.0 GiB of 237.0 GiB) in 1m 44s, read: 125.8 MiB/s, write: 111.1 MiB/s
INFO:   6% (14.3 GiB of 237.0 GiB) in 2m 4s, read: 117.4 MiB/s, write: 113.2 MiB/s
INFO:   7% (16.6 GiB of 237.0 GiB) in 3m 13s, read: 34.5 MiB/s, write: 33.7 MiB/s
INFO:   8% (19.1 GiB of 237.0 GiB) in 3m 50s, read: 67.5 MiB/s, write: 63.1 MiB/s
INFO:   9% (21.3 GiB of 237.0 GiB) in 4m 12s, read: 106.7 MiB/s, write: 104.5 MiB/s
INFO:  10% (23.8 GiB of 237.0 GiB) in 4m 44s, read: 78.8 MiB/s, write: 76.8 MiB/s
INFO:  11% (26.2 GiB of 237.0 GiB) in 4m 56s, read: 200.0 MiB/s, write: 129.8 MiB/s
INFO:  12% (28.4 GiB of 237.0 GiB) in 7m 22s, read: 16.1 MiB/s, write: 14.7 MiB/s
INFO:  13% (30.8 GiB of 237.0 GiB) in 7m 43s, read: 117.4 MiB/s, write: 114.3 MiB/s
INFO:  14% (33.2 GiB of 237.0 GiB) in 8m 3s, read: 119.7 MiB/s, write: 117.6 MiB/s
INFO:  15% (35.6 GiB of 237.0 GiB) in 9m 30s, read: 28.1 MiB/s, write: 27.9 MiB/s
INFO:  16% (38.0 GiB of 237.0 GiB) in 9m 50s, read: 126.3 MiB/s, write: 103.0 MiB/s
INFO:  17% (40.4 GiB of 237.0 GiB) in 11m 6s, read: 31.4 MiB/s, write: 31.1 MiB/s
INFO:  18% (42.7 GiB of 237.0 GiB) in 11m 26s, read: 119.4 MiB/s, write: 115.4 MiB/s
INFO:  19% (45.0 GiB of 237.0 GiB) in 12m 5s, read: 61.4 MiB/s, write: 58.0 MiB/s
INFO:  20% (47.5 GiB of 237.0 GiB) in 14m 18s, read: 18.9 MiB/s, write: 18.7 MiB/s
INFO:  21% (49.9 GiB of 237.0 GiB) in 14m 40s, read: 110.9 MiB/s, write: 100.6 MiB/s
INFO:  22% (52.2 GiB of 237.0 GiB) in 14m 59s, read: 126.3 MiB/s, write: 124.1 MiB/s
INFO:  23% (54.6 GiB of 237.0 GiB) in 15m 24s, read: 96.2 MiB/s, write: 94.0 MiB/s
INFO:  24% (56.9 GiB of 237.0 GiB) in 16m 43s, read: 30.0 MiB/s, write: 28.4 MiB/s
INFO:  25% (59.3 GiB of 237.0 GiB) in 18m 11s, read: 28.1 MiB/s, write: 27.9 MiB/s
INFO:  26% (61.7 GiB of 237.0 GiB) in 18m 33s, read: 110.5 MiB/s, write: 109.3 MiB/s
INFO:  27% (64.1 GiB of 237.0 GiB) in 20m 9s, read: 25.4 MiB/s, write: 25.1 MiB/s
INFO:  28% (66.4 GiB of 237.0 GiB) in 20m 32s, read: 106.1 MiB/s, write: 104.5 MiB/s
INFO:  29% (68.8 GiB of 237.0 GiB) in 21m 58s, read: 27.8 MiB/s, write: 27.4 MiB/s
INFO:  30% (71.1 GiB of 237.0 GiB) in 22m 40s, read: 57.2 MiB/s, write: 56.0 MiB/s
INFO:  31% (73.6 GiB of 237.0 GiB) in 23m 2s, read: 114.1 MiB/s, write: 112.5 MiB/s
INFO:  32% (75.9 GiB of 237.0 GiB) in 25m 6s, read: 18.9 MiB/s, write: 18.6 MiB/s
INFO:  33% (78.3 GiB of 237.0 GiB) in 25m 36s, read: 82.8 MiB/s, write: 80.9 MiB/s
INFO:  34% (80.6 GiB of 237.0 GiB) in 26m 6s, read: 78.8 MiB/s, write: 76.6 MiB/s
INFO:  35% (83.0 GiB of 237.0 GiB) in 27m 12s, read: 36.8 MiB/s, write: 36.1 MiB/s
INFO:  36% (85.3 GiB of 237.0 GiB) in 27m 46s, read: 71.5 MiB/s, write: 70.4 MiB/s
INFO:  37% (87.7 GiB of 237.0 GiB) in 29m 41s, read: 21.3 MiB/s, write: 21.1 MiB/s
INFO:  38% (90.1 GiB of 237.0 GiB) in 30m 1s, read: 122.0 MiB/s, write: 116.9 MiB/s
INFO:  39% (92.4 GiB of 237.0 GiB) in 30m 35s, read: 70.2 MiB/s, write: 68.8 MiB/s
INFO:  40% (94.9 GiB of 237.0 GiB) in 31m 5s, read: 82.3 MiB/s, write: 75.6 MiB/s
INFO:  41% (97.2 GiB of 237.0 GiB) in 31m 44s, read: 60.9 MiB/s, write: 59.6 MiB/s
INFO:  42% (99.6 GiB of 237.0 GiB) in 33m 39s, read: 21.2 MiB/s, write: 20.6 MiB/s
INFO:  43% (102.0 GiB of 237.0 GiB) in 34m 13s, read: 73.5 MiB/s, write: 63.0 MiB/s
INFO:  44% (104.3 GiB of 237.0 GiB) in 34m 45s, read: 73.3 MiB/s, write: 72.7 MiB/s
INFO:  45% (106.7 GiB of 237.0 GiB) in 36m 10s, read: 29.0 MiB/s, write: 27.9 MiB/s
INFO:  46% (109.0 GiB of 237.0 GiB) in 36m 30s, read: 119.2 MiB/s, write: 88.4 MiB/s
INFO:  47% (111.5 GiB of 237.0 GiB) in 37m 35s, read: 39.2 MiB/s, write: 32.7 MiB/s
INFO:  48% (113.8 GiB of 237.0 GiB) in 37m 51s, read: 146.4 MiB/s, write: 127.0 MiB/s
INFO:  49% (116.2 GiB of 237.0 GiB) in 38m 10s, read: 127.8 MiB/s, write: 120.2 MiB/s
INFO:  50% (118.5 GiB of 237.0 GiB) in 38m 27s, read: 141.0 MiB/s, write: 119.9 MiB/s
INFO:  51% (120.9 GiB of 237.0 GiB) in 38m 42s, read: 162.3 MiB/s, write: 108.3 MiB/s
INFO:  52% (123.4 GiB of 237.0 GiB) in 39m 5s, read: 113.8 MiB/s, write: 79.1 MiB/s
INFO:  53% (125.6 GiB of 237.0 GiB) in 39m 20s, read: 148.6 MiB/s, write: 112.4 MiB/s
INFO:  54% (128.0 GiB of 237.0 GiB) in 39m 44s, read: 102.3 MiB/s, write: 76.9 MiB/s
INFO:  55% (130.4 GiB of 237.0 GiB) in 40m 7s, read: 103.9 MiB/s, write: 68.1 MiB/s
INFO:  56% (132.8 GiB of 237.0 GiB) in 40m 36s, read: 87.5 MiB/s, write: 63.2 MiB/s
INFO:  57% (135.2 GiB of 237.0 GiB) in 40m 55s, read: 126.2 MiB/s, write: 72.4 MiB/s
INFO:  58% (137.6 GiB of 237.0 GiB) in 41m 13s, read: 137.9 MiB/s, write: 89.9 MiB/s
INFO:  59% (140.0 GiB of 237.0 GiB) in 41m 23s, read: 242.2 MiB/s, write: 105.2 MiB/s
INFO:  60% (142.4 GiB of 237.0 GiB) in 42m 9s, read: 53.3 MiB/s, write: 28.4 MiB/s
INFO:  61% (144.6 GiB of 237.0 GiB) in 42m 59s, read: 46.7 MiB/s, write: 15.5 MiB/s
INFO:  62% (147.1 GiB of 237.0 GiB) in 43m 12s, read: 197.4 MiB/s, write: 55.1 MiB/s
INFO:  63% (149.7 GiB of 237.0 GiB) in 43m 26s, read: 186.1 MiB/s, write: 64.0 MiB/s
INFO:  64% (151.9 GiB of 237.0 GiB) in 43m 38s, read: 187.8 MiB/s, write: 53.1 MiB/s
INFO:  65% (154.4 GiB of 237.0 GiB) in 43m 44s, read: 435.6 MiB/s, write: 84.3 MiB/s
INFO:  66% (156.8 GiB of 237.0 GiB) in 43m 51s, read: 342.1 MiB/s, write: 88.7 MiB/s
INFO:  68% (161.5 GiB of 237.0 GiB) in 43m 54s, read: 1.6 GiB/s, write: 95.5 MiB/s
INFO:  69% (164.1 GiB of 237.0 GiB) in 44m 3s, read: 295.3 MiB/s, write: 68.4 MiB/s
INFO:  70% (165.9 GiB of 237.0 GiB) in 44m 11s, read: 239.9 MiB/s, write: 54.0 MiB/s
INFO:  71% (168.3 GiB of 237.0 GiB) in 44m 16s, read: 492.4 MiB/s, write: 84.1 MiB/s
INFO:  73% (174.2 GiB of 237.0 GiB) in 44m 22s, read: 998.9 MiB/s, write: 104.3 MiB/s
INFO:  74% (176.9 GiB of 237.0 GiB) in 44m 45s, read: 120.6 MiB/s, write: 27.5 MiB/s
INFO:  75% (179.4 GiB of 237.0 GiB) in 44m 52s, read: 366.1 MiB/s, write: 12.9 MiB/s
INFO:  76% (181.3 GiB of 237.0 GiB) in 45m 23s, read: 63.4 MiB/s, write: 15.7 MiB/s
INFO:  77% (182.8 GiB of 237.0 GiB) in 45m 51s, read: 53.7 MiB/s, write: 29.8 MiB/s
INFO:  79% (188.3 GiB of 237.0 GiB) in 45m 57s, read: 949.5 MiB/s, write: 18.6 MiB/s
INFO:  93% (221.6 GiB of 237.0 GiB) in 46m, read: 11.1 GiB/s, write: 0 B/s
INFO: 100% (237.0 GiB of 237.0 GiB) in 46m 2s, read: 7.7 GiB/s, write: 326.0 KiB/s
INFO: backup is sparse: 100.99 GiB (42%) total zero data
INFO: transferred 237.00 GiB in 2762 seconds (87.9 MiB/s)

Die verschiedenen VMs die gesichert werden sollen, sind auf unterschieldichen Nodes. Bisher hat das alles wunderbar funktioniert.
Ich weiß allerdings nicht ob das mit dem Update von 7.4 auf 8.1 zusammenhängt, da ich das Update auf einem Node mal getestet habe und damit Probleme hatte. Jetzt läuft dieser Node zwar wieder und ist auch wieder mit dem Cluster verbunden aber das Backup stoppt erst wenn ich den Node neustarte.
Mit dem Stop-Knopf tut er leider garnichts. Wenn ich auf den Stop-Knopf klicke, dauert es ein wenig und es schaut auch so aus als ob er den Job beenden würde, aber da passiert nichts.
Inzwischen sind alle Nodes auf derselben PVE-Version, aber trotzdem läuft das Backup seit Weihnachten. Die Datensicherung läuft per CIFS auf eine NAS

Hat jemand eine Idee wie ich das Backup stoppen kann, oder stehe ich wiedermal auf dem Schlauch.

Danke für eure Hilfe.

 

[swoop]

PS:
bei allen VMs handelt es such um Windows VMs. Windows 10, 11 und Windows Server 2016.

 

[swoop]

Guten morgen,

keiner ne idee? hab schon wieder, dasselbe Backup, das schon seit dem 7.1. um 1:00 gestartet wurde und immer noch läuft, wie oben im Logfile beschrieben.
Nach der ersten VM stoppt er, warum auch immer.

 

[Falk R.]

Hi, in deinem Logfile ist kein Fehler zu sehen, daher ist es schwer dir zu helfen.
Ich würde mal gucken ob du in anderen Logfiles Fehler findest oder den Backupjob einfach mal neu bauen.

 

[swoop]

Hallo und danke für die Antwort

genau das ist ja mein Problem. Laut Logfile schaut alles tippi toppi aus.
aber trotzdem macht er nicht weiter und abbrechen kann ich den Backupjob auch nicht.
Es schaut zwar alles gut aus, aber wenn ich auf Stop-Job klicke, das beeindruckt ihn überhaupt nicht.

Gibts einen anderen Weg um einen bestimmten Backup-Job zu stoppen ohne gleich den ganzen Host neuzustarten?

danke

 

[sb-jw]

Ich weiß allerdings nicht ob das mit dem Update von 7.4 auf 8.1 zusammenhängt, da ich das Update auf einem Node mal getestet habe und damit Probleme hatte. Jetzt läuft dieser Node zwar wieder und ist auch wieder mit dem Cluster verbunden aber das Backup stoppt erst wenn ich den Node neustarte.

Diesen Umstand würde ich schnellstmöglich empfehlen zu beseitigen. Im Cluster sollte alles auf gleicher Version laufen.

Startet der Backup Job auf deiner Node mit 8.1 oder auf einer mit 7.4? Was ist, wenn du die Jobs trennst oder diese auf einem 7.4 starten lässt? Funktionieren Backups generell noch ohne Probleme oder ist es jedes Mal so?

Ansonsten "Reboot tut gut"
(Vielleicht vorher noch die letzten Updates installieren)

 

[swoop]

Hallo sb-jw,

danke für deine Antwort.
Die Hosts sind inzwischen alle auf derseben version also 8.1.3.
Ich dachte mir schon, dass ich die schnellstmöglich updaten sollte. Von daher...

ich habe gerade versucht den Backup-Job per CLI mit pkill -9 <processnummer> zu stoppen aber das klappt leider auch nicht.

Noch jemand eine idee?

Den Backup-Job habe ich inzwischen auch neuangelgt. Mal schauen was morgen ist, wenn der Job wieder läuft, sofern ich den hängenden Job los werde.

 

[Falk R.]

Also ein kill auf CLI sollte immer funktionieren. Dann würde ich neustarten. Bei einem Cluster kannst du die VMs ja verschieben.

 

[swoop]

hallo,

wie schon erwähnt, konnte ich diesen speziellen Backup-Job bisher nur mit einem Neustart "stoppen"

Klar kann ich die VMs berschieben, aber nur um den Backup-Job zu beenden den ganzen Host neustarten ist etwas overkill, wenn du mich fragst.
Aber ich denke mir bleibt nichts andres über. :-(

trotzedem Danke

 

[Falk R.]

Wenn ein kill nicht funktioniert, ist ein reboot das einzig saubere.