Backups schlagen fehl - unable to connect to VM qmp socket

[dsn-bt]

Guten Tag,

beim Backup unserer VMs kommt es immer wieder dazu, dass einzele davon nicht erfolgreich gesichert werden.
Die Anzahl der betroffenen VMs variiert von Tag zu Tag.

Auf Seiten des Proxmox Backup Servers steht im Log "[...] TASK ERROR: removing backup snapshot [...] failed - Directory not empty (os error 39)".

Auf Seiten des Hypervisors parallel dazu exemplarisch "VM 122 qmp command failed - VM 122 qmp command 'query-proxmox-support' failed - unable to connect to VM 122 qmp socket - timeout after 51 retries"
Diese Fehler treten allerdings auch bei VMs auf, welche im Endergebnis erfolgreich gesichert werden.

Für Hinweise auf eine Ursache des Problems und im besten Fall auch deren Lösung wäre ich sehr dankbar.

 

[dcsapak]

Auf Seiten des Proxmox Backup Servers steht im Log "[...] TASK ERROR: removing backup snapshot [...] failed - Directory not empty (os error 39)".

hier wäre ein bisschen mehr vom task log praktisch um zu sehen ob das nur ein seiteneffekt oder das eigentliche problem ist

Auf Seiten des Hypervisors parallel dazu exemplarisch "VM 122 qmp command failed - VM 122 qmp command 'query-proxmox-support' failed - unable to connect to VM 122 qmp socket - timeout after 51 retries"
Diese Fehler treten allerdings auch bei VMs auf, welche im Endergebnis erfolgreich gesichert werden.

klingt so als würden sich die vms nicht mehr reagieren (dh. der qmp socket retry timeout fehler)
ist sonst noch was zu sehen parallel in den logs am pve host /journal/dmesg? ist der pbs storage schnell genug?(oder wird fleecing verwendet?)

 

[dsn-bt]

Hallo,

im Journal kann ich keine weiteren Fehler entdecken.
Ob die jeweiligen VMs währenddessen nicht mehr reagieren, kann ich aufgrund des Zeitfensters leider nicht sagen.
Der operative Betrieb (außerhalb des Backupfensters) der Vms ist zumindest nicht eingeschränkt.

Das Storage ist via CIFS gemounted.

Ich habe festgestellt, dass der Backupjob alles Nodes simultan ansteuert und somit fünf Backups gleichzeitig auf das
Storage zugreifen. Ist es möglich die maximalen parallelen Backups zu begrenzen oder müssten um die Backups zu
entzerren dazu mehrere Jobs definiert werden?

 

[dcsapak]

Ist es möglich die maximalen parallelen Backups zu begrenzen oder müssten um die Backups zu
entzerren dazu mehrere Jobs definiert werden?

dazu muss man mehrere jobs aktuell erstellen (zb einen pro noe)
es gibt auch die möglichkeit mittels /etc/vzdump.conf oder Datacenter->options die backup geschwindigkeit zu limitieren (das würde allerdings nur was bringen wenn man es so viel limitiert dass alle nodes gemeinsam weniger last machen als das backup storage verträgt)

 

[dsn-bt]

Auf den ersten Blick scheint die Aufteilung eines globalen Jobs auf zeitlich versetzte für jeden einzelnen Knoten zielführend zu sein.

Was dabei allerdings schade ist, ist dass so eine Selektion der VMs nun auch für jeden einzelnen Knoten seperat gepflegt werden muss.
Dies kann natürlich zu Problemen führen, wenn eine VM auf einen anderen Host verschoben wird.

 

[Neobin]

Ich habe festgestellt, dass der Backupjob alles Nodes simultan ansteuert und somit fünf Backups gleichzeitig auf das
Storage zugreifen. Ist es möglich die maximalen parallelen Backups zu begrenzen oder müssten um die Backups zu
entzerren dazu mehrere Jobs definiert werden?

For reference:
https://bugzilla.proxmox.com/show_bug.cgi?id=3086