Random command error: http request timed out

[layer7.net]

Hallo,

bei den automatischen Backups werden random maessig einige VM's nicht gesichert.

Der Vorgang failed mit:

INFO: Starting Backup of VM 144 (qemu)
INFO: Backup started at 2021-10-05 04:47:00
INFO: status = running
INFO: VM Name: pen10.test.local
INFO: include disk 'virtio0' 'CEPH:vm-144-disk-0' 30G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/144/2021-10-05T02:47:00Z'
ERROR: VM 144 qmp command 'backup' failed - backup connect failed: command error: http request timed out
INFO: aborting backup job
INFO: resuming VM again
ERROR: Backup of VM 144 failed - VM 144 qmp command 'backup' failed - backup connect failed: command error: http request timed out
INFO: Failed at 2021-10-05 04:49:00

Die VM's werden je nach alter des Dateisystems mit freezed FS / RO FS oder sogar Kernelpanics zurueckgelassen.

Bei der vorherigen VM, bei der das Backup korrekt durchlief kommt:

INFO: Finished Backup of VM 142 (00:07:36)
INFO: Backup finished at 2021-10-05 04:45:00
WARN: uploading backup task log failed: Error: http request timed out

Manuelle Backups funktionieren allerdings einwandfrei.

PVE Version ist 6.4-9
PBS Version ist 2.0-10

Es gibt insgesamt 4 PVE Hosts welche die Backups auf einen PBS server spielen. Das ist so terminiert, dass die Hosts nicht gleichzeitig auf den PBS Backupserver versuchen die Backups abzulegen.

Was ganz genau bedeutet nun dieses

command error: http request timed out

?

War der PBS Backupserver zu diesem Zeitpunkt fuer den PVE Host nicht erreichbar ? Oder was genau bedeutet diese Meldung technisch ?

Vielen Dank!
Gruesse
Oliver

 

[layer7.net]

Hi,

falls das jemandem auch begegnet:

Ursache war schlussendlich, dass die Verifikation der Backups soviel HDD IO in Anspruch genommen hat, dass der Proxmox HTTP Empfaenger, welcher den Backupdatenstream der PVE Hosts aufnimmt in ein Timeout gerannt ist.

Die Problemloesung besteht darin, die automatische Verifikation nach jedem gezogenen VM Backup abzuschalten und stattdessen dafuer eine Schedule im PBS Interface einzurichten, welcher das dann unabhaengig von den Backups nachholt.

Gruesse
Oliver