Hallo liebe Proxmox-Gemeinde
Heute Nacht ist um 3:00 ein Backup eines Kundenserver nicht durchgelaufen. Bei einer bestimmten VM brach das Backup ab. Der Kunde informierte uns heute morgen, daß die VM komplett ausgefallen sei. (Der Kunde hat sein eigenes Monitoring-System, auf daß wir keinen Zugriff haben) Mein Kollege hat sich dann per Console eingeloggt und die Fehlermeldung bekommen, daß das Dateisystem nicht beschreibbar sei und nur read-only gemounted sei. Er hat dann versucht innerhalb der VM zu rebooten was nicht funktioniert hat - ein Kill auf der Node aber schon. Danach war beim Neustarten der Maschine ein fsck notwendig. Jetzt scheint die VM stabil zu laufen. Auf dem Server gab es noch weitere VMs, die noch zu sichern gewesen wären, nach dem Absturz bei der Problem-VM ging es leider nicht weiter. Die VM ist totaler Standard, Apache, PHP-FPM, Exim und MariaDB, verwaltet über das Tool ISPConfig
Ich habe euch mal anonymisiert den relevanten Teil aus dem Log gepastet.
Meine Fragen: Was ist da passiert? Wie kann ich sicherstellen, daß sich der Fehler nicht wiederholt?
Viele Grüße
Stefan
NFO: Backup finished at 2025-04-01 04:29:44
INFO: Starting Backup of VM 204 (qemu)
INFO: Backup started at 2025-04-01 04:29:44
INFO: status = running
INFO: VM Name: vm999-beispiel1
INFO: include disk 'scsi0' 'iscsi-san:vm-999-disk-0' 500G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/204/2025-04-01T02:29:44Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '6f31c0b1-8264-428f-a648-950ba70bf0b4'
INFO: resuming VM again
INFO: scsi0: dirty-bitmap status: OK (25.2 GiB of 500.0 GiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 25.2 GiB dirty of 500.0 GiB total
INFO: 2% (548.0 MiB of 25.2 GiB) in 3s, read: 182.7 MiB/s, write: 182.7 MiB/s
INFO: 3% (984.0 MiB of 25.2 GiB) in 6s, read: 145.3 MiB/s, write: 145.3 MiB/s
INFO: 5% (1.3 GiB of 25.2 GiB) in 9s, read: 124.0 MiB/s, write: 124.0 MiB/s
INFO: 7% (1.8 GiB of 25.2 GiB) in 12s, read: 162.7 MiB/s, write: 162.7 MiB/s
INFO: 9% (2.3 GiB of 25.2 GiB) in 15s, read: 180.0 MiB/s, write: 180.0 MiB/s
INFO: 11% (2.8 GiB of 25.2 GiB) in 18s, read: 162.7 MiB/s, write: 157.3 MiB/s
INFO: 13% (3.4 GiB of 25.2 GiB) in 21s, read: 189.3 MiB/s, write: 189.3 MiB/s
INFO: 15% (3.9 GiB of 25.2 GiB) in 24s, read: 170.7 MiB/s, write: 170.7 MiB/s
INFO: 17% (4.4 GiB of 25.2 GiB) in 27s, read: 184.0 MiB/s, write: 184.0 MiB/s
INFO: 19% (4.9 GiB of 25.2 GiB) in 30s, read: 182.7 MiB/s, write: 182.7 MiB/s
INFO: 21% (5.5 GiB of 25.2 GiB) in 33s, read: 186.7 MiB/s, write: 174.7 MiB/s
INFO: 23% (6.0 GiB of 25.2 GiB) in 36s, read: 188.0 MiB/s, write: 188.0 MiB/s
INFO: 24% (6.2 GiB of 25.2 GiB) in 39s, read: 58.7 MiB/s, write: 58.7 MiB/s
ERROR: interrupted by signal
INFO: aborting backup job
INFO: resuming VM again
ERROR: Backup of VM 999 failed - interrupted by signal
INFO: Failed at 2025-04-01 09:26:29
ERROR: Backup job failed - interrupted by signal
INFO: notified via target `<ich@meineemail>`
TASK ERROR: interrupted by signal
Heute Nacht ist um 3:00 ein Backup eines Kundenserver nicht durchgelaufen. Bei einer bestimmten VM brach das Backup ab. Der Kunde informierte uns heute morgen, daß die VM komplett ausgefallen sei. (Der Kunde hat sein eigenes Monitoring-System, auf daß wir keinen Zugriff haben) Mein Kollege hat sich dann per Console eingeloggt und die Fehlermeldung bekommen, daß das Dateisystem nicht beschreibbar sei und nur read-only gemounted sei. Er hat dann versucht innerhalb der VM zu rebooten was nicht funktioniert hat - ein Kill auf der Node aber schon. Danach war beim Neustarten der Maschine ein fsck notwendig. Jetzt scheint die VM stabil zu laufen. Auf dem Server gab es noch weitere VMs, die noch zu sichern gewesen wären, nach dem Absturz bei der Problem-VM ging es leider nicht weiter. Die VM ist totaler Standard, Apache, PHP-FPM, Exim und MariaDB, verwaltet über das Tool ISPConfig
Ich habe euch mal anonymisiert den relevanten Teil aus dem Log gepastet.
Meine Fragen: Was ist da passiert? Wie kann ich sicherstellen, daß sich der Fehler nicht wiederholt?
Viele Grüße
Stefan
NFO: Backup finished at 2025-04-01 04:29:44
INFO: Starting Backup of VM 204 (qemu)
INFO: Backup started at 2025-04-01 04:29:44
INFO: status = running
INFO: VM Name: vm999-beispiel1
INFO: include disk 'scsi0' 'iscsi-san:vm-999-disk-0' 500G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/204/2025-04-01T02:29:44Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '6f31c0b1-8264-428f-a648-950ba70bf0b4'
INFO: resuming VM again
INFO: scsi0: dirty-bitmap status: OK (25.2 GiB of 500.0 GiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 25.2 GiB dirty of 500.0 GiB total
INFO: 2% (548.0 MiB of 25.2 GiB) in 3s, read: 182.7 MiB/s, write: 182.7 MiB/s
INFO: 3% (984.0 MiB of 25.2 GiB) in 6s, read: 145.3 MiB/s, write: 145.3 MiB/s
INFO: 5% (1.3 GiB of 25.2 GiB) in 9s, read: 124.0 MiB/s, write: 124.0 MiB/s
INFO: 7% (1.8 GiB of 25.2 GiB) in 12s, read: 162.7 MiB/s, write: 162.7 MiB/s
INFO: 9% (2.3 GiB of 25.2 GiB) in 15s, read: 180.0 MiB/s, write: 180.0 MiB/s
INFO: 11% (2.8 GiB of 25.2 GiB) in 18s, read: 162.7 MiB/s, write: 157.3 MiB/s
INFO: 13% (3.4 GiB of 25.2 GiB) in 21s, read: 189.3 MiB/s, write: 189.3 MiB/s
INFO: 15% (3.9 GiB of 25.2 GiB) in 24s, read: 170.7 MiB/s, write: 170.7 MiB/s
INFO: 17% (4.4 GiB of 25.2 GiB) in 27s, read: 184.0 MiB/s, write: 184.0 MiB/s
INFO: 19% (4.9 GiB of 25.2 GiB) in 30s, read: 182.7 MiB/s, write: 182.7 MiB/s
INFO: 21% (5.5 GiB of 25.2 GiB) in 33s, read: 186.7 MiB/s, write: 174.7 MiB/s
INFO: 23% (6.0 GiB of 25.2 GiB) in 36s, read: 188.0 MiB/s, write: 188.0 MiB/s
INFO: 24% (6.2 GiB of 25.2 GiB) in 39s, read: 58.7 MiB/s, write: 58.7 MiB/s
ERROR: interrupted by signal
INFO: aborting backup job
INFO: resuming VM again
ERROR: Backup of VM 999 failed - interrupted by signal
INFO: Failed at 2025-04-01 09:26:29
ERROR: Backup job failed - interrupted by signal
INFO: notified via target `<ich@meineemail>`
TASK ERROR: interrupted by signal
Last edited:
