[SOLVED] fehlende Daten trotz erfolgreichem Sync

[chriswol]

Moin,

ich habe ein Backupscript für einen Client aufgesetzt, welches 2 Ordner und 1 Datenbankdump sichert. Im Proxmox Dashboard wird mir die Aufgabe auch als erfolgreich angezeigt und auch das Logfile vom Backupscript selbst zeigt keine Fehler an. Es muss auch zu einer Übertragung von Daten gekommen sein, da knapp 100 GB übertragen werden und der Job entsprechend 2 Stunden gelaufen ist. Es kann also nicht nichts passiert sein.

Im Datastore ist allerdings lediglich das Datenbankdump als .pxar vorhanden. Die anderen beiden Ordner, die als .pxar übertragen werden sollten, sind hingegen nicht vorhanden (auch ein find / -iname "...." in der CLI hat nichts ergeben).

Jetzt muss ich allerdings auch dazuschreiben, dass beim allerersten Backup es noch funktioniert hat. Ich habe dann allerdings händisch (über die GUI) lediglich die Ordnerbackups rausgelöscht (da ich ein paar Anpassungen in einem .pxarexclude gemacht hatte) und beim nächsten Backup ist dann der Fehler

GET /previous: 400 Bad Request: Unable to open dynamic index "/pfad/zum/gelöschten/pxar" - No such file or directory (os error 2)

aufgeploppt. Daher hatte ich den kompletten Host aus dem Datastore entfernt und auch ein Garbage Collect durchgeführt. Nun zeigt das Backuplog wie geschrieben keine Fehler mehr. Allerdings ist dennoch nur der Datenbankdump vorhanden und nicht die beiden Ordner.

Ich hoffe, dass meine Beschreibung nicht zu unverständlich war.

 

[dcsapak]

kannst du mal das script + log (von beiden seiten, also pve + pbs) posten?

 

[chriswol]

Skript:

#!/bin/sh

export PBS_PASSWORD=xxx;
export PBS_REPOSITORY=client@pbs!xxx:pbs-gst-01;

sudo -u sysuser_4 /opt/plesk/php/8.0/bin/php /var/www/vhosts/host/httpdocs/occ maintenance:mode --on;
proxmox-backup-client backup ncdata.pxar:/var/www/vhosts/host/httpdocs/data/;
proxmox-backup-client backup ncconfig.pxar:/var/www/vhosts/host/httpdocs/config/;
mysqldump --single-transaction -h localhost -u root host_db > /var/www/vhosts/host/backup/db_dumps/dbdump.bak;
proxmox-backup-client backup ncdb.pxar:/var/www/vhosts/host/backup/db_dumps/;
rm /var/www/vhosts/host/backup/db_dumps/dbdump.bak;
sudo -u sysuser_4 /opt/plesk/php/8.0/bin/php /var/www/vhosts/host/httpdocs/occ maintenance:mode --off;

export PBS_PASSWORD=;
export PBS_REPOSITORY=;

Backuplog Skript:

Maintenance mode enabled
Starting backup: host/xxx/2022-04-25T19:20:02Z
Client name: xxx
Starting backup protocol: Mon Apr 25 21:20:02 2022
No previous manifest available.
Upload directory '/var/www/vhosts/host/httpdocs/data/' to 'client@pbs!xxx:8007:pbs-gst-01' as ncdata.pxar.didx
ncdata.pxar: had to backup 78.55 GiB of 89.90 GiB (compressed 61.90 GiB) in 6656.61s
ncdata.pxar: average backup speed: 12.08 MiB/s
ncdata.pxar: backup was done incrementally, reused 11.35 GiB (12.6%)
Uploaded backup catalog (8.64 MiB)
Duration: 6657.13s
End Time: Mon Apr 25 23:10:59 2022
Starting backup: host/xxx/2022-04-25T21:10:59Z
Client name: xxx
Starting backup protocol: Mon Apr 25 23:10:59 2022
Downloading previous manifest (Mon Apr 25 21:20:02 2022)
Upload directory '/var/www/vhosts/host/httpdocs/config/' to 'client@pbs!xxx:8007:pbs-gst-01' as ncconfig.pxar.didx
ncconfig.pxar: had to backup 63.39 KiB of 63.39 KiB (compressed 23.83 KiB) in 0.07s
ncconfig.pxar: average backup speed: 856.81 KiB/s
Uploaded backup catalog (154 B)
Duration: 0.45s
End Time: Mon Apr 25 23:11:00 2022
Starting backup: host/xxx/2022-04-25T21:11:14Z
Client name: xxx
Starting backup protocol: Mon Apr 25 23:11:14 2022
Downloading previous manifest (Mon Apr 25 23:10:59 2022)
Upload directory '/var/www/vhosts/host/backup/db_dumps/' to 'client@pbs!xxx:8007:pbs-gst-01' as ncdb.pxar.didx
ncdb.pxar: had to backup 332.41 MiB of 332.41 MiB (compressed 60.93 MiB) in 7.11s
ncdb.pxar: average backup speed: 46.73 MiB/s
Uploaded backup catalog (59 B)
Duration: 7.44s
End Time: Mon Apr 25 23:11:21 2022
Maintenance mode disabled

Log vom PBS:

2022-04-25T21:20:02+02:00: starting new backup on datastore 'pbs-gst-01': "host/xxx/2022-04-25T19:20:02Z"
2022-04-25T21:20:02+02:00: created new dynamic index 1 ("host/xxx/2022-04-25T19:20:02Z/ncdata.pxar.didx")
2022-04-25T21:20:02+02:00: created new dynamic index 2 ("host/xxx/2022-04-25T19:20:02Z/catalog.pcat1.didx")
2022-04-25T23:10:59+02:00: Upload statistics for 'ncdata.pxar.didx'
2022-04-25T23:10:59+02:00: UUID:
2022-04-25T23:10:59+02:00: Checksum: 39f8b32f97c4077e5826d77259d7f488ee03312d8428854c3a9f1c73a0731998
2022-04-25T23:10:59+02:00: Size: 96527986929
2022-04-25T23:10:59+02:00: Chunk count: 25843
2022-04-25T23:10:59+02:00: Upload size: 84344748701 (87%)
2022-04-25T23:10:59+02:00: Duplicates: 4221+21496 (99%)
2022-04-25T23:10:59+02:00: Compression: 78%
2022-04-25T23:10:59+02:00: successfully closed dynamic index 1
2022-04-25T23:10:59+02:00: Upload statistics for 'catalog.pcat1.didx'
2022-04-25T23:10:59+02:00: UUID:
2022-04-25T23:10:59+02:00: Checksum: 179db4aa433462599b69364a17b9fbf266060adde83d442545431e358195b971
2022-04-25T23:10:59+02:00: Size: 9061145
2022-04-25T23:10:59+02:00: Chunk count: 23
2022-04-25T23:10:59+02:00: Upload size: 9061145 (100%)
2022-04-25T23:10:59+02:00: Duplicates: 0+10 (43%)
2022-04-25T23:10:59+02:00: Compression: 38%
2022-04-25T23:10:59+02:00: successfully closed dynamic index 2
2022-04-25T23:10:59+02:00: add blob "/datastore/pbs-gst-01/host/xxx/2022-04-25T19:20:02Z/index.json.blob" (322 bytes, comp: 322)
2022-04-25T23:10:59+02:00: successfully finished backup
2022-04-25T23:10:59+02:00: backup finished successfully
2022-04-25T23:10:59+02:00: TASK OK

Im Datastore liegt dann nur:

 

[chriswol]

Sehr eigenartig. Obwohl ich nichts geändert habe, ist das letztnächtliche Backup vollständig:



Dafür ist der Fehler mit dem fehlenden Ordner im Log ersichtlich. Das Backup hat auch gute 20 Minuten länger gedauert.

2022-04-26T21:20:02+02:00: starting new backup on datastore 'pbs-gst-01': "host/xxx/2022-04-26T19:20:02Z"
2022-04-26T21:20:02+02:00: download 'index.json.blob' from previous backup.
2022-04-26T21:20:02+02:00: GET /previous: 400 Bad Request: Unable to open dynamic index "/datastore/pbs-gst-01/host/xxx/2022-04-25T21:11:14Z/ncdata.pxar.didx" - No such file or directory (os error 2)
2022-04-26T21:20:02+02:00: created new dynamic index 1 ("host/xxx/2022-04-26T19:20:02Z/catalog.pcat1.didx")
2022-04-26T21:20:02+02:00: created new dynamic index 2 ("host/xxx/2022-04-26T19:20:02Z/ncdata.pxar.didx")
2022-04-26T23:35:00+02:00: Upload statistics for 'ncdata.pxar.didx'
2022-04-26T23:35:00+02:00: UUID:
2022-04-26T23:35:00+02:00: Checksum: dacb4a05b09a714cf1894f5c25dc7719f44355b34b3bb9221b3b4bf38c810af0
2022-04-26T23:35:00+02:00: Size: 96539534205
2022-04-26T23:35:00+02:00: Chunk count: 25846
2022-04-26T23:35:00+02:00: Upload size: 84356295977 (87%)
2022-04-26T23:35:00+02:00: Duplicates: 4221+21543 (99%)
2022-04-26T23:35:00+02:00: Compression: 78%
2022-04-26T23:35:00+02:00: successfully closed dynamic index 2
2022-04-26T23:35:00+02:00: Upload statistics for 'catalog.pcat1.didx'
2022-04-26T23:35:00+02:00: UUID:
2022-04-26T23:35:00+02:00: Checksum: 9af8d426ec8c564ae31ced7e01cdeb4b71720f00415429c34d0afb02992c2893
2022-04-26T23:35:00+02:00: Size: 9062384
2022-04-26T23:35:00+02:00: Chunk count: 23
2022-04-26T23:35:00+02:00: Upload size: 9062384 (100%)
2022-04-26T23:35:00+02:00: Duplicates: 0+10 (43%)
2022-04-26T23:35:00+02:00: Compression: 38%
2022-04-26T23:35:00+02:00: successfully closed dynamic index 1
2022-04-26T23:35:00+02:00: add blob "/datastore/pbs-gst-01/host/xxx/2022-04-26T19:20:02Z/index.json.blob" (322 bytes, comp: 322)
2022-04-26T23:35:00+02:00: successfully finished backup
2022-04-26T23:35:00+02:00: backup finished successfully
2022-04-26T23:35:00+02:00: TASK OK

 

[dcsapak]

ok jetzt versteh ichs... der fehler hier ist das 3 separate backups gemacht werden auf die gleiche id mit unterschiedlichen daten
1. backup erzeugt eigentlich 3:
1. ncdb.pxar
2. ncdata.pxar
3. ncconfig.pxar

wenn nun das 2. backup das vorherige sehen will (um möglichst wenig chunks hochladen zu müssen) versucht es das ncdata.pxar.didx zu laden, das gibts aber nicht, nur das ncdb.pxar.didx

ich würde eines von folgenden dingen machen:
* alle pxar files auf einmal backupen (man kann mehrmals das 'foo.pxar:/pfad' angeben)
* falls die sachen wirklich einzeln sein sollen, kann man mit '--backup-id' unterschiedliche ids verwenden, dh man hat für jedes eine eigene backup-gruppe

 

[chriswol]

Vielen Dank für die Hilfe. Das heißt, der Befehl ist dann:

proxmox-backup-client backup ncdata.pxar:/var/www/vhosts/host/httpdocs/data/ ncconfig.pxar:/var/www/vhosts/host/httpdocs/config/ ncdb.pxar:/var/www/vhosts/host/backup/db_dumps/

 

[dcsapak]

genau, so werden alle 3 pxars in einen snapshot gepackt

 

[chriswol]

Ja, hat wunderbar funktioniert und sieht auch gleich viel strukturierter aus.
Vielen Dank für die schnelle Hilfe.