Fehler: upload chunk to s3 backend - upload failed: unexpected status code 504 Gateway Timeout

[dleidert]

Ich habe zum Testen eine Proxmox Backup Server Instanz A auf einem Hetzner VPS CX33 aufgesetzt und mit deren Object Storage verbunden und einen Datastore angelegt. Das lokale Cache-Verzeichnis ist /srv/s3/cache. Der CX33 hat insg. 80GB an Speicherplatz. Das hat auch soweit alles geklappt. Jetzt versuche ich, von einer anderen Instanz B einen Datastore nach A zu synchronisieren (via pull-Mechanismus). Bei bestimmten Objekten sehe ich jedoch folgenden Fehler:

2025-11-26T04:25:47+01:00: ----
2025-11-26T04:25:47+01:00: Syncing datastore 'xxx', namespace 'xxx' into datastore 'xxx', namespace 'xxx'
2025-11-26T04:25:47+01:00: found 1 groups to sync (out of 1 total)
2025-11-26T04:25:47+01:00: sync snapshot host/xxx/2025-11-12T01:00:03Z
2025-11-26T04:25:47+01:00: sync archive root.pxar.didx
2025-11-26T04:33:14+01:00: removing backup snapshot "/srv/s3/cache/xxx/host/xxx/2025-11-12T01:00:03Z"
2025-11-26T04:33:14+01:00: percentage done: 33.33% (1/3 snapshots)
2025-11-26T04:33:14+01:00: sync group host/xxx failed - failed to upload chunk to s3 backend - upload failed: unexpected status code 504 Gateway Timeout
2025-11-26T04:33:14+01:00: Finished syncing namespace xxx, current progress: 2 groups, 5 snapshots
2025-11-26T04:33:14+01:00: ----

Andere Instanzen (ohne S3) können sich die Backups von B holen. Die Fehlermeldung zusammen mit dem Begriff "proxmox" bringt leider gar keine Ergebnisse bei einer Suche. Habt ihr Ideen oder Vorschläge oder Lösungen?

 

[zemaphore]

Hey,

das bedeutet, dass der Upload des chunks zum Object Storage von Hetzner fehlgeschlagen ist - also seitens Hetzner etwas kurzzeitig nicht gestimmt hat. Ich teste selbst auch gerade den Hetzner Object Storage mit PBS und habe auch immer mal wieder die 504 Fehler seitens Hetzner.

Keine Lösung bisher. Als nächstes will ich mit dem Rate Limiting was in 4.0.22 dazugekommen ist spielen. Eventuell mag es der S3 Store ja etwas "langsamer".

 

[dleidert]

Ich habe jetzt den Sync auf 10MiB/s beschränkt und aktuell läuft es stabil und ohne Fehlermeldung. Ich werde im Anschluss noch höher gehen und schauen, wo die Grenzen liegen. Hetzner habe ich auch angeschrieben. Mal sehen, was von da zurückkommt.

Proxmox markiert den Task trotz der Gateway-Fehlermeldung (und damit unvollständigem Sync) als erfolgreich. Das scheint mir ein Bug zu sein. Edit: Folgende Tasks wurden korrekt als fehlgeschlagen markiert. Da hat mein Eindruck nicht gestimmt.

 

[zemaphore]

Ich glaube PBS hat eine Retry-Policy und hat eventuell versucht den chunk nochmals hochzuladen... was dann erfoglreich war?

 

[dleidert]

Die entsprechenden Verzeichnisse waren leer. Nach dem Gateway-Fehler bricht PBS den Synchronisationsversuch für den Host ab und macht beim nächsten weiter. Am Ende wird der Task dennoch als erfolgreich markiert. Edit: Folgende Tasks wurden korrekt als fehlgeschlagen markiert.