Task Log läuft zu

[ramba.zamba]

Ich sichere auf einem PBS ein CephFS mittels Proxmox Backup Client. Das Skript dazu sieht wie folgt aus:

export PBS_REPOSITORY="cephfs@pbs@192.168.1.1:backup"
export PBS_PASSWORD_FILE="/etc/pbs-backup/.key"
export PBS_FINGERPRINT="<...>"
export PBS_NAMESPACE="cephfs"
export PBS_LOG="warn"

# huge file repository requires specific change detection mode
proxmox-backup-client backup cephfs.pxar:/mnt/cephfs \
    --change-detection-mode metadata

Das CephFS hat aktuell ca. 4 TB Größe. Mein Problem: Das Task-Log in PBS wächst täglich um knapp 3 GB und langsam wird es eng. In den Logs stehen Millionen Zeilen à la:

2026-07-04T21:03:32+02:00: POST /dynamic_chunk
2026-07-04T21:03:32+02:00: upload_chunk done: 1355172 bytes, 047700077bf5083f9bc9829d82d5dfb356a449c038115614e758115e8a276276
2026-07-04T21:03:32+02:00: POST /dynamic_chunk
2026-07-04T21:03:32+02:00: POST /dynamic_chunk
2026-07-04T21:03:32+02:00: upload_chunk done: 1345385 bytes, d7737bd3be6e499e01777a6952ee046e2245edbea570cb67440b6d7004191465
2026-07-04T21:03:32+02:00: upload_chunk done: 1076244 bytes, 333f05f6df91d9cc57fc328df3c9c4326f38495a2122b2250360203355e24eab
2026-07-04T21:03:32+02:00: POST /dynamic_chunk
2026-07-04T21:03:32+02:00: upload_chunk done: 1096173 bytes, f3718d8b033839a823da2f37f1b9e99459d628d6779522fb9422f0147a891393
2026-07-04T21:03:32+02:00: POST /dynamic_chunk
2026-07-04T21:03:32+02:00: POST /dynamic_chunk
2026-07-04T21:03:32+02:00: upload_chunk done: 390300 bytes, e2db2e443be9ba1b9b3c36ed698fd4f93c86773096e4be924b927a176226db20
2026-07-04T21:03:32+02:00: upload_chunk done: 1054955 bytes, 8afc82d2ab4529d36733afd5a5a64a9c9a493e1cd60c0f2b0c3092cb16f3be66
2026-07-04T21:03:32+02:00: PUT /dynamic_index
2026-07-04T21:03:32+02:00: dynamic_append 120 chunks
2026-07-04T21:03:32+02:00: successfully added chunk 3e04ea17d2e2d5e583c92da277c2d648460df26aa1a18a6da7eacb6090c698b9 to dynamic index 2 (offset 890058309, size 1281707)
2026-07-04T21:03:32+02:00: successfully added chunk 2708abc07dbdb9eab02afde6ba22ed829e5f62ed4ecc2d765501b8d32598573b to dynamic index 2 (offset 891340016, size 1110375)
2026-07-04T21:03:32+02:00: successfully added chunk 52a26294dc0e028cb83b055534e4166aed86c7546270902262719d9b9bb080e7 to dynamic index 2 (offset 892450391, size 1091739)
2026-07-04T21:03:32+02:00: successfully added chunk b783b070d54a9b42a26909a09681cf540773d5e2248ea29f2fcbfd2e0bef1e16 to dynamic index 2 (offset 893542130, size 1098224)
2026-07-04T21:03:32+02:00: successfully added chunk 0655495f0348e484d7a3f39e4160ced7f60536337f3eb33254346f41301877a0 to dynamic index 2 (offset 894640354, size 1093046)
2026-07-04T21:03:32+02:00: successfully added chunk 047700077bf5083f9bc9829d82d5dfb356a449c038115614e758115e8a276276 to dynamic index 2 (offset 895733400, size 1355172)
2026-07-04T21:03:32+02:00: successfully added chunk d7737bd3be6e499e01777a6952ee046e2245edbea570cb67440b6d7004191465 to dynamic index 2 (offset 897088572, size 1345385)
2026-07-04T21:03:32+02:00: successfully added chunk 333f05f6df91d9cc57fc328df3c9c4326f38495a2122b2250360203355e24eab to dynamic index 2 (offset 898433957, size 1076244)

Ich habe bereits mit folgenden Optionen experimentiert:

• Am Client: export PBS_LOG="warn"
• Am Server: proxmox-backup-manager node update --task-log-max-days 14

Beides führt nicht zum gewünschten Effekt. Was kann ich noch tun?

 

[ramba.zamba]

Jemand hier, der ebenfalls größere Datenmengen (mit Millionen von Dateien) von CephFS sichert und helfen kann?

 

[Bu66as]

Das PBS_LOG am Client greift da gar nicht, die Zeilen kommen vom Server (proxmox-backup-proxy), das ist das Task-Log des Backup-Workers. Und task-log-max-days ist nur die Aufbewahrung alter Logs, es macht das Log eines einzelnen Laufs nicht kleiner. Dein Problem ist ja genau die Größe pro Lauf.

Diese Per-Chunk-Zeilen (POST /dynamic_chunk, upload_chunk done, successfully added chunk...) sieht man normal nicht in dem Umfang. Riecht danach, dass der Proxy mit Debug-Logging läuft. Schau mal ob irgendwo ein RUST_LOG=debug o.ä. gesetzt ist, etwa in /etc/environment oder als systemd-Override (systemctl cat proxmox-backup-proxy). Falls ja, raus damit und Proxy neu starten.

Welche PBS-Version läuft bei dir, und war das von Anfang an so laut oder erst seit einem Update? Wenn das tatsächlich das Default-Verhalten mit metadata-Mode + Millionen Chunks ist, dann mach einen Bug-Report auf bugzilla.proxmox.com.

 

[ramba.zamba]

Ich nutze PBS 4.2.2. Ja, das war von Anfang an so, ich habe am Grundsystem nichts umkonfiguriert. Es tritt halt nur bei dem CephFS-Backup mit seinen Millionen Dateien so massiv auf. Und ja, es scheint standardmäßig ein PBS_LOG=debug zu greifen. Ich habe es jetzt auf dem Server bereits lösen können, indem ich den SystemD-Service angepasst habe: Link