Garbage Collection

[Falk R.]

Hallo,

weiß jemand ob man das Garbage Collection auf mehr CPU Kerne verteilen kann? Während des GC läuft immer 1 Kern auf 100% und der Rest der Kerne bummelt nur rum.
Die Disks sind auch nur 5-7% Busy, also könnte da noch etwas gehen.

 

[Chris]

Hi,

Während des GC läuft immer 1 Kern auf 100% und der Rest der Kerne bummelt nur rum.

Ich vermute das ist das bearbeiten den jeweiligen index files, in welcher Phase tritt den die hohe CPU Auslastung ein?

Was macht denn der Prozess da? Eventuell gibt ein strace -fp $(pidof proxmox-backup-proxy etwas mehr Einsicht.

Bitte eventuell das issue zu Garbage Collection Optimierung ergänzen, siehe https://bugzilla.proxmox.com/show_bug.cgi?id=5331

 

[Falk R.]

Hi,

Ich vermute das ist das bearbeiten den jeweiligen index files, in welcher Phase tritt den die hohe CPU Auslastung ein?

Was macht denn der Prozess da? Eventuell gibt ein strace -fp $(pidof proxmox-backup-proxy etwas mehr Einsicht.

Bitte eventuell das issue zu Garbage Collection Optimierung ergänzen, siehe https://bugzilla.proxmox.com/show_bug.cgi?id=5331

Hi, das tritt immer in der ersten Phase beim indizieren auf.

Ein strace -fp $(pidof proxmox-backup-proxy bringt gar keinen Output.

 

[Chris]

Hi, das tritt immer in der ersten Phase beim indizieren auf.

Ein strace -fp $(pidof proxmox-backup-proxy bringt gar keinen Output.

Ah ja, sorry: Da hat sich ein copy/paste Fehler eingeschlichen, es fehlt die schließende runde Klammer am Ende, sollte ein strace -fp $(pidof proxmox-backup-proxy) sein.

Habe das nun bei einem meiner Setups selbst etwas genauer angeschaut und auch ein flamegraph dazu generiert um im Detail zu sehen wo hier die meiste CPU Zeit gebrauch wird. utimenstat braucht hier fast ausschlißlich die CPU um die access time des chunks zu aktualisiert und somit den chunk als in Verwendung markiert. Das ist soweit jedoch auch alles bekannt und erwartet, war nur etwas verwundert wegen der 100% CPU Auslastung, aber das sind hier die ganzen in-Kernel (bei mir ZFS) path lookups der chunks.

Generell ließe sich das sehr wohl parallelisieren soweit ich das sehe, allerdings ist zu bedenken, dass dadurch eine garbage collection kurzzeitig sehr hohe Last erzeugen kann. Also sollte so ein feature wohl eine config option des garbage collection jobs werden. Also am besten ein issue hierzu im bugtracker erstellen und diesen thread mit einem link referenzieren, dann können wir das weiter evaluieren.