Zugriff auf NFS und USB sehr langsam (Backup)

[Soc]

Hallo zusammen,

ich habe gestern einen 3 Intel Nuc im Cluster aufgenommen.
Für das Backup nutze ich ein SHR auf einen NAS und eine lokal angeschlossene USB-Platte.

Der Backup von einer VM (habe aktuell nur eine dort am laufen) dauert fast 30 Minuten (Snapshot Mode).
Auf einen anderen NUC (gleiche Hardwareausstattung) läuft der Backup von 5 VMs in 5 Minuten.

Laut Log ist der Zugriff extrem langsam (unabhängig ob lokal angeschlossene USB oder auf den SHR).
Das folgende Beispiel ist ein Backup auf meinen NAS. Das Log sieht aber auch nicht anders aus wenn ich den Backup auf eine lokale USB mache.

Was hier auffällt, ist die read/write Rate die auf den pve3 sehr gering ist.

Hier ein Log von dem langsamen NUC (pve3 - NFS pveshrbck):

NFO: starting new backup job: vzdump 800 --node pve3 --compress zstd --storage pveshrbck --remove 0 --mode snapshot --mailto xxxx@xxxx.xxx
INFO: Starting Backup of VM 800 (qemu)
INFO: Backup started at 2020-05-20 16:08:35
INFO: status = running
INFO: VM Name: D10TEST
INFO: include disk 'scsi0' 'pveshare:800/vm-800-disk-0.qcow2' 16G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating archive '/mnt/pve/pveshrbck/dump/vzdump-qemu-800-2020_05_20-16_08_35.vma.zst'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task 'ab20a5c3-7b27-4016-b179-5c7a0695302a'
INFO: resuming VM again
INFO: status: 0% (30932992/17179869184), sparse 0% (22929408), duration 3, read/write 10/2 MB/s
INFO: status: 1% (172818432/17179869184), sparse 0% (122585088), duration 17, read/write 10/3 MB/s
INFO: status: 2% (353304576/17179869184), sparse 0% (143912960), duration 35, read/write 10/8 MB/s
INFO: status: 3% (517406720/17179869184), sparse 0% (159850496), duration 55, read/write 8/7 MB/s
INFO: status: 4% (689897472/17179869184), sparse 1% (173105152), duration 77, read/write 7/7 MB/s
INFO: status: 5% (867696640/17179869184), sparse 1% (176697344), duration 95, read/write 9/9 MB/s
INFO: status: 6% (1040187392/17179869184), sparse 1% (216657920), duration 124, read/write 5/4 MB/s
INFO: status: 7% (1204420608/17179869184), sparse 1% (231440384), duration 142, read/write 9/8 MB/s
INFO: status: 8% (1380057088/17179869184), sparse 1% (251551744), duration 160, read/write 9/8 MB/s
INFO: status: 9% (1550385152/17179869184), sparse 1% (283582464), duration 182, read/write 7/6 MB/s
INFO: status: 10% (1725562880/17179869184), sparse 1% (322048000), duration 200, read/write 9/7 MB/s
INFO: status: 11% (1894514688/17179869184), sparse 2% (373145600), duration 220, read/write 8/5 MB/s
INFO: status: 12% (2066808832/17179869184), sparse 3% (545439744), duration 239, read/write 9/0 MB/s
INFO: status: 13% (2236416000/17179869184), sparse 4% (706297856), duration 256, read/write 9/0 MB/s
INFO: status: 14% (2412249088/17179869184), sparse 4% (752644096), duration 274, read/write 9/7 MB/s
INFO: status: 15% (2583101440/17179869184), sparse 4% (822362112), duration 291, read/write 10/5 MB/s
INFO: status: 16% (2753363968/17179869184), sparse 5% (992624640), duration 310, read/write 8/0 MB/s
INFO: status: 17% (2928541696/17179869184), sparse 6% (1167802368), duration 327, read/write 10/0 MB/s
INFO: status: 18% (3093430272/17179869184), sparse 7% (1332690944), duration 343, read/write 10/0 MB/s
...
INFO: status: 99% (17013473280/17179869184), sparse 87% (14985924608), duration 1709, read/write 9/0 MB/s
INFO: status: 100% (17179869184/17179869184), sparse 88% (15152320512), duration 1726, read/write 9/0 MB/s
INFO: transferred 17179 MB in 1726 seconds (9 MB/s)
INFO: archive file size: 723MB
INFO: Finished Backup of VM 800 (00:28:46)
INFO: Backup finished at 2020-05-20 16:37:21
INFO: Backup job finished successfully
TASK OK

Hier ein Log von dem "schnellen" NUC (pve2 - NFS pveshrbck):

INFO: starting new backup job: vzdump --mailnotification always --compress zstd --mailto xxxx@xxxx.xxx --mode snapshot --node pve2 --storage pveshrbck --all 1 --quiet 1
INFO: Starting Backup of VM 500 (qemu)
INFO: Backup started at 2020-05-20 08:30:29
INFO: status = stopped
INFO: backup mode: stop
INFO: ionice priority: 7
INFO: VM Name: graylog
INFO: include disk 'scsi0' 'pveshare:500/vm-500-disk-0.qcow2' 16G
INFO: creating archive '/mnt/pve/pveshrbck/dump/vzdump-qemu-500-2020_05_20-08_30_29.vma.zst'
INFO: starting kvm to execute backup task
INFO: started backup task 'ee99579b-53fb-4ccd-9786-6998388bd0d0'
INFO: status: 1% (253165568/17179869184), sparse 0% (133447680), duration 3, read/write 84/39 MB/s
INFO: status: 2% (387710976/17179869184), sparse 0% (145842176), duration 6, read/write 44/40 MB/s
INFO: status: 3% (519766016/17179869184), sparse 0% (153370624), duration 9, read/write 44/41 MB/s
INFO: status: 4% (719912960/17179869184), sparse 0% (158429184), duration 14, read/write 40/39 MB/s
INFO: status: 5% (886308864/17179869184), sparse 0% (166912000), duration 18, read/write 41/39 MB/s
INFO: status: 6% (1053163520/17179869184), sparse 1% (205402112), duration 22, read/write 41/32 MB/s
INFO: status: 7% (1207697408/17179869184), sparse 1% (218513408), duration 26, read/write 38/35 MB/s
INFO: status: 8% (1391198208/17179869184), sparse 1% (239906816), duration 30, read/write 45/40 MB/s
INFO: status: 9% (1576468480/17179869184), sparse 1% (268570624), duration 34, read/write 46/39 MB/s
INFO: status: 10% (1723662336/17179869184), sparse 1% (286986240), duration 38, read/write 36/32 MB/s
...
INFO: status: 41% (7075725312/17179869184), sparse 20% (3503005696), duration 108, read/write 108/23 MB/s
INFO: status: 59% (10213064704/17179869184), sparse 38% (6640336896), duration 111, read/write 1045/0 MB/s
INFO: status: 76% (13134397440/17179869184), sparse 55% (9561669632), duration 114, read/write 973/0 MB/s
INFO: status: 94% (16244473856/17179869184), sparse 73% (12671746048), duration 117, read/write 1036/0 MB/s
INFO: status: 100% (17179869184/17179869184), sparse 79% (13607141376), duration 118, read/write 935/0 MB/s
INFO: transferred 17179 MB in 118 seconds (145 MB/s)
INFO: stopping kvm after backup task
INFO: archive file size: 1.41GB
INFO: Finished Backup of VM 500 (00:02:00)
INFO: Backup finished at 2020-05-20 08:32:29
...

Anfänglich hatte ich das Netzwerk im Verdacht, konnte das aber ausschliessen da ein hochladen eines Image auf eine lokale SSD sehr zügig ging.
Des weiteren habe ich auch die Durchsatzraten bei einer lokal angeschlossenen USB-Platte.

Wie kann ich rausfinden warum der Transfer der Daten so lange dauert?

 

[Soc]

Habe es weiter eingrenzen können.
Das Problem ist der Zugriff auf das NAS auf der das Image liegt.

Habe die VM gecloned und auf local abgelegt.
Danach ging der Backup auf das andere NAD sowie auch auf die USB und die eingebaute SSD ruckzuck.

Das Share auf denen alle Images liegen ist in allen nodes verfügbar. Bei 2 nodes ist das Backup ok, bei den dritten leider extrem langsam.

 

[gmed]

Wie ist das Share mit dem VM-Images eingebunden?
Was für ein NAS stellt das Share der Images zur Verfügung?
Was für ein Switch hängt zwischen den NUCs und dem NAS?

 

[Soc]

Wie ist das Share mit dem VM-Images eingebunden?

Als NFS.

Was für ein NAS stellt das Share der Images zur Verfügung?

SYNOLOGY RS816

Was für ein Switch hängt zwischen den NUCs und dem NAS?

Alle NUCs hängen an einen 8-Port non-management Switch von TP-Link.
Der wiederum an einen TP-Link TL SG3216 an den auch die NAS direkt hängen.

 

[gmed]

Binde das Share der Synology mal testweise per CIFS ein.
Und evtl. kann man Bandweitenlimits angeben, so dass nicht der Erste alles lahm legt und für den Rest nichts übrig bleibt?