tape backup write performance - shoe shining

[butterblume78]

Hello together,

we try to backup datastore to tape, but the write stream falls below the minimum speed.
The required minimum write speed for Tandberg LTO-6 drive is 54 MB/s


System:
CPU: 2x Intel(R) Xeon(R) CPU E5-2660 v4 @ 2.00GHz
RAM: 256G
Storage: mdadm, software raid6, 10 x SATA SSD 960GB


fio benchmark;
fio --filename=/mnt/storage/test --size=500M --direct=1 --rw=randrw --bs=4k --ioengine=libaio --iodepth=256 --runtime=120 --numjobs=1 --time_based --group_reporting --name=iops-test-job --eta-newline=1

result: ...read: IOPS=41.9k, BW=164MiB/s ...


The reported write speed is 16 MB/s - see attached screenshot. - whole time.
Interference from other utilization is excluded.
The backup task of 5TB lasts 3days.


The system requirements are met.
I don't see any possibilities for performance tuning.


My questions:

Is there a bug?
Can someone point me in the right direction?
Why is this so slow?

 

[waltar]

Is your LTO-6 directly connected to that mentioned host with sw-raid6, right ?
What does top show against the backup procxess while it's running ?
What does iostat -xm 1 show same time ? (apt install sysstat).

 

[butterblume78]

Yes, directly connected LTO-6 drive

---

top # while tape writing

top - 10:21:11 up 205 days, 16:27, 2 users, load average: 0,04, 0,08, 0,03
Tasks: 624 total, 1 running, 623 sleeping, 0 stopped, 0 zombie
%CPU(s): 0,0 us, 0,1 sy, 0,0 ni, 99,9 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st
MiB Spch: 257646,1 total, 220913,7 free, 9681,3 used, 28862,1 buff/cache
MiB Swap: 7807,0 total, 7804,2 free, 2,8 used. 247964,8 avail Spch

PID USER PR NI VIRT RES SHR S %CPU %MEM ZEIT+ BEFEHL
1627 backup 20 0 17,2g 143432 28364 S 3,6 0,1 14d+10h proxmox-backup-
1469 root 20 0 3964296 34420 22848 S 0,7 0,0 4d+17h proxmox-backup-
...

---

iostat -xm 1 # while tape writing

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,02    0,00    0,09    0,02    0,00   99,88

Device            r/s     rMB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wMB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dMB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
md0              0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,00
md1              0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,00
md127           30,00     14,25     0,00   0,00    0,53   486,40    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,02   2,40
md2              0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,00
sda              0,00      0,00     0,00   0,00    0,00     0,00    1,00      0,00     0,00   0,00    9,00     0,50    0,00      0,00     0,00   0,00    0,00     0,00    1,00    9,00    0,02   1,20
sdb              0,00      0,00     0,00   0,00    0,00     0,00    1,00      0,00     0,00   0,00    9,00     0,50    0,00      0,00     0,00   0,00    0,00     0,00    1,00    9,00    0,02   1,20
sdc              6,00      1,37     0,00   0,00    0,83   233,33    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   1,20
sdd              6,00      1,50     0,00   0,00    0,83   256,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   1,20
sde              4,00      1,00     0,00   0,00    1,00   256,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,80
sdf              4,00      0,90     0,00   0,00    1,00   231,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,80
sdg              4,00      1,00     0,00   0,00    1,00   256,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,80
sdh              6,00      1,50     0,00   0,00    1,00   256,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   1,20
sdi              4,00      2,00     0,00   0,00    1,25   512,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   2,00
sdj              4,00      2,00     0,00   0,00    1,25   512,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   2,00
sdk              4,00      1,48     0,00   0,00    1,25   379,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   2,00
sdl              3,00      1,50     0,00   0,00    1,33   512,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,01   1,60

 

[butterblume78]

no issues with controller, drive connection so far
I cannot see something from

journalctl
# or
dmesg -T

 

[dietmar]

Also, do you run the latest version of PBS?

 

[butterblume78]

Also, do you run the latest version of PBS?

Yes, before 3.1-4 now 3.2-7.
The behavior seems to be the same.

 

[waltar]

Run a cleaner tape ! Do you run cleaner tapes regulary, eg. every week ?

 

[butterblume78]

Run a cleaner tape ! Do you run cleaner tapes regulary, eg. every week ?

Tape Library: "Auto Clean" configured
Drive Status: "No Cleaning Required"


There are no logged drive or write errors reported by the library.
The Libary can be also successfully utilized by other hardware.