leider wiedermal PBS Performance

C

crmspezi

Renowned Member
Sep 5, 2019
397
29
68
44
Germany/Thueringen
Hallo,
scheinbar seit dem letzten Update 14.1. ist die Performance beim vzdump Backup vom PVE (aktuelles Community Release) zum PBS (auch aktuelles Community Release) viel schlechter geworden. Vorher hatte ich hier wenigstens Faktor 2.

Die Windows VM läuft auf einem 8x SSD ZFS Raid 10, der PBS auf 12x SATA Raidz2, 10GBit/s Link!

Guckst Du hier!
INFO: 4% (147.7 GiB of 3.6 TiB) in 48m 31s, read: 44.2 MiB/s, write: 28.7 KiB/s
INFO: 5% (184.6 GiB of 3.6 TiB) in 1h 2m 23s, read: 45.4 MiB/s, write: 19.7 KiB/s
INFO: 6% (221.6 GiB of 3.6 TiB) in 1h 14m 46s, read: 50.9 MiB/s, write: 1.4 MiB/s
INFO: 7% (258.5 GiB of 3.6 TiB) in 1h 26m 14s, read: 54.9 MiB/s, write: 53.6 KiB/s
INFO: 8% (295.4 GiB of 3.6 TiB) in 1h 37m 36s, read: 55.4 MiB/s, write: 54.1 KiB/s
INFO: 9% (332.3 GiB of 3.6 TiB) in 1h 49m 18s, read: 53.9 MiB/s, write: 297.6 KiB/s
INFO: 10% (369.2 GiB of 3.6 TiB) in 2h 0m 21s, read: 57.0 MiB/s, write: 55.6 KiB/s
INFO: 11% (406.2 GiB of 3.6 TiB) in 2h 11m 7s, read: 58.5 MiB/s, write: 44.4 KiB/s
INFO: 12% (443.1 GiB of 3.6 TiB) in 2h 21m 52s, read: 58.6 MiB/s, write: 50.8 KiB/s
INFO: 13% (480.0 GiB of 3.6 TiB) in 2h 32m 35s, read: 58.8 MiB/s, write: 891.8 KiB/s
INFO: 14% (516.9 GiB of 3.6 TiB) in 2h 43m 20s, read: 58.6 MiB/s, write: 317.5 KiB/s
INFO: 15% (553.8 GiB of 3.6 TiB) in 2h 54m 7s, read: 58.4 MiB/s, write: 50.6 KiB/s
INFO: 16% (590.8 GiB of 3.6 TiB) in 3h 4m 52s, read: 58.6 MiB/s, write: 69.9 KiB/s
INFO: 17% (627.7 GiB of 3.6 TiB) in 3h 15m 23s, read: 59.9 MiB/s, write: 26.0 KiB/s
INFO: 18% (664.6 GiB of 3.6 TiB) in 3h 28m 56s, read: 46.5 MiB/s, write: 2.3 MiB/s
INFO: 19% (701.5 GiB of 3.6 TiB) in 3h 39m 57s, read: 57.2 MiB/s, write: 923.3 KiB/s
INFO: 20% (738.4 GiB of 3.6 TiB) in 3h 50m 39s, read: 58.9 MiB/s, write: 31.9 KiB/s
INFO: 21% (775.3 GiB of 3.6 TiB) in 4h 1m 46s, read: 56.6 MiB/s, write: 110.5 KiB/s
INFO: 22% (812.3 GiB of 3.6 TiB) in 4h 13m 12s, read: 55.1 MiB/s, write: 644.9 KiB/s
INFO: 23% (849.2 GiB of 3.6 TiB) in 4h 24m 5s, read: 57.8 MiB/s, write: 50.2 KiB/s
INFO: 24% (886.1 GiB of 3.6 TiB) in 4h 35m 40s, read: 54.4 MiB/s, write: 100.2 KiB/s
INFO: 25% (923.0 GiB of 3.6 TiB) in 4h 47m 33s, read: 53.0 MiB/s, write: 80.4 KiB/s
INFO: 26% (959.9 GiB of 3.6 TiB) in 4h 59m 23s, read: 53.3 MiB/s, write: 75.0 KiB/s
INFO: 27% (996.9 GiB of 3.6 TiB) in 5h 10m 53s, read: 54.8 MiB/s, write: 1.2 MiB/s
INFO: 28% (1.0 TiB of 3.6 TiB) in 5h 21m 58s, read: 56.9 MiB/s, write: 141.7 KiB/s

etc. ....

Klar, jetzt schmiert mir die VM nicht mehr, wie evtl. vorher, beim vzdump Backup auf den PBS ab (Gott sei Dank), aber die Sicherungszeiten sind wirklich unbrauchbar. Meine Veeam Backups rauschen da nur so mit Faktor 3 durch, deshalb vzdump im PVE nur am WE.

Die Hardware ist nicht das Problem. Ich würde das gern für euch testen. Nur brauche ich hier "Futter".

VG crmspezi
 
Leider nein. Direkt zfs over ISCSI von einer IO lastigen Windows VM auf den gleichen Storage erreiche ich Werte, da träumen andere davon!

Es liegt scheinbar an vzdump.
 
Es geht um Backup mit vzdump auf den PBS. vzdump auf einen anderen Storage hatte ich vor 4 Wochen getestet. das Ergebnis war ähnlich.

Das benchmark tool hatte ich nicht getestet, dafür aber IO lastige VM's die gut auf dem Storage liefen, viel besser als das Backup mit vzdump zum PBS. Ich teste das mit dem Tool gleich. Allerdings glaube ich das meine Aussage das Veeam hier Faktor 3 performt, eine realistische Aussage ist!
 
Ok hier die Werte:

root@nasomv6:~# proxmox-backup-client benchmark --repository ZFSDATA
Password for "root@pam": ***********
fingerprint: 1d:25:33:f0:db:70:45:c9:66:fa:8b:94:e7:af:b5:8d:f8:d5:21:f6:7b:ab:f2:8a:5e:e0:5d:27:5f:fe:6d:73
Are you sure you want to continue connecting? (y/n): y
Uploaded 1060 chunks in 5 seconds.
Time per request: 4721 microseconds.
TLS speed: 888.31 MB/s
SHA256 speed: 401.33 MB/s
Compression speed: 543.82 MB/s
Decompress speed: 883.81 MB/s
AES256/GCM speed: 1832.76 MB/s
Verify speed: 283.92 MB/s
┌───────────────────────────────────┬────────────────────┐
│ Name │ Value │
╞═══════════════════════════════════╪════════════════════╡
│ TLS (maximal backup upload speed) │ 888.31 MB/s (72%) │
├───────────────────────────────────┼────────────────────┤
│ SHA256 checksum computation speed │ 401.33 MB/s (20%) │
├───────────────────────────────────┼────────────────────┤
│ ZStd level 1 compression speed │ 543.82 MB/s (72%) │
├───────────────────────────────────┼────────────────────┤
│ ZStd level 1 decompression speed │ 883.81 MB/s (74%) │
├───────────────────────────────────┼────────────────────┤
│ Chunk verification speed │ 283.92 MB/s (37%) │
├───────────────────────────────────┼────────────────────┤
│ AES256 GCM encryption speed │ 1832.76 MB/s (50%) │
└───────────────────────────────────┴────────────────────┘
root@nasomv6:~#
 
Da habe ich sicher was falsch ausgedrückt was ich meint, sorry. Aber ich meinte ein Backup vom PVE zum PBS. vzdump zu einem SMB Storage bringt auch keine schlechteren oder besseren Werte! Deshalb glaube ich auch, das das Backuptool im PVE das Problem ist. Veeam direkt aus dem VM hat die mindestens 3-fache Performance.
 
Kein einziger Client schafft über 500MByte/s. Wenn ich von einer SSD VM mal 80MB/s per vzdump oder PBS Backup erreiche, habe ich das große Los gezogen.

Das Backup mit vzdump oder PBS ist hier nicht wirklich produktiv einsetzbar. Ich habe mit Shadowprotect aus der VM getestet (dauerhaft über 200MByte/s) und Veeam (150-250MByte/s). Alle Backups werden zum gleichen Backupserver gesendet, nur eben ein anderes VDEV (gleiche Parameter, weil geerbt, keine Kompression, sync off, etc.). Vzdump lief übrigens auf das gleiche VDEV wie Veeam und Shadowprotect, nur eben mit 1/3 der Performance, genau wie Backups auf den PBS Speicher (der PBS ist hier parallel mit OpenMediaVault unter Debian installiert worden, deshalb Freigabe und PBS auf der gleichen Hardware)

Die gleiche schlechte Performance habe ich mit vzdump und PBS Backups auf allen 9 PVE's seit dem Januar Update. Andere Backupziele mit OpenMediaVault (andere NASen) per SMB habe ich auch probiert. Gleiche schlechte Werte. Ich schlussfolgere daraus, der Backupclient im PVE ist das Performance Problem und nicht der Storage oder der PVE.
 
crmspezi said:
Kein einziger Client schafft über 500MByte/s. Wenn ich von einer SSD VM mal 80MB/s per vzdump oder PBS Backup erreiche, habe ich das große Los gezogen.
Click to expand...
Kannst Du bitte ein komplettes Backup-Log posten?

crmspezi said:
Vzdump lief übrigens auf das gleiche VDEV wie Veeam und Shadowprotect, nur eben mit 1/3 der Performance, genau wie Backups auf den PBS Speicher (der PBS ist hier parallel mit OpenMediaVault unter Debian installiert worden, deshalb Freigabe und PBS auf der gleichen Hardware)
Click to expand...
Wie schaut die Performance auf einem lokalen Storage aus?
 
Log kommt morgen von mehreren VM's. VM's, die lokales ZFS (24x SAS 10K im Zfs R10) statt ZFS over iSCSI (8x SSD R10) haben fast identisch schlechte Werte. VM's mit lokalen SSD' sind manchmal bei 100MByte/s. Alle meine VM's sind aber super schnell im Betrieb.

Wie gesagt. Veeam ist der Hammer dagegen.
 
crmspezi said:
Ok hier die Werte:
Click to expand...
Das ist der Benchmark vom PBS server?

Bitte auch vom Proxmox VE host ausführen (Benchmark vom Client zum Server).
 
Hier das Backup-Log über mehrere VM's. Ich habe es gekennzeichnet, ob ZFS local oder ZFS over iSCSI, SSD oder HDD.
 

Attachments

  • Backups2.txt
    97.3 KB · Views: 13
tom said:
Das ist der Benchmark vom PBS server?

Bitte auch vom Proxmox VE host ausführen (Benchmark vom Client zum Server).
Click to expand...
1. HP Server (8x SAS 10K ZFS Raid10)

root@pve02:~# proxmox-backup-client benchmark --repository root@pam@192.168.111.52:ZFSDATA
Password for "root@pam": ***********
Uploaded 552 chunks in 5 seconds.
Time per request: 9086 microseconds.
TLS speed: 461.61 MB/s
SHA256 speed: 272.15 MB/s
Compression speed: 351.02 MB/s
Decompress speed: 410.87 MB/s
AES256/GCM speed: 941.84 MB/s
Verify speed: 165.30 MB/s
+-------------------------------------------------------+
¦ Name ¦ Value ¦
¦-----------------------------------+-------------------¦
¦ TLS (maximal backup upload speed) ¦ 461.61 MB/s (37%) ¦
+-----------------------------------+-------------------¦
¦ SHA256 checksum computation speed ¦ 272.15 MB/s (13%) ¦
+-----------------------------------+-------------------¦
¦ ZStd level 1 compression speed ¦ 351.02 MB/s (47%) ¦
+-----------------------------------+-------------------¦
¦ ZStd level 1 decompression speed ¦ 410.87 MB/s (34%) ¦
+-----------------------------------+-------------------¦
¦ Chunk verification speed ¦ 165.30 MB/s (22%) ¦
+-----------------------------------+-------------------¦
¦ AES256 GCM encryption speed ¦ 941.84 MB/s (26%) ¦
+-------------------------------------------------------+


2. HP Server (25x SAS 10K ZFS Raid10)

root@pve08:~# proxmox-backup-client benchmark --repository root@pam@192.168.111.52:ZFSDATA
Password for "root@pam": ***********
Uploaded 593 chunks in 5 seconds.
Time per request: 8459 microseconds.
TLS speed: 495.80 MB/s
SHA256 speed: 253.84 MB/s
Compression speed: 366.39 MB/s
Decompress speed: 631.71 MB/s
AES256/GCM speed: 891.04 MB/s
Verify speed: 180.39 MB/s
+-------------------------------------------------------+
¦ Name ¦ Value ¦
¦-----------------------------------+-------------------¦
¦ TLS (maximal backup upload speed) ¦ 495.80 MB/s (40%) ¦
+-----------------------------------+-------------------¦
¦ SHA256 checksum computation speed ¦ 253.84 MB/s (13%) ¦
+-----------------------------------+-------------------¦
¦ ZStd level 1 compression speed ¦ 366.39 MB/s (49%) ¦
+-----------------------------------+-------------------¦
¦ ZStd level 1 decompression speed ¦ 631.71 MB/s (53%) ¦
+-----------------------------------+-------------------¦
¦ Chunk verification speed ¦ 180.39 MB/s (24%) ¦
+-----------------------------------+-------------------¦
¦ AES256 GCM encryption speed ¦ 891.04 MB/s (24%) ¦
+-------------------------------------------------------+


3. Eigenbau Server (ZFS over iSCSI)

root@pve05:~# proxmox-backup-client benchmark --repository root@pam@192.168.111.52:ZFSDATA
Uploaded 1189 chunks in 5 seconds.
Time per request: 4211 microseconds.
TLS speed: 995.95 MB/s
SHA256 speed: 2078.84 MB/s
Compression speed: 798.65 MB/s
Decompress speed: 1376.57 MB/s
AES256/GCM speed: 3570.18 MB/s
Verify speed: 819.51 MB/s
+---------------------------------------------------------+
¦ Name ¦ Value ¦
¦-----------------------------------+---------------------¦
¦ TLS (maximal backup upload speed) ¦ 995.95 MB/s (81%) ¦
+-----------------------------------+---------------------¦
¦ SHA256 checksum computation speed ¦ 2078.84 MB/s (103%) ¦
+-----------------------------------+---------------------¦
¦ ZStd level 1 compression speed ¦ 798.65 MB/s (106%) ¦
+-----------------------------------+---------------------¦
¦ ZStd level 1 decompression speed ¦ 1376.57 MB/s (115%) ¦
+-----------------------------------+---------------------¦
¦ Chunk verification speed ¦ 819.51 MB/s (108%) ¦
+-----------------------------------+---------------------¦
¦ AES256 GCM encryption speed ¦ 3570.18 MB/s (98%) ¦
+---------------------------------------------------------+
 
Ist das der cluster an dem du das gemacht hast? =

Proxmox USB Bootstick mit log2ram oder folder2ram​

 
Naja gibt es eine Möglichkeit das du das rückgängig machst und dann nochmal testest. Die Werte passen für ein usb Port Geschwindigkeit.
Und ja ist weit hergeholt aber es gibt auch Leute die eine Standart Cluster nutzen in deiner Config Art und haben keine Probleme so wie du.
 
Code: 
### 8x SSD Raid10 ZFS over iSCSI ###
INFO:  96% (831.4 GiB of 866.0 GiB) in  1h 42m  6s, read: 318.4 MiB/s, write: 0 B/s
INFO:  97% (840.1 GiB of 866.0 GiB) in  1h 42m 35s, read: 305.0 MiB/s, write: 0 B/s
INFO:  98% (848.9 GiB of 866.0 GiB) in  1h 43m  5s, read: 300.1 MiB/s, write: 682.7 KiB/s
INFO:  99% (857.6 GiB of 866.0 GiB) in  1h 43m 32s, read: 329.8 MiB/s, write: 0 B/s
INFO: backup was done incrementally, reused 713.79 GiB (82%)
INFO: transferred 866.00 GiB in 6245 seconds (142.0 MiB/s)

### 8xSATA Exos X12 7.2K Raid10 ZFS over iSCSI ###
INFO:  79% (276.6 GiB of 350.0 GiB) in  1h 12m  1s, read: 416.0 MiB/s, write: 0 B/s
INFO:  80% (280.2 GiB of 350.0 GiB) in  1h 12m 10s, read: 406.7 MiB/s, write: 0 B/s
INFO:  81% (283.9 GiB of 350.0 GiB) in  1h 12m 25s, read: 250.7 MiB/s, write: 33.3 MiB/s
INFO:  82% (287.1 GiB of 350.0 GiB) in  1h 12m 33s, read: 419.0 MiB/s, write: 0 B/s
INFO: backup was done incrementally, reused 4.37 TiB (97%)
INFO: transferred 350.00 GiB in 4711 seconds (76.1 MiB/s)
I suppose it's not the storage per se, since the Exos seem to perform better then the SSDs.

Are there any logs left, from before the 14.1.?
Could you check the apt log to see what packages have been updated?
And what's the current pveversion -v?
 
Auf allen PVE's ist die Version gleich:


root@pve11:~# pveversion -v
proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-3 (running version: 6.3-3/eee5f901)
pve-kernel-5.4: 6.3-3
pve-kernel-helper: 6.3-3
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.73-1-pve: 5.4.73-1
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.4-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.16-pve1
libproxmox-acme-perl: 1.0.7
libproxmox-backup-qemu0: 1.0.2-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-2
libpve-guest-common-perl: 3.1-4
libpve-http-server-perl: 3.1-1
libpve-storage-perl: 6.3-4
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.3-1
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.6-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-3
pve-cluster: 6.2-1
pve-container: 3.3-2
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.1-3
pve-ha-manager: 3.1-1
pve-i18n: 2.2-2
pve-qemu-kvm: 5.1.0-8
pve-xtermjs: 4.7.0-3
pve-zsync: 2.0-4
qemu-server: 6.3-3
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.5-pve1
root@pve11:~#

Ich suche morgen ältere Protokolle. Danke erstmal.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back