Backup extrem langsam nach unbestimmter Zeit - Einbruch Transfer

FirstSoul

Active Member
Oct 17, 2020
8
0
41
Moin,

ich bin langsam verzweifelt und komme nicht weiter. Ich habe meine NAS (TrueNAS VM) auf eine OMV VM umgestellt. Dann habe ich in dem Zuge meine TrueNAS Bare-Metal Maschine mit einer PBS VM durch einen PBS Bare-Metal ersetzt.
Jetzt versuche ich seit Wochen mit viel hin und her und analysen und Hardware tausch und hier und da die OMV VM mit PBS zu sichern. Mal läuft es bis 10% mit 400 Mbit/s, dann bricht es auf 50% ein und dann auf ganze 15-30 Mbit/s.
Ich bin mit dem Thema schon so erschöpft, dass ich es nicht mal auf Englisch verfassen kann. CoPilot bzw. ChatGPT hat viel geholfen aber zu keinem Erfolg geführt.
Vorher habe ich nur meinem VMs mit der PBS VM gesichert und gut. Die beiden TrueNAS VMs haben sich untereinander abgeglichen. Fand ich als ich mal was wiederherstellen musste einfach mist... Daher der Wandel.
Die VDisk der OMV VM ist knapp 13 TB groß. Das muss der doch schaffen...

PVE und PBS sind latest Community.

Kommen wir zum Hardwareaufbau:
Die OMV VM liegt auf meinem PVE, dessen Storage ist ein ZFS RAID Mirror mit 2x 12TB und 2x8TB. Angebunden an das Mainboard (ASRock Rack X570D4U-2L2T) an SATA. Das läuft sehr gut und performant. Schon seit Jahren.
1765401214693.png
1765401256193.png

Kommen wir zum Backupserver:

Das ist ein HP ProLiant DL320e Gen8 v2 Server. Intel(R) Xeon(R) CPU E3-1275L v3 @ 2.70GHz 4 Kerne/8Threads, 32GB RAM. 2x SATA SSD als Boot direkt auf dem Board.
Auf dem Board ist ein LSI 9200-8e gesteckt, dort hängen die externen SATA Gehäuse per SFF-8088 --> 4x SATA dran. Insgesamt sind es 8x 4 TB 7200er SATA Festplatten.
Diese sind in einem ZFS RAIDZ2. Alles nach Doku und Standard per GUI angelegt. Keine Besonderheiten. Frisch installiert.
1765401676489.png
1765401706285.png


Hier mal ein iostat:

1765401516693.png

1765401587258.png


Netzwerktechnisch sind die beiden Server per 10Gbits verbunden. iPerf hat mir auch 9 Gbit rausgeschmissen. Aber hier noch mal ein neuer Test zwischen PBS und PVE:
1765401827090.png

Somit schließe ich das aus.
HBA schließe ich auch aus. Der ist auch getauscht. Festplatten sind untereinander auch getauscht also schließe ich Gehäuse und Ports aus.
Festplatten bekommen insgesamt 4x 12 V Lanes von einem eigenem 450W Netzteil mit 20A auf der 12V Line. Somit schließe ich ein Stromproblem aus.

Hier noch die Log vom PVE bzgl. des Backups:

INFO: starting new backup job: vzdump 101 --notification-mode notification-system --notes-template '{{guestname}}' --fleecing 0 --all 0 --mode snapshot --storage backupstore --node pve
INFO: Starting Backup of VM 101 (qemu)
INFO: Backup started at 2025-12-10 20:27:40
INFO: status = running
INFO: VM Name: OMV
INFO: include disk 'scsi0' 'datastore:vm-101-disk-1' 16G
INFO: include disk 'scsi1' 'filestore:vm-101-disk-0' 13000G
INFO: include disk 'efidisk0' 'datastore:vm-101-disk-0' 1M
INFO: include disk 'tpmstate0' 'datastore:vm-101-disk-2' 4M
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/101/2025-12-10T19:27:40Z'
INFO: attaching TPM drive to QEMU for backup
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '8142f300-86ce-44de-9ec0-98a575a02bd3'
INFO: resuming VM again
INFO: efidisk0: dirty-bitmap status: created new
INFO: scsi0: dirty-bitmap status: created new
INFO: scsi1: dirty-bitmap status: created new
INFO: tpmstate0-backup: dirty-bitmap status: created new
INFO: 0% (1.2 GiB of 12.7 TiB) in 3s, read: 409.3 MiB/s, write: 401.3 MiB/s
INFO: 1% (130.3 GiB of 12.7 TiB) in 5m 32s, read: 401.9 MiB/s, write: 375.9 MiB/s
INFO: 2% (260.4 GiB of 12.7 TiB) in 10m 52s, read: 416.1 MiB/s, write: 410.5 MiB/s
INFO: 3% (390.6 GiB of 12.7 TiB) in 17m 2s, read: 360.4 MiB/s, write: 355.4 MiB/s
INFO: 4% (520.9 GiB of 12.7 TiB) in 22m 37s, read: 398.3 MiB/s, write: 392.8 MiB/s
INFO: 5% (651.1 GiB of 12.7 TiB) in 28m 34s, read: 373.4 MiB/s, write: 366.4 MiB/s
INFO: 6% (781.2 GiB of 12.7 TiB) in 34m 11s, read: 395.5 MiB/s, write: 387.4 MiB/s
INFO: 7% (911.4 GiB of 12.7 TiB) in 39m 44s, read: 400.1 MiB/s, write: 392.1 MiB/s
INFO: 8% (1.0 TiB of 12.7 TiB) in 49m 20s, read: 231.0 MiB/s, write: 227.6 MiB/s

Backup Start um 20.27 Uhr. Die Zeilen habe ich um 22.28 Uhr kopiert!

Was braucht ihr noch für Infos um mir zu helfen? Hat schon jemand Ideen?

Es hat vorher ja schon funktioniert nur eben anders... Ist PBS das Problem und der kommt mit einer großen vDisk nicht klar?

Ich danke euch!
 
Last edited:
RAIDZ2 (double parity) auf HDDs ist ein ziemlicher Bottleneck für den PBS. Das bremst besonders bei Backups von größeren Disks der VMs. Das wird kein Netzwerkproblem sein. Wenn HDDs im ZFS, dann RAID1+0, idealerweise mit SLOG oder Cache SSD/NVME (als Mirror). RAIDZ hat immer eine langsame Random I/O.
 
Das dachte bzw wusste ich schon. Aber das es so krass ist? Junge...
Leider hat mein Server aktuell keine Kapazitäten mehr für 2-3 SSDs. Keine PCIe Slots mehr und keine SATA oder m2 Slots.
Der 1+0 sollte schon viel machen, doch da geht mir einiges an Platz verloren. Bitter. Größere Festplatten sind nicht mehr im Budget.
 
es gibt aktuell einen bug im 6.17er kernel der manche PBS setups betrifft und aehnliche symptome hat:


falls du auf PBS seite schon auf 4.1 mit 6.17er kernel aktualisiert hast, versuch doch mal den 6.14er zu booten!
 
Danke für den Tipp.
Habe mein Storage gelöscht, RAIDZ2 neu angelegt und das Backup gestartet. Wie immer der Start sieht gut aus. Alles unter Kernel 6.14.

UPDATE 12.37 Uhr:
Es scheint zu wirken. Er hat jetzt schon über 2TB geschrieben. Warten wir ab...

INFO: starting new backup job: vzdump 101 --all 0 --fleecing 0 --mode snapshot --notification-mode notification-system --notes-template '{{guestname}}' --storage backupstore --node pve
INFO: Starting Backup of VM 101 (qemu)
INFO: Backup started at 2025-12-11 11:17:44
INFO: status = running
INFO: VM Name: OMV
INFO: include disk 'scsi0' 'datastore:vm-101-disk-1' 16G
INFO: include disk 'scsi1' 'filestore:vm-101-disk-0' 13000G
INFO: include disk 'efidisk0' 'datastore:vm-101-disk-0' 1M
INFO: include disk 'tpmstate0' 'datastore:vm-101-disk-2' 4M
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/101/2025-12-11T10:17:44Z'
INFO: attaching TPM drive to QEMU for backup
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '43f5b553-123c-41d8-bd0f-ff5546198331'
INFO: resuming VM again
INFO: efidisk0: dirty-bitmap status: existing bitmap was invalid and has been cleared
INFO: scsi0: dirty-bitmap status: existing bitmap was invalid and has been cleared
INFO: scsi1: dirty-bitmap status: existing bitmap was invalid and has been cleared
INFO: tpmstate0-backup: dirty-bitmap status: created new
INFO: 0% (1.4 GiB of 12.7 TiB) in 3s, read: 474.7 MiB/s, write: 466.7 MiB/s
INFO: 1% (130.3 GiB of 12.7 TiB) in 5m 16s, read: 421.9 MiB/s, write: 394.4 MiB/s
INFO: 2% (260.3 GiB of 12.7 TiB) in 10m 20s, read: 437.9 MiB/s, write: 431.9 MiB/s
INFO: 3% (390.6 GiB of 12.7 TiB) in 15m 29s, read: 431.6 MiB/s, write: 425.6 MiB/s
INFO: 4% (520.9 GiB of 12.7 TiB) in 20m 33s, read: 438.9 MiB/s, write: 432.7 MiB/s
INFO: 5% (651.1 GiB of 12.7 TiB) in 25m 49s, read: 421.9 MiB/s, write: 413.9 MiB/s
INFO: 6% (781.3 GiB of 12.7 TiB) in 31m 6s, read: 420.6 MiB/s, write: 412.0 MiB/s
INFO: 7% (911.3 GiB of 12.7 TiB) in 36m 8s, read: 440.8 MiB/s, write: 432.0 MiB/s
INFO: 8% (1.0 TiB of 12.7 TiB) in 41m 16s, read: 433.3 MiB/s, write: 426.9 MiB/s
INFO: 9% (1.1 TiB of 12.7 TiB) in 46m 25s, read: 430.3 MiB/s, write: 423.9 MiB/s
INFO: 10% (1.3 TiB of 12.7 TiB) in 51m 32s, read: 434.4 MiB/s, write: 425.3 MiB/s
INFO: 11% (1.4 TiB of 12.7 TiB) in 56m 37s, read: 437.9 MiB/s, write: 431.4 MiB/s
INFO: 12% (1.5 TiB of 12.7 TiB) in 1h 1m 42s, read: 436.1 MiB/s, write: 423.6 MiB/s
INFO: 13% (1.7 TiB of 12.7 TiB) in 1h 6m 38s, read: 451.4 MiB/s, write: 434.8 MiB/s
INFO: 14% (1.8 TiB of 12.7 TiB) in 1h 11m 27s, read: 460.6 MiB/s, write: 432.7 MiB/s
INFO: 15% (1.9 TiB of 12.7 TiB) in 1h 16m 12s, read: 467.4 MiB/s, write: 425.8 MiB/s
 
Last edited: