[SOLVED] Backup Restore auf ZFS verursacht hohe Load

[HBO]

Hallo,

ich hatte zwar schon mal Threads zu dem Thema gesehen aber finde diese leider nicht mehr.

Nur auf ZFS Systemen habe ich das Problem, dass ein Restore extrem hohe Load verursacht (und zwar bis zu einem Wert von 40-60). Damit werden dann natürlich alle VMs auf dem Hostsystem weitestgehend lahm gelegt.

Das System ist ein Dual 6 Core Xeon E5-2600v4 mit 64GB Arbeitsspeicher, LSI 12GB/s SATA/SAS HBA mit Intel DC SSDs. Die Geschwindigkeit und Load im allgemeinen Betrieb sowie Backup Modus macht absolut keine Probleme.

Mich wundert die hohe Load vor allem, da der Restore aus einem NFS mit nur 1GBit/s Anbindung kommt und damit nicht mehr als 100MB/s Datendurchsatz möglich sind. Zusätzlich steigt dann die Load nochmal etwas an sobald der Restore bei 100% ankommt und wohl letzte Arbeiten bis Task Abschluss durchgeführt werden. Auf Systemen mit einem Hardware Raid und LVM(-Thin) ist die Problematik nicht vorhanden.

Gibt es irgendeine Möglichkeit den hohen Load zu reduzieren?

 

[LnxBil]

Welche Prozesse erzeugen denn diese hohe Last (schau mal mit top oder htop)? Hast oder hattest du mal Deduplizierung auf dem Pool eingeschaltet?

 

[HBO]

Ich habe hier jede Menge (ZFS?) Prozesse die während des Restores hoch schießen:
z_wr_int_x (x = Zahl und 10x vorhanden)
z_wr_iss (gut 20x vorhanden)
zvol (14x vorhanden)
arc_reclaim und kthreadd springen auch mal mit etwas höheres Last rein.

dedup ist aus.

In dem Bild einmal die GUI Graphen zum Zeitpunkt des Restores.

*edit*
Rein aus Interesse habe ich nun einmal das Dump mal direkt aus dem NFS Lokal auf den Host gespielt (Standard Rpool mit Raid 10). Die Load steigt zwar nicht so schnell an, landet am Ende aber auch zwischen 30 und 40. Das System hängt dann auch teilweise für 1-2 Sekunden mal ganz.

 

[LnxBil]

Ich nehme mal an du verwendest PVE 5.1 mit aktuellen Patches? Falls nicht, bitte updaten.

Kannst du mal ein zpool iostat während des Restores machen und schauen wie sich die IO-Performance auf der Seite von ZFS verhält? Hast du Änderungen an den Pool-Einstellungen vorgenommen? Hohe I/O-Load spricht dafür, dass die Daten nicht schnell genug (Latenz) nach unten geschrieben werden können. Der HBA steht auf JBOD und du siehst jede einzelne SSD? Auch kannst du zusätzlich zum zpool iostat noch ein "normales" iostat machen um zu sehen ob die Performance nur auf einer Disk so schlecht ist oder generell.

Generell kann ich auch raten den Beitrag auf englisch zu verlassen (dann diesen hier bitte als beendet markieren und auf den englischen verweisen), denn es gibt einige ZFS-Gurus wie @mir und @spirit, die bei tiefergehenden ZFS-Performanceproblemen bisher sehr gute Ideen hatten. Auch könntest du einen Support-Case öffnen, falls du eine Subskription mit entsprechender Fuktion hast.

 

[HBO]

Ich öffne dann mal einen Englischen Thread in Kürze und verweise dann darauf. Support Case leider nicht möglich da Communtiy Sub.

 

[fireon]

Ich öffne dann mal einen Englischen Thread in Kürze und verweise dann darauf. Support Case leider nicht möglich da Communtiy Sub.

Ich bin dann mal so frei: https://forum.proxmox.com/threads/backup-restore-on-zfs-produces-high-load.39166/