File Restore: Timeout

T

tmlits

Active Member
Oct 17, 2018
4
0
41
105
Hallo in die Runde,

ich habe hier eine VM, wo der "File Restore" Button der GUI im Timeout abbricht:
1745348650901.png
Ist da zufällig ein Fix oder Workaround bekannt?
 
Du verrätst uns rein gar nichts über deinen PBS. Warum nicht?

Keine Angaben --> reine Spekulation:
tmlits said:
ich habe hier eine VM, wo der "File Restore" Button der GUI im Timeout abbricht:
Click to expand...
Meine ersten PBS-Instanzen hatten nur Blechplatten. Am Anfang lief das gut. Dann, mit zunehmenden Füllstand, traten Timeouts auf. Ich konnte die Backups nicht einmal mehr auflisten. Stellt sich heraus: die Empfehlungen hinsichtlich "nehmt SSDs!" sind nicht von der Hand zu weisen.

PBS braucht IOPS. Zum Schreiben, zum Verifizieren und auch für ein halbwegs flinkes Restore.

Ich verwende immer noch Blech, als (multiple) Mirrors und immer einem schnellen "Special Device".
 
  • Like
Reactions: Johannes S
UdoB said:
Du verrätst uns rein gar nichts über deinen PBS. Warum nicht?
Click to expand...
Du hast absolut recht. War keine böse Absicht. Die PBS-Instanz läuft als Offsite-Backup, täglich; 64.26% (32.04 TB of 49.85 TB) used im betreffenden Datastore, der als ZFS-10 Mirror angelegt ist, bestehend aus 12T SAS Spindelplatten.
Backup, Validierungen, etc. pp. laufen für alle VMs im Cluster sauber durch, Recoveries sind getestet und funktionieren auch für alle datasets (mit entsprechendem Zeitaufwand). Einzig allein die "File Restore"-Funktion vom PVE laufen ins Timeout, wenn das gebackuppte Volume ein paar TB groß ist. Link zwischen den Systemen ist 1G symmetrisch.

In der Backup-Kiste steken 32CPUs und 265GB RAM. ZFS Arc war jetzt im Monitoring auch nicht wirklich auffällig, im Gegenteil, der dreht eher Däumchen und liest sich nach deutlicher Überdimensionierung, da RAM nicht ansatzweise ausgeschöpft...
 
Last edited:
tmlits said:
Du hast absolut recht. War keine böse Absicht. Die PBS-Instanz läuft als Offsite-Backup, täglich; 64.26% (32.04 TB of 49.85 TB) used im betreffenden Datastore, der als ZFS-10 Mirror angelegt ist, bestehend aus 12T SAS Spindelplatten.
Backup, Validierungen, etc. pp. laufen für alle VMs im Cluster sauber durch, Recoveries sind getestet und funktionieren auch für alle datasets (mit entsprechendem Zeitaufwand). Einzig allein die "File Restore"-Funktion vom PVE laufen ins Timeout, wenn das gebackuppte Volume ein paar TB groß ist. Link zwischen den Systemen ist 1G symmetrisch.

In der Backup-Kiste steken 32CPUs und 265GB RAM. ZFS Arc war jetzt im Monitoring auch nicht wirklich auffällig, im Gegenteil, der dreht eher Däumchen und liest sich nach deutlicher Überdimensionierung, da RAM nicht ansatzweise ausgeschöpft...
Click to expand...
CPU und RAM wird dir da nicht helfen, die Spindeln liefern einfach die Metadaten nicht schnell genug. Hättest du ein schnellen Special Device Mirror vor deinen HDD Pool geklemmt, würde das vermutlich sauber und deutlich schneller laufen.
Wenn du aber jetzt ein Special Device hinzufügst, werden nur die Metadaten, der neuen Daten da drauf geschrieben.
 
  • Like
Reactions: Johannes S
Falk R. said:
Wenn du aber jetzt ein Special Device hinzufügst, werden nur die Metadaten, der neuen Daten da drauf geschrieben.
Click to expand...

Wobei das sich über einen zfs send/receive Lauf lösen lassen sollte, da gab es mal was im Forum zu. Habe gerade lahmes Zug-Internet, darum kann ich das nicht raussuchen.
 
Last edited:
Johannes S said:
Wobei das sich über einen zfs send/receive Lauf lösen lassen sollte, da gab es mal was im Forum zu. Habe gerade lahmes Zug-Internet, darum kann ich das nicht raussuchen.
Click to expand...

Google hat geholfen:

M

[SOLVED] Thread 'ZFS send/recv inside same pool'

Hi and merry christmas to you all. I have a PBS 2.3-1 running for just over a year now. Of course I had to save on money, so it is equipped with spinning disks and not SSDs. But recently I bought SSDs to add them as a special device. I installed them today and added them as special device to the existing pool. I read about that I need to send/recv to "move" all the existing metadata onto the SSDs. But I have no clue how to do that. The pool uses currently 5.67 TB out of 23.83 TB, so I have enough space left to do a send/recv? What would the command look like? I just found sample commands...

G

Thread 'ZFS Metadata Special Device'

Hello all,

I would like to configure a metadata special device for my ZFS mirror pool (2x HDD's, 18TB each) but I am not entirely sure of the steps. I've found some documentation online but I am still hesitant as I don't want to mess things up & then re-build the mirror. I do have data backed up, it's just a lot of terabytes and it'll take days :X So here I am, asking for advice from someone who's done it before / knows how to do this in a proper way.

I purchased 2x WD RED SSD's (500GB) which I'd like to have in a mirror config and use as metadata special device for my HDD mirror pool.
I...

T

Thread 'Need help for ZFS Special Device'

Hi,

First time zfs pool and I have some questions.

I have a zfs pool of 100 TB (SAS hdd drives) and I would like to try ZFS special device but I'm not sure how it works.

I'm aware that redundancy of special should match the one of the pool and it seems that there is a 0.2 ratio rule for sizing.

Question 1
How much total space do I need ? 2 TB ?

Question 2
How many mirror device(s) do I need for different scenarios ?
  • A : raidz-1 : 2 ?
  • B : raidz-2 : 3 ?
  • C : raidz-3 : ?
Question 3
If I need 2 TB total space for special device and if I need raidz-2 on 3 drives, do I need...

J

Thread 'ZFS Special Device'

Has anyone tried using a ZFS special device to speed up the metadata on a ZFS HDD array? I run (24) 2.5 10k sas drives on hw raid. Performace is good thou my verify jobs take a very long time. I'm working on my next hw refresh. To test I'd have to blast my second PBS server and I was hoping to avoid that if someone has tried it.

https://www.google.com/search?q=special+device+zfs+send+receive+site:forum.proxmox.com
 
  • Like
Reactions: Falk R. and UdoB
You must log in or register to reply here.
Top Bottom