PBS tape und spooling

otto001

Member
Jul 11, 2019
57
2
13
48
Hi,

ich hab nun endlich mein erstes erfolgreiches Backup auf tape gemacht.
Das Konzept verstehe ich hier eh richtig? Bereits in ein Datastore gesicherte Daten werden hier auf ein tape geschrieben?

Die Sicherung von ca 340GB auf ein LTO4-Tape hat dabei fast drei Stunden gedauert, was SEHR lang ist.
Es handelt sich um ca 10 VMs plus täglicher Inkrementeller Sicherungen von etwa einem Monat.
Von anderen Backup-Lösungen (zb bareos) her kenne ich die Möglchkeit, die files zuerst in ein File zu schreiben (spooling) und dann das erzeugte File in einem Rutsch auf tape zu schieben. Das ist auch besser für die tapes und drives - anstatt ständig starten und stoppen zu müssen.
Gibt es bei pbs auch die Möglichkeit, vor dem Schreiben auf tapes zu spoolen?
danke im voraus und beste Grüsse,
Otto
 

otto001

Member
Jul 11, 2019
57
2
13
48
Ich bin noch recht neu bei pbs, aber ich habe nix gefunden, wie ich direkt auf tape sichern könnte? gibts da was?
 
Apr 27, 2020
430
24
18
34
nö so ist es auch.

Daher ist dein Spooling doch die Festplatte .... das Backup vom PVE landet auf der Platte und von da wird es dann in einem auf Tape geschrieben.
 

otto001

Member
Jul 11, 2019
57
2
13
48
jojo, das stimmt schon. trotzdem fährt das drive (scheinbar, ich bin nicht in der nähe des servers) dauernd an und stoppt wieder nach jedem file. und drei stunden für 340GB ist um vieles zu lahm (wobei mich das alleine nicht wirklich stören täte).... ein kontinuierlicher datenstrom zum drive wäre hier sehr vorteilhaft
 
Apr 27, 2020
430
24
18
34
Wie ist das Laufwerk angebunden und was ist die Quelle HDD SSD? Und wie kommst du drauf das es dauernd stopt. Tape bänder / laufwerke sind nicht schnell nur so als info
 

otto001

Member
Jul 11, 2019
57
2
13
48
is handelt sich um ein sas-laufwerk in einem changer. die platte ist eine spindel.
und das drive startet und stoppt dauernd, wie ich in der web-oberfläche des changers beobachten konnte (oftmaliger wechsel zwischen writing und idle).
ich sichere seit jahren mit bareos und dieser hardware, ich habe schon in etwa ein gefühl für die geschwindigkeit dieses systems, denke ich....
 
Last edited:

tom

Proxmox Staff Member
Staff member
Aug 29, 2006
15,243
802
163
is handelt sich um ein sas-laufwerk in einem changer. die platte ist eine spindel.
und das drive startet und stoppt dauernd, wie ich in der web-oberfläche des changers beobachten konnte (oftmaliger wechsel zwischen writing und idle).
ich sichere seit jahren mit bareos und dieser hardware, ich habe schon in etwa ein gefühl für die geschwindigkeit dieses systems, denke ich....

Siehe https://pbs.proxmox.com/docs/tape-backup.html (Drive Performance)
 

otto001

Member
Jul 11, 2019
57
2
13
48
Danke. Aber das kanns in dem Fall nicht sein. Ich sichere mit der gleichen Hardware per bareos um mehrfaches schneller.
(Ich habe auf dem host, wo pbs läuft auch den bareos-server laufen - und das schon seit Jahren).
Wenn die Hardware der Flaschenhals wäre, müsste sich das auch mit bareos entsprechen zeigen. Tuts aber nicht.
 

tom

Proxmox Staff Member
Staff member
Aug 29, 2006
15,243
802
163
Danke. Aber das kanns in dem Fall nicht sein. Ich sichere mit der gleichen Hardware per bareos um mehrfaches schneller.
(Ich habe auf dem host, wo pbs läuft auch den bareos-server laufen - und das schon seit Jahren).
Wenn die Hardware der Flaschenhals wäre, müsste sich das auch mit bareos entsprechen zeigen. Tuts aber nicht.

PBS datastores bestehen aus vielen realtiv kleinen Files. Wenn die Zugriffszeiten nicht passen, dann dauert das lesen zu lange und das Tape muss warten. Ganz sicher.
 

otto001

Member
Jul 11, 2019
57
2
13
48
Ja, das ist genau der Grund warum man spoolfiles einsetzt :)
Das war eigentlich meine ursprüngliche Frage (vielleicht hatte ich sie ein wenig ungeschickt formuliert). Gibts bei pbs die Möglichkeit, diese kleinen Files in ein spoolfile zu schreiben? Oder ist so was zumindest geplant?
 

dcsapak

Proxmox Staff Member
Staff member
Feb 1, 2016
6,388
709
133
33
Vienna
pbs macht bereits spoolfiles, nur on the fly, was aber die grundsätzliche performance der disken nicht besser macht
man könnte natürlich spoolfiles im vorhinein machen, das würde das backup insgesamt aber nicht kürzer machen, nur die zeit in der aufs tape geschrieben wird
(und auch das nicht verlässlich, da es auch stark aufs dateisystem ankommt ob so ein großes file schneller zu lesen ist als mehrere kleine...)
außerdem bräuchte man dann für ein lto-8 tape schnell mal 12TB an 'spool' speicher... auch nicht so toll

viel Funktionalität und code basiert darauf dass die chunks einzeln im dateisystem verfügbar sind, alles andere hat dann wieder anderswo nachteile (meistens für das 'normale' backup selbst)
 

otto001

Member
Jul 11, 2019
57
2
13
48
naja. bei bareos kann man zb die spool-grösse frei einstellen. Ich hab zb so eingestellt, daß 800GB gespoolt werden, dann werden die aufs tape geschoben.
Mir ist klar, daß das kein Geschwindigkeitsvorteil ist, eher das Gegenteil. Aber für die tapes und drives wäre es mmn auf jeden Fall besser...
Die chunks bleiben ja in irgend einer Form auch auf dem tape auslesbar, auch wenn gespoolt wird, oder? Zumindest sollte das so sein. Das spooling sollte ja wirklich nur ein buffer fürs tape sein.
Ich finde das wirklich toll bei pbs, daß hier direkt ein datastore auf ein tape geschrieben werden kann, aber spooling würde ich bei diesem Prozess trotzdem vorteilhaft finden. Nicht umsonst kann das so gut wie jede Software, die auf tapes schreiben kann... (Ich erinnere mich an die Anfangszeiten der CD-Schreiber. Da war das recht kritisch, wenn der Datenstrom abriss, weil dann ein damals ziemlich teurer Rohling für die Tonne war. Auch da wurde ein image auf einer Platte vorbereitet, um dann einen möglichst kontinuierlichen Datenstrom zu haben. Auch wenns bei tape-drives nicht ganz so kritisch ist, gut ist ein dauerndes Anfahren und stoppen aber auch nicht - egal, welche LTO-Generation verwendet wird).
 

tom

Proxmox Staff Member
Staff member
Aug 29, 2006
15,243
802
163
PBS ist für SSD storage optimiert. Wenn HDDs verwendet werden, gibts Performance Einschränkungen, genau so wie hier beschrieben.
 

otto001

Member
Jul 11, 2019
57
2
13
48
Ahm. das heisst, ihr schlagt vor, SSDs als Datengräber zu nutzen, um auf eine annehmbare Performance zu kommen? Das ist natürlich auch eine Möglichkeit.... Aber ob sich das wirklich durchsetzt?
 

dcsapak

Proxmox Staff Member
Staff member
Feb 1, 2016
6,388
709
133
33
Vienna
und wurde prompt abgelehnt....
weil spool files aus unserer sicht keinen sinn machen (wie bereits geschrieben)
es gibt vielleicht noch eine andere schraube an der man drehen kann beim tape backup
(ich schicke später einen patch), kann aber nicht versprechen dass es die probleme vollständig löst
 

otto001

Member
Jul 11, 2019
57
2
13
48
Hi und danke!
naja, bei mir persönlich ist das nicht das riesen-thema, da ich derzeit mit proxmox nur meine private infrastruktur betreibe und daher mit einer 1TB ssd für die backups vorerst auskommen würde.
aber wenn ich die vmware-hosts bei uns in der firma (hier ist leider eine MENGE überzeugungsarbeit nötig) auf proxmox migrieren würde (was ich sehr gerne täte), könnte das schon ein thema sein. auch weil professionelle ssds sich ja noch in einer ganz anderen preisebene bewegen als customer-ssds....
und wie gesagt, mit einer alten spindel schreibt bareos aus einem spoolfile brav und ohne unterbrechungen auf mein popeliges lto4. wie es bei lto >4 ausschaut, kann ich natürlich nicht sagen...
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!