PBS tape und spooling

[otto001]

Hi,

ich hab nun endlich mein erstes erfolgreiches Backup auf tape gemacht.
Das Konzept verstehe ich hier eh richtig? Bereits in ein Datastore gesicherte Daten werden hier auf ein tape geschrieben?

Die Sicherung von ca 340GB auf ein LTO4-Tape hat dabei fast drei Stunden gedauert, was SEHR lang ist.
Es handelt sich um ca 10 VMs plus täglicher Inkrementeller Sicherungen von etwa einem Monat.
Von anderen Backup-Lösungen (zb bareos) her kenne ich die Möglchkeit, die files zuerst in ein File zu schreiben (spooling) und dann das erzeugte File in einem Rutsch auf tape zu schieben. Das ist auch besser für die tapes und drives - anstatt ständig starten und stoppen zu müssen.
Gibt es bei pbs auch die Möglichkeit, vor dem Schreiben auf tapes zu spoolen?
danke im voraus und beste Grüsse,
Otto

 

[pakuzaz]

Es ist doch so?

Du machst ein Backup auf Platte und davon auf Tape oder versteh ich dich gerade falsch?

 

[otto001]

Ich bin noch recht neu bei pbs, aber ich habe nix gefunden, wie ich direkt auf tape sichern könnte? gibts da was?

 

[pakuzaz]

nö so ist es auch.

Daher ist dein Spooling doch die Festplatte .... das Backup vom PVE landet auf der Platte und von da wird es dann in einem auf Tape geschrieben.

 

[otto001]

jojo, das stimmt schon. trotzdem fährt das drive (scheinbar, ich bin nicht in der nähe des servers) dauernd an und stoppt wieder nach jedem file. und drei stunden für 340GB ist um vieles zu lahm (wobei mich das alleine nicht wirklich stören täte).... ein kontinuierlicher datenstrom zum drive wäre hier sehr vorteilhaft

 

[pakuzaz]

Wie ist das Laufwerk angebunden und was ist die Quelle HDD SSD? Und wie kommst du drauf das es dauernd stopt. Tape bänder / laufwerke sind nicht schnell nur so als info

 

[otto001]

is handelt sich um ein sas-laufwerk in einem changer. die platte ist eine spindel.
und das drive startet und stoppt dauernd, wie ich in der web-oberfläche des changers beobachten konnte (oftmaliger wechsel zwischen writing und idle).
ich sichere seit jahren mit bareos und dieser hardware, ich habe schon in etwa ein gefühl für die geschwindigkeit dieses systems, denke ich....

 

[tom]

is handelt sich um ein sas-laufwerk in einem changer. die platte ist eine spindel.
und das drive startet und stoppt dauernd, wie ich in der web-oberfläche des changers beobachten konnte (oftmaliger wechsel zwischen writing und idle).
ich sichere seit jahren mit bareos und dieser hardware, ich habe schon in etwa ein gefühl für die geschwindigkeit dieses systems, denke ich....

Siehe https://pbs.proxmox.com/docs/tape-backup.html (Drive Performance)

 

[otto001]

Danke. Aber das kanns in dem Fall nicht sein. Ich sichere mit der gleichen Hardware per bareos um mehrfaches schneller.
(Ich habe auf dem host, wo pbs läuft auch den bareos-server laufen - und das schon seit Jahren).
Wenn die Hardware der Flaschenhals wäre, müsste sich das auch mit bareos entsprechen zeigen. Tuts aber nicht.

 

[tom]

Danke. Aber das kanns in dem Fall nicht sein. Ich sichere mit der gleichen Hardware per bareos um mehrfaches schneller.
(Ich habe auf dem host, wo pbs läuft auch den bareos-server laufen - und das schon seit Jahren).
Wenn die Hardware der Flaschenhals wäre, müsste sich das auch mit bareos entsprechen zeigen. Tuts aber nicht.

PBS datastores bestehen aus vielen realtiv kleinen Files. Wenn die Zugriffszeiten nicht passen, dann dauert das lesen zu lange und das Tape muss warten. Ganz sicher.

 

[otto001]

Ja, das ist genau der Grund warum man spoolfiles einsetzt
Das war eigentlich meine ursprüngliche Frage (vielleicht hatte ich sie ein wenig ungeschickt formuliert). Gibts bei pbs die Möglichkeit, diese kleinen Files in ein spoolfile zu schreiben? Oder ist so was zumindest geplant?

 

[dcsapak]

pbs macht bereits spoolfiles, nur on the fly, was aber die grundsätzliche performance der disken nicht besser macht
man könnte natürlich spoolfiles im vorhinein machen, das würde das backup insgesamt aber nicht kürzer machen, nur die zeit in der aufs tape geschrieben wird
(und auch das nicht verlässlich, da es auch stark aufs dateisystem ankommt ob so ein großes file schneller zu lesen ist als mehrere kleine...)
außerdem bräuchte man dann für ein lto-8 tape schnell mal 12TB an 'spool' speicher... auch nicht so toll

viel Funktionalität und code basiert darauf dass die chunks einzeln im dateisystem verfügbar sind, alles andere hat dann wieder anderswo nachteile (meistens für das 'normale' backup selbst)

 

[otto001]

naja. bei bareos kann man zb die spool-grösse frei einstellen. Ich hab zb so eingestellt, daß 800GB gespoolt werden, dann werden die aufs tape geschoben.
Mir ist klar, daß das kein Geschwindigkeitsvorteil ist, eher das Gegenteil. Aber für die tapes und drives wäre es mmn auf jeden Fall besser...
Die chunks bleiben ja in irgend einer Form auch auf dem tape auslesbar, auch wenn gespoolt wird, oder? Zumindest sollte das so sein. Das spooling sollte ja wirklich nur ein buffer fürs tape sein.
Ich finde das wirklich toll bei pbs, daß hier direkt ein datastore auf ein tape geschrieben werden kann, aber spooling würde ich bei diesem Prozess trotzdem vorteilhaft finden. Nicht umsonst kann das so gut wie jede Software, die auf tapes schreiben kann... (Ich erinnere mich an die Anfangszeiten der CD-Schreiber. Da war das recht kritisch, wenn der Datenstrom abriss, weil dann ein damals ziemlich teurer Rohling für die Tonne war. Auch da wurde ein image auf einer Platte vorbereitet, um dann einen möglichst kontinuierlichen Datenstrom zu haben. Auch wenns bei tape-drives nicht ganz so kritisch ist, gut ist ein dauerndes Anfahren und stoppen aber auch nicht - egal, welche LTO-Generation verwendet wird).

 

[tom]

PBS ist für SSD storage optimiert. Wenn HDDs verwendet werden, gibts Performance Einschränkungen, genau so wie hier beschrieben.

 

[otto001]

Ahm. das heisst, ihr schlagt vor, SSDs als Datengräber zu nutzen, um auf eine annehmbare Performance zu kommen? Das ist natürlich auch eine Möglichkeit.... Aber ob sich das wirklich durchsetzt?

 

[otto001]

Hab mal ein feature request gemacht: https://bugzilla.proxmox.com/show_bug.cgi?id=3477

 

[otto001]

und wurde prompt abgelehnt....

 

[dcsapak]

und wurde prompt abgelehnt....

weil spool files aus unserer sicht keinen sinn machen (wie bereits geschrieben)
es gibt vielleicht noch eine andere schraube an der man drehen kann beim tape backup
(ich schicke später einen patch), kann aber nicht versprechen dass es die probleme vollständig löst

 

[otto001]

Hi und danke!
naja, bei mir persönlich ist das nicht das riesen-thema, da ich derzeit mit proxmox nur meine private infrastruktur betreibe und daher mit einer 1TB ssd für die backups vorerst auskommen würde.
aber wenn ich die vmware-hosts bei uns in der firma (hier ist leider eine MENGE überzeugungsarbeit nötig) auf proxmox migrieren würde (was ich sehr gerne täte), könnte das schon ein thema sein. auch weil professionelle ssds sich ja noch in einer ganz anderen preisebene bewegen als customer-ssds....
und wie gesagt, mit einer alten spindel schreibt bareos aus einem spoolfile brav und ohne unterbrechungen auf mein popeliges lto4. wie es bei lto >4 ausschaut, kann ich natürlich nicht sagen...

 

[pakuzaz]

@otto001 überlege dir das gut mit der Firma.
Du wirst da nicht glücklich bei.