PBS meets Hetzner Storagebox

[Baconpie]

Moin,

ich habe jetzt bereits eine weile eine Hetzner Storagebox via SMB in meinem PBS eingebunden und bin gerade dabei zu schauen wie ich die Geschwindigkeit optimieren kann.

cache=none
actimeo=60
closetimeo=5

6 Threads im Lesen
6 Threads im Schreiben

Den meisten Leistungszuwachs habe ich durch die Erhöhung der Threads bekommen. Hat jemand hier mehr Erfahrungswerte? Wie weit kann ich die Threads hoch schrauben bis ich ans maximum bei Hetzner komme?

Angebunden bin ich mit 300mb/s Mbit/s up und down.

 

[Johannes S]

ich habe jetzt bereits eine weile eine Hetzner Storagebox via SMB in meinem PBS eingebunden und bin gerade dabei zu schauen wie ich die Geschwindigkeit optimieren kann.

Keine Storagebox benutzen, da PBS nicht dafür entwickelt wurde, Storage über Netzwerkfreigaben anzubinden:

D

[TUTORIAL] Thread 'Datastore Performance Tester for PBS'

Jun 11, 2024

This is a performance tester for datastores of your PBS.

-> Intended before you setup a production PBS. <-

apt-get update
apt-get install git
git clone https://github.com/egandro/pbs-storage-perf-test.git
cd pbs-storage-perf-test
# replace datastore-dir with your own directory
./create_random_chunks.py /datastore-dir
rm -rf /datastore-dir/dummy-chunks

- Read how/what/and why we test in this way: https://github.com/egandro/pbs-storage-perf-test/blob/main/README.md
- Our results: https://github.com/egandro/pbs-storage-perf-test/blob/main/results.md
- Our conclusion...

• Der Harry
• Replies: 19
• Forum: Proxmox Backup: Installation and configuration

• 

Im lokalen Netzwerk ist das schon nicht geil ( siehe https://forum.proxmox.com/threads/warum-ist-der-pbs-so-picky-bei-nfs-storage-mounts.160610/ ) über Internet ist es noch schlimmer.
Im Thread zu NFS-Storage-Mounts (ist bei smb nicht anders, sogar eher noch schlimmer siehe Thread zum Datastore-Performance-Tester) steht auch die Lösung: Lokalen Storage direkt am PBS verwenden. Also: Entweder vom lokalen PBS die Backups auf einen anderen PBS (etwa bei Freunden/Familienangehörigen, als Cloud-PBS (etwa bei Inett oder tuxis.nl) oder ein günstiger vserver mit lokalen virtuellen Server) syncen.
Wenn das nicht geht, ist der neue S3-Support ein praktikabler Kompromiss, das würde ich dann aber nicht als Hauptbackup nutzen.

 

[news]

Und noch als Anmerkung eine SMB Share bricht über eine weltweite Internetverbindung ständig zusammen und wird schon deshalb mit festgefahrenen Proxmox BS erfreuen.
Habe ich vor ca. 3 Jahren selbst alles durch gespielt.

 

[GMBauer]

Liebe Mitforisten,

klar, der PBS ist über alle Maßen träge auf einen externen Speicher, aber welche Lösung würdet Ihr empfehlen um ein Backup außerhalb des Firmengebäudes zu speichern? (Klar, für schnelle Backups und Restores benutzt man einen PBS mit internen SSDs und wir haben auch einen zweiten PBS im Gebäude, der vom ersten zieht.) Aber unsere Firma ist ein einziger Brandabschnitt und deswegen suche ich immer noch eine Möglichkeit, Backups außer Haus zu sichern. USB-Medien hin und her zu tragen sehe ich ehrlich gesagt nicht als wirklich gute Lösung.

Also, was würdet Ihr benutzen / empfehlen?

 

[IsThisThingOn]

S3 oder offsite PBS

 

[TErxleben]

Liebe Mitforisten,

klar, der PBS ist über alle Maßen träge auf einen externen Speicher, aber welche Lösung würdet Ihr empfehlen um ein Backup außerhalb des Firmengebäudes zu speichern? (Klar, für schnelle Backups und Restores benutzt man einen PBS mit internen SSDs und wir haben auch einen zweiten PBS im Gebäude, der vom ersten zieht.) Aber unsere Firma ist ein einziger Brandabschnitt und deswegen suche ich immer noch eine Möglichkeit, Backups außer Haus zu sichern. USB-Medien hin und her zu tragen sehe ich ehrlich gesagt nicht als wirklich gute Lösung.

Also, was würdet Ihr benutzen / empfehlen?

Ihr habt ja schon einen PullPBS. Warum stellt ihr das Ding nicht einfach an einen Ort, der per Internet/VPN ins Netz eingebunden ist? Mit Mut zur Lücke verzichtet ihr sogar auf ein VPN und gebt Port 8007 auf der Firewall frei. Ein Angeifer braucht eh den Fingerprint des Quellservers und vlt. noch fail2ban um Rabauken einzubremsen. Bleibt noch die Frage, wieviel Vertrauen man den seitens Proxmox angebotenen Diensten entgegenbringt.

 

[GMBauer]

Den zweiten bzw. einen weiteren PBS "selbst gehostet" aufzustellen scheitert an der miesen Anbindung meines Hauses. Ich bekomme nach wie vor nur 50+ down und 15+ up. MBit pro Sekunde. Da dauert ein Restore bis Sankt Nimmerlein. Dann müsste das ein fremdgehosteter sein. Da nehme ich lieber einen S3, glaube ich. Gibts ja auch in D gehostet.

Das Backup durch PBS 1 auf die interne SSD und das Backup durch PBS 1 auf S3 sind dann zwei getrennte Vorgänge, oder? War es dann nicht so, dass der jedesmal eine Komplettsicherung macht und die Dirty Bitmap nicht nutzt? Weil zwei getrennte Dirty Bitmaps gibts ja nicht.

 

[TErxleben]

Den zweiten bzw. einen weiteren PBS "selbst gehostet" aufzustellen scheitert an der miesen Anbindung meines Hauses. Ich bekomme nach wie vor nur 50+ down und 15+ up. MBit pro Sekunde. Da dauert ein Restore bis Sankt Nimmerlein. Dann müsste das ein fremdgehosteter sein. Da nehme ich lieber einen S3, glaube ich. Gibts ja auch in D gehostet.

Das Backup durch PBS 1 auf die interne SSD und das Backup durch PBS 1 auf S3 sind dann zwei getrennte Vorgänge, oder? War es dann nicht so, dass der jedesmal eine Komplettsicherung macht und die Dirty Bitmap nicht nutzt? Weil zwei getrennte Dirty Bitmaps gibts ja nicht.

Wenn dein externer PBS hinter einem 50/15er-Anschluss steckt, dann handelst du immer mit Zitronen, außer du trägst das Ding im schlimmsten Fall ins Zielnetz. Sicherung über diese Leitung wird womöglich zufriedenstellend funktionieren.
Mir wären es die Kosten für externe S3-Speicherkapazität nicht wert, die auch mit guter Anbindung immer noch extrem lahmarschig ist.
Überhaupt ist ein Restore von z.B. 20TB selbst über 1GBit/s schon rechnerisch eine mittlere Katastrophe.

 

[Johannes S]

Den zweiten bzw. einen weiteren PBS "selbst gehostet" aufzustellen scheitert an der miesen Anbindung meines Hauses. Ich bekomme nach wie vor nur 50+ down und 15+ up. MBit pro Sekunde. Da dauert ein Restore bis Sankt Nimmerlein. Dann müsste das ein fremdgehosteter sein. Da nehme ich lieber einen S3, glaube ich. Gibts ja auch in D gehostet.

Das Backup durch PBS 1 auf die interne SSD und das Backup durch PBS 1 auf S3 sind dann zwei getrennte Vorgänge, oder? War es dann nicht so, dass der jedesmal eine Komplettsicherung macht und die Dirty Bitmap nicht nutzt? Weil zwei getrennte Dirty Bitmaps gibts ja nicht.

Nein, man macht im Idealfall eben NICHT eine Sicherung auf S3, sondern zuerst auf einen lokalen Datastore, von dem dann anschließend auf den S3-Datastore gepushed wird. Oder eben alternativ vom offsite-PBS gepullt. Falls die Anbindung dafür zu schlecht ist: Externe USB-laufwerke als removable datastore nehmen mit allen damit verbundenen Nachteilen, aber deren Bandbreite kann kaum geschlagen werden.
Der offsite-PBS pullt sich dann nur Änderungen, gleiches gilt bei S3, auch da werden nur neue Chunksn übertragen. Was man bei s3 aber bedenken muss: Verschlüsselt man den Content (was ja grundsätzlich sinnvoll ist, wenn das Backup nicht bereits schon verschlüsselt angelegt ist), geht die Verschlüsselung auch auf die Performance.
Eine lahme Datenanbindung wird freilich weder durch S3 noch durch eine Anbindung per NFS/sshfs/cifs oder sonstige Hacks schneller oder zuverlässiger. Und während man im Homelab meinetwegen das noch machen kann (mir ist selbst das zu blöd) finde ich derartige Stunts (nfs/sshfs/cifs) im gewerblichen Einsatz schon grob fahrlässig.

 

[TErxleben]

Was mir da wieder mal durch den Kopf geht, ist die Frage warum immer noch kein Link VMxyz-latest bei einer Sicherung angelegt wird, dessen Inhalt dann elegant per z.B. rsync im script über schmale Leitungen geschoben werden kann. Es müsste nur einen zusätzlichen Ordner in der ohnehin automatisch vorhandenen Liste von PVE-Ordnern geben.
Das ganze funktioniert i.ü. auch hervorragend per CLI im Pullbetrieb. Ganz ohne Klimbim drum herum.
Wenn ich noch GUI drum herum will, dann benutze ich z.B. SeaFile.

 

[Johannes S]

Was mir da wieder mal durch den Kopf geht, ist die Frage warum immer noch kein Link VMxyz-latest bei einer Sicherung angelegt wird, dessen Inhalt dann elegant per z.B. rsync im script über schmale Leitungen geschoben werden kann. Es müsste nur einen zusätzlichen Ordner in der ohnehin automatisch vorhandenen Liste von PVE-Ordnern geben.

Das wird wenig bringen, da ja generell beim Syncen nur die Änderungen/Chunks übertragen werden, die am Ziel noch nicht vorhanden sind. Enthält also dein letztes Snapshot keine Änderungen, wird auch nichts übertragen. Und falls du über Tag 1TB geschrieben hast, werden 1 TB übertragen. Eine Sicherung als vzdump o.ä. wäre dagegen kein Vorteil, weil das immer den kompletten Inhalt einer Sicherung übertragen würde.
Man kann dazu im im Sync-Job eintragen (in den erweitern Einstellungen), dass nur die letzten n Snapshots übertragen werden (etwa weil man keine temporären Sicherungen mitschleppen möchte o.ä., also um die Übersicht im offsite-PBS aufgeräumer zu haben), aber für das Problem der Bandbreite ändert das nichts:
- Entweder seit dem letzten übertragenen Snapshots sind keine oder nur wenig neue Chunks dazugekommen, dann zieht sich der PBS auch nur wenig Daten. Oder es sind viele Chunks dazugekommen, die wird er dann auch für den letzten Snapshot übertragen müssen.
Das kann man aber auch alles in der Doku und diversen Forumsthreads nachlesen...

 

[TErxleben]

Das wird wenig bringen, da ja generell beim Syncen nur die Änderungen/Chunks übertragen werden, die am Ziel noch nicht vorhanden sind. Enthält also dein letztes Snapshot keine Änderungen, wird auch nichts übertragen. Und falls du über Tag 1TB geschrieben hast, werden 1 TB übertragen. Eine Sicherung als vzdump o.ä. wäre dagegen kein Vorteil, weil das immer den kompletten Inhalt einer Sicherung übertragen würde.

rsync arbeitet ja nicht auf reiner Dateiebene.
Lokales vzdump geht intern i.d.R rattenschnell. Das ganze sogar unterbrechungsfrei.
So gibt es viele Freiheiten bzgl. der Sicherungsfrequenz, ohne überhaupt eine externe Leitung anfassen zu müssen.
1TB Bewegungsdaten sind natürlich immer ein Koffer, welchen man nicht wegdiskutieren kann.
Rücksicherungen aus externen Quellen ist immer PITA.
vzdump+rsync löst das auch ohne PBS sehr gut. Natürlich immer nur um einen letzten Pfeil im Köcher zu haben (kein Archiv o.ä.).
Ein PBS hat noch nicht mal Mechanismen um vzdumps auf externe Medien zu exportieren und anschließend per peitendem Boten zu verschicken.
Wenn du ein externes vzdump online zurückholen musst, dann ist die Leitung immer der begrenzende Faktor.

 

[GMBauer]

Wenn dein externer PBS hinter einem 50/15er-Anschluss steckt, dann handelst du immer mit Zitronen, außer du trägst das Ding im schlimmsten Fall ins Zielnetz. Sicherung über diese Leitung wird womöglich zufriedenstellend funktionieren.
Mir wären es die Kosten für externe S3-Speicherkapazität nicht wert, die auch mit guter Anbindung immer noch extrem lahmarschig ist.
Überhaupt ist ein Restore von z.B. 20TB selbst über 1GBit/s schon rechnerisch eine mittlere Katastrophe.

Obacht, wie der Südstaatler sagt. Unsere Firma bekommt bald nen Glasfaser mit 1 GBit down und ??? up. (Telekom)
Zuhause, auf dem möglichen Standort für einen zweiten PBS habe ich nur 50+/10+

Und die Backupgröße von allem liegt irgendwo bei 1 bis 2 TByte bei einer Veränderung der Nutzdaten von xx GByte pro Tag. Beim Hetzner im S3 wären das dann 14 Euro oder so. PBS sichert ja in einen S3 nach dem ersten mal auch nur die veränderten Daten, oder?

'Tschuldigung übrigens fürs Kapern des Threads...

Aber noch was zum S3: Wie arbeitet der PBS mit dem S3? Sichert der zuerst alle VMs etc auf einen Hilfsspeicher und schiebt das dann in den S3 oder arbeitet er peu a peu wie bei einem normalen Backup auf ein lokales Laufwerk im PBS?