PBS meets Hetzner Storagebox

[Baconpie]

Moin,

ich habe jetzt bereits eine weile eine Hetzner Storagebox via SMB in meinem PBS eingebunden und bin gerade dabei zu schauen wie ich die Geschwindigkeit optimieren kann.

cache=none
actimeo=60
closetimeo=5

6 Threads im Lesen
6 Threads im Schreiben

Den meisten Leistungszuwachs habe ich durch die Erhöhung der Threads bekommen. Hat jemand hier mehr Erfahrungswerte? Wie weit kann ich die Threads hoch schrauben bis ich ans maximum bei Hetzner komme?

Angebunden bin ich mit 300mb/s Mbit/s up und down.

 

[Johannes S]

ich habe jetzt bereits eine weile eine Hetzner Storagebox via SMB in meinem PBS eingebunden und bin gerade dabei zu schauen wie ich die Geschwindigkeit optimieren kann.

Keine Storagebox benutzen, da PBS nicht dafür entwickelt wurde, Storage über Netzwerkfreigaben anzubinden:

D

[TUTORIAL] Thread 'Datastore Performance Tester for PBS'

Jun 11, 2024

This is a performance tester for datastores of your PBS.

-> Intended before you setup a production PBS. <-

apt-get update
apt-get install git
git clone https://github.com/egandro/pbs-storage-perf-test.git
cd pbs-storage-perf-test
# replace datastore-dir with your own directory
./create_random_chunks.py /datastore-dir
rm -rf /datastore-dir/dummy-chunks

- Read how/what/and why we test in this way: https://github.com/egandro/pbs-storage-perf-test/blob/main/README.md
- Our results: https://github.com/egandro/pbs-storage-perf-test/blob/main/results.md
- Our conclusion...

• Der Harry
• Replies: 19
• Forum: Proxmox Backup: Installation and configuration

• 

Im lokalen Netzwerk ist das schon nicht geil ( siehe https://forum.proxmox.com/threads/warum-ist-der-pbs-so-picky-bei-nfs-storage-mounts.160610/ ) über Internet ist es noch schlimmer.
Im Thread zu NFS-Storage-Mounts (ist bei smb nicht anders, sogar eher noch schlimmer siehe Thread zum Datastore-Performance-Tester) steht auch die Lösung: Lokalen Storage direkt am PBS verwenden. Also: Entweder vom lokalen PBS die Backups auf einen anderen PBS (etwa bei Freunden/Familienangehörigen, als Cloud-PBS (etwa bei Inett oder tuxis.nl) oder ein günstiger vserver mit lokalen virtuellen Server) syncen.
Wenn das nicht geht, ist der neue S3-Support ein praktikabler Kompromiss, das würde ich dann aber nicht als Hauptbackup nutzen.

 

[news]

Und noch als Anmerkung eine SMB Share bricht über eine weltweite Internetverbindung ständig zusammen und wird schon deshalb mit festgefahrenen Proxmox BS erfreuen.
Habe ich vor ca. 3 Jahren selbst alles durch gespielt.

 

[GMBauer]

Liebe Mitforisten,

klar, der PBS ist über alle Maßen träge auf einen externen Speicher, aber welche Lösung würdet Ihr empfehlen um ein Backup außerhalb des Firmengebäudes zu speichern? (Klar, für schnelle Backups und Restores benutzt man einen PBS mit internen SSDs und wir haben auch einen zweiten PBS im Gebäude, der vom ersten zieht.) Aber unsere Firma ist ein einziger Brandabschnitt und deswegen suche ich immer noch eine Möglichkeit, Backups außer Haus zu sichern. USB-Medien hin und her zu tragen sehe ich ehrlich gesagt nicht als wirklich gute Lösung.

Also, was würdet Ihr benutzen / empfehlen?

 

[IsThisThingOn]

S3 oder offsite PBS

 

[TErxleben]

Liebe Mitforisten,

klar, der PBS ist über alle Maßen träge auf einen externen Speicher, aber welche Lösung würdet Ihr empfehlen um ein Backup außerhalb des Firmengebäudes zu speichern? (Klar, für schnelle Backups und Restores benutzt man einen PBS mit internen SSDs und wir haben auch einen zweiten PBS im Gebäude, der vom ersten zieht.) Aber unsere Firma ist ein einziger Brandabschnitt und deswegen suche ich immer noch eine Möglichkeit, Backups außer Haus zu sichern. USB-Medien hin und her zu tragen sehe ich ehrlich gesagt nicht als wirklich gute Lösung.

Also, was würdet Ihr benutzen / empfehlen?

Ihr habt ja schon einen PullPBS. Warum stellt ihr das Ding nicht einfach an einen Ort, der per Internet/VPN ins Netz eingebunden ist? Mit Mut zur Lücke verzichtet ihr sogar auf ein VPN und gebt Port 8007 auf der Firewall frei. Ein Angeifer braucht eh den Fingerprint des Quellservers und vlt. noch fail2ban um Rabauken einzubremsen. Bleibt noch die Frage, wieviel Vertrauen man den seitens Proxmox angebotenen Diensten entgegenbringt.

 

[GMBauer]

Den zweiten bzw. einen weiteren PBS "selbst gehostet" aufzustellen scheitert an der miesen Anbindung meines Hauses. Ich bekomme nach wie vor nur 50+ down und 15+ up. MBit pro Sekunde. Da dauert ein Restore bis Sankt Nimmerlein. Dann müsste das ein fremdgehosteter sein. Da nehme ich lieber einen S3, glaube ich. Gibts ja auch in D gehostet.

Das Backup durch PBS 1 auf die interne SSD und das Backup durch PBS 1 auf S3 sind dann zwei getrennte Vorgänge, oder? War es dann nicht so, dass der jedesmal eine Komplettsicherung macht und die Dirty Bitmap nicht nutzt? Weil zwei getrennte Dirty Bitmaps gibts ja nicht.

 

[TErxleben]

Den zweiten bzw. einen weiteren PBS "selbst gehostet" aufzustellen scheitert an der miesen Anbindung meines Hauses. Ich bekomme nach wie vor nur 50+ down und 15+ up. MBit pro Sekunde. Da dauert ein Restore bis Sankt Nimmerlein. Dann müsste das ein fremdgehosteter sein. Da nehme ich lieber einen S3, glaube ich. Gibts ja auch in D gehostet.

Das Backup durch PBS 1 auf die interne SSD und das Backup durch PBS 1 auf S3 sind dann zwei getrennte Vorgänge, oder? War es dann nicht so, dass der jedesmal eine Komplettsicherung macht und die Dirty Bitmap nicht nutzt? Weil zwei getrennte Dirty Bitmaps gibts ja nicht.

Wenn dein externer PBS hinter einem 50/15er-Anschluss steckt, dann handelst du immer mit Zitronen, außer du trägst das Ding im schlimmsten Fall ins Zielnetz. Sicherung über diese Leitung wird womöglich zufriedenstellend funktionieren.
Mir wären es die Kosten für externe S3-Speicherkapazität nicht wert, die auch mit guter Anbindung immer noch extrem lahmarschig ist.
Überhaupt ist ein Restore von z.B. 20TB selbst über 1GBit/s schon rechnerisch eine mittlere Katastrophe.