[SOLVED] Wie bindet man den PBS an die Hetzner Storage Box an?

[magicpeter]

Moin,
ich würde gerne die Hetzner Storage Box an den Proxmox Backup Server anbinden damit ich auch inkrementell Backups machen kann.

Habe bereite sie Storage Box an dem ProxMox VE angebunden und das funktioniert auch gut.

Wie bindet man den PBS an die Hetzner Storage Box an?

Danke

 

[Chris]

Hallo,
remote storages müssen in Proxmox Backup Server via cli eingebunden werden, anschließend kann der datastore auf dem entsprechenden mount path erstellt werden. Am besten den Anleitungen des Anbieters hier folgen (scheint das CIFS in diesem Fall die einzige Option ist).

Bitte jedoch zu beachten, dass die performance auf Netzwerk-shares meist schlecht ist, schnelle lokale Storage wird daher empfohlen.

 

[magicpeter]

Hallo,
remote storages müssen in Proxmox Backup Server via cli eingebunden werden, anschließend kann der datastore auf dem entsprechenden mount path erstellt werden. Am besten den Anleitungen des Anbieters hier folgen (scheint das CIFS in diesem Fall die einzige Option ist).

Bitte jedoch zu beachten, dass die performance auf Netzwerk-shares meist schlecht ist, schnelle lokale Storage wird daher empfohlen.

Danke für den Hinweis.

Ich hatte das auch schon gefunden, aber es klappt leider nicht so ganz.

Wenn ich den Befehl
mount.cifs -o user=xxxxx,pass=xxxxxxxx //xxxxxxx.your-storagebox.de/backup /mnt/datastore/sb
absetze kommt folgende Fehlermeldung:
mount error: could not resolve address for xxxxxx.your-storagebox.de: Unknown error

Auch denn das im CLI einrichte:

MountPoint anlegen
mkdir /mnt/datastore/sb
Logindaten in eine Datei schreiben
nano /etc/sbdata.txt (username und password der Storage Box)
Zugriffsrechte anpassen
chmod 0600 /etc/sbdata.txt
FSTAB anpassen für automatische Einbindung
nano /etc/fstab
//xxxxxxx.your-storagebox.de/backup /mnt/datastore/sb cifs iocharset=utf8,rw,credentials=/etc/sbdata.txt,file_mode=0660,dir_mode=0770 0 0

Außerdem sollten in /etc/rc.local folgende Zeilen hinzugefügt werden:
modprobe cifs
echo 0 > /proc/fs/cifs/OplockEnabled

mount -a
Es erscheint dann die Fehlermeldung:
mount error: could not resolve address for xxxxxx.your-storagebox.de: Unknown error

Auch ein ping an xxxxxx.your-storagebox.de geht nicht durch.

Es scheint ein Problem des DNS / Internet auf dem PBS zu sein, denn auf dem PVE klappt der Ping und die Einrichtung per GUI auch.

Dann werde ich mal schauen wo das Problem liegt.

 

[magicpeter]

Problem gelöst.
Klar und man braucht auf dem PDS Internet, DNS
Das hatte ich ich jetzt noch eingerichtet und alles funktioniert wie oben beschrieben auch auf dem PBS.
Man muss nur noch den Datastore über die GUI hinzufügen und dort den MountPoint (/mnt/datastore/sb) eintragen.

 

[magicpeter]

Wie gebe ich denn noch das Verzeichnis des Datastore für die Sicherung ein?
Ich habe das Verzeichnis schon in der StorageBox angelegt.
Ich möchte nicht in das Hauptverzeichnis sichern sondern immer in der Unterverzeichnis /pbs

 

[Chris]

Einfach ein Unterverzeichnis erstellen und anstelle des mount-points den absoluten Pfad zum Unterverzeichnis (aus PBS host Sicht) eingeben. Falls der Datastore bereits im falschen Ordner erstellt wurde, einfach wieder entfernen und einen neuen im Unterverzeichnis erstellen.

 

[magicpeter]

Einfach ein Unterverzeichnis erstellen und anstelle des mount-points den absoluten Pfad zum Unterverzeichnis (aus PBS host Sicht) eingeben. Falls der Datastore bereits im falschen Ordner erstellt wurde, einfach wieder entfernen und einen neuen im Unterverzeichnis erstellen.

OK, alles klar.

Ist das normal das es eine Stunde dauert um das Datastore anzulegen?
Es dauert immer 1 Minute pro 1% Chunkstore create

 

[Chris]

OK, alles klar.

Ist das normal das es eine Stunde dauert um das Datastore anzulegen?
View attachment 77743Es dauert immer 1 Minute pro 1% Chunkstore create

Na ja, wie bereits erwähnt ist Performance meist ein Problem mit Network shares. Das ein create datastore in solchen Fällen lange dauert ist zu erwarten, ja.

 

[magicpeter]

Sah alles gut aus und ich habe dann die ersten Datensicherungen in das Datastore StorageBox1PBS gemacht. Das ging auch sehr schnell.
Nur leider konnte ich auf de Hetzner Oberfläche einen Verbrachtenspeicher sehen. Das kam mir komisch vor.
Eine weitere Datensicherung gemacht, die auch sehr schnell ging und dann war plötzlich mein Speicher /dev/vda3 voll und es ging nix mehr.
OK ich hatte nur 15 GB auf /dev/vda3, aber der darf doch nicht voll laufen, das soll doch alles in die Storagebox gehen.

Was habe ich falsch gemacht oder braucht der Upload einfach etwas Zeit und dann wird der Speicher auf /dev/vda3 wieder freigeben???

 

[magicpeter]

Hier der Screenshot.. der Hetzner StorageBox. Speicherverbraucht 0 GB

 

[maxim.webster]

Problem gelöst.

Vielleicht für andere, lt. Anleitung muss bei der Verwendung eines Sub-Accounts (uXXXXXX-subY) der Sub-Account als Benutzername und Name des Shares verwendet werden.

Die "credentials"-Datei (hier /etc/storagebox/credentials) ist eine einfache Key/Value-Datei:

username=uXXXXXX-subY
password=ABCDEFGHIJ

Der manuelle Mount sieht also wie folgt aus:

mount.cifs -o iocharset=utf8,rw,credentials=/etc/storagebox/credentials,file_mode=0660,dir_mode=0770 //uXXXXXX.your-storagebox.de/uXXXXXX-subY/ /mnt/storagebox

Der Eintrag für die fstab entsprechend:

//uXXXXXX.your-storagebox.de/uXXXXXX-subY/ /mnt/storagebox cifs iocharset=utf8,rw,credentials=/etc/storagebox/credentials,file_mode=0660,dir_mode=0770 0 0

Danach kann das lokale Verzeichnis /mnt/storagebox als Datastore im PBS angemeldet werden:

 

[maxim.webster]

//uXXXXXX.your-storagebox.de/uXXXXXX-subY/ /mnt/storagebox cifs iocharset=utf8,rw,credentials=/etc/storagebox/credentials,file_mode=0660,dir_mode=0770 0 0

Korrektur: Offenbar laufen die Proxmox Backup Services mit einem eigenen Benutzer namens "backup". Dessen UID und GID muss noch mit in die Mount-Optionen. Üblicherweise sind UID und GID 34, aber zur Sicherheit in der /etc/passwd nachschlagen.

Die Erweiterung lautet dann:

//uXXXXXX.your-storagebox.de/uXXXXXX-subY/ /mnt/storagebox cifs iocharset=utf8,rw,credentials=/etc/storagebox/credentials,file_mode=0660,dir_mode=0770,uid=34,gid=34 0 0

 

[magicpeter]

So jetzt läuft es super!!

Hier noch. mal die Zusammenfassung:

Geh auf den PBS in die Shell und führe folgende Kommandos aus:

MountPoint anlegen
mkdir /mnt/stb

Logindaten in eine Datei schreiben
nano /etc/sbdata.txt (username und password der Storage Box)
username=<Benutzername>
password=<Passwort>

Zugriffsrechte anpassen
chmod 0600 /etc/sbdata.txt

FSTAB anpassen für automatische Einbindung
nano /etc/fstab
//uxxxxxx.your-storagebox.de/backup /mnt/stb cifs iocharset=utf8,rw,credentials=/etc/sbdata.txt,uid=34,gid=34,file_mode=0660,dir_mode=0770 0 0

PBS einmal Neustarten

Datastore im PBS über die GUI hinzufügen

Datastore - Add Datastore
Name: pbsstoragebox
Backing Path: /mnt/stb/pbs
/mnt/stb (plus Unterverzeichnis, wenn gewünscht) pbs (Das Unterverzeichnis muss vorher in der Storage Box angelegt sein)
Comment: Hetzner Storagebox uxxxxx

Dann wird der Datastore auf der StorageBox erstellt, das dauert ziemlich lange.
ca. 1 % pro Minute, bei mir hat es ca. 110 Minuten dauert.

Gehe dann auf den PVE auf Datacenter und binde das Storage ein.

Storage - Add Proxmox Backup Server

ID: PBS-StorageBox1
Server: 192.168.111.xxx
Username: root@pam
Passwort: xxxxx (Passwort des PBS)
Nodes: alle NODE auswählen die den Storage nutzen sollen
Enable: X
Content: backup
Datastore: pbsstoragebox
Namespace: Root (kann leer bleiben)
Fingerprint: kopiere dir den FingerPrint deines PBS hier rein.

Jetzt kannst du mit dem Sichern deiner VMs auf die StorageBox beginnen.
Denke immer daran, das deine Upload-Geschwindigkeit das Nadelöhr ist.
Desto schneller deine Upload-Geschwindigkeit desto schneller ist auch deine Sicherung.

Gerade getestet und alles läuft einwandfrei.

Ich habe eine Debian VM mit 10 GB Festplatte in 4 Minuten gesichert, die nächste Sicherung hat nur noch 20 Sekunden gedauert.

WICHTIG: Wenn du einen Sub-Account bei der Storage Box eingerichtet hast, dann solltest du auf folgendes achten.
Um auf den Sub-Account zuzugreifen, sollte der Nutzername des Sub-Accounts und auch dessen eigene Domain benutzt werden (z. B. uXXXXX-subX.your-storagebox.de) anstatt der des Hauptaccounts.

Bespiel: //u123456-sub1.your-storagebox.de/u123456-sub1

Hetzner hat dies - nach Jahren - bis heute nicht dokumentiert.
Dass man in der UNC backup mit dem Benutzernamen des Subaccounts ersetzen muss, darauf muss man erst mal kommen.

 

[peterfranz]

Hallo magicpeter,
danke für das How To nach dem jetzt einige Zeit schon vergangen ist, wollte ich mal fragen wie deine "Langzeit" Erfahrungen damit aussehen? Hab es bei mir dank deiner Anleitung problemlos einrichten können, jedoch hab ich den Eindruck das die GC-Jobs ewig dauern?

 

[Johannes S]

danke für das How To nach dem jetzt einige Zeit schon vergangen ist, wollte ich mal fragen wie deine "Langzeit" Erfahrungen damit aussehen? Hab es bei mir dank deiner Anleitung problemlos einrichten können, jedoch hab ich den Eindruck das die GC-Jobs ewig dauern?

Das ist doch normal bei solchen setups, selbst im lokalen Netzwerk (siehe hier: https://forum.proxmox.com/threads/warum-ist-der-pbs-so-picky-bei-nfs-storage-mounts.160610/ ) oder wenn sie auf den gleichen Rechner sind (man sie also eigentlich nicht per NFS oder CIFS anbinden müsste):
https://forum.proxmox.com/threads/datastore-performance-tester-for-pbs.148694/

Da PBS seinen Datenbestand für seine Deduplizierung (wodurch Daten nicht neu übertragen werden müssen, falls sie in mehreren Backups vorkommen))) in zig 4MB große Dateien aufsplittet und diese bei jeden GC-Job eingelesen werden müssen, wird man da übers Netzwerk nie eine gute Performance hinbekommen, über Internet noch viel weniger. Darum empfehlen die Entwickler ja auch in ihrer Dokumentation, dass man dafür schnellen, lokalen Storage nehmen soll, im Idealfall Enterprise-SSDs:

Die ganzen Youtuber mit ihren "How to connect your hetzner storagebox to your Proxmox server" sollten sich schämen und outgecalled werden Anfängern solche schlechten Ratschläge zu geben.

Im Grunde gibt es folgende Möglichkeiten für das offsite-Backup in PBS:

• Externe Festplatten kaufen und als "Removable datastore" in PBS nutzen, wenn man eine Festplatte außer Haus lagert (z.B. im Büro, bei Freunden oder Familienmitgliedern) und regelmäßig mit einer anderen abwechselt, hat man damit eine relativ günstige und feuer/wasserschaden/hackersichere Sicherung außer Haus. Dafür halt manuellen Aufwand
• Cloud-Anbieter wie tuxis.nl oder inett (https://pbs.inett.de/ ), die betreiben einen PBS in einen Rechenzentrum für einen und man kann dann vom lokalen PBS (der zur Not auch eine VM auf der NAS (Synology und qnap unterstützen das teilweise, TrueNAS und OMV auch!) oder in ProxmoxVE sein kann) da rein sichern. Der lokale PBS hat seine Daten natürlich NICHT auf einer NAS liegen, sondern auf seiner Festplatte (bevorzugt Enterprise-SSD, da HDD auch schon Performance killen, aber selbst eine HDD wird besser sein als was per NFS/CIFS angebundenes, ob bei Hetzner oder lokal). 0,02 Cent pro gesicherten GB bei Inett finde ich relativ fair dafür, dass man sich nicht selbst um die Wartung kümmern muss
• Vserver bei einen günstigen Anbieter wie Netcup, Contabo o.ä. mieten, darauf dann den PBS installieren und darüber dann die Backups vom lokalen PBS ziehen. So mache ich das aktuell, die Kosten sind mit 12 Euro für ca 512 GB Datenspeicher relativ überschaubar. Bin aber am Überlegen, da auf Inett zu wechseln, da ich mich dann nicht mehr um die Wartung kümmern muss.

Will man unbedingt die Storagebox, s3, Onedrive oder einen anderen Cloudspeicher nehmen, sollte man dafür besser die normalen vzdump-/VMA-Backups mit ProxmoxVE erstellen. Da hat man dann zwar nicht den Vorteil der Deduplizierung, aber dafür klappt das so ziemlich immer (dauert halt entsprechend für die Datenübertragung) und diese Archive lassen sich auch ohne PBS wiederherstellen. Letzteres ist der Grund, warum ich zusätzlich zur täglichen Sicherung auf meinen PBS auch ein wöchentliches Backup per vzdump auf die Storagebox mache (erst auf eine Netzwerkfreigabe auf meiner NAS und die NAS synct die dann zur Storagebox).

Was man bitte NICHT macht: Den Datenbestand von PBS mit rclone auf einen Cloudspeicher sichern, damit haben sich Leute schon ihre Backups zerschossen.

 

[peterfranz]

Hallo Johannes S.,
danke für diese ausführliche Erklärung es ist einleuchtend das der Transfer der Chunks hier einen Flaschenhals darstellender. Gerade der zweite Link ist ja recht aufschlussreich. Naja wird das Offsite Backup doch einen anderen Weg gehen müssen....

 

[magicpeter]

Hallo magicpeter,
danke für das How To nach dem jetzt einige Zeit schon vergangen ist, wollte ich mal fragen wie deine "Langzeit" Erfahrungen damit aussehen? Hab es bei mir dank deiner Anleitung problemlos einrichten können, jedoch hab ich den Eindruck das die GC-Jobs ewig dauern?

Moin Peterfranz,

also ich nutze mittlerweile auch nur noch Cloud-Anbieter wie tuxis.nl oder inett. Das ist wesentlich besser und zuverlässiger.

Nutze aktuelle für einige Projekte den PBS von inett mit dem dynamischen Tarif, echt gut uns günstig.
Da kannst du sogar auf einem BPS über die Namespace mehrere Projekte mit Verschlüsselung zuverlässig sichern.
Auch der Support von inett ist klasse.

Ich muss aber ehrlich sagen das ich mit der StorageBox bisher keine Probleme hatte. Aber klar diese hat natürlich technische Einschränkungen von der Performance her.

 

[maxim.webster]

Ich muss aber ehrlich sagen das ich mit der StorageBox bisher keine Probleme hatte. Aber klar diese hat natürlich technische Einschränkungen von der Performance her.

Eben. Die Storagebox bzw. lokaler PBS mit einem entfernten Datastore hat technische Nachteile, aber finanzielle Vorteile. 3,81 EUR pro TB vs. 9 EUR pro TB bei einem managed PBS.

In (m)einem privaten / home-lab Umfeld und einem DS Volumen von rund 500MB war die Storagebox eine gangbare und günstige Lösung, trotz Performance-Engpässen. Letztendlich bin ich jetzt auf managed PBS gewechselt, weil mir der Restore Prozess bei einem fatalen Ausfall des lokalen PVE Clusters (mit der PBS VM) zu umfangreich war.

 

[strauch]

Hallo,

ich habe den pbs auch einmal direkt an die Storagebox "angedockt". Aber habt ihr mal probiert mit einem "neuen" PBS das Backup zu restoren? Ich hab das nicht hinbekommen und bin wieder davon abgerückt und sichere wieder mit meinem NAS auf die storagebox, zumal der NAS hier auch wesentlich mehr durchsatz schafft. Das Backup mit PBS hat 8h gedauert mit TrueNAS brauche ich 3h (hier begrenzt meine Internetleitung).

Und noch eine Frage wo gibt es denn einen PBS für 9€ pro TB?

Danke und Grüße

strauch

 

[Johannes S]

ich habe den pbs auch einmal direkt an die Storagebox "angedockt". Aber habt ihr mal probiert mit einem "neuen" PBS das Backup zu restoren? Ich hab das nicht hinbekommen und bin wieder davon abgerückt und sichere wieder mit meinem NAS auf die storagebox, zumal der NAS hier auch wesentlich mehr durchsatz schafft. Das Backup mit PBS hat 8h gedauert mit TrueNAS brauche ich 3h (hier begrenzt meine Internetleitung).

Das lässt sich leicht erklären: Einerseits ist schon die Anbindung per Netzwerk nicht optimal, zum Anderen arbeiten die Storageboxen mit HDDs in RAIDZ. Beides für PBS schon nicht optimal und dann in der Kombination.

Und noch eine Frage wo gibt es denn einen PBS für 9€ pro TB?

Nirgendwo soweit ich weiß, aber in der Größenordnung um die 20€ pro TB bzw. 0,02 Euro pro GB ist durchaus gängig:
https://pbs.inett.de/
https://www.tuxis.nl/de/proxmox-backup-server/
https://partimus.com/leistungen/proxmox-ve-private-cloud/#backup-server

Man kann aber natürlich auch jeden Vserver nehmen, so mache ich das: Ich habe mir bei netcup für ca 12 Euro einen Vserver gemietet ( 5-6 Euro für den Vserver, Rest für 200-300 GB zusätzlichen Speicherplatz): https://www.netcup.com/de/server/vps

Darauf habe ich mir dann einen PBS gepackt und nutze das als offsite-Backup für die eigentlichen VMs und LXCs. Für große Datenmengen ist das natürlich nicht sehr praktikabel und für mich im Homelab auch nicht bezahlbar, darum trenne ich da nach Funktion:

- Die VMs und LXCs enthalten nur das Betriebssystem und die Anwendungen, die Backups davon kommen in den lokalen und vserver PBS.
- Die Masse der Daten landen auf dem TrueNAS
- Die Daten von TrueNAS und meinen Notebook werden mit restic (bzw. resticprofile zur einfacheren Konfiguration) auf eine Storagebox für 13 Euro im Monat und externe Festplatte gesichert.

Insgesamt gebe ich damit im Monat um die 30 Euro für Offsite-Backup aus, das finde ich voll ok dafür, dass ich besser schlafen kann

Wenn die Datenmenge dafür zu stark anwächst, müsste ich das wohl noch mal überdenken, vermutlich würde ich dann bei Familienangehörigen oder Freunden einen zweiten TrueNAS-Server aufstellen, der dann auch eine PBS-VM aufnimmt und dort dann die Backups hinsyncen.