[SOLVED] Proxmox Backup Server (PBS) auf einem QNAP TS-883XU-RP?

[fpausp]

Hallo, wir verwenden ein QNAP TS-883XU-RP NAS mit 8GB RAM und 8x8TB HDD und sichern unsere VMs via NFS darauf.

Meine Frage wäre ob schonmal jemand versucht hat den PBS auf einem QNAP zu installieren und welches Filesystem Sinn machen würde?

 

[Falk R.]

Hallo, wir verwenden ein QNAP TS-883XU-RP NAS mit 8GB RAM und 8x8TB HDD und sichern unsere VMs via NFS darauf.

Meine Frage wäre ob schonmal jemand versucht hat den PBS auf einem QNAP zu installieren und welches Filesystem Sinn machen würde?

Das haben schon ein paar Leute probiert und keiner ist glücklich geworden.
Mit den HDDs ist der PBS immer extrem langsam, da ja alles Random IO sind.
Wenn du den PBS zum testen als VM laufen lassen willst, nimm am besten XFS, da ist der FS Overhead nicht so groß und die Performance sollte zum spielen reichen.

 

[Dunuin]

Backups erstellen ist weniger das Problem, da alles ab dem zweitem Backup inkrementell ist und die Schreibvorgänge auch eher sequentiell sind. Restores im Ernstfall sind dann schon langsamer, da dort ja die komplette Menge gelesen werden muss und die IO wegen der Duduplikation nicht sequentiell sondern auch random sein kann.
Richtig übel wird es bei den Maintainance Tasks.
Re-Verifys dauern da echt schon lange wenn man regelmäßig alle Backup Snapshots erneut lesen und hashen muss. Und das schlimmste sind die GC Tasks, welche ohne SSDs bei etlichen TBs an Backups wirklich ewig dauern. Nicht vergessen, dass da PBS alles in Chunk-Dateien von max 4MB Größe (in der PRaxis eher so ~2MB) splittet. Hast du da 10TB an Backups dann sind es halt auch gute 5 Millionen an 2MB Dateien. Bei jedem GC musst du dann die Metadaten aller 5 Millionen Dateien mit Random IO einmal lesen und schreiben. Wenn du da ein Raid6 aus HDDs mit 120 IOPS oder so hast und dann 10 Mio mal Random IO machen musst, kannst du dir ja ausrechen wie lange das dauert. Und um das GC kommst du nicht rum. Ohne GC wird ja nichts gelöscht. Ist halt doof, wenn der der GC Task dann den kompletten Tag oder sogar mehrere Tage braucht und währenddessen das NAS zu nichts zu gebrauchen ist, weil die HDDs durchgehend komplett bis zum Anschlag am Durchrattern sind.

Wenn man unbedingt HDDs nutzen will (und hier ist SSD-only angeraten), dann eigentlich nur in Verbindung mit SSDs für die Metadaten, was aber der drunterliegende Tiered Storage für dich erledigen muss.

 

[fpausp]

Danke für euer Expertenwissen! Ich werd bei QNAP und NFS bleiben...

 

[co-creater]

Danke für euer Expertenwissen! Ich werd bei QNAP und NFS bleiben...

Hallo, eine Frage hätte ich dazu. Ich möchte ebenfalls einen alten QNAP-451 als Netzwerkspeicher für VMs und LXC Container nutzen. Wie macht ihr das aktuell mit dem NFS? Ist das NFS in der PBS Instanz als Netzlaufwerk eingebunden und werden damit die Chunks direkt auf dem Netzwerk-Ordner auf dem QNAP angelegt?
Ich hatte es bisher so gelöst, was zwar funktionierte, sah aber andere Probleme:

• PBS wird als VM auf meiner Proxmox Instanz gehostet
• Proxmox Host bindet den Netzwerkordner des QNAP ein
• Dieser Netzwerkordner wird als Festplatte in den PBS gemounted
• Auf dieser Festplatte wird der Datastore angelegt

Das führt dazu, dass auf dem QNAP eine große Datei abliegt. Ich konnte damit Problemlos alle LXCs/VMs backupen. Allerdings sah ich das Problem, nicht ohne weiteres an meine Backups ranzukommen, falls mal mein Server mitsamt der PBS Instaz abraucht.

Also habe ich dann folgendes Vorgehen ausprobiert:

• PBS mountet das Netzlaufwerk direkt
• Dieses Netzlaufwerk wird als Datastore eingerichtet

Bei dem Vorgehen erhoffe ich mir, an die Backups leichter wieder ranzukommen, falls mal mein Proxmox Server, der PBS hostet, abrauchen sollte. Die Idee ist, man müsste bei einem frischen PBS ja "nur" wieder das Netzlaufwerk auf dem QNAP einbinden und PBS sollte dann die Backups leicht finden.

Doch hier habe ich ein Problem:
Backups werden prinzipiell durchgeführt und es liegen nun sehr viele Chunks auf dem QNAP ab. Aber mit meiner VM habe ich Probleme: Eine Open Media Vault VM, welche 2 TB meiner Daten hält. Diese VM wird zwar versucht zu sichern, aber am Ende des Vorgangs, bei 100% erhalte ich eine Fehlermeldung und das Backup taucht damit nicht in der UI auf: "error during syncfs: Device or resource busy (os error 16)"

Das Problem trat mit der oberen Variante nicht auf. Weiß jemand, woran das liegen kann?

 

[Dunuin]

Das führt dazu, dass auf dem QNAP eine große Datei abliegt. Ich konnte damit Problemlos alle LXCs/VMs backupen. Allerdings sah ich das Problem, nicht ohne weiteres an meine Backups ranzukommen, falls mal mein Server mitsamt der PBS Instaz abraucht.

Ohne lauffähigen PBS bringen dir deine Daten aus dem Datastore eh nichts. Da müsstest du erst PVE und PBS VM neu aufsetzen und einrichten, bevor du irgendetwas vom PBS wiederherstellen könntest. Wird ja aus gutem Grund geraten den PBS bare metal zu betreiben, dass da dein PBS immer verfügbar ist. Gerade wenn dein PVE wegstirbt will man diesen ja schnell neu vom PBS aufsetzen können, was natürlich nicht geht, wenn dein PBS auf deinem PVE virtualisiert läuft. Und bezüglich Schutz vor Ransomware oder Nutzerfehlern auch nicht toll mit PBS auf PVE. Hast du da Ransomware auf dem PVE oder machst unüberlegt etwas dummes, dann sind nicht nur alle deine VMs/LXCs weg sondern mit Pech auch noch alle deine Backups von diesen. Da ist es auch deutlich schöner, wenn PVE und PBS physisch getrennt sind und man die Privilegien so einrichtet, dass da der PVE garnicht erst in der Lage ist Backups zu löschen.

Also habe ich dann folgendes Vorgehen ausprobiert:

• PBS mountet das Netzlaufwerk direkt
• Dieses Netzlaufwerk wird als Datastore eingerichtet

Bei dem Vorgehen erhoffe ich mir, an die Backups leichter wieder ranzukommen, falls mal mein Proxmox Server, der PBS hostet, abrauchen sollte. Die Idee ist, man müsste bei einem frischen PBS ja "nur" wieder das Netzlaufwerk auf dem QNAP einbinden und PBS sollte dann die Backups leicht finden.

Jain. Meine Backup Snapshots gehörten User X und nach dem neuen Aufsetzen des PBS hatte ich User Y. User Y hatte dann aber keinen Zugriff auf die Backups von User X. Kann man dann zwar über das webUI den Besitzer eines Backup Snapshots ändern aber das war echt eine Qual das für hunderte von Backup Snapshots einzeln machen zu müssen.
Ich würde aber auch bevorzugen da den NFS Share direkt in der PBS VM zu mounten. Solltest du weniger Overhead haben und macht es auch einfacher die PBS VM zu sichern. Anstatt die PBS VM neu aufzusetzen solltest du diese per VZDump auf ein NFS/SMB Share vom NAS sichern. Das VZDump Backup bleibt dann schön klein, da sich der Datastore auf keiner der virtuellen Disks befindet. Raucht dir dann der PVE Node ab, dann kannst du als erstes die PBS VM vom SMB/NFS Share wiederherstellen und sobald PBS dann wieder läuft deine anderen Gäste vom PBS.

 

[co-creater]

Hallo, vielen Dank für die Rückmeldung. Der Tip mit VZDump von PBS ebenfalls noch sichern ist top! Allerdings ist die Sache mit dem "os error 16" damit noch nicht gelöst. Ich werde aber der Übersichtlichkeit halber einen neuen Thread aufmachen, weil das mit dem Thema hier nur zweitrangig etwas zu tun hat.