PBS extrem langsam

[illumina7]

Moin,
mein PBS ist extrem langsam, ich vermute es liegt an meiner Konstellation der Hardware.
PBS läuft auf einem extra pve, dabei wird über das Netzwerk gesichert, hier stehen maximal 2x1Gbit/s zum Sichern zur Verfügung (alter Server), wobei das nicht so spannend ist, vor allem beim Restore wird nicht ansatzweise das Netzwerk ausgelastet.
Gesichert wird auf ein Qnap NAS mit HDDs im Raid5, der Backup Share ist via SMB am PBS gemountet (auch 2x1Gbit/s via LACP).
Die Backups laufen auch relativ zügig, da ist die Performance vollkommen in Ordnung und ausreichend.

Probleme:
- GC läuft tagelang, hat meistens einen Timeout während die Backups laufen, beginnt von vorne und irgendwann nach 2-3 Wochen ist der 1(!) Mal durchgelaufen. Dabei füllt sich halt der Storage mit alten Backups, die nicht mehr benötigt werden.
- File-Restore extrem lahm (10-20MB/s), bei kleinen Files kein Problem, muss ich ein Userprofil Zurückkopieren, dann dauert das bei 30GB schon mal 1Std und länger.

Was kann ich am PBS und meiner Konfig optimieren?
Wäre iSCSI mit ZFS performanter? Am Storage führt kein Weg vorbei und um diesen auf SSDs umzurüsten bekomme ich aktuell kein Budget.
Ich hätte hier aber noch 2-3 Samsung PM893 960GB rumliegen, könnte ich damit einen Cache für die Metadaten des PBS konfigurieren, um die Geschwindigkeit zu Verbessern? Macht das Sinn?

Noch paar Details zu meiner Konfig:
PVE1 und PVE2 hängen je mit 2x10GBit/s Cu im LACP an einem Netgear XS708T, der Netgear hat 2x1GBit/s im LACP im Uplink zu einem Aruba 2530-48G, am Aruba hängt der PVE3, mit PBS, mit 2x1Gbit/s sowie das Qnap auch mit 2x1Gbit/s im LACP angebunden.

Gruß

 

[Chris]

Hallo,
network shares sind fuer PBS problematisch, da PBS die Daten als chunks in einem Chunkstore mit Dateien um die 4MB speichert. D.h. viele Zugriffe auf relativ kleine Dateien. Ob ZFS on iscsi besser performed muesste man testen.

 

[illumina7]

Das habe ich inzwischen auch erfahren müssen, was natürlich Vorteile bietet, aber andere Anforderungen an den Storage stellt.
Vielleicht hat jemand Erfahrungen zu iSCSI mit PBS und mag die mal teilen?
Ich habe aktuell aber auch keine Möglichkeit, den Storage irgendwie anders als übers Netz an die VM anzubinden, maximal könnte ich noch eine Netzwerkkarte in den pve stecken, per pass-through an den PBS durchreichen und das NAS darüber direkt anbinden, dann dürften zumindest hier keine anderen Faktoren limitieren. Könnte das die Performance verbessern?

Ich habe jetzt schon mehrfach gelesen, dass man bei einem HDD Storage am besten eine SSD für die Metadaten einbindet, ich weiß aber jetzt nicht inwieweit das in meiner Konfiguration überhaupt funktionieren kann?

 

[itNGO]

Das habe ich inzwischen auch erfahren müssen, was natürlich Vorteile bietet, aber andere Anforderungen an den Storage stellt.
Vielleicht hat jemand Erfahrungen zu iSCSI mit PBS und mag die mal teilen?
Ich habe aktuell aber auch keine Möglichkeit, den Storage irgendwie anders als übers Netz an die VM anzubinden, maximal könnte ich noch eine Netzwerkkarte in den pve stecken, per pass-through an den PBS durchreichen und das NAS darüber direkt anbinden, dann dürften zumindest hier keine anderen Faktoren limitieren. Könnte das die Performance verbessern?

Ich habe jetzt schon mehrfach gelesen, dass man bei einem HDD Storage am besten eine SSD für die Metadaten einbindet, ich weiß aber jetzt nicht inwieweit das in meiner Konfiguration überhaupt funktionieren kann?

PBS möchte vorzugsweise SSDs für die Sicherungsdaten haben. Da man das nicht immer bezahlen will, kann eine SSD am ZFS-Pool dazu beitragen die Zugriffszeiten auf die Metadaten und ggf. auch auf alles was "kleiner" X ist, erheblich zu reduzieren. Das Prinzip greift natürlich am Besten bei lokaler ZFS-Storage am PBS-Server selbst.

 

[illumina7]

So ich hab jetzt etwas Budget für neuen Backup Storage locker machen können.
Gibt es irgendwo eine Liste, welche SSDs für pbs empfohlen werden oder von jemanden, der schon Erfahrungen damit gesammelt hat? Vermutlich wird hier Intel oder Samsung bevorzugt zu verwenden sein oder?
Ich bin mir auch noch nicht 100%ig sicher wie ich mein Szenario aufbauen möchte, prinzipiell habe ich jetzt folgende Ansätze:
- Option 1: Alles bleibt wie es ist, ich tausche nur die HDDs im Qnap gegen SSDs aus, dabei wechsle ich auch auf ein Raid10 und ggf. iSCSI Anbindung an PBS. Kostengünstigste Lösung, dabei wird dann das 1Gbit Netzwerk zum Flaschenhals und die Performance wird vermutlich besser sein aber noch nicht ideal.
- Option 2: ich stecke die SSDs in den PVE, auf dem der PBS läuft und binde diese per passthrough direkt in die PBS VM ein, rüste eine 10Gbit NIC im Host nach, besorgen noch einen 10Gbit Switch und konfiguriere ein dediziertes Backup-Netzwerk. Dazu muss ich auch noch etwas Arbeitsspeicher bestellen, damit genug für den ZFS Pool da ist, der host ist mit 64GB nicht wirklich für einen großen ZFS Pool dimensioniert (bei 4*8TB plus Hotspare wird das knapp).
- Option 3: ähnlich wie Option2, allerdings löse ich den standalone PVE auf und installiere PBS direkt auf der Hardware, ZFS Pool, 10Gbit, dediziertes Backup Netz. Hier sollten dann auch die 64GB RAM ausreichend sein <- das ist im Moment die bevorzugte Option meinerseits.

An der Stelle habe ich noch ein paar Fragen, vielleicht mag die ja jemand mit Ahnung beantworten:
Was ist wenn der PBS Host defekt ist? Kann ich den ZFS Pool einfach mit einem neuen PBS importieren/mounten und dieser liest die Backups automatisch wieder ein?
Wie ist es denn mit dem Backup-Replikat-Server, benötigt dieser auch SSDs? Klar ist die Performance mit HDDs schlechter, aber die kämen auf jeden Fall direkt attached rein und ich könnte noch eine SSD als ZFS special device für die Metadaten einbinden (->Mirror notwendig?). Sollte doch für das Offsite-Replikat der Backups ausreichend sein oder? Ein tägliches lokales Offline Backup mit Rotation gibt es zusätzlich ebenfalls.

Danke schon mal für eure Hilfe!

 

[Dunuin]

Was ist wenn der PBS Host defekt ist? Kann ich den ZFS Pool einfach mit einem neuen PBS importieren/mounten und dieser liest die Backups automatisch wieder ein?

Jein. Pool importieren ist unproblematisch, aber PBS hat noch keinen Import von Datastores. Musst du also manuell die datastore.cfg editieren. Ist dann aber auch nicht weiter tragisch. Habe gerade letzte Wocher erst einen neuen PBS LXC aufgesetz, der dann den alten Datastore per NFS weiterbenutzt hat.

Wie ist es denn mit dem Backup-Replikat-Server, benötigt dieser auch SSDs? Klar ist die Performance mit HDDs schlechter, aber die kämen auf jeden Fall direkt attached rein und ich könnte noch eine SSD als ZFS special device für die Metadaten einbinden (->Mirror notwendig?). Sollte doch für das Offsite-Replikat der Backups ausreichend sein oder? Ein tägliches lokales Offline Backup mit Rotation gibt es zusätzlich ebenfalls.

Special Device sollte immer mindestens im Mirror sein. Special Device ist kein Cache. Geht der verloren sind auch alle Daten auf den HDDs weg.
Und ja, GC wird mit einem HDD Pool + SSDs für Special Device schnell genug laufen. Das Problem können dann eher die Verify-Jobs sein, sofern du die nicht deaktivieren willst, weil dir die Bit Rot Protection von ZFS reicht. Weil die Verify-Jobs sind dann ja trotzdem noch höllisch langsam.

 

[Falk R.]

Wenn ich das richtig verstehe, willst du die HDDs komplett ablösen? Da würde ich Option 3 auf jeden Fall bevorzugen.
Ich habe z.B. einen einzelnen PVE wo nur der PBS drauf liegt. Ich sichere so die PBS OS Disk als vzdump auf eine USB Disk.
Damit kann ich überall meinen PBS Restoren und die Disks einfach wieder einhängen. Das skaliert aber nicht so gut wie Physikalisch, aber im kleinen macht es ein DR recht einfach.

 

[illumina7]

Genau, HDDs raus, SSDs rein - nur wo rein ist noch nicht abschließend geklärt. Mit dem Backup Storage auf dem NAS habe ich die Möglichkeit, den Storage in einem anderen Brandschutzabschnitt unterzubringen. Stecke ich den Storage in den Server, dann liegen Server und Backup Storage im gleichen Raum, habe keine Möglichkeit den Rack-Server räumlich getrennt zu betreiben.
Zum Thema PBS und der Backup/Restore Möglichkeit mit dem PBS selbst muss ich mich mal noch eingehend beschäftigen, danke für den Tipp mit vzdump.

 

[xqlusive]

Was kann ich am PBS und meiner Konfig optimieren?

Konntest du schon etwas optimieren?

 

[Sticki]

Sehr interessantes Thema, zumal ich demnächst den ersten kleinen Kunden mit einem PBS beglücken will (in gleicher Konstellation wie mein weiter unten beschriebenes Home-Lab).

Ich habe schon einige male gelesen, dass der PBS mit Netzwerk-Shares (SMB, NFS & Co.) so seine Probleme hinsichtlich Performance hat. Jedoch kann ich das in meinem Home-Lab überhaupt nicht bestätigen. OK, hier habe ich auch keine mehrere TB an Daten die darüber laufen (alles eher kleine Testmaschinen mit in Summe/in der bisherigen Spitze vielleicht 600-700 GB), aber so wie man das oft liest sollte die Probleme eigentlich schon damit deutlich werden.

Bei mir es so dass mein PVE (ein 12er NUC) per 1Gbit seine Daten an den PBS schickt, der in einer VM (Virtualization Station) innerhalb einer QNAP-NAS läuft. Besagte NAS stellt auch den Storage per NFS-Freigabe (auf Raid5 herkömmliche SATA-HDDs mit einem SSD-Cache „davor“) zur Verfügung. PBS und Freigabe sind somit über den QNAP-virtuellen-Switch verbunden.

Wie gesagt, läuft alles wunderbar. Der längste Task der letzten 30 Tage war eine Garbage Collection mit knapp 20 Minuten.

Memo an mich: mal eine VM mit massig Daten zumüllen und schauen wie sich dann der PBS verhält.


Weiß man denn wo da genau der Flaschenhals ist?...“das Netzwerk“ an sich, der Speed, das Protokoll oder die HDDs – alles natürlich in Kombination mit der Datenmenge?

 

[Dunuin]

Also "4x 8 TB HDDs im Raidz1 -> NFS -> 10Gbit NIC -> 10 Gbit Switch -> 10 Gbit NIC -> PVE -> PBS VM" braucht so für ein 1.15 TB Datastore gute 6-12 Stunden für ein GC. Da ist die IOPS Performance der HDDs halt klar der Flaschenhals und die zusätzliche Latenz vom Netzwerk + NFS Overhead macht es halt noch schlimmer. Das gleiche von oben aber zusätzlich mit zwei SSDs als Special Devices für die Metadaten verkürzt die GC dann so auf 50-85 Minuten. Das ist immer noch echt langsam, dafür dass da beim GC fast Alles von einem SATA Enterprise SSD Mirror geladen wird.
In beiden Fällen ist das IO Delay immer ziemlich hoch. Wenn ich ein Sync Job starte z.B. so bei 30-50%.

 

[Falk R.]

Sehr interessantes Thema, zumal ich demnächst den ersten kleinen Kunden mit einem PBS beglücken will (in gleicher Konstellation wie mein weiter unten beschriebenes Home-Lab).

Bei kleinen Kunden, nehme ich gern einen kleinen Microserver Würfel. Da stecke ich dann gern zwei große HDDs rein (16TB oft) für die Daten und zwei SSDs als Special Device. Da kommt der PBS nativ drauf und das rennt eigentlich sehr gut.

 

[Sticki]

Mit diesem Gedanken habe ich tatsächlich auch schon gespielt. Ich muss hier nochmal in mich gehen und tatsächlich mal meinen o.g. Test abwarten.

Das Backup einer frischen VM mit ca. 360 GB Daten, hat er schon mal in 56 Minuten erzeugt und übertragen. Der GC-Job läuft dann in den Morgenstunden, Ein Restore werde ich dann auch nochmal machen. Ich werde berichten

Klasse wäre es wenn einer von euch mal etwas vergleichbares (bitte nicht mit 2,5 oder gar 10 GBit wegen der Vergleichbarkeit) mit einer nativen PBS-Installation machen könnte. Dann hätte man mal einen direkten Vergleich und nicht wie meist subjektives Empfinden

 

[Falk R.]

Mein Homesetup ist nicht ganz vergleichbar, ich habe eine Write Intensive Enterprise SSD und nur 1x 1GBit. Bei mir ist das Gigabit eindeutig das Bottleneck. Dedup ist derzeit 1:77 und GC dauert auf 400GB Daten im Pool ein klein wenig über 2 Minuten.

 

[Dunuin]

Ich könnte höchstens ein Test machen mit lokalen SSDs (4 disk raid10), HDD+SSD (4 disk raid5 + 2 disk raid1) über NFS und SSD (5 disk raid5) über NFS. Wären aber verschiedene Storage Layouts, daher auch nicht so toll vergleichabr.

 

[Sticki]

Danke für euer beider Angebote, aber die Vergleiche hinken dann doch etwas zu stark.
Ich schau mal durch meinen HW-Fundus...dort findet sich bestimmt noch das ein oder andere was ich über's Wochenende zusammenschustern kann. Bin jetzt angefixt und will das wissen

...und vielleicht findet sich ja noch jemand anderes der das liest und aushelfen mag. Freiwillige vor!

 

[illumina7]

Moin, also um das mal auf den Punkt zu bringen, habe meinen PBS auf SSDs umgerüstet, seitdem ist Ruhe. GC mit hdds ist echt nur für sehr kleinen Umgebungen empfehlenswert, selbst dort dauert es mitunter recht lange. Performance beim Sichern ist mit HDDs okay, das wars aber auch schon. Beim Recovery fehlen den HDDs die IOPS, so dass das auch extrem langsam läuft, kann ich nur davon abraten. Ansonsten bin ich von PBS und dessen Integration in PVE aber schon sehr begeistert, auch ist die Konfiguration straight forward, das kenne ich sonst nur von Veeam.

 

[Sticki]

Machst du deine Backups nun auf einen PBS mit internem Speicher?...ursprünglich hattest du sie ja auf ein NAS geschickt.

Leider konnte ich noch nicht den zweiten Test-PBS zusammenschustern. Jedoch laufen meine bisherigen GC-Jobs immer noch im 2-Minuten-Bereich. Einzig die Job-Verifizierung läuft halt nun etwas über eine Stunde.
Ein Restore der nun ca. 400GB großen VM dauerte fast 2 Stunden. Naja, das könnte besser sein!

Ein Traum wäre es wenn Proxmox endlich die Möglichkeit schaffen würde, einzelne Disks aus den Backups zu restoren!

 

[Dunuin]

Ein Traum wäre es wenn Proxmox endlich die Möglichkeit schaffen würde, einzelne Disks aus den Backups zu restoren!

Manuell per CLI über den proxmox-backup-client wäre das schon jetzt möglich.
Ist aber nicht gerade nutzerfreundlich und Nutzerfehler können da ganz schnell übel enden, daher wäre es wirklich schön, wenn es da mal eine mächtigere GUI für in PVE geben würde.

 

[illumina7]

Machst du deine Backups nun auf einen PBS mit internem Speicher?...ursprünglich hattest du sie ja auf ein NAS geschickt.

Leider konnte ich noch nicht den zweiten Test-PBS zusammenschustern. Jedoch laufen meine bisherigen GC-Jobs immer noch im 2-Minuten-Bereich. Einzig die Job-Verifizierung läuft halt nun etwas über eine Stunde.
Ein Restore der nun ca. 400GB großen VM dauerte fast 2 Stunden. Naja, das könnte besser sein!

Ein Traum wäre es wenn Proxmox endlich die Möglichkeit schaffen würde, einzelne Disks aus den Backups zu restoren!

PBS läuft jetzt Standalone auf einer extra Maschine mit insgesamt 24TB Storage im Raid10 mit Enterprise SSDs.

Zusätzlich lasse ich die Backups jede Nacht auf ein NAS an einem Standort via WAN/VPN replizieren.

GC lief ab 8-10TB tagelang auf den HDDs, völlig unbrauchbar. Dann ist natürlich der Storage voll gelaufen, da das GC nie fertig wurde. Recovery lief mit lächerlichen 25-30 MB/s im 10G Netzwerk und das mit VMs mit 1,5-2TB Daten. Das kannst vergessen, da dauert ein Recovery mehrere Tage und es ist dann nur eine von ca. 50 VMs/LXCs fertig