PBS Backup von Pve Storage Replikat möglich?

[crmspezi]

Hallo zusammen,
gibt es in einem Cluster irgendwie eine Möglichkeit, beim PBS Backup nicht das Original, sondern das Storage Replikat zu sichern um hohe IO Verzögerung der VM während der Betriebszeiten zu vermeiden bei sehr großen Datenträgern?

Viele Grüße

 

[floh8]

Auf deutsch, du setzt zfs ein? Ich denke nicht. Bei vms mit blockstorage könntest du dirty-bitmaps nutzen.

 

[crmspezi]

Doch, nur zfs.

 

[crmspezi]

Dauert es trotz DBM 2 Tage bei 20 TB.

 

[floh8]

nach dem 3.mal lesen - jetzt versteh ich deine antwort.

Ich denke nicht.

bezieht sich als antwort auf deine frage.

 

[floh8]

Dauert es trotz DBM 2 Tage bei 20 TB.

bezieht sich jetzt auf was?

 

[crmspezi]

OK. Danke sehr. DBM - Dirty Bitmap. Entschuldige bitte meine blöde Abkürzung.

Vielleicht könnten die Entwickler hier auch antworten.

 

[floh8]

was dauert denn so lange? Das Erstellen des snapshots?

 

[crmspezi]

Das Backup selbst. Ich habe dann meist 30-60 proz. IO Verzögerung. Das wird sehr langsam bei vielen VMS auf dem Host. Deshalb der Wunsch nach der Sicherung der Replikate. Notfalls muss ich eben basteln wenn das mit Boardmitteln unmöglich ist.

 

[floh8]

Also es gibt viele Möglichkeiten Storagebelastung beim Backup zu minimieren. Du könntest einige VM/Container auf einem anderen Host laufen lassen. Du könntest statt Container ein VM einsetzen wie oben beschrieben, dann werden nur die Änderungen gelesen, statt der ganze Container wie jetzt bei dir. Oder du nutzt, PBS-Backup nur für den Root-Container, aber den Datenbereich sicherst du via zfs send. Dieses könntest du dann natürlich direkt von deinem Replikat senden. Da gibt es auch einige Scripte auf github oder bei sysopsTV auf Youtube. Als Ziel kannst du dann vor allem auch gleich den PBS nehmen, da der ja zfs nutzt (standardmäßig).

 

[crmspezi]

Hallo floh8,
es viele VM's auf mehrere Hosts verteilt, ich habe auch nur VM's. Die allerbeste Lösung wäre wirklich das Backup vom Replikat. Das müste auch gehen, nur nicht mit den PBS Scripts. Mit ZFS send / zrep, wie auch immer geht das natürlich.

Gibts da was dierekt aus der pve Entwicklung?

 

[fabian]

bitte etwas mehr details

- storage setup von PVE bzgl VMs
- setup von PBS (inkl. storage - baremetal? als VM? ..)
- anbindung PVE <-> PBS
- backup task log
- versionen von PVE und PBS



wenn das backup so ein massives last problem verursacht heisst das im regelfall dass irgendetwas unterdimensioniert oder falsch konfiguriert ist..

du kannst prinzipiell mit proxmox-backup-client direkt auch zvols sichern (auch wegen konsistenz snapshots, mit ein bisschen arbeit) und somit ein PVE-kompatibles backup "nachbauen". ist dann halt nix integriertes, und hat den nachteil, dass du dann ohne dirty bitmap arbeitest und immer die gesamten daten lesen musst (nur um dann draufzukommen, dass moeglicherweise grosse teil unveraendert sind und daher nicht hochgeladen werden muessen).

 

[crmspezi]

bitte etwas mehr details

- storage setup von PVE bzgl VMs
- setup von PBS (inkl. storage - baremetal? als VM? ..)
- anbindung PVE <-> PBS
- backup task log
- versionen von PVE und PBS



wenn das backup so ein massives last problem verursacht heisst das im regelfall dass irgendetwas unterdimensioniert oder falsch konfiguriert ist..

du kannst prinzipiell mit proxmox-backup-client direkt auch zvols sichern (auch wegen konsistenz snapshots, mit ein bisschen arbeit) und somit ein PVE-kompatibles backup "nachbauen". ist dann halt nix integriertes, und hat den nachteil, dass du dann ohne dirty bitmap arbeitest und immer die gesamten daten lesen musst (nur um dann draufzukommen, dass moeglicherweise grosse teil unveraendert sind und daher nicht hochgeladen werden muessen).

Danke Fabian für Deine Rückmeldung.
Ich glaube ich habe die Anbindung und Infrastruktur schon vor 1,5 Jahren gepostet. Meiner Meinung nach liegt es nicht daran, wohl aber am 2x Storage mit HDD (Exos 16x 14TB und Special Device NVMe), der nur mit SSD's bestückt sein sollte (welch Wahnsinn !)

Massives Lastprobelm, ist jammern auf hohem Niveau bei mir. Man kann arbeiten (Windows VM - es ruckelt), aber wenn man 200km/h gewohnt ist (wirklich Volldampf - Danke an euch Jungs aus AT, das habe ich mit ESX oder Hyper-V nie erreicht) sind 50 km/h nicht schick wenn das Backup noch läuft.

• Cluster mit derzeit 11 PVE's (v6.4.x) und Cluster-2 mit 3x 7.x
• mehr als 2TB RAM und fast 900 TB Storage (ZFS, ZFS over iSCSI - 1/3 SSD, 2/3 HDD)
• über 200 Kerne mit hohem Takt
• 2x40GBit/s Anbindung an PBS01 (v1.x) / 02 (v1.x) / 04 (v2.x akutell) mit 2x ZFS Rz2 und auch Hardwareraid bei pbs04, meist Seagate Exos X12, X16, X18 mit Special Device WD Blacks bei den ZFS PBS-sen

Da tränen mir schon vom schreiben die Augen . Nur eure Empfehlung "only SSD" is tabsolut nicht umsetzbar bei dieser Größe. Damals schrieb ich schon "ich fahre nicht mit einem Aston Martin in den Baumarkt um einen Kabelkanal zu holen". SSD Storage als PBS Speicher ist "weit weg".

Ok, wenn' s eben nicht geht, zrep wird dann mein "Helfer" werden um die Sicherung vom Replikat zu tätigen.


Danke sehr für Deine und die "Floh8" Rückmeldung.

Liebe Grüße

 

[crmspezi]

Ich würde mir sehr eine Checkbox "Backup vom Replikat erzeugen" wünschen. Technisch manuell scheinbar kein Problem (?) und "Alle werden glücklich"

Liebe Grüße und schönes WE.

 

[floh8]

Also das du so 'ne riesige Umgebung hast, wäre, im Nebensatz erwähnt, gut zu wissen gewesen. Ich lese raus, dass du bei den PBS 3 Stück hast mit Raid60 und special device installiert. Das würde ich auch so machen. 40 GBit-Anbindung ist wohl etwas überdemensioniert für HDDs.

nur mit SSD's bestückt sein sollte (welch Wahnsinn !)

Bin ich auch ganz bei dir. Bei den momentanen Preisen ist das einfach mal nicht drin.
Dann besteht dein Hauptstorage aus ZFS-Appliances und lokalen ZFS. Hast du Caching Lösungen L2Arc/Slog aktiv?
Hast du mal die pbs benchmark tools genutzt, um paar Performance-Werte zu bekommen?
Wie ist deine Storage- und CPU-Auslastung auf den PVEs zur Backupzeit?

 

[crmspezi]

Also das du so 'ne riesige Umgebung hast, wäre, im Nebensatz erwähnt, gut zu wissen gewesen. Ich lese raus, dass du bei den PBS 3 Stück hast mit Raid60 und special device installiert. Das würde ich auch so machen. 40 GBit-Anbindung ist wohl etwas überdemensioniert für HDDs.

Bin ich auch ganz bei dir. Bei den momentanen Preisen ist das einfach mal nicht drin.
Dann besteht dein Hauptstorage aus ZFS-Appliances und lokalen ZFS. Hast du Caching Lösungen L2Arc/Slog aktiv?
Hast du mal die pbs benchmark tools genutzt, um paar Performance-Werte zu bekommen?
Wie ist deine Storage- und CPU-Auslastung auf den PVEs zur Backupzeit?

Hallo floh8,
nicht Raid60, sondern 1x PBS02 v1.x Raid6 ZFS 120TB+ 1x PBS04 v2.x Raid 5 HW-Raiad LSI 7x18TB + 1x Spare (Raid5) + 1x PBS01 v1.x Second PBS 100TB für PBS02+ 30TB für PBS04 + 1x PBS03 ZFS Raid6 100TB (Standby - derzeit inaktiv). Alle haben L2Arc + Special devices und 64-128GB RAM. Die Backup-Performance wurde auf 70MByte/s schon beschränkt. Es geht ja, aber eben im laufenden Betrieb langsam. Bei 20TB Datenlaufwerrk schaffe ich das über das WE nicht.

 

[Dunuin]

Würde dann auch auf IOPS Bottleneck tippen, wenn du schon schreibst, dass da dein IO Delay so hoch ist. Ein einzelnes großes Raidz2 Vdev aus HDDs ist ja quasi das langsamste was du machen könntest (mal abgesehen von dem Gleichen nur ohne Special Device ). IOPS Performance skaliert ja nur mit der Anzahl an Vdevs und nicht der Anzahl der Disks. Hast du dann ein 120TB Storage der nur die Performance einer einzelnen HDD hat, also nur so grob 100 IOPS schafft.

Ein Raid10 wäre mit HDDs natürlich deutlich performanter und mit vertretbarerer Zeit für das Scrubbing und Resilvern.
Tuxis nutzt da z.B. 10 oder 15 gestripte 3-Disk-Mirrors + striped mirror Special Devices in den PBS mit 30 oder 45 HDDs je Server.
Würde man natürlich auch 66% Rohkapazität verlieren, aber immer noch ein Schnäppchen im Vergleich zu SSDs.

 

[Neobin]

Würde dann auch auf IOPS Bottleneck tippen, wenn du schon schreibst, dass da dein IO Delay so hoch ist. Ein einzelnes großes Raidz2 Vdev aus HDDs ist ja quasi das langsamste was du machen könntest (mal abgesehen von dem Gleichen nur ohne Special Device ). IOPS Performance skaliert ja nur mit der Anzahl an Vdevs und nicht der Anzahl der Disks. Hast du dann ein 120TB Storage der nur die Performance einer einzelnen HDD hat, also nur so grob 100 IOPS schafft.

Ein Raid10 wäre mit HDDs natürlich deutlich performanter und mit vertretbarerer Zeit für das Scrubbing und Resilvern.
Tuxis nutzt da z.B. 10 oder 15 gestripte 3-Disk-Mirrors + striped mirror Special Devices in den PBS mit 30 oder 45 HDDs je Server.
Würde man natürlich auch 66% Rohkapazität verlieren, aber immer noch ein Schnäppchen im Vergleich zu SSDs.

^ This!

Wenn schon nur HDDs, dann wenigstens ordentlich dimensionierte Raid10 mit (Triple Mirror) Special Device auf Enterprise SSDs mit PLP!:

mit Special Device WD Blacks

Wenn man sich nen Transporter mit der kleinsten Motorisierung holt, an den (wie auch immer) Asphaltschlitzer-Räder von nem Kleinwagen montiert und ihn bis Anschlag belädt oder gar überlädt, braucht man sich auch nicht wundern, dass man mit dem keine:

200km/h

schafft...

RaidZ ist gut als Cold Storage für die 4K Heimatfilme Sammlung, aber nicht für Sachen, die massiv von IOPS profitieren bzw. sie sogar benötigen...
(Zumindest bei den Dimensionen und der Hardware, um die es hier gerade geht.)

 

[crmspezi]

Die kostenfrage ist absolut entscheidend bei dieser Umgebung und die Größe mit SSD's abzubilden ist einfach viel zu teuer und meiner Meinung nach unsinnig. Zur Anmerkung. Es gibt kaum merkbare Unterschiede zwischen dem PBS mit ZFS dem PBS mit LSI Raid5 bzgl. der Performance.

Und wenn ich beim PBS mit dem HW-Raid die LED HDD's beim Backup anschaue, dann sind die überwiegend mehr aus als an. Auch bei Sicherung von VM's die nur SSD Storage haben, Trotzdem habe ich hohe I/O Delay Werte.

Nochmal, ich habe eine hervoragende Performance der VM's im Betrieb OHNE Backup, auch bei den latenzkritischen VM's. Lasst uns nochmal zur Ausgangsfrage kommen. Was spricht gegen eine Möglichkeit das Replikat zu sichern ohne eigene rumbastelei?

 

[crmspezi]

Ein Backup (diesmal zum PBS 2.x mit HW Raid) läuft derzeit noch seit gestern 17:30 Uhr. Allerdings habe ich diesmal wenig I/O Delay, max. 5%. Es ist auch Wochenende und die VM's haben "Leerlauf". Kann es eine Vermischung im laufenden Betrieb sein?