Ist es möglich PBS mit AWS S3 Blockspeicher zu betreiben?

[magicpeter]

Moin,

Ist es möglich PBS mit AWS S3 Blockspeicher zu betreiben?

Wir würden gerne eine bestehende Windows Hyper-V Umgebung mit Veeam Backup & Replication gegen Proxmox VE und PBS ersetzen.

Wir benötigen aber eine vernünftige Möglichkeit die VMs (09 TB) Offsite zusichern.

Wir nutzen jetzt aktuelle Veeam B&R 12.1 mit einer Anbindung an AWS S3 und das klappt super.

Es wäre toll wenn es eine ähnliche Lösung für PBS gäbe.

LG Peter

 

[cheiss]

Dazu gibt es bereits einen Eintrag in unserem Bugzilla: https://bugzilla.proxmox.com/show_bug.cgi?id=2943

 

[magicpeter]

Dazu gibt es bereits einen Eintrag in unserem Bugzilla: https://bugzilla.proxmox.com/show_bug.cgi?id=2943

Moin Christoph,
danke, aber was ich da herauslese ist das es aktuell keine AWS S3 Unterstützung für PBS gibt oder?

 

[cheiss]

aber was ich da herauslese ist das es aktuell keine AWS S3 Unterstützung für PBS gibt oder?

Ja genau. Du kannst natürlich in dem Ticket auch dein +1/deinen Usecase schildern bzw. per Email subscriben, damit du Updates kriegst wenn sich etwas ändert.

Einige User haben IIRC etwas mit s3fs-fuse selber zusammengebastelt - PBS braucht allerdings ordentliche IOPS für den Chunk-Store selber, d.h. wenn könnte man überhaupt nur den Chunk-Store dort hinsynronisieren, aber nicht direkt auf/über S3 betreiben.

 

[magicpeter]

Ja genau. Du kannst natürlich in dem Ticket auch dein +1/deinen Usecase schildern bzw. per Email subscriben, damit du Updates kriegst wenn sich etwas ändert.

Einige User haben IIRC etwas mit s3fs-fuse selber zusammengebastelt - PBS braucht allerdings ordentliche IOPS für den Chunk-Store selber, d.h. wenn könnte man überhaupt nur den Chunk-Store dort hinsynronisieren, aber nicht direkt auf/über S3 betreiben.

OK, danke
Ich wollte mir nicht etwas zusammenbestassteln. Ich suche eine vernünftige von Proxmox supportete Lösung.
Dann muss ich wohl noch etwas warten mit der Migration. Schade.
Ich werde mich mal an dem Ticket beteiligen. Vielleicht kommt es dann ja schneller.
LG Peter

 

[magicpeter]

Dann mal hier Kaufen: https://www.thomas-krenn.com/

Was genau soll ich da kaufen?

 

[Falk R.]

Moin,

Ist es möglich PBS mit AWS S3 Blockspeicher zu betreiben?

Wir würden gerne eine bestehende Windows Hyper-V Umgebung mit Veeam Backup & Replication gegen Proxmox VE und PBS ersetzen.

Wir benötigen aber eine vernünftige Möglichkeit die VMs (09 TB) Offsite zusichern.

Wir nutzen jetzt aktuelle Veeam B&R 12.1 mit einer Anbindung an AWS S3 und das klappt super.

Es wäre toll wenn es eine ähnliche Lösung für PBS gäbe.

LG Peter

Bei meinen Kunden habe ich auch viel mit Veeam zu Wasabi synchronisiert.

Da der PBS kein S3 kann, mache ich das entweder über Tuxis https://tuxis.nl die haben auch ein RZ in Frankfurt. Für andere Kunden habe ich auch Server bei Hetzner gemietet und da einen PBS aufgesetzt, damit kann man relativ günstig auch ganz viel Volumen bekommen.

S3 ist nett, aber habt ihr mal die Restoreperformance getestet? Außerdem finde ich die egress Kosten bei AWS unverschämt hoch.

Was auch ich lernen musste, alte Zöpfe abschneiden und einfach mal neu denken und lernen.

 

[magicpeter]

Bei meinen Kunden habe ich auch viel mit Veeam zu Wasabi synchronisiert.

Da der PBS kein S3 kann, mache ich das entweder über Tuxis https://tuxis.nl die haben auch ein RZ in Frankfurt. Für andere Kunden habe ich auch Server bei Hetzner gemietet und da einen PBS aufgesetzt, damit kann man relativ günstig auch ganz viel Volumen bekommen.

S3 ist nett, aber habt ihr mal die Restoreperformance getestet? Außerdem finde ich die egress Kosten bei AWS unverschämt hoch.

Was auch ich lernen musste, alte Zöpfe abschneiden und einfach mal neu denken und lernen.

Moin Falk,
von Tuxis https://tuxis.nl habe ich schon mal gehört und einiges gelesen.
Ich finde AWS S3 als Blockdevice einfach sehr zuverlässig. Bricht die Verbindung da, geht es nachher einfach weiter, muss du einen Backupserver Neustarten, geht es nachher einfach weiter. Was isch sagen will S3 ist sehr zuverlässig mit Veeam.
Gibt es sowas auch zuverlässiges auch beim PBS?
Die Hetzner Cloud nutze ich auch selber für verschiedene Zwecke.
Wie machst du das da genau?

 

[Falk R.]

Ich finde AWS S3 als Blockdevice einfach sehr zuverlässig. Bricht die Verbindung da, geht es nachher einfach weiter, muss du einen Backupserver Neustarten, geht es nachher einfach weiter. Was isch sagen will S3 ist sehr zuverlässig mit Veeam.

Vorsicht, S3 ist ein Objektspeicher mit allen Vor- und Nachteilen.

Gibt es sowas auch zuverlässiges auch beim PBS?

Der zieht auch nur die geänderten Chunks und ist oft deutlich effizienter als Veeam, was man auch an der genutzten Bandbreite sieht.

Die Hetzner Cloud nutze ich auch selber für verschiedene Zwecke.
Wie machst du das da genau?

Wir haben einen Storageserver gemietet und da einen PBS installiert. Die Firewall ist so konfiguriert, dass der Server nur von einer IP erreichbar und administrierbar ist. Der PBS macht dann stündlich einen Pull und schaut ob es neue Backupjunks gibt.

 

[magicpeter]

Vorsicht, S3 ist ein Objektspeicher mit allen Vor- und Nachteilen.

Der zieht auch nur die geänderten Chunks und ist oft deutlich effizienter als Veeam, was man auch an der genutzten Bandbreite sieht.

Das klingt doch richtig gut. Dann ist das also eine echte Alternativ zu S3.
Dann könnte ich damit meine Hyperv und Veeam S3 Anbindung migrieren.
(2 x Hyperv mit 6 VMs lokal, NAS 20 TB lokal und 10 TB S3 Speicher Cloud)

Wir haben einen Storageserver gemietet und da einen PBS installiert. Die Firewall ist so konfiguriert, dass der Server nur von einer IP erreichbar und administrierbar ist. Der PBS macht dann stündlich einen Pull und schaut ob es neue Backupjunks gibt.

Also einen dedicated CX42 Server mit extra BLOCK STORAGE VOLUMES? 10 TB BSV Kostenbei Hetzner aber auch richtig Geld ca. 536€/Monat. Da ist AWS schon etwas günstiger. Ich zahle für 12 TB 373€/Monat.

 

[Falk R.]

Das klingt doch richtig gut. Dann ist das also eine echte Alternativ zu S3.
Dann könnte ich damit meine Hyperv und Veeam S3 Anbindung migrieren.
(2 x Hyperv mit 6 VMs lokal, NAS 20 TB lokal und 10 TB S3 Speicher Cloud)


Also einen dedicated CX42 Server mit extra BLOCK STORAGE VOLUMES? 10 TB BSV Kostenbei Hetzner aber auch richtig Geld ca. 536€/Monat. Da ist AWS schon etwas günstiger. Ich zahle für 12 TB 373€/Monat.

Wir haben da ein Setup mit 250TB, und kostete irgend etwas um 300€. Müsste ich aber erst nachschauen.

Für kleine Setups nehme ich einen AX mit 2 SSDs und 2x 16TB oder 20TB HDD. Die HDDs im ZFS Mirror mit einer Partition auf den SSDs als Special Device.

 

[Falk R.]

Also einen dedicated CX42 Server mit extra BLOCK STORAGE VOLUMES? 10 TB BSV Kostenbei Hetzner aber auch richtig Geld ca. 536€/Monat. Da ist AWS schon etwas günstiger. Ich zahle für 12 TB 373€/Monat.

Hier mal ein Beispiel:

 

[magicpeter]

Hier mal ein Beispiel:

View attachment 73080

Wau, das ist ja wirklich richtig günstig....

 

[magicpeter]

Dann hast du dir auf diesen Server eine Firewall (pdSense) und den Proxmox Backup Server installiert und verbindest dann diesen Server per VPN mit deinem lokalen Netzwerk. Die 2 x 16 GB HDD sind dann der Backupstorage, ok der ist natürlich billiger als das extra BLOCK STORAGE VOLUMES von Hetzner.

Wie ist denn die Backupgeschwindigkeit? Klar, das hängt natürlich stark von der lokalen Anbindung ab.
Wie sind denn deine Erfahrungswerte?

 

[Falk R.]

Dann hast du dir auf diesen Server eine Firewall (pdSense) und den Proxmox Backup Server installiert und verbindest dann diesen Server per VPN mit deinem lokalen Netzwerk. Die 2 x 16 GB HDD sind dann der Backupstorage, ok der ist natürlich billiger als das extra BLOCK STORAGE VOLUMES von Hetzner.

Ich nutze einfach die UFW, du kannst auch iptables konfigurieren, aber UFW bin ich von Ubuntu Servern gewohnt.
Die HDDs werden das Datengrab und ich partitioniere die SSDs beim Installieren immer von Hand und nutze die letzte Partition dann im ZFS-Pool als Special Device Mirror.

Wie ist denn die Backupgeschwindigkeit? Klar, das hängt natürlich stark von der lokalen Anbindung ab.
Wie sind denn deine Erfahrungswerte?

Da das als sekundäres Backup genutzt wird ist das nicht so interessant. Die Chunks sind trotzdem extrem schnell übertragen, in der Regel limitiert die WAN Leitung. Die Verify Jobs dauern aber etwas länger auf den HDDs, aber der Server macht ja nix anderes.

 

[abbbi]

noch im alpha stadium: https://github.com/tizbac/pmoxs3backuproxy

 

[Falk R.]

noch im alpha stadium: https://github.com/tizbac/pmoxs3backuproxy

Nette Idee, aber wenn man sich die Datenstruktur vom PBS anschaut und sich anschaut wie Objektspeicher funktioniert, da merkt man, dass dies keine gute Idee ist.
Bei Veeam sind die Backups in großen Dateien gespeichert, welche man gut in passende Häppchen für den Objekspeicher teilen kann. Selbst der Veeam Workload ist laut Objektspeicheranbieter schon grenzwertig.
Wenn man sich die vielen kleinen Chunks vom PBS anschaut, ist das ein Objektspeicher Killer. Die täglichen Änderungen sind nicht das Problem, aber der erste Sync und vor allem ein Restore killt den Objektspeicher komplett.

 

[abbbi]

Wenn man sich die vielen kleinen Chunks vom PBS anschaut, ist das ein Objektspeicher Killer. Die täglichen Änderungen sind nicht das Problem, aber der erste Sync und vor allem ein Restore killt den Objektspeicher komplett.

als Primärziel sicherlich weniger geeignet, für gelegentliches Auslagern allerdings OK.
Ist natürlich Situationsbedingt

 

[pikey]

als Primärziel sicherlich weniger geeignet, für gelegentliches Auslagern allerdings OK.
Ist natürlich Situationsbedingt

Je nach S3 Anbindung kann selbst schon das Erstellen eine Qual sein.
Ohne Tools wie s3fs war ich bei 24h, mit 4h.

Wenn man Geld über hat, oder es braucht, hat IONOS z. B. Preis/Leistung technisch, finde ich, aktuell mit das beste Angebot.
Für 170€/Monat bekommt man 2 x 480 GB SSD + 4 x 16 TB HDD.
Da stinkt die Hetzner Aktion gegen ab, weil entweder nur HDDs, oder eine einzige SSD in dem Speicherumfang

 

[Falk R.]

Der Preis ist gut, aber bei Hetzner nehme ich immer nur Server mit mindestens 2 SSDs. Gerade bei der Serverbörse muss man etwas suchen, weil einige Leute, neue Server mit 1 SSD konfigurieren und die dann lange in der Serverbörse bleiben.
Das einzige Problem bei Hetzner, die kleinen Server um 100€ haben nur 4 Disks und die Storageserver sind dann mit 250€ und deutlich mehr Disks für manche Setups zu groß. Der von ionos ist da in der Mitte, aber ich vermute die 480GB SSDs sind keine Enterprise Modelle.