Feature Request / Vorschlag für neue Funktion

[BOSSJoe]

Hi zusammen,

ich habe heute meinen PBS noch einmal neu installiert und dabei ist mir eine Idee für ein Feature gekommen. Ich würde das hier mal gerne in den Raum stellen und vielleicht auch zur Diskussion stellen wie sinnvoll diese Funktion ist.

Wie wäre es, wenn man den PBS genau wie auch PVE als Cluster aufsetzen könnte mit einem Clusterstorage wie CEPH?

Zum Hintergrund. Ich arbeite für einen großen IT Distributor in Deutschland als technischer Consultant für die Hersteller Rubrik und Cohesity. Wer diese beiden Firmen nicht kennt, es handelt sich hier um Hersteller von Backup Appliances auf Basis von Hyper Coverged Infrastuctur.
Dort ist es so, das man 2HE Appliance mit insgesamt 4 Nodes bekommt. Jeder Node hat 3 SAS HDDs und noch zusätzlich eine Cache SSD. Alle vier Nodes bilden zusammen einen Cluster mit gemeinsamen Software Defined Storage. Natürlich lässt sich so ein Cluster auch beliebig skalieren. Daneben gibt es selbstverständlich noch viele weitere Features wie ein immutable Filesystem, Ransomwareerkennung usw. Aber darum soll es hier erst einmal nicht gehen.

Was haltet ihr von diesem Vorschlag?

Ich bin jetzt nicht so tief in der Programmierung drin, aber die Funktionen sind ja eigentlich in PVE schon alle da, nur halt nicht in PBS. Wäre das sehr schwer umzusetzen?

Vielen Dank

Gruß
Joe

 

[Falk R.]

Hi Joe,

ich kenne die Produkte und finde den Ansatz nicht so doll. Du hast in dem Setup viel zu viel Overhead, den du teuer mitbezahlst.
Egal ob jetzt Veeam bei HyperV / vSphere oder der PBS bei Proxmox zum Einsatz kommt, hat sich bei meinen Kunden folgendes Setup bewährt (Preis / Leistung)
- Primärbackupserver mit SSDs mit kurzer Retention (14-30 Tage)
- Sekundärbackupserver (bei Veeam LHR) mit HDDs und mehr Volumen für Langzeitbackups

Das ganze ist günstig, Scale UP geht da auch, robuster als ein Cluster und die Sekundärbackups sind immer Ransomwaregeschützt.
Der Ransomwareschutz bei Veeam macht das Hardened Repository und der LinuxServer mit nur einem offenen Port, beim PBS ist der Sekundäre komplett dicht was eingehenden Traffic angeht, der macht ja Pulls.

Ich habe einen Kunden mit mehrern PB Backups und die haben einen Backupcluster mit Ceph im Unterbau, aber das läuft nicht so doll, da Ceph nicht so optimal skaliert mit dem Backupworkload. Derzeit evaluiert der Kunde jetzt DRBD, aber die meisten Clustertechnologien sind nicht für Backupworkload gedacht.

 

[Lukas Wagner]

Ich bin jetzt nicht so tief in der Programmierung drin, aber die Funktionen sind ja eigentlich in PVE schon alle da, nur halt nicht in PBS. Wäre das sehr schwer umzusetzen?

Wäre auch technisch nicht so ganz trivial, das es einiges an Neuentwicklung erfordern würde. Bei Proxmox VE ist das Backend in Perl programmiert, beim Backup Server ist es Rust. Das heißt, wir könnten die Module, die mit Ceph interagieren nicht wirklich so leicht wiederverwenden.

 

[BOSSJoe]

Hi zusammen,

@ Falk R.

vielen Dank für dein Feedback. Ja ich weiß diese Technologien werden kontrovers diskutiert und viele fühlen sich mit ihrem "alten" Setup wohl und sicher. Soll übrigens kein Vorwurf sein. Ich will hier auch keine Diskussion vom Zaun brechen über das für und wieder bestimmter Hersteller.
Ich weiß nur das viele unserer Kunden gerade jetzt von Veeam wechseln möchten weil zum einen das Preis-Leistungsverhältnis nicht mehr passt. Und zum anderen die Technologie nicht mehr mithält.
Nur ein paar Beispiele, wie gesagt ich will keine Diskussion starten und du hast sicherlich auch deine Erfahrungswerte:
- Mit einer Rubrik oder Cohesity starte ich eine VM direkt vom Backupstorage innerhalb von Sekunden.
- Ich habe eine sehr einfache Einrichtung und Administration des Backups. Alles ein System und keine einzelnen Silos.
- Skalieren ist super einfach. Einfach nur den Cluster um weitere Nodes erweitern.
- Zusatzfeatures wie Ransomware Scan und Sensitiv Data Discovery. Alles auf Basis der Backups und ohne weitere Hard- oder Software.
Über den Preis und ob es sich für kleine oder gar Kleinstkunden rechnet brauchen wir nicht reden. Ist sicher nicht die Zielgruppe.

@ Lukas Wagner

Auch dir vielen Dank für die Einblicke. Daher sagte ich ja ich bin nicht drin in der Programmierung. Diesen Unterschied wusste ich zum Beispiel nicht. Das macht es natürlich wesentlich aufwendiger so etwas umzusetzen und dann ist da sicherlich noch die Frage nach der Wirtschaftlichkeit und ob ihr dafür eine "zahlende" Zielgruppe findet...

Ich wollte wie gesagt einfach nur einmal die Idee in den Raum werfen. Vielleicht hattet ihr ja einfach noch nicht daran gedacht... ?

Gruß
Joe

 

[t.lamprecht]

Man kann jetzt schon ein bestehendes CephFS oder Ceph RBD auf einen Proxmox Backup Server Host einbinden, also entweder direkt mounten (CephFS) oder am rados block device ein filesystem erstellen, und dann ganz normal als Datastore verwenden. Das Ceph kann man selber managen (natives ceph Tooling) oder auch Proxmox VE Ceph Management verwenden.

 

[BOSSJoe]

@t.lamprecht
Vielen Dank auch dir für den Hinweis. War mir ehrlicherweise nicht bewusst das dies geht.
Allerdings ist das ja auch nur der halbe Ansatz. Es fehlt dann ja noch der PBS Cluster. Also mehrere PBS für Load Balancing und HA. Und es wäre nicht so aus "einem Guss" wie das aktuell bei PVE der Fall ist. Also alles verwaltbar unter einer Oberfläche (Backup, Cluster und CEPH).

Gruß
Joe

 

[Falk R.]

@t.lamprecht
Vielen Dank auch dir für den Hinweis. War mir ehrlicherweise nicht bewusst das dies geht.
Allerdings ist das ja auch nur der halbe Ansatz. Es fehlt dann ja noch der PBS Cluster. Also mehrere PBS für Load Balancing und HA. Und es wäre nicht so aus "einem Guss" wie das aktuell bei PVE der Fall ist. Also alles verwaltbar unter einer Oberfläche (Backup, Cluster und CEPH).

Gruß
Joe

Was die Features angeht, wie booten aus dem Backup, das können die teuren Lösungen alle (und hatte Veeam vor ganz vielen Jahren als erster ).

Die Zielgruppe ist hier glaube ich nicht wirklich vorhanden. Den größten PVE Cluster welchen ich in der Hand hatte, läuft mit 700VMs und da sind wir noch in einem Bereich wo ein Single Backupserver super skaliert.
Wenn PVE irgendwann den Multicluster Support bekommt, dann können wir auch größere vSphere Kunden ablösen und dann kommen wir in die Region wo so etwas eventuell Sinn macht.

P.S. beim PBS brauche ich auch keine so große Skalierung wie z.B. bei Veeam. Den Datenproxy machen ja die PVE und haben die ganze Last, der PBS als "dummes" Datengrab muss ja nur wegschreiben oder zur Verfügung stellen. Meine all NVMe PBS langweilen sich alle.

 

[tom]

Was die Features angeht, wie booten aus dem Backup, das können die teuren Lösungen alle

Proxmox Backup Server kann das auch schon lange. (Live Restore).

 

[Falk R.]

Proxmox Backup Server kann das auch schon lange. (Live Restore).

Hi Tom.
ich habe den Punkt gesehen, aber noch nie gesehen, dass es funktioniert. Er macht immer einen kompletten Restore der Disk, bis die VM startet.

 

[UdoB]

ich habe den Punkt gesehen, aber noch nie gesehen, dass es funktioniert.

Tatsächlich habe ich das gerade gestern zum ersten mal getestet: ich habe nur einen kleinen Cluster (momentan 4 Nodes) und einen langsamen PBS. Ein virtualisierter Fileserver (das Konstrukt ist im Testbetrieb) hat eine kleine OS-Festplatte und weitere virtuelle Platten (2 TB) als Storage für den zu servierenden Speicher. Ein Restore dauert in diesem Test-Aufbau 90 Minuten.

Mit live-restore bootet die VM sofort. Der angebotene Dienst ist in weniger als einer Minute präsent und bietet den Test-Clients Daten an, die gar noch nicht restored wurden!

Das funktionierte offenbar super

Somit reduziert diese Funktion die Anspannung bei eventuell notwendigen Restores drastisch. Falls mal ein Node ausfallen sollte - was bisher nicht der Fall war.

 

[Falk R.]

Tatsächlich habe ich das gerade gestern zum ersten mal getestet: ich habe nur einen kleinen Cluster (momentan 4 Nodes) und einen langsamen PBS. Ein virtualisierter Fileserver (das Konstrukt ist im Testbetrieb) hat eine kleine OS-Festplatte und weitere virtuelle Platten (2 TB) als Storage für den zu servierenden Speicher. Ein Restore dauert in diesem Test-Aufbau 90 Minuten.

Mit live-restore bootet die VM sofort. Der angebotene Dienst ist in weniger als einer Minute präsent und bietet den Test-Clients Daten an, die gar noch nicht restored wurden!

Das funktionierte offenbar super

Somit reduziert diese Funktion die Anspannung bei eventuell notwendigen Restores drastisch. Falls mal ein Node ausfallen sollte - was bisher nicht der Fall war.

Ich habe es eben auch noch einmal getestet, jetzt startet die VM direkt und funktioniert.
Keine Ahnung was beim letzten Test schief gelaufen war, der war aber auch zu 7.1 Zeiten.