Replikation von ceph auf zfs

[OsvaldoP]

Hallo

Ich darf mal die Frage in die Runde stellen, da ein Kunde ein solches Szenario für rasche Verfügbarkeit bei Ausfall von Ceph bzw Verschlüsselungsviren wünscht.

Geplant wäre ein Cluster mit 6 Nodes auf welchen Ceph installiert wird. Weiters sollten im jeden Node zfs Pools enthalten sein auf welchen die VM repliziert werden.
Nun habe ich leider das Problem, dass die Replikation via Gui nur zfs unterstützt.

Kennt jemand eine Möglichkeit robust, inkrementell u automatisiertbar Replikate von Ceph auf zfs durchzuführen?

Danke u sg Roland

 

[aaron]

Gegenfrage

Sollen nur die VMs, die auf der jeweiligen Node laufen auf den lokalen Pool repliziert werden? Was, wenn eine VM auf eine andere Node migriert wird?
Das Replication Feature von Proxmox VE repliziert VM Disken zwischen Nodes und nicht zwischen verschiedenen Storages auf der gleichen Node. Ist hier also abgesehen davon, dass es ZFS benötigt, konzeptionell schon was anderes.

Ein Alternativvorschlag, falls der Backupserver verwendet wird: Sehr regelmäßig VM Backups erstellen (z.B. alle 30 min) und im Falle eines Problems, Ransomware etc., die VMs aus dem Backup wiederherstellen. Bei VMs sollten Backups dank fast incremental mode sehr schnell vorbei sein und mit dem Live Restore auch wieder schnell einsatzbereit sein, wenn auch mit eventuell reduzierter Performance. Kommt halt sehr stark darauf an, wie schnell das Netz zum PBS ist und wie schnell das Storage des PBS ist.

 

[OsvaldoP]

Hallo Aaron!

Das mit dem Backup habe ich bereits vorgeschlagen.
Die VM's haben in Summe rund 8TB, eine Wiederherstellung via Live Restore ist für den Kunden zu langsam. Er hatte eben solche ein Fall mit Vmware und Veeam. Eine VM ist ein DB-System welches stark ausgelastet ist.

Geplant sind 2 Standorte jede VM wird dann auf einem Node wiederhergestellt, ob es der selbe Node ist oder ein anderer sollte egal sein

sg & vd
Roland

 

[OsvaldoP]

Hallo

Anbei eine andere Idee,

Hat jemand Erfahrung ob es möglich ist, 2 Cluster mit Ceph und 2 Pools zu erstellen und diese gegenseitig zu replizieren [0]
Könnte es hier bei PVE Updates zu Problemen kommen?

Oder wäre es besser 1 Hauptcluster auf welchen die prod VM laufen sowie ein weiteren kleinen auf welchen alle VM gespiegelt werden [0]
Sollte es noch andere Lösungen geben freue ich mich von diesen zu hören.

@aaron, um deine vorige Frage zu beantworten.
Pbs ist geplant. Ich denke, dass wir eine HW mit 10Gbit Netzwerk u SSD Disks bekommen könnten.
GGF ist's möglich am PBS 2 Datastores zu erstellen. Am ersten mit 1 Sicherung auf SSD und anschließend per sync auf lokale HDD und weiteren Versionen

[0]https://pve.proxmox.com/wiki/Ceph_RBD_Mirroring

sg
Roland

 

[aaron]

Hat jemand Erfahrung ob es möglich ist, 2 Cluster mit Ceph und 2 Pools zu erstellen und diese gegenseitig zu replizieren [0]
Könnte es hier bei PVE Updates zu Problemen kommen?

Nicht getestet, sollte aber funktionieren. Ich würde, egal in welchem Fall, sicherstellen, dass jeder Cluster andere VMIDs verwendet. Mit der "Next Free VMID Range" Option in Datacenter -> Options sollte sich das leicht umsetzen lassen.
Denn mit der RBD Mirror Variante, braucht ihr noch einen rsync (o.ä.) der die Configs der VMs zwischen den Clustern regelmäßig synct. Storages, vmbr Interfaces usw. sollte zwischen den Clustern so gleich wie nur irgend möglich sein, damit nach dem failover der RBD images, die VMs am jeweils anderen Cluster wieder schnell gestartet werden können.

Wenn es ihr hier VMs, die viel IO verursachen, spiegeln wollt, könnte der journalbasierte Ansatz vielleicht nicht mehr hinterherkommen (Netz zwischen den Clustern zu langsam, oder einer der Cluster selber). Da könntet ihr auf Snapshots umsteigen. Die Ceph Doku hat das eigentlich ganz gut erklärt. Bei rbd mirror pool enable müsst ihr den image Mode nehmen und dann ein Intervall einstellen, mit dem die Mirror Snapshots erstellt werden.
Wir haben eine aktualisierte Anleitung in der Pipeline, die auch snapshotbasiertes Mirroring abdeckt, aber die ist noch nicht ganz so weit, dass ich sie veröffentlichen will

 

[OsvaldoP]

Hallo Aaron!

Danke für deine Unterstützung. Denke mit einem der beiden Methoden sollte es möglich sein.
Da ich den Kunden recht wenig kenne kann ich auch wenig zum Verhalten der VM sagen. (Was ich weiss ist, dass noch eine gr SAP Maschine drauf ist.)
Ich werde das mal mit dem Kunden besprechen. Kann leider bisschen dauern

sg
Roland