Hinzufügen eines non-ceph-node zu bestehenden ceph-cluster (replikation)

[ITT]

Hallo an alle,

vielleicht sehe ich den Wald vor lauter Bäume nicht:
Ich würde gerne zu einen bestehenden 3-Node-Ceph-Cluster einen zusätzlichen Node ohne Ceph zwecks Replikation hinzufügen.
Geht das überhaupt? Dieser sollte als Ausfallnode dienen, sollte der komplette 3er-Cluster ausfallen.

lg

 

[mira]

Was genau willst du replizieren?

 

[ITT]

Hallo Mira,

die VMS, die am Ceph-Cluster liegen.
Das klassiche Brandabschnitt-Thema. (Abschnitt 1 -> Ceph-Cluster mit 3-10 nodes) (Abschnitt 2 -> ein Singlenode, der zur Not die halbwegs aktuellen VMS hochfahren kann, bis Abschnitt 1 wieder funktioniert)

 

[mira]

Die ist meines Wissens nach nur per rbd-mirror möglich, und dieser benötigt einen weiteren Ceph Cluster um zu funktionieren.
Noch dazu ist dieser bisher nicht in unser Tooling integriert, somit müsste man manuell die VM Configs kopieren, und hochfahren.

Replikation sonst funktioniert nur wenn man ZFS verwendet.

 

[ITT]

Danke Mira,
dann stellt das eh meinen Wissensstand dar.
Somit bleibt uns "nur" eine Lösung über einen sehr schnellen dezidierten PBS in Verbindung mit einem Standalone-Node.

 

[mira]

Hier gibt es die Möglichkeit eines Live Restores. Das heißt die VM fängt schon an zu laufen und es werden die Blöcke beim Restore bevorzugt, die als nächstes benötigt werden. Es dauert natürlich insgesamt länger, man kann die VM jedoch schon sofort einsetzen.

 

[ITT]

Ja wir sind grad am evaluieren, wie sich der "Notfall-Restore-PVE/PBS"-Node zusammensetzen wird.
Wird wohl ein dicker all-Flash Server mit sehr viel Speicherkapazität (verteilt auf 2 Arrays) und massigst Power werden.
NVMe Array 1 für die zu restorenden VMs, NVMe Array 2 für PBS-Speicher (je 30TB anvisiert).
Die Restore-Geschwindigkeit wird hier nur mehr durch RAM/CPU-Geschwindigkeit limitiert.