Ceph Migration

digidax

Renowned Member
Mar 23, 2009
99
1
73
Guten Tag,
folgende Ausgangssituation:
3 bare metal Server (Cluster A) mit Proxmox 6, HA cluster für CT's und VM's
3 bare metal Server (Cluster B) mit als GlusterFS storage (CentOS), replicated bricks

Nun würde ich zukünftig das Storage mittels CEPH realisieren.

Aus dem GlusterFS cluster würde ich zwei nodes herausnehemen und darauf Proxmox CEPH installieren. Damit der Cluster aber läuft, bräuchte ich noch einen 3. Monitor um das Quorum zu erfüllen. Könnte ich diesen auf einen der nodes vom Cluster A installieren? Dann würde ich die Daten von der letzten verbliebenen GlusterFS node in den Ceph Cluster kopieren, danach CEPH auf der alten GlusterFS node installieren. Somit kann dann der Monitor von der Node aus dem Cluster A entfernt werden, da ja dann 3 Monitore verfügabr sind.

Könnte das so funktionieren?

lg Frank
 
Last edited:
Prinzipiell schon, aber damit auch im Ernstfall genügend Kopien der Daten vorhanden sind, braucht es 3x. Wenn das im Endausbau der Fall ist, dann geht diese Variante.

Da Ceph von mehr Nodes und OSDs (Disken) profitiert, warum nicht Ceph auf Cluster A installieren und das Cluster B in A integrieren?

Sollten es aber doch lieber zwei unabhängige Cluster sein, dann könnte auch ein NFS/SMB Server als Zwischenstation dienen.
 
Die 3 Maschinen im Cluster A können je nur zwei Festplatten aufnehmen, die im Cluster B jeweils 16.
Als Zwischenstation auf NFS zu wechseln würde wenig Sinn ergeben, da kann ich auch den einen GlusterFS Knoten belassen, da liegt ein Hardware RAID 5 darunter.

Die Zwischenlösung wäre demnach so:

Cluster A:
  • Node 1: VM's / CT's
  • Node 2: VM's / CT's
  • Node 3: VM's / CT's / Ceph MON
Cluster B:
  • Node 1: GlusterFS
  • Node 2: Ceph MON und OSD's
  • Node 3: Ceph MON und OSD's

Finale Lösung:

Cluster A:
  • Node 1: VM's / CT's
  • Node 2: VM's / CT's
  • Node 3: VM's / CT's
Vielen Dank und beste Grüße,
Frank
Cluster B:
  • Node 1: Ceph MON und OSD's
  • Node 2: Ceph MON und OSD's
  • Node 3: Ceph MON und OSD's

Fragen:
1. Wenn dann final die Node 1 im Cluster B dazukommt, werden ja dann die Daten von Node 2 und 3 auf Node repliziert. Startet das von allein oder muss man das initial anschieben?

2. Sollte man im Proxmox einen eigenen Cluster für B anlegen oder B in den bestehenden Cluster A integrieren?
 
1. Wenn dann final die Node 1 im Cluster B dazukommt, werden ja dann die Daten von Node 2 und 3 auf Node repliziert. Startet das von allein oder muss man das initial anschieben?
Verteilt wird immer. Aber die Anzahl der Kopien ist wichtig, 3x Kopien -> min. 3x Nodes.

2. Sollte man im Proxmox einen eigenen Cluster für B anlegen oder B in den bestehenden Cluster A integrieren?
Wie man will. :)
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!