PVE CEPH Umzug in neues Netz

[Florian Riess]

Moin Team,
ich habe erfolglos versucht meinen CEPH Cluster umzuziehen auf einen neuen Adapter.

6 Server, mit 2xGbit und 2xKarten je 2 Ports 100Gbit.

vmbr0 hält ein Bond0 aus den Gigabit Interfaces.
vmbr1 hält ein Bond1 zwei 100 Gigabit Interfaces.
vmbr2 hält ein Bond2 aus den restlichen 100 Gigabit Interfaces.

Wir haben nur einen Ceph Cluster und darin nur einen Pool.

Das alte Vorgehen war:

1: Die Netzwerke (Cluster, Public) ändern auf neues Netzwerk, speichern der CEPH.cfg
2: Einzelnes löschen der MOnitore und neu erstellen, einen zur Zeit.

Nach 3 Monitoren habe ich wohl dann das Qurum verloren und alles war eingefroren.


Wir haben uns nun zusammen gesetzt und ein neues, hoffentlich besseres Vorgehen ersonnen:

    1. 100G-Netz mit eigenem, beidseitig routbaren IPV6-Subnetz (getestet) zur Verfügung stellen (Florian) -Storage-Backend-Netz  
        1.1. - in ProxMox eintragen (für alle PM-Nodes)
        1.2. - incl. der neuen (DNS/hosts) Hostnames-für-die-neuen-100G-Interfaces

    2. alle VMs stoppen (RBD-Konnektor; VM-Daten-Integrität)
        2.1. - Ist der RBD-Konnektor dann editierbar (MON-Einträge) ?
        2.2. (Das ist doch nur der Eintrag in der Storage.cfg? Löschen und neu erstellen wenn wir mit dem Umzug fertig sind?)
    3. in (PVE)ceph.conf neues Cluster-Storage-Netz eintragen
    4. Umziehen einzelner OSDs auf das neue 100G-Netz
        4.1. - erst auf einem OSD-Host
        4.2. - dann ein anderer Host
        4.3. - dann alle restlichen OSDs
    5. Reduktion auf drei Monitore
    6. neues PublicNet (100G) in ceph.conf ändern (alte MONs brauchen zur Laufzeit die ceph.conf nicht)
    7. mit Proxmox einen weitern MON erzeugen, der dann im neuen Netz arbeitet.
        7.1. PM sucht die zum conf-Eintrag passende IP des Server aus
        7.2. Aufbau auf Server 4.-6.Monitor im neuen (Public)Net
        7.3. Abbau eines alten MON
        7.4. Abgebaute Monitore erneut bauen im neuen Netz.
    8. den letzten alten Mon abbauen (Zielzustand 5 MONs)
    9.  in Proxmox: RBD-Client(Konnektor) auf allen PM-Hosts auf den neuen Stand bringen
        9.1. Den gelöschten Storage.cfg Eintrag neu erstellen. Oder kommt es dann zu Problemen mit den Keys um die alten RBD zu mounten?
        9.2. - Test mit mindestens einer VM vor Freigabe
    10. Reboot alle Systeme

Könnte das funktionieren? Wie wechselt man denn für den gesamten CEPH Stack einmal das Netzwerk, wenn nicht so?
Ich wäre für jeden Tipp dankbar!

mfg Florian.

 

[JD-iteee]

Hi Florian,

grundsätzlich sind mir nur zwei Punkte aufgefallen:
1. Inwiefern OSDs umziehen? Die OSDs sind automatisch immer im cluster_network. Ein Neustart der OSDs reicht also mMn.
2. Zu den Monitoren: Ich würde erst einen neuen Monitore im neuen Netzwerk erstellen und dann einen alten dafür entfernen. Das einzeln für alle Nodes.

Zu Schritt 9: RBDs blauen intakt und ihr solltet nur die neuen MON-IPs anlegen müssen.

Wichtig ist natürlich erst der Wechsel vom Cluster_network. falsches public_network killt die MONs.

Viele Grüße,
Johnny

 

[Falk R.]

Mal ganz dumm gefragt, warum willst du die IPs wechseln? Das macht doch nur viel Arbeit.

 

[Florian Riess]

Mal ganz dumm gefragt, warum willst du die IPs wechseln? Das macht doch nur viel Arbeit.

Aktuell liegt es auf Kupfer Interfaces, 1G. Es soll aber auf Glas, 100G.
Die Kollegen beschweren sich natürlich das der Storage nicht performt weil alle VMs auf dem HCI Storage liegen und ich die da auch nicht wegmigriert bekomme aktuell.

 

[Falk R.]

Warum lässt du die IP nicht einfach und wechselst einfach nur auf die 100G NICs?
So mache ich das wenn es schneller werden muss und das geht schnell ohne Stress im laufenden Betrieb.

 

[Florian Riess]

Weil noch andere Umgebungen im Management Netz stehen und wir die nicht alle neu konfigurieren wollen nur weil ein Cluster von dutzenden gerade falsch konfiguriert ist.