Ceph Migration bond (LACP) Interfaces zu Openfabric

[Knuut]

Hallo,
ich möchte meinen 3 Nodes Cluster mit je 2 x 25Gb ( bond0 LACP) von Switch auf Full Mesh über direkte Verbindung umstellen.
Da ich keine NICs mehr frei habe, ist es von meinem Verständnis her nicht so ganz einfach...
...oder doch nicht?

Deswegen meine Frage: Ist es möglich ein Openfabric mit einem neuen Netzwerk auf bereits im bond0 konfigurierten NICs zu definieren, ohne das dieses mit der bestehenden bond0 Konfiguration kollidiert? Also sozusagen ein Parallelbetrieb, der dann einfach im laufenden Betrieb umgesteckt werden könnte. Das ich die Ceph-Konfiguration dann auch anfassen muss ist mir klar.

Gruß

Knuut

 

[aaron]

Grundsätzlich zum wechsel der Ceph netzwerke wird es da demnächst im admin guide ein kapitel geben. Bis dahin der doku patch:
https://lore.proxmox.com/pve-devel/20260102165754.650450-1-a.lauterer@proxmox.com/

Wenn du aber nicht neues und altes Netz Parallel betreiben kannst, wirds eing bisschen schwieriger...
Wird sich das Subnetz bzw. die IP Addressen ändern? Falls die gleich bleiben, sollte es mit einem stop des Ceph Cluster "getan" sein. Denn ob das Subnetz über Switches geht oder als Full-Mesh ist Ceph an sich ja egal.

Denn dann wäre das Prozedere sehr grob:

1. Alle Ceph Clients stoppen (VMs, CTs)
2. Ceph Dienste Stoppen (Siehe https://pve.proxmox.com/pve-docs/pve-admin-guide.html#pveceph_shutdown statt Nodes Herunterfahren halt eher ein `systemctl stop ceph.target`)
3. Netzwerk umbauen und verifizieren, dass das Full-Mesh klappt und auch den Ausfall einer Verbindung toleriert
4. Ceph Dienste und danach Gäste wieder starten

Wenn sich aber auch das Subnetz ändert, wäre es wahrscheinlich am besten das als weitere IP auf dem aktuellen, geswitchten Netz zu konfigurieren, damit alte und neue IPs nebeneinander bestehen könnne. Und dann im zweiten Schritt auf Full-Mesh mit Downtime umbauen.

 

[aaron]

Ist es möglich ein Openfabric mit einem neuen Netzwerk auf bereits im bond0 konfigurierten NICs zu definieren, ohne das dieses mit der bestehenden bond0 Konfiguration kollidiert

ui, das hab ich wohl überlesen.

Würde ich nicht tun! Wenn dann 2 NICs direkt und nur für das Full-Mesh nehmen. Alles andere ist nicht wirklich getestet und es wurde, glaube ich, schonmal von einem User versucht und war problematisch.

 

[Knuut]

Moin,
danke @aaron . Ich habe mir jetzt 3 Broadcom (kein Intel Desaster mehr ;-)) NICs bestellt und baue das dann um.
Ich werde berichten.

Gruß

Knuut

 

[Falk R.]

Hallo,
ich möchte meinen 3 Nodes Cluster mit je 2 x 25Gb ( bond0 LACP) von Switch auf Full Mesh über direkte Verbindung umstellen.
Da ich keine NICs mehr frei habe, ist es von meinem Verständnis her nicht so ganz einfach...
...oder doch nicht?

Deswegen meine Frage: Ist es möglich ein Openfabric mit einem neuen Netzwerk auf bereits im bond0 konfigurierten NICs zu definieren, ohne das dieses mit der bestehenden bond0 Konfiguration kollidiert? Also sozusagen ein Parallelbetrieb, der dann einfach im laufenden Betrieb umgesteckt werden könnte. Das ich die Ceph-Konfiguration dann auch anfassen muss ist mir klar.

Gruß

Knuut

Warum willst du denn von Switched weg und die Komplexität erhöhen? Nur zum Verständnis.

 

[Knuut]

Warum willst du denn von Switched weg und die Komplexität erhöhen?

Es geht mir NICHT darum, es komplexer zu machen. Ich bin eher ein Freund von einfachen Lösungen. Es geht mir darum, den Cluster resilienter zu machen und mir es etwas einfacher zu machen, wenn ich ein FW-Update vom Core-Switch durchführe, die Downtime und den damit verbundenen Rattenschwanz zu minimieren.

Gruß

Knuut

 

[Falk R.]

OK, wenn du dein Ceph Netzwerk auf einen einzelnen Core Switch legst, hast du schon mal 2 Probleme. Keine Redundanz und potentiell Probleme, wenn im Normalen Netzwerk etwas schief läuft.
Da ich immer redundante extra Switches für Ceph nutze, wäre das ein Rückschritt, für dich tatsächlich ein Fortschritt. Wollte ich nur mal wissen.

 

[Knuut]

OK, wenn du dein Ceph Netzwerk auf einen einzelnen Core Switch legst, hast du schon mal 2 Probleme. Keine Redundanz und potentiell Probleme, wenn im Normalen Netzwerk etwas schief läuft.

Das ist nicht der Fall. Es ist sind 2 Switche im Stack Modus. Beim FW-Update ist leider nur ein paralleles und nicht ein sequentielles Upgrade möglich. Nicht schön, kann man aber mit leben. Ein Failover bei Ausfall eines Switchs ist aber gegeben.

 

[Falk R.]

Das ist nicht der Fall. Es ist sind 2 Switche im Stack Modus. Beim FW-Update ist leider nur ein paralleles und nicht ein sequentielles Upgrade möglich. Nicht schön, kann man aber mit leben. Ein Failover bei Ausfall eines Switchs ist aber gegeben.

Naja ein Stack ist halt nur Hardwareredundanz und keine echte Redundanz. Ein Stack zählt bei mir wie ein Switch. Ich empfehle daher für Ceph immer MLAG oder die properitären Ableger von MLAG, je nach Hersteller.

 

[Knuut]

D

Naja ein Stack ist halt nur Hardwareredundanz und keine echte Redundanz. Ein Stack zählt bei mir wie ein Switch. Ich empfehle daher für Ceph immer MLAG oder die properitären Ableger von MLAG, je nach Hersteller.

Weil MLAG ein neues Feature in der neuen FW ist, möchte ich das genau deswegen machen. ;-)