10 Gb NIC nachrüsten für separates Ceph Netzwerk

[arndtw]

Hallo,
ich experimentiere gerade mit Ceph in einem 3 Node PVE (6.4-13) Cluster.
Die Nodes haben jeweils 2 1Gb Nics. Auf der ersten Nic läuft der normale Client Traffic, auf der zweiten Nic läuft der corosync Traffic.

Nun habe ich den Fehler gemacht, bei der Ceph Einrichtung den Netzwerktraffic für Ceph nicht zu separieren. Mangels dritter NIC ging das ja auch nicht.
Ich habe als Public Netz, das Nic1 Netz und als Cluster-Netz das Nic2 Netz gesetzt. Heute bin ich schlauer und weiß, dass das keine gute Idee war.

Ich würde nun gerne jeweils eine 10Gbit Karte nachrüsten und diese mit einem separaten Switch verbinden. Dieses Netz soll Ceph nutzen.

Wie ist hier das korrekte Vorgehen?


Viele Grüße Wolfgang

 

[TheBit]

Das würde mich auch interessieren, wir wollen gerade 25G Karten nachrüsten

 

[Falk R.]

Hi Wolfgang, bei einem 3 Knoten Cluster kannst du die NICs auch direkt stecken, zu einem Ring.
Wenn alle Nodes die Netzwerkkarten haben, einfach die Corosync und Ceph Konfiguration auf die neuen Interfaces ändern.

Wenn du die Netzwerkkarten noch nicht gekauft hast, kannst du auch wie bei @TheBit gleich 25G Nics nehmen. DAC Kabel dafür kosten ja zum Glück auch nur 30€

 

[itNGO]

Hallo,
vorweg: ob das der "Beste" weg ist kann ich nicht sagen. Hat aber hier immer funktioniert. (Proxmox 7.x)

- Alle VMs die den Storage benutzen ausschalten.
- Netzwerkkarten einbauen und IP-Konfiguration hinterlegen
- Datei /etc/ceph.conf öffnen/bearbeiten und dort die gewünschten IP-Adressen/Subnetze für cluster_network und public_network eintragen
- Die Datei wird auf allen Nodes automatisch synchron gehalten.
- Jeden Node neu starten oder die CEPH-Dienste neu starten... der Storage fängt sich dann relativ schnell wieder, wenn alle Nodes sich über die neue NIC erreichen.

Gruß

 

[Falk R.]

P.S. ich bin der Freund von online.
Du kannst auch die VMs laufen lassen, jeden Knoten einzel die Netzwerkkarte nachrüsten.
Nach dem IP Setup die Konfig anpassen wie oben beschrieben.
Ich habe bei mir auch schon 2 mal die Netzwerkkonfig im laufenden Betrieb geändert. Am besten zu Zeiten mit weniger Last.

 

[itNGO]

P.S. ich bin der Freund von online.
Du kannst auch die VMs laufen lassen, jeden Knoten einzel die Netzwerkkarte nachrüsten.
Nach dem IP Setup die Konfig anpassen wie oben beschrieben.
Ich habe bei mir auch schon 2 mal die Netzwerkkonfig im laufenden Betrieb geändert. Am besten zu Zeiten mit weniger Last.

Richtig, aber zumindest bei uns im RZ-Betrieb vermeiden wir solche "heissen" Änderungen. Sicherlich geht das 98 von 100 mal gut... aber wenn man das mit "kurzer" Downtime machen kann, ist das glaube ich der etwas "sicherere" Weg....