[SOLVED] Netzwerkfrage - subnetz nachträglich ändern

[volleasy]

Hallo,
ich habe eine Frage zum Proxmox Cluster und Ceph Cluster. Eigentlich wollte ich 2 eigenständige Subnetze machen.

Insgesamt sollen es 12 Nodes werden.
Dafür habe ich einen 40port Brocade VDX Switch und 4x10GB SFP+ + 2x 1Gb Ethernet Ports pro Node.
Leider habe ich die aktiven Kabel vergessen und auch keine Zeit diese mir nachschicken zu lassen.

Jetzt habe ich erst einmal 4 nodes mit passive Cisco Kabel (lagen noch rum) als Mesh aufgesetzt und wollte jetzt die Nodes clustern.
Da ich die IP´s später ja nicht mehr ändern kann, dachte ich daran jetzt Ceph und Proxmox über die 10G im selben Segment als Class B laufen zu lassen. In ein paar Wochen, wenn ich die anderen 8 Nodes aufsetze und die Brocade Kabel mitbringe, dann einfach in 2x Class C splitten. Die IP´s bleiben dann ja gleich. Nur das subnetting hat sich geändert.
Ist das bei corosync und Ceph unproblematisch wenn ich direkt an die IP binde und später auf den Interfaces die subnetze von einem B in 2x class C aufteile.

Vielen Dank schon mal

gruß aus Tallinn

 

[wolfgang]

Hi,

also du solltest nie Ceph und Corosync auf einen physikalischen Netzwerk laufen lassen.
Die beiden sind sehr latency sensibel. Wenn dir zum Beispiel jetzt ein Node ausfällt und Ceph die Date rebalanced kann es passieren das Corosync gestört wird. Das kann in Verbindung mit HA zum totalen Cluster fenc führen.

Lies dir mal man corosync.conf durch.

Du kannst schon nachträglich das Corosync network im betrieb ändern. Einfach mit 2 ringen arbeiten dann ist das auch live möglich.
Bei Ceph kann man auch nachträglich das Netzwerk ändern aber ist ein bisschen tricky.

 

[volleasy]

Danke für die Hinweise, habe mit Ceph schon vor 2 Jahren mit dem IP Wechsel so meine Erfahrungen gemacht :-( Habe mir gestern corosync angeschaut und mich dann für einen eigenes "coro" Subnetz auf eigenem Switch entschieden bis die Brocade Kabel da sind. Ist halt dann bis Februar nur 1GB .Gehe ja ohnehin erst in produktiv wenn die anderen Nodes online sind und ich den Brocade am Start habe. Dann eigenes Vlan auf dem VDX für Coro und Ceph und gut ist es. Ich dachte dann beide 2x 10GB Bond für Ceph und 1x 10GB für Proxmox HA. dann habe noch 2x 1GB für den externen Zugriff und die Verwaltung. Die Redundanz liegt dann halt auf der Verwaltung. Oder sollte ich für coro lieber einen zweiten Ring noch über eine 1Gb laufen lassen ? Einen zweiten 40x port VDX von Brocade kann ich mir nicht leisten.

 

[wolfgang]

Bei Corosync immer 2 Ringe verwenden.
Du kannst auch 1G nehmen, da es nur auf Latenz ankommt und nicht auf Durchsatz.
Oder 10G ein Ring und der andere 1G ist auch ok.

 

[volleasy]

danke, dann habe ich was falsch verstanden. Ich dachte das Corosync und Proxmox Cluster Network sind eins. Wenn ich die Maschinen von einem Node zu anderen verschiebe oder mit HA ein cold Replikat habe, dann macht die Bandbreite schon was aus. Ich sollte noch mehr lesen

 

[wolfgang]

Was du Meinst ist das Migration Network
man datacenter.conf
Normalerweise liegt das auf dem gleichen Netzwerk kann man aber auch ändern.

 

[volleasy]

Danke für die Hinweise, habe jetzt alles soweit fertig und mache den hier mal zu