PVE 9.0.6 Squid CEPH Netzwerk zwischen Nodes über OpenFabric Probleme (vermutlich Loop gebaut)

Skankhunt42

Member
May 25, 2021
28
0
21
Münster - NRW, Germany
Hallo,

ich habe ein Problem mit meiner Konfiguration des CEPH Clusters bestehend aus drei PVE Nodes.
Die Nodes haben jeweils eine dual Port 10GBit Netzwerkkarte. Um alle verfügbaren Links nutzen zu können sind die Nodes demnach wie folgt miteinander Verbunden:

1757489658640.png

Die blau markierten Kabel bzw. Netzwerkkarten sind hierbei die 10Gbit Interfaces.
Ich wollte einmal das CEPH Storage über die OpenFabric Testen, doch ich vermute, dass ich mir hier einen Loop gebaut habe.
Sobald alle Nodes in der Open Fabric ausschließlich die Node IP (ohne Interface IPs) konfiguriert werden, funktioniert gar nichts. Wenn Nodes 1 und 2 zusätzlich Interface IPs zugewiesen bekommen, aber Node 3 nicht, funktioniert das Cluster zwar, es lassen sich allerdings keine VMs von der Node 3 auf die anderen beiden Nodes verschieben.

Hat jemand eine Lösung dieses Loop Problem zu umgehen und trotzdem die Nutzung aller verfügbaren Netzwerk Interfaces zu ermöglichen ?

Danke !
 
Hast du es so schon probiert?

Wir verbinden:
  • A ↔ B mit A:nic1 ↔ B:nic1
  • B ↔ C mit B:nic2 ↔ C:nic1
  • C ↔ A mit C:nic2 ↔ A:nic2

Das ergibt einen Ring.

IP-Adressierung (drei Punkt-zu-Punkt Netze)
/30 Netze eignen sich gut für Punkt-zu-Punkt-Verbindungen (2 Hosts pro Netz).

VerbindungNetzHost AHost BHost C
A ↔ B10.0.12.0/3010.0.12.1 (A:nic1)10.0.12.2 (B:nic1)
B ↔ C10.0.23.0/3010.0.23.2 (B:nic2)10.0.23.3 (C:nic1)
C ↔ A10.0.13.0/3010.0.13.1 (A:nic2)10.0.13.3 (C:nic2)


HOST A
auto nic1
iface nic1 inet static
address 10.0.12.1
netmask 255.255.255.252

auto nic2
iface nic2 inet static
address 10.0.13.1
netmask 255.255.255.252
HOST B
auto nic1
iface nic1 inet static
address 10.0.12.2
netmask 255.255.255.252

auto nic2
iface nic2 inet static
address 10.0.23.2
netmask 255.255.255.252
HOST C
auto nic1
iface nic1 inet static
address 10.0.23.3
netmask 255.255.255.252

auto nic2
iface nic2 inet static
address 10.0.13.3
netmask 255.255.255.252
 
Last edited: