Cluster Network "Lite"

[crmspezi]

Hallo zusammen,
mich würde eure Meinung zu folgenden Construct interessieren.

• Cluster mit 11 Nodes, alle Nodes 1x10G oder 2x10G LACP
• 2 der 11 Nodes befinden sich nebeneinander in einem entfernten Gebäudeabschnitt , welches mit 2x10G Kupfer LACP angebunden ist, die anderen 9 Nodes in einem Serverschrank lokal
• es existiert kein separates Clusternetzwerk, die Pingzeiten sind derzeit zwischen 0,04ms und 0,15ms.
• wegen der Anbindung von mehr Shared-Storage muss ich evtl. ein Clusternetzwerk aufbauen um die Clusterkommunikation wegen dem Shared-Storage nicht zu stören

Die ersten 9 Nodes, die lokal zusammenstehen, könnte ich über einen weiteren Switch über 1GBit/s interne NIC's verbinden, die 2 anderen im anderen Gebäudeteil nur über die internen Nics mit einem Switch der das Netzwerk als VLAN auf den bestehenden Leitungen von den anderen 9 Nodes bekommt.

Hier stellt sich für mich die Frage ob nicht die "Lite-Version", alles als VLAN auszuführen, auch sinnvoll sein kann um wenigstens evtl. Latenzprobleme durch Broadcasts auszuschließen. Leitungsauslastungen (Latenzen) habe ich bisher nicht festgestellt.


geplante corosync.conf
ring0_addr: 192.168.230.55 # (ACHTUNG - das ist auch das bestehende Hauptnetzwerk - auch wenn anderes herum laut Doku normal wäre)
ring1_addr: 192.168.235.55 # (extra für corosync - schlechtere PRIO wegen geplanten VLAN Construct)

Also so ähnlich wie hier:
###
auto lo
iface lo inet loopback
iface eno1 inet manual # fur PVE, Netzwerk, Storage

auto vmbr0.4091 # für Clusternetzwerk
iface vmbr0.4091 inet static # für Clusternetzwerk
address 192.168.235.55/24
# gateway 192.168.235.10

auto vmbr0
iface vmbr0 inet manual
address 192.168.230.55/24
gateway 192.168.230.10
bridge-ports eno1
bridge-stp off
bridge-fd 0
bridge-vids 2-4090
bridge-vlan-aware yes

die PVE's sind dann als VLAN Trunk am Switch mit 1x10G oder 2x 10G LACP angeschlossen.

Ich bin über eure Rückmeldung sehr dankbar.
Viele Grüße - crmspezi

 

[crmspezi]

Hallo,
ich möchte euch bitten mir eure Einschätzung dazu darzulegen. Auch die Jungs von Proxmox frage ich hiermit gern an. Wie gesagt, ich meine hier meine nicht offizielle "Lite-Version".

Danke sehr.
VG crmspezi

 

[itNGO]

Hi, in der Größenordnung ja dann nur mit Subscription.
Und dann kannst du ja direkt auch ein Ticket bei Proxmox aufmachen um ein Statement zu erhalten.

Mein Gefühl sagt, geht mit VLAN und entsprechenden Prioritäten für den Corosync. Die Nodeanzahl ist aber schon sportlich.
Warum genau 2 Nodes in einem anderen Gebäude? Den Cluster können die ja allein nicht "formen"...

 

[crmspezi]

Hi, in der Größenordnung ja dann nur mit Subscription.
Und dann kannst du ja direkt auch ein Ticket bei Proxmox aufmachen um ein Statement zu erhalten.

Mein Gefühl sagt, geht mit VLAN und entsprechenden Prioritäten für den Corosync. Die Nodeanzahl ist aber schon sportlich.
Warum genau 2 Nodes in einem anderen Gebäude? Den Cluster können die ja allein nicht "formen"...

Hallo,
die Nodeanzahl ist gewachsen, es sind viele Spezialfälle dabei mit gemeinsamen Storages.

Die 2 Nodes im anderen Gebäude sind Storage-Replicas und auch Notfall Nodes mit vielen 3,5 + 2,5 Schächten um bei Hardware Ausfall einfach die Storages umzuhängen.