Netzwerk-Layout für Cluster

[antimon]

Hallo zusammen,

bisher hatte ich in meinem Cluster mit 3 Nodes quasi identische Netzwerk-Interfaces. Zwei Gigabit-Anschlüsse waren onboard, zwei zusätzliche 10G-Anschlüsse kamen über eine zusätzliche 10G-Karte hinzu.

Nun ist es aber so, dass ich aus Energiespargründen einen der Server ohne 10G fahren möchte - das heisst, es sind statt 4 nur 2 Netzwerkports verfügbar.

Bei den Servern mit 4 Ports war der erste für die Konfiguration zuständig, der zweite für die HA-Schnittstelle, der dritte für das "Frontend" - also die Versorgung der Clients und der vierte bediente das "Backend" - also die interne Verbindung für die VM-Migration, die Datensicherung, Anbindung von iSCSI o.ä.

Das Ganze läuft auf OVS - nur jetzt habe ich das Problem, dass ich mit zwei Netzwerkkarten nur noch die VM-Migration, Storage-Anbindung über eine machen möchte und den Rest über die andere laufen soll. Da aber die Bridges nicht alle vorhanden sind bzw. anders heißen, schlägt ein Migrationsvorgang fehl.

Gibt es irgendwie einen Trick, den ich hier anwenden kann, damit die Migration funktioniert? Also einen Port mit zwei Bridges verbinden, zwei Bridges zusammenschließen oder Ähnliches? Prinzipiell brauche ich ja "nur" die 4 Bridges, die identisch heißen - die müssten halt irgendwie auf die beiden physikalischen Ports verteilt werden.

Bei Linux Bridges kann ich einfach die Bezeichnungen überall einheitlich machen, aber das funktioniert mit OVS ja leider nicht...

 

[gurubert]

aus Energiespargründen einen der Server ohne 10G fahren möchte

Ich würde behaupten, dass das der kleinste Faktor beim Energieverbrauch eines Servers ist.

Hast Du dazu komkrete Zahlen?

 

[antimon]

Naja je nach Server...
Der Bedarf ist schon ungefähr 5-10 W - deswegen haben die Karten auch einen recht großen Kühlkörper. Die SFPs werden auch recht warm...

Mein Server braucht im Leerlauf unter 30 W, deswegen ist mir das schon wichtig.
Und meistens dümpelt alles eh vor sich hin, da brauch ich die Leistung nicht. Wenn ich die haben will, fahr ich noch einen oder zwei Server dazu hoch und dann hab ich Power. Aber die brauch ich nachts z.B. nicht.
Nachdem meine Stromrechnung wieder gestiegen ist und die Strompreise in nächster Zeit wohl eher nicht fallen werden, muss man da kreativ werden - und der 150 W Server muss weg - zumindest für den großteil der Zeit. Mit ein paar intelligenten Skripten werden die VMs dann auf den Low-Power-Server verschoben und der "große" Server abgeschaltet. Aber dazu muss halt auch das Netzwerklayout passen... und für die OPNsense muss ich die Roh-Pakete durchreichen können, das hab ich mit der Standard-Bridge leider nicht geschafft. Sonst wärs kein Problem...

 

[antimon]

Sorry, jetzt muss ich den Thread noch mal aufwärmen... leider habe ich noch keine zufriedenstellende Lösung finden können.

Wie macht Ihr denn das, wenn Ihr mehrere Server im Cluster habt? Die werden doch auch nicht immer exakt die gleiche Hardware dahinter haben?
Wie kann man abstrahieren?

Bei VMware finde ich das ganz gut gelöst... ich gebe jedem Netzwerk einen Namen und der ist das Bindeglied zwischen VM und virtuellem Switch. Der virtuelle Switch ist "irgendwie" mit dem Netzwerk verbunden - wie genau, ist der VM letztendlich ja egal.

Wenn ich Bridges in Proxmox anlege, kann ich die theoretisch auch mit LAN Ports verknüpfen. Aber halt nur bedingt...

Gibts vielleicht irgend nen Trick über Bonds oder so?

 

[gurubert]

VLANs.

Danit können über eine physische Netzwerkkarte mehrere "Ethernets" laufen. Das muss der Switch dann natürlich auch können.
Mehrere NICs im Bond können das auch. Die Bridges sind inzwischen auch VLAN-fähig, so dass ganz bequem in der Konfiguration der VM die VLAN-ID gesetzt werden kann.

 

[antimon]

Oh sorry... jetzt hab ich ganz übersehen, dass ich das nicht vernünftig kommuniziert habe...

VLANs sind eigentlich genau das Problem

Ich habe bei einem Server meine VLANs auf 4 Netzwerkkarten aufgeteilt und auf dem anderen Server sollen die über 2 Netzwerkkarten laufen...

Da im einen Server 4 Bridges zugewiesen werden können und im anderen nur 2, gibts da die Probleme...

 

[gurubert]

Wenn der Switch die VLANs tagged, dann können mehrere über die selbe physische Verbindung laufen.

 

[antimon]

Das schon... aber angenommen ich habe die VLANs 1,2,3,4 aufgeteilt auf 4 Netzwerkkarten in Server A. In Server B gibts aber nur zwei Netzwerkkarten, die eine führt VLANs 1 und 2 und die andere 3 und 4.
Beim Server A habe ich 4 Bridges, beim Server B nur 2 - da die Bridges aber bei den VMs hinterlegt sind, klappt eine Migration nicht...

Wie schaffe ich es also, dass bei den VMs die Bezeichnungen gleich bleiben, wenn eine Migration bevorsteht?

 

[gurubert]

Die Bridge ist entweder VLAN aware, dann gibt es eh nur eine für alle VMs.

Oder es gibt pro VLAN eine Bridge (nicht pro physischer NIC).

Also in dem einen Server:

eth0 = VLAN1 = vmbr1
eth1 = VLAN2 = vmbr2
eth2 = VLAN3 = vmbr3
eth3 = VLAN4 = vmbr4

In dem anderen Server:

eth0.1 = VLAN1 = vmbr1
eth0.2 = VLAN2 = vmbr2
eth1.3 = VLAN3 = vmbr3
eth1.4 = VLAN4 = vmbr4

 

[antimon]

Das klingt prinzipiell sehr gut... jetzt kommt allerdings die große Einschränkung: Ich möchte OPNsense nutzen, aber nicht x Interfaces zur OPNsense durchverbinden - sondern die OPNsense soll getaggte Pakete erhalten. Das habe ich nur mit OVS hinbekommen. Würde das mit der vorgeschlagenen Variante auch irgendwie klappen?

 

[gurubert]

Wenn das virtuelle Interface der OPNsense VM an einer VLAN aware Bridge hängt, ohne dass eine VLAN-ID spezifiziert ist, sollte es alle VLANs getagged hereingereicht bekommen.