Netzwerkverbindung zwischen 3 Knoten

[mpatzwah]

Hallo zusammen,
ich war leider schon immer ein Netzwerk-Dummy und bräuchte bitte die Schwarmintelligenz hier:

Ich habe 3 Proxmox Server (+ einen NAS Server) und plane 4 IBM 10 GbIt 2 Port Netzwerkkarten zu kaufen (für jeden Server und NAS eine)

Nennen wir die Server P1, P2 und P3 mit den Netzwerkbuchsen P1a,P1b + P2a,P2b + P3a,P3b und NAS mit N1a und N1b

Kann ich OHNE einen 10 Gbit Switch 1b mit 2a und 2b mit 3a und 3b mit N1a verbinden und da drüber z.b. Migrationen oder Backups abwickeln?
Wenn ich die nun noch zwei freien Ports (1a und N1b) mit einem Switch verbinde, habe ich eine Netzwerkschleife, oder ?

Vielen Dank!
Marco

 

[Dunuin]

Drei PVE Nodes konnte man schon mit Dual-NICs direkt verbinden. Wird ja öfters mal für Ceph gemacht, wenn ich das hier im Forum richtig verstanden habe. Aber alle 3 PVE Nodes dann noch ans NAS...?
Wäre es da nicht einfacher sich einfach einen 10Gbit Switch zu holen? Ich hatte mir z.B. den "JL682A" geholt. Der war neu nur 170€, lüfterlos und stromsparsam, hat 4x 10Gbit SFP+, 24x Gbit und hat kein Vendor-Locking. Gibt es auch mit 48x Gbit und/oder PoE, aber dann entsprechend teurer.

 

[B.Otto]

Die drei Server 'im Dreieck' zu verbinden ist kein Problem, das gibt es hier auch unter dem Begriff 'Mesh Network'. Das funktioniert aber eigentlich nur mit 3 Hosts (mehr Hosts im Mesh geht nur mit mehr Netzwerkkarten pro Host und dann lohnt sich bald wieder ein Switch).

Die NAS passt hier aber nicht mit rein... da sollte jeder Host einen dritten Port haben und die NAS aber auch drei Ports - und man muss Routen auf der NAS setzen können.

Ich kann mir vorstellen, dass man die NAS an einen Host hängen kann und entsprechende Routen setzt, aber das ist unübersichtlich und fehleranfällig - und Ausfallsicherheit ist damit auch weg.

Ich würde also auch vorschlagen, sich einen Switch zu organisieren.

 

[mpatzwah]

Drei PVE Nodes konnte man schon mit Dual-NICs direkt verbinden. Wird ja öfters mal für Ceph gemacht, wenn ich das hier im Forum richtig verstanden habe. Aber alle 3 PVE Nodes dann noch ans NAS...?
Wäre es da nicht einfacher sich einfach einen 10Gbit Switch zu holen? Ich hatte mir z.B. den "JL682A" geholt. Der war neu nur 170€, lüfterlos und stromsparsam, hat 4x 10Gbit SFP+, 24x Gbit und hat kein Vendor-Locking. Gibt es auch mit 48x Gbit und/oder PoE, aber dann entsprechend teurer.

ok, danke für die Info. Wie verwendet man denn den SFP+ Port? Ich dachte, da braucht man Extra Module?

 

[mpatzwah]

ich habe bereits einen 8 Port Switch 10GBit, aber der ist voll. Ich finde die Geräte weiterhin S…teuer. Eine 2Port 10Gbit Karte (gebraucht) gibt es aber für unter 100€. Zusatzfrage: och hatte letztens 3 x 1 GBit Ports per Bonding zusammengefasst und die in meinen 48 Port Switch eingesteckt ( dort auch Bonding für die 3 Ports eingestellt) hat aber dazugeführt, dann der ganze Switch abgestürzt ist ( alle Ports blinkten dann)
Hat jemand eine Idee, was ich falsch gemacht haben könnte?
Danke an alle.
Marco

 

[Dunuin]

Ja, SFP+ Switch lohnt eher wenn man auch gleich SFP+ NICs nimmt. Gibt zwar Module von SFP+ zu 10Gbit Ethernet, aber die kosten dann wieder so viel, dass man auch gleich einen teureren 10Gbit Ethernet Switch holen kann.

Aber in der Summe war SFP+ auf dem Gebrauchtmarkt schon günstiger. Dual Port NIC gab es für um die 60€, dann ca. 10€ je DAC-Kabel (wo man dann auch keine Transceiver kaufen muss, wenn einem die Kabellänge von 1-3 Metern reicht) und halt 170€ für den neuen Switch. 20 Meter Glasfaser-Kabel mit 2 gebrauchten Transceivern hatte ich glaube ich um die 40-50€ gezahlt.

 

[B.Otto]

Zusatzfrage: och hatte letztens 3 x 1 GBit Ports per Bonding zusammengefasst und die in meinen 48 Port Switch eingesteckt ( dort auch Bonding für die 3 Ports eingestellt) hat aber dazugeführt, dann der ganze Switch abgestürzt ist ( alle Ports blinkten dann)
Hat jemand eine Idee, was ich falsch gemacht haben könnte?

Das Phänomen mit den blinkenden Ports ist eigentlich typisch für einen Kreis. Aber ohne Infos, wie du das Bonding (auf dem Proxmox und auf dem Switch) konfiguriert hast, kann ich da keine sichere Antwort geben.