NFS 10G - direkt verbinden

[Quickly]

Hallo.

Ich stelle einfach mal meinen Gedanken hier rein. Ich habe mich noch nicht tiefer damitt beschäftigt und erhoffe mir einen Lösungsansatz. Um daraus eine Strategie zu entwickeln.

Ich habe 2 Server mit jeweils Intel 10G DualPort NIC (X520). Dazwischen einem Switch mit den zugehörigen SFP+ Ports.
# ProxMox01 = hier laufen alle Maschinen
# ProxMox02 = NFS Share mit den Containern zu den Maschinen (also eigentlich als NAS zu denken)
# Intel 10G 01 = 192.168.0.0/24
# Intel 10G 02 = 192.168.222.0/24

Gedanken:
- Intel Port 1 am Switch belassen, als Arbeitsschnittstelle
- Und nun... Intel Port2 10G direkt verbinden?!?
- ProxMox01 soll direkt auf ProxMox02 zugreifen um den Switch als möglich Fehlerquelle auszuschließen.
- ProxMox01 soll direkt auf ProxMox02 zugreifen um die volle direkte Geschwindkeit zu haben.
- Jetzt läuft NIC Port 2 noch über eine vmbr-Bridge und den Switch
Soweit mal mein Gedanken-Wirrwar.

Fragen:
- Kann man das so machen?
- Sollte man das so machen? (NFS soll es sein!)
- Sollte/Muss man den Port 2 der NIC dann über eine Brigde laufen lassen? Ich denke das ist dann Unsinn.
- Jumboframes 9000 dann aktivieren?!?

Ich bin wirklich gerade in der generellen Überlegung wie und wo ich das Mini-Projekt beginnen kann. Normalerweise würde ich einfach sagen: VMBR raus, Patchen und fertig. Bin einfach verunsichert.

Vielleicht hat jemand sogar einen entsprechenden Screenshot für mich. Dann weiß ich wonach ich dann recherieren kann/sollte um mich selber da ein wenig aufzuklären.

Vielen Dank.

 

[LnxBil]

Normalerweise verwendet man direkt mehrere Switches, wenn die Server gleich mit mehreren Netzwerkkarten daher kommen um genau einen Ausfall des Switches kompensieren zu können. In solch einem Setup baut man ein Bonding auf den lokalen Netzwerkkarten (für HA meistens zwei Karten, nicht eine Dualport-Karte, aber das nur am Rande) und hängt diese dann an zwei Switches. Bei einem geeigneten Switch-Paar ist es dann sogar möglich LACP über beide Switches zu fahren, sodass du sogar deine effektive Bandbreite verdoppelst.

Jetzt aber zu deinen Fragen:

Kann man das so machen?

Auch wenn ich bisher noch keine zwei Rechner nur mit Kabel verbunden habe nehme ich an, dass es wie im TP-Fall funktionieren wird, sogar einfacher ist.

Sollte man das so machen? (NFS soll es sein!)

Ich finde die Switch-Lösung besser und einfacher

- Sollte/Muss man den Port 2 der NIC dann über eine Brigde laufen lassen? Ich denke das ist dann Unsinn.

Ja, das benötigt man nicht.

- Jumboframes 9000 dann aktivieren?!?

Das ist völlig unabhängig. Kannst du auch aktivieren über einen Switch (wenn dieser das unterstützt, aber falls nicht, kauf dir gleich einen neuen).

 

[digidax]

Ich klink mich mal mit ein, da ich auch gerade eine 10 G Backbone plane.

Erstmal kommt nur ein Switch zum Einsatz. Das die Ports der NIC's in den Servern gebondet werden ist klar.
Bondet man auch dann am Switch (Link Aggregation im Management Interface gezielt aktivieren) oder bekommt das der Switch von selbst mit?

lg Frank

 

[LnxBil]

Das die Ports der NIC's in den Servern gebondet werden ist klar.
Bondet man auch dann am Switch (Link Aggregation im Management Interface gezielt aktivieren) oder bekommt das der Switch von selbst mit?

Anscheinend ist das nicht soo klar, denn sonst würdest du nicht fragen

Hängt alles vom verwendeten Bonding-Mode ab. Der Switch benötigt keine Konfiguration wenn nur aktiv/passiv-Bonding verwendet wird. Das macht bei einem Switch und einer Dual-Port-Karte aber überhaupt keinen Sinn, denn du verlierst die Verbindung wenn entweder der Switch oder die Netzwerkkarte kaputt geht und hast keinerlei anderen Vorteile. Bei allen anderen Bonding-Modes benötigst du Switch-Support und LACP ist dort wohl der komplexeste und auch der beste Bonding-Modus. Weitere Dokumentation direkt im Kernel: https://www.kernel.org/doc/Documentation/networking/bonding.txt

 

[digidax]

Ah ok, bin noch bei der Hardware Entescheidung ob Glas oder LWL und hatte mich noch nicht mit der Software Ebene in Proxmox beschäftig.
Da ich eh dann Node für Node aus einem bestehenden Storage mit Gluster FS auf das neue Netz mit Ceph umstelle (NiC's einbauen ...) muss ich mir eh eine Roadmap machen, um nix zu vergessen.

Der herausgesuchte Switch unterstützt LACP, demnach wäre entsprechend der Erklärung:
https://access.redhat.com/documenta...r_installation_and_usage/appe-bonding_options
wohl bond_mode=balance-tcp das MIttel der Wahl.

Ich habe jetzt mal eine neue OVS Bridge angelegt, dann eine OVS Bond und die OVS Bridge daran gebunden.
Laut Manual https://pve.proxmox.com/wiki/Open_vSwitch#Example_2:_Bond_.2B_Bridge_.2B_Internal_Ports
soll der MTU Wert 9000 (Jumbo Frames) auch im Bond konfiguriert werden:

ovs_options bond_mode=balance-tcp lacp=active other_config:lacp-time=fast mtu 9000

Das GUI ignoriert aber die MTU Option, nimmt nur "lacp-time=fast"
In der Bridge wird "mtu 9000" übernommen.

Muss ich bei den Optionen im GUI irgend etwas quoten, damit beide Optionen im Bond genommen werden?

 

[LnxBil]

Muss ich bei den Optionen im GUI irgend etwas quoten, damit beide Optionen im Bond genommen werden?

Ui, da hab' ich leider keine Ahnung. Bisher habe ich die Netzwerkeinstellungen immer von Hand direkt in den Konfigurationseinstellungen vorgenommen und es war auch ohne OVS. Auf der Wiki-Seite steht aber ein Beispiel, bei dem das auch von Hand gemacht gemacht wird über die pre-up Regel. Hast du das auch schon probiert?

 

[Quickly]

Normalerweise verwendet man direkt mehrere Switches, wenn die Server gleich mit mehreren Netzwerkkarten daher kommen um genau einen Ausfall des Switches kompensieren zu können. In solch einem Setup baut man ein Bonding auf den lokalen Netzwerkkarten (für HA meistens zwei Karten, nicht eine Dualport-Karte, aber das nur am Rande) und hängt diese dann an zwei Switches. Bei einem geeigneten Switch-Paar ist es dann sogar möglich LACP über beide Switches zu fahren, sodass du sogar deine effektive Bandbreite verdoppelst.

Vielen Dank für Deine Mühe. Das sind viele Antworten wie gedacht. Also wird es nicht soooo einfach. Und ich muss gestehen: Da habe ich massiven Nachholbedarf.

nicht eine Dualport-Karte

Nun ja, die habe ich hier noch (reichlich) liegen. Ich glaube so 5-6 Stk. Deswegen wäre es mir egal ob die als 1 Port oder 2 Port genutzt werden. Nur Intel X-520 würde ich gerne nehmen.

Also da es sich scheinbar nicht um ein Mini-Projekt handelt, hier mal weitere Infos. Vielleicht kann ja jemand...

Also die Zielsetzung soll es sein die Geschwindigkeit, mit normalen Mitteln, zu optimieren. Ich bin bicht unzufrieden, nur optimieren. Und ich möchte auch gerne was dazulernen.
Der Gedanke ist: 1x 10G um die Clients im LAN zu beglücken + 10G damit die VMs auf das Storage zugreifen. Und das optimiert. Dazu die Ausfallsicherheit... immer gerne.

Noch mal zur vorhandenen (und gedachten) Hardware. Ich habe bei dem ersten Eintrag nicht alles geschrieben, da ich dachte dann wird es einfacher zu erklären & zu antworten.

Hardware:

• ProxMox1 = Raid P420i 6G + 2x SSD 6G + Intel X520 DualPort 10G (4 VMs mit NFS Storage auf ProxMox3Storage)
  
• ProxMox2 = Raid P420i 6G + 2x SSD 6G + Intel X520 DualPort 10G (5 VMs mit NFS Storage auf ProxMox3Storage
  
• ProxMox3Storage = Raid P430 12G + 12x SSD 12G + Intel X520 DualPort 10G (keine VM, nur NFS Storage)
  
• (Bisher) 1x D-Link Switch DXS-1100-16SC 14x SFP+ 2x SFP+ Combo (bisher)
• (NEW?) 2x UniFi US‑16‑XG - 12x 10Gbps SFP+

Gedanken:

• UniFi Switch - war jetzt nur so ein Gedanke weil ich den UniFi Controller hier eh wegen WLan laufen habe (VM). Und die Dinger sind in der Anschaffung etwas günstiger. Hat da jemand Erfahrung? Kann man nehmen? Oder doch lieber beim D-Link bleiben?
  
• Somit dann also ein Switch-Paar wegen Ausfallsicherheit und, wenn ich es richtig gelesen habe, können beide Modelle LACP. Liege ich hier richtig?
• Wie gesagt sind die Intel X520 als Duealversion vorhanden.
• Bzgl. meiner ProxMox NFS Konstellation möchte ich nicht so viel ändern. Denn das läuft sehr gut und stabil. Und ich verstehe es auch zum größten Teil. Ich möchte da möglichst nichts haben was ich hinterher nicht begreife.
• Frage ist: Bringt mir der Umbau des LAN im Bereich Geschwindigkeit etwas? In Verbindung mit der vorhandenen Serverausrüstung, RaidControllern und Platten-Geschwindigkeiten?

Gretchenfrage:
Ich befürchte, wenn den die Optimierung was bringt, kann mir jemand einen Dienstleister empfehlen? Ich denke ich werde damit, ob nun lernen/lesen oder nicht, doch streckenweise überfordert sein.

Vielen Dank

 

[LnxBil]

Frage ist: Bringt mir der Umbau des LAN im Bereich Geschwindigkeit etwas? In Verbindung mit der vorhandenen Serverausrüstung, RaidControllern und Platten-Geschwindigkeiten?

Es wird definitiv schneller sein als GBE, aber die Frage ist wie viel schneller. Die Antwort darauf ist - wie immer - das kommt darauf an :-D

Wenn du viele großen Dateien komplett überträgst wie z.B. Filme oder ähnliches, dann wirst du schon eine gute Auslastung bekommen, bei kleinen, zufälligen Zugriffen auf das Storage wirst du nicht sooo viel davon merken, da ist die Latenz wichtig. Daher wären auch Jumbo-Frames definitiv eine Überlegung wert, da ein großer Block schneller übertragen wird als viele kleine.

Nun ja, die habe ich hier noch (reichlich) liegen. Ich glaube so 5-6 Stk. Deswegen wäre es mir egal ob die als 1 Port oder 2 Port genutzt werden.

Wir verwenden natürlich auch immer Dualport-Karten, jedoch verwenden wir die beiden Ports unterschiedlich, z.B. bei zwei Dual-Port-Karten läuft auf jeder Karte zwei Bonds mit der anderen Karte, sodass z.B. ein Port für LAN und der andere für den Cluster da ist. Somit kann dennoch eine Karte ausfallen und alles funktioniert weiter. Um das noch besser zu gestalten sollten es Karten mit verschiedenen Chips sein, die durch unterschiedliche Treiber angesprochen werden, dann hat man die höchstmögliche Sicherheit (und ja, das ist aus Erfahrung so entstanden :-/).