Welche 10 GBE Netzwerkkarte für Dell R730 mit getrennten IOMMU Gruppen?

[InShield]

Hallo zusammen

Ich suche eine 10 Gbit Ethernet Netzwerkkarte mit mindestens 2 Ports, besser 4 Ports welche die einzelnen Ports in eine VM durchrouten kann.

Weiß einer vielleicht mit welcher Karte das für den Dell R730 Server geht? Ob Daughtercard oder PCI Express ist mir eigentlich völlig egal.

Im Moment habe ich eine Daugthercard von Dell mit 2x 10Gbit Ehternet und 2x 1 Gbit Ethernet verbaut, dass doofe ist allerdings das ich dort immer nur beide 10Gbit Ports gemeinsam an eine VM durchrouten kann, da die beiden 10Gbit Ports eine gemeinsame IOMMU Group haben. Ich kann also somit immer nur beide Ports an eine VM übergeben oder garkeinen von den beiden.

Hat da einer ne Idee welche Karte das kann und die jetzt nicht direkt ein Vermögen kostet?

Vielen Dank schon mal für eure Antwort

 

[Falk R.]

Hi, wenn du eine günstige Netzwerkkarte haben willst, benutze ich gern die Broadcom P210 / P225. Mir fällt gerade keine Netzwerkkarte ein, wo nicht mind. 2 Ports von einem Chip versorgt werden. Du bräuchtest eine Karte wo jeder Port von einem eigenen Chip versorgt wird. Vermutlich ist so eine Karte deutlich teurer als wenn du mehrere einfache kaufst.
Warum willst du denn so viele Ports durchreichen? Das ganze über ein vmbr laufen zu lassen macht dich doch viel flexibler.

 

[InShield]

Vielen Dank @ SkyDiver79 für deine Antwort.

Ich habe bei mir als erste VM ein TrueNas aufgesetzt, welches ich mit 10 Gbit versorgen will.

Als zweite VM habe ich eine OPNsense am Laufen, welche das komplette Routing im Netzwerk übernimmt. Somit muss auch diese mit 10Gbit angebunden werden, damit es Sinn macht. Dort route ich 2 Netzwerkports durch. Einen für WAN und einen für LAN. Für WAN ist natürlich 1 Gbit absolut ausreichend. Für LAN benötige ich dann 10Gbit, weil hierüber ja das gesamte Routing abläuft.

Und als letztes soll noch der Proxmox Host an sich per 10 Gbit angebunden werden.

Im Moment kann ich mich daher nur entscheiden, ob ich dem Proxmox 10Gbit gebe und somit mein TrueNas welches auf der vmbr0 hängt, oder meiner OPNsense. Ist eines von den beiden nicht per 10Gbit angebunden, ist die Limitierung dann quasi die 1Gbit Schnittstelle des anderen Teilnehmers :-D

Binde ich den Storage (TrueNas) mit 10 Gbit an und die OPNsense, sollte somit am Switch alles mit 10Gbit verfügbar sein. Die ganzen restlichen VM´s hängen ja an einer VLAN aware vmbr0 und wären dann somit auch alle per 10 Gbit angebunden.

Das wäre der Plan Aber ich bin natürlich für alle Lösungen offen wenn ich vielleicht irgendwas einfacher gestalten könnte

 

[Falk R.]

Ich würde einen GBit als WAN an die Sense durchreichen und den Test dann über die Bridge laufen lassen.
Macht es einfacher und ist sicher genug, da die Bridge eh hinter der Sense liegt.

 

[Dunuin]

Als zweite VM habe ich eine OPNsense am Laufen, welche das komplette Routing im Netzwerk übernimmt. Somit muss auch diese mit 10Gbit angebunden werden, damit es Sinn macht. Dort route ich 2 Netzwerkports durch. Einen für WAN und einen für LAN. Für WAN ist natürlich 1 Gbit absolut ausreichend. Für LAN benötige ich dann 10Gbit, weil hierüber ja das gesamte Routing abläuft.

Bei mir habe ich das ohne 10Gbit für die OPNsense gelöst. Alle Rechner daheim die mit 10Gbit an das NAS angebunden sein sollen haben ja eh ihre eigene 10Gbit NIC. Macht für mich viel mehr Sinn einfach neben dem LAN noch ein weiteres Storage-Backend-Subnetz zu betreiben. Alle 10Gbit NICs haben also ihr eigenes Subnetz und können sich direkt erreichen. Dann muss die OPNsense da auch nichts routen. Hat außerdem den Vorteil, dass ich da im Storage-Backend-Subnetz Jumboframes (9000 MTU) für bessere Performance nutzen kann. Internet und andere Hosts ohne eine 10Gbit NIC erreichen die Hosts dann normal über das 1Gbit LAN-Subnetz (nutzt 1500 MTU) was über die OPNsense geroutet wird (die OPNsense hat bei mir eine Quad-Gbit-NIC wo alle 4 Ports per LACP gebündelt sind. Da hat die OPNsense dann kein Problem zwischen diversen Subnetzen mit vollen 1Gbit zu routen).
Weiterer Vorteil: Wenn ich eine große Datenmenge über das Storage-Backend-Subnetz schiebe, dann spammt dies nicht das LAN-Subnetz oder die OPNsense zu und alle Echtzeitanwendungen die eh rein über das LAN gehen (VoIP, OnlineGaming, etc) haben eine viel bessere Latenz.
Und da mein TrueNAS sowohl eine IP im 1Gbit-LAN-Subnetz als auch eine IP im 10Gbit-Storage-Backend-Subnetz hat, können sowohl Rechner mit als auch ohne 10Gbit NIC auf mein NAS zugreifen.

Würdest du 10Gbit routen wollen wäre vermutlich eh die CPU dann der Flaschenhals die einfach nicht mit dem Routing hinterherkommt. Denke nicht, dass du da volle 10Gbit routen können würdest. Meine OPNsense schafft jedenfalls keine 2 Gbit (4 vCPUs bei 3 GHz).

 

[InShield]

Ich würde einen GBit als WAN an die Sense durchreichen und den Test dann über die Bridge laufen lassen.
Macht es einfacher und ist sicher genug, da die Bridge eh hinter der Sense liegt.

Vielen Dank für eure Antworten.

Verstehe ich dich richtig @ SkyDiver79: Du würdest also direkt den Proxmox mit 10 GbE anbinden an den Switch und nur der OPNsense 1GbE durchrouten für WAN und alles andere über die Bridge laufen lassen inklusive das LAN der OPNsense, da die Bridge eh VLAN Aware ist und somit nichts passieren kann?

Ich bin in dem Thema leider noch nicht so firm, da ich mich noch nicht sooo lange mit VLAN´s beschäftige ;-)

 

[Falk R.]

Hi, ja hast du richtig verstanden. den WAN port durchzureichen kann ichaus Securitysicht verstehen. Hinter der Firewall sollte eh niemand unterwegs sein, der versucht aus einem VLAN auszubrechen, Bei Servicprovidern ist das etwas anderes aber für zuhause oder ein normales Firmennetzwerk ist das übliche Praxis.
Falls du noch Fragen zu VLANs hast, helfen wir gern weiter.

Viele Grüße,
Falk