- 8Ports reichen nie und nimmer
Ja, mit 8 Ports am Switch kommt man nicht weit. Erst recht wenn man 5 NICs im Server hat und plant da noch 5 weitere einzubauen. Da hätte dein Server dann ja schon mehr Ports als dein Switch ^^
- Es soll was "vernünftiges" sein
- Ich "will" 10G am Switch
Vernünftig und 10G wird meist ziemlich teuer. Erst recht wenn man 10GBE statt SFP+ nimmt. SFP+ wirkt meist recht günstig weil die Switches und NICs viel weniger kosten, aber das liegt daran, dass da die Technik in den Transceivern (also quasi den Kabeln) steckt. Wenn man dann 40-100€ pro "Kabel" zahlt summiert sich das auch ganz gut, wenn man bedenkt, dass man da kurze Cat6a Kabel die 10Gbit könnten schon für unter 2€ bekommt.
Und bei SFP+ kann man oft nicht einfach irgendwas nehmen. Microtics nehmen glaube ich so ziemlich alle DAC und Transceiver aber wenn du Cisco, HP, Dell etc Switch holst kann es gut sein, dass die nur mit ganz speziellen Transceivern des eigenen Herstellers laufen. Jeder Transceiver/DAC hat da eine ID und Hersteller können IDs aussperren. Ist dann so wie bei Druckerpatronen, wo man gezwungen ist die teuren Dinger vom Hersteller zu kaufen obwohl die günstigen von anderen Herstellern nicht unbedingt schlechter wären. Musst du mal bei
fs.com gucken. Die haben eine Hausmarke die auf IDs von verschiedensten Herstellern geflasht werden, dass da die Hausmarke nicht ausgesperrt wird. Da kann man dann bei der Bestellung auswählen, was die einen für eine ID draufflashen, um die Aussperrung zu umgehen.
- Ich möchte auch noch irgendwie Redundanz da einbauen
Für Redundanz müsstest du 2 Switches kaufen die Stacking unterstützen. Und jeder Host bräuchte minimum 2 NICs, damit jeder Host eine eigene Verbindung zu beiden Switches hat. Also muss quasi alles doppelt vorhanden sein. Für Redundanz kann
OPNsense übrigens auch im HA betrieben werden. Dann bräuchtest du aber auch OPNsense auf 2 Rechnern die parallel laufen. Sollte da eine OPNsense ausfallen würde die andere in Sekunden einspringen. Ist die OPNsense aus ist ja dein ganzes Netzwerk tot und man würde nicht mal mehr ins Internet kommen, bis da der Server der OPNsense laufen lässt repariert ist. Also vermutlich willst du neben 2 Switches dann auch noch 2 oder 3 Proxmox-Server, damit die Dienste auch Redundanz haben. Dann geht das richtig ins Geld. Und dann am besten natürlich noch 2 Verträge bei unterschiedlichen Internetanbietern, damit auch das Internet redundant ist. Also einmal Internet per Telefonleitung und einmal per TV-Kabelanschluss. Und all die Hardware schluckt natürlich auch ordentlich Strom. Da kann man gerne mal 50€ und mehr im Monat an Stromkosten nur für das Homelab haben.
Das ist ein ziemlicher Teufelskreis wenn man mit Redundanz anfängt...
Ich habe da jetzt gute 3500€ fürs Homelab ausgegeben und das einzige was bei mir redundant ist, ist die OPNsense und das NAS. Komplettes redundantes Netzwerk und VMs wären mir da einfach zu teuer und ich hätte bestimmt nochmal 2000€ mehr ausgeben müssen.
- Die Fritzbox muss über kurz oder lang weg (ist ne 7490, schiele auf ne 250er Leitung)
Ich finde die Fritzboxen eigentlich ok, aber ich glaube die 7490 macht nicht mehr als 100Mbit Internet mit. Wenn du OPNsense benutzt dient die ja mehr oder weniger eh nur als Modem und alles andere läuft über externe APs und die OPNsense. Ich habe bei meiner Fritzbox das WLAN deaktiviert, dann von der Fritzbox zum Switch ins WAN VLAN und vom Switch das WAN VLAN zu beiden ausfallsicheren OPNsenses. Als AP habe ich einen OpenWRT-Router der auch am Switch hängt. Der hat 3 getrennte WLANs die in getrennte VLANs gehen (LAN, Gast, IoT). Das ist sehr nett bei OpenWRT, dass man da auch tagged VLAN und Trunking nutzen kann, da man ja vollen Root-Zugriff zum Router hat.
Wenn man sich sicher ist, dass da die OPNsense wirklich sicher eingestellt ist, dann kann man in der Fritzbox auch die Firewall deaktivieren, indem man die OPNsense VM als "Exposed Host" angibt. Dann wird einfach alles stupide ohne jegliches Filtern vom Internet an die OPNsense durchgeleitet. Damit ist die Fritzbox dann fast runter zum reinen Modem degradiert.
- Ich renoviere mein Haus in diesem und im nächsten Jahr -> Neue Kabel!
Da musst du dann gucken ob Glasfaser für SFP+ oder CAT7/8 Ethernet.
Grobe Idee:
- Mikrotik-Switch
- Mellanox für den Proxmox-Host
- LWL-Verkabelung in die "wichtigen Räume", von da aus mit kleinen Switchen verteilen ODER
- LWL überall hin
- Router/Modem direkt am Switch, dazu Frage: NAT?
10 Gbit ist ziemlich teuer. Ich habe das billigste genommen was ich finden konnte und habe dann so 400€ ausgegeben (gerbauchte 10Gbit ConnectX-3 für je 35€ aus China, gebrauchte DACs für je 20€, gebrauchte Transceiver für je 20€, neuer 24x Gbit + 4x 10 Gbit SFP+ Port
Switch für 180€).
Mit neuer Hardware oder 10GBE bist du da aber auch sehr schnell in den tausenden von Euros.
Jetzt zu meinen Fragen:
- Ich habe "gelernt" (gelesen und für schlau befunden) das man einer OPNSense-VM lieber eine dedizierte Karte geben sollte, damit man an dieser zwischen WAN und LAN trennen kann. Das erschien mir auch sinnvoll, alle Guides weisen darauf hin das so zu tun. Du schlägst jetzt aber etwas anderes vor, das deutlich komplexer ist. Komplexität ist der Feind von Sicherheit, nicht war? Was ist hier der Vorteil? Rein instinktiv möchte ich hier nicht von der "IN OUT" Geschichte weg.
Wenn du auf Nummer sicher gehen willst kannst du auch gerne direkt von der Fritzbox zur WAN-NIC der OPNsense. Das würde dann aber bedeuten das du dem VLAN nicht traust, da das ja Isolation per Software macht. Dann dürftest du aber auch nirgends VLAN nutzen wenn du dem nicht traust und müsstest alle Subnetze physisch mit dedizierter Hardware trennen. Bei 7 Subnetzen also 7 Switches kaufen mit 8 NICs für die OPNsense etc. Und wenn du Redundanz willst dann davon halt alles doppelt, also 14 Switches und 16 NICs für die OPNsense.
Du siehst schon zu was das führt...
Wenn man da sagt das man dem VLAN in der Isolation vertraut, dann kann man auch WAN über VLAN isoliert über den Switch betreiben.
Da würde ich mir also im privaten Heimnetz nicht so den Kopf drüber machen. Ist schon sehr sehr unwahrscheinlich, dass da ein Bug im Switch ausgenutzt werden kann, dass man da die VLAN Isolation aushebeln könnte.
Aber wenn du genug NICs und PCIe Slots hast, kann du wie gesagt auch gerne weiter die Fritzbox direkt an die OPNsense anschließen.
- Die Fritzbox (oder ein zukünftiger anderer Router - genauer: Modem) direkt an den Switch - dann muss jeglicher outbound Traffic ja durch den Switch. Erstmal kein "Nachteil", aber mein Gedanke war das die VMs das erst einmal nicht machen müssen - oder war ich da auf dem Holzweg?
Wie meinst du das? Was dachtest du müssten die VMs nicht?
Wenn du keine Bridges auf dem Proxmox-Host hast, weil du jeder VM eine virtuelle NIC-Funktion über SR-IOV verpasst und die VMs dann noch in veschiedenen VLANs hängen, dann muss jeglicher Datenverkehr zwangsweise über den Switch laufen. Und alles an Outbound Traffic zum Internet oder Kommunikation zwischen verschiedenen Subnetzen muss zwangsweise über die OPNsense laufen.
Zu deinen Anmerkungen:
- Wenn ich der OPNSense eine eigene Mellanox-Karte spendieren würde und ohne Bond arbeite. würden das hier aber dann 10GB für die VMs sein, richtig? Natürlich halbiert, weil 2 "Clients" sich die Bandbreite teilen...
Nein, bei mir klappt das in der Praxis nicht. Ich habe das mit 10Gbit an der OPNsense versucht. OPNsense muss alle Pakete einzeln angucken und analysieren. Damit OPNsense das kann muss man jegliches Hardware-Offloading der NICs und alle Funktionen, die irgendwie Bandbreite erhöhen, deaktivieren. Das gleiche wenn du irgendwie virtualisierst, dann fällt auch das Hardware-Offloading weg und die NIC wird lahm. Das heißt dann aber auch das all das Routing und Co rein über die CPU erledigt wird und damit ist dann die CPU der Flaschenhals.
Mehr als 4 Gbit bekomme ich mit einer MTU von 1500 z.B. nicht über die NIC, da es einfach zu viele Pakete sind und die CPU das nicht schafft. Die 10Gbit erreiche ich da nur, wenn ich 9000 MTU Jumbo-Frames nutze, da dann weniger aber dafür größere Pakete verschickt werden.
Außerdem musst du bedenken, dass da Übertragungen sich auch gegenseitig ausbremsen. 1x 10Gbit mag dann zwar mehr Durchsatz haben als 4x 1Gbit, dafür hättest du bei 4x Gbit aber eine bessere Latenz.
Sagen wir du willst 2 Dinge parallel tun...
Erstens willst du ein 1TB Backup zum NAS schicken. Da ist die Latenz egal und es ist nicht zeitkritisch, aber es erzeugt massig Traffic.
Zweitens hast du ein VoiP-Telefonat, bist in einem Multiplayer-Spiel oder ähnliches. Hier ist es zeitkritisch und du willst eine super Latenz damit der Ping klein bleibt und die Gespräche nicht abgehackt sind.
99,99% von allem was dann über die Leitung läuft ist aber das Backup und der Router wird regelrecht zugespammt und die NIC muss irgendwie alles kombinieren und nacheinander über eine 10Gbit Leitung schicken. Da gehen dann die VoIP-Pakete komplett im Backup unter und die Latenz wird grottig. Hättest du einen LACP Bond von 4 Gbit NICs würde alles eine eigene Leitung bekommen. Das Backup würde dann 2 Leitungen benutzen (eine In eine Out) und VoiP und Internet hätten dann die anderen beiden Leitungen.
In der Summe wäre dann das Backup natürlich über Gbit langsamer, aber deine zeitkritischen Dienste würden nicht so gebremst werden und hätten eine bessere Latenz und damit bessere Qualität.
Macht da also durchaus Sinn nicht alles über eine einzige NIC zu quetschen. Das man da wenigstens zeitkritische und zeitunkritische Dinge auf verschiedene NICs verteilt.
Also z.B. für jeden Host 2 NICs einplanen, damit man eine NIC mit 9000 MTU für große zeitunkritische Daten und eine NIC mit 1500 MTU für zeitkritisches nutzen kann. Und wenn du dann noch Redundanz willst das sogar noch doppelt.
Bei mir werden die 10Gbit NICs z.B. nur noch genutzt um die wichtigsten Rechner mit dem NAS zu verbinden. Alles andere läuft dann über Gbit NICs. So habe ich großen Durchsatz zum NAS ohne dass da Verbindungen ins Internet und Co zu sehr ausgebremst werden würden.
- Verstehe ich nicht so ganz - eine IP für den Proxmox Host hätte ich schon ganz gerne?
Eine IP brauchst du auch immer. Der Punkt war das du nicht unbedingt eine Bridge oder ein VLAN Interface brauchst wenn alle VMs über SR-IOV eine eigene NIC durchgereicht haben. Dann könntest du eine der NICs exklusiv für den Host nutzen und der Host müsste sich die nicht mehr über eine Bridge mit anderen VMs teilen.
- Siehe Anmerlungen und vorheige Fragen - die Komplexität des ganzen lässt mich quasi nervös werden...
Ich fürchte die Idee "im kleinen üben, wissen wie es geht, dann auf groß umsteigen und je nach Anforderung kaufen" ist hier nicht so umsetzbar wie gedacht. Ich glaube ich sollte erst mal grundsätzlich ein, zwei Clients in mein VLAN kriegen und schauen wie das so läuft, also quasi zurück zu Post
#13 und von da aus "kleiner" weitermachen und parallel das Zieldesign planen. O. Mein. Gott. Was hab ich getan. Famous last Words: Ich geh mal VLANs machen.
Ja, erstmal mit VLANs vertaut machen ist nicht schlecht. Ich bin es hier direkt groß angegangen, da ich vorher nur 3x unmanaged 8-Port-Switches hatte und daher kein VLAN, tagging und Co nutzen konnte. Wenn du da schon einen kleinen Switch hast, der prinzipiell alles könnte, dann kann man den natürlich super zum üben nutzen. Vermutlich musst du dann aber später eh wieder alles "abreißen" und komlett neu aufsetzen sobald du einen 10Gbit Switch mit genügend Ports hast und es immer mehr und mehr VLANs werden.
