Proxmox + OPNsense + (Cisco) Switch + VLANs: Wie realisieren?

[cmonty14]

Soll die OPNsense denn echt nur im LAN und WAN hängen? Die soll doch bestimmt auch eine virtuelle NIC in den ganzen anderen VLAN haben damit smarthome Sachen etc auch ins Internet kommen.

Eigene NIC fürs Management finde ich etwas überflüssig. Da könnte man auch ein MNGT VLAN für machen.

Da würde ich persönlich 4 NICs als LACP Bond auf dem Host einrichten an einer vlan aware Bridge vmbr0. Der vmbr0 verpasst du dann ein VLAN Interface für das Management (vmbr0.2 z.B. wenn das Management auf VLAN 2 soll) und gibst dem vmbr0.2 dann eine IP für SSH und das WebUI. Dann kommt nichts an Proxmox ran außer es sitzt auch im Management VLAN.

Die fünfte NIC kannst du dann ja für WAN lassen und an OPNsense durchreichen.

Alle VLANs und OPNsense würde ich dann über virtuelle NIC über vmbr0 laufen lassen. Dann haben alle VMs intern 10Gbit über Virtio und die VLANs können sich dann die 4Gbit vom Bond für die Außenkommunikation teilen.
Du kannst da ja dann beliebig viele VLANs über den Bond zum Switch laufen lassen wenn du tagged VLAN nutzt. Das gleiche mit vmbr0. Auf der kannst du auch beliebig viele VLANs parallel betreiben.

Soweit ich das verstanden habe werden an das Interface OPNsense LAN die VLANs angehängt.
Das bedeutet, dass über dieses Interface, verbunden mit dem Managed Switch, alle Kommunikation aller VLANs geht.

Du hast in deinem vorigen Post auf den Vorteil hingewiesen, wenn alle NICs an die OPNsense VM durchgereicht werden und der LACP Bond in OPNsense eingerichtet wird. In deinem letzten Post empfiehlst du aber, den LACP Bond auf dem Proxmox Host einzurichten.
Das ist jetzt etwas verwirrend.

Und ist die Empfehlung, einen LACP Bond über 4 NICs einzurichten davon abhängig, ob es sich um Dual-Port NICs oder Quad-Port NIC handelt?
In meinem Fall habe ich eine Quad-Port NIC (Intel I350-T4) + Single-Port NIC (Mainboard).

Ich hatte geplant, auf ein anderes NIC die Netzwerke Management und Corosync zu legen als VLAN.
Und ich würde dir zustimmen, dass eine dedizierte NIC für Management overkill ist.
Die Frage ist, ob das Netzwerk Corosync so kritisch ist, dass man es nicht in ein VLAN legen sollte?

 

[Dunuin]

Soweit ich das verstanden habe werden an das Interface OPNsense LAN die VLANs angehängt.
Das bedeutet, dass über dieses Interface, verbunden mit dem Managed Switch, alle Kommunikation aller VLANs geht.

Du hast in deinem vorigen Post auf den Vorteil hingewiesen, wenn alle NICs an die OPNsense VM durchgereicht werden und der LACP Bond in OPNsense eingerichtet wird. In deinem letzten Post empfiehlst du aber, den LACP Bond auf dem Proxmox Host einzurichten.
Das ist jetzt etwas verwirrend.

Ja, das hängt davon ab wieviele VLANs und NICs man hat. Je mehr VLANs (bzw jw mehr parallele Verbindungen da laufen sollen) du hast desto mehr NICs müsstest du auch durchreichen, damit das nicht zu ineffizient wird. Wenn die OPNsense alle VLANs über eine einzige NIC macht die direkt zum Switch geht, dann kann keine Kommunikation innerhalb des Hostes stattfinden und die würde mit 10Gbit statt 1Gbit laufen. Und sagen wir mal da wollen 3 VMs gleichzeitig über VLAN 1 mit VLAN2, VLAN1 mit VLAN3 und VLAN1 mit VLAN4 kommunizieren. Dann teilen sich alle 3 Verbindungen die selbe NIC und da beides sowohl rein wie auch raus über den Switch muss, hat man ja nur noch jeweils 3x 166Mbit.
Läuft das intern über die Bridges hätte man 3x 10Gbit (wobei da OPNsense wohl kein routing mit 10Gbit schafft und dann der Flaschenhals ist. Aber vielleicht werden da dann noch 1-2 Gbit geroutet) .

Da bräuchtest du dann schon Minimum 3 NICs als passthrough für die OPNsense VM (bond aus 2 NICs für VLANs + 1 NIC für WAN) und 3 NICs für den Host (2 NICs für VLANs + 1 NIC für Corosync) damit da überhaupt transfers mit 1Gbit möglich wären. Sollen mehr als 1 Verbindung parallel mit 1Gbit routen können bräuchstest du entsprechend mehr NICs. Das wären dann halt je 4 zusätzliche NICs für eine zusätzliche parallele 1Gbit Verbindung.

Mit Passthrough schafft die OPNsense auf der NIC mehr Pakete pro Sekunde, ist also effizienter wenn sie für andere Hosts etwas routen soll. Wenn du viel Bandbreite zwischen den VMs brauchst bieten sich aber virtuelle NICs eher an, weil die Kommunikation dann garnicht erst den Server verlassen muss und intern mit 10Gbit über die Bridges läuft.

Und ist die Empfehlung, einen LACP Bond über 4 NICs einzurichten davon abhängig, ob es sich um Dual-Port NICs oder Quad-Port NIC handelt?
In meinem Fall habe ich eine Quad-Port NIC (Intel I350-T4) + Single-Port NIC (Mainboard).

Das sollte egal sein. Hauptsache irgendwie 2 oder 4 NICs. Bond aus 3 NICs würde auch gehen, ist aber nicht so effizient, da sich die Queues nicht gerade aufteilen lassen.

Ich hatte geplant, auf ein anderes NIC die Netzwerke Management und Corosync zu legen als VLAN.
Und ich würde dir zustimmen, dass eine dedizierte NIC für Management overkill ist.
Die Frage ist, ob das Netzwerk Corosync so kritisch ist, dass man es nicht in ein VLAN legen sollte?

Theoretisch solle VLAN für Corosync gehen, vorausgesetzt du nutzt QoS, damit das Corosync VLAN immer vorrang hat, aber sicherer wäre da schon eine eigene NIC über einen eigenen Switch für Corosync, dass da kein anderes VLAN die NIC oder den Switch überfluten kann.

 

[cmonty14]

Ja, das hängt davon ab wieviele VLANs und NICs man hat. Je mehr VLANs du hast desto mehr NICs müsstest du auch durchreichen, damit das nicht zu ineffizient wird. Wenn die OPNsense alle VLANs über eine einzige NIC macht die direkt zum Switch geht, dann kann keine Kommunikation innerhalb des Hostes stattfinden und die würde mit 10Gbit statt 1Gbit laufen. Und sagen wir mal da wollen gleichzeitig VLAN 1 mit VLAN2, VLAN1 mit VLAN3 und VLAN1 mit VLAN4 kommunizieren. Dann teilen sich alle 3 Verbindungen die selbe NIC und da beides sowohl rein wie auch raus über den Switch muss, hat man ja nur noch jeweils 3x 166Mbit.
Läuft das intern über die Bridges hätte man 3x 10Gbit.

Da bräuchtest du dann schon Minimum 3 NICs als passthrough für die OPNsense VM (bond aus 2 NICs für VLANs + 1 NIC für WAN) und 3 NICs für den Host (2 NICs für VLANs + 1 NIC für Corosync) damit da überhaupt transfers mit 1Gbit möglich wären. Sollen mehr als 1 Verbindung parallel mit 1Gbit routen können bräuchstest du entsprechend mehr NICs. Das wären dann halt je 4 NICs für eine parallele 1Gbit Verbindung.

Das sollte egal sein. Hauptsache irgendwie 2 oder 4 NICs. Bond aus 3 NICs würde auch gehen, ist aber nicht so effizient, da sich die queues nicht gerade aufteilen lassen.

Theoretisch solle VLAN für Corosync gehen, vorausgesetzt du nutzt QoS, damit das Corosync VLAN immer vorrang hat, aber sicherer wäre da schon eine eigene NIC über einen eigenen Switch für Corosync, dass da kein anderes VLAN die NIC oder den Switch überfluten kann.

Wegen der aktuell verfügbaren 5 NICs (ausschließlich 1GB) stehen dann 2 Modelle zur Auswahl:
a) 2 NIC LACP Bond Proxmox Host + 2 NIC LACP Bond OPNsense LAN (passthrough) + 1 NIC OPNsense WAN (passthrough)
b) 4 NIC LACP Bond Proxmox Host + 1 NIC OPNsense WAN (passthrough) + Virtual Bridge
Da kein dezidiertes NIC für PVE Corosync verfügbar ist, würde man VLAN mit QoS hierfür festlegen.

Die Anzahl der VLANs ist in beiden Modellen identisch; ich habe jetzt nochmal durchgezählt und komme auf:
1 Default
2 Management
10 Fritzbox LAN
20 OPNsense LAN
30 VPN
40 DMZ
50 Smarthome
60 Storage
100 PVE Guest
110 PVE Migration
120 PVE Corosync

Da es nur einen physikalischen Host gibt, der alle relevanten Services
Firewall, Router, DHCP - OPNsense
NAS - Open Media Vault oder TrueNAS
DNS - Pihole
K3S - Kubernetes Private Cloud
virtuell bereitstellt, welches Modell wäre dann zu bevorzugen?

Und was spricht dafür oder dagegen, dies gleich mit Software Defined Network (SDN) zu realisieren?

 

[Dunuin]

Planst du denn überhaupt dir noch einen weiteren Proxmox Node anzuschaffen? Falls nein brauchst du ja eigentlich auch kein Corosync und dann wäre eine extra NIC dafür zu opfern ja eine ziemliche Verschwendung.

Gerade wenn du ein NAS in einer VM betreiben willst und dann vermutlich viele VMs direkt auf das NAS zugreifen sollen (Plex, backups, Nextcloud oder sonst was mit großen Datenmengen) würde ich virtuelle NICs benutzen damit das garnicht erst über den Switch muss. Wenn du dein NAS dann auch IPs in mehreren VLANs vergibst, dass da Clients ohne Routing direkt an das NAS kommen, dann wird die OPNsense auch massiv entlastet. Dann ist da die OPNsense Performance auch nicht mehr ganz so wichtig, besonders wenn du keinen Gbit-Internetanschluss hast.

Da würde ich dann die (vermutlich schlechtere) onboard NIC für WAN nehmen und die komplette i350-T4 für den LACP Bond. Dann sind NAS und andere VMs wenigstens mit voller Bandbreite angebunden und deine anderen VMs werden nicht ausgebremst, selbst wenn da mal ein großes Backup mit voller Gbit-Bandbreite zur NAS-VM geschickt wird.

Spätere Modelle der i350-T4 können übrigens auch SR-IOV. Sofern dein Mainboard auch SR-IOV unterstützt wäre das auch nich interessant. Dann kannst du die 4 physischen NICs der i350 z. b. zu 32 virtuellen NICs machen. Diese 32 virtuellen NICs lassen sich dann auch per PCI Passthrough an bis zu 32 VMs durchreichen.

 

[cmonty14]

Theoretisch solle VLAN für Corosync gehen, vorausgesetzt du nutzt QoS, damit das Corosync VLAN immer vorrang hat, aber sicherer wäre da schon eine eigene NIC über einen eigenen Switch für Corosync, dass da kein anderes VLAN die NIC oder den Switch überfluten kann.

QoS muss dann über den Managed Switch (D-Link DGS-1100-16) konfiguriert werden.
Ist mein Verständnis hierzu korrekt?

Das Problem könnte dann sein, dass mein Switch nur QoS 802.1p unterstützt. Und dies erlaubt die Konfiguration pro Port (siehe Screenshot).


Oder muss QoS für ein VLAN anders konfiguriert werden?

THX

 

[moonsorrox]

Ich habe hier einiges gelesen aber vieles nicht verstanden, aber evtl. kann mir jemand helfen, da ich auch auf dem OPNsense Thema recht neu bin.
Ich habe eine virtualisierte OPNsense auf dem Kleincomputer M80.
Das läuft auch alles wunderbar, nun wollte ich jetzt meine Sense in Betrieb nehmen, da gefiel mir die Zeichnung aus dem Post.
Nun mal zu meiner Konstellation, ich hatte in einem anderen Forum gefragt, aber dort konnte mir mit der virtualisierten OPNsense nicht so richtig weiter geholfen werden.
Die direkte Einwahl mit der Sense klappte bei meinem Provider nicht.

Nun wollte ich zu der Version die ich vorgeschlagen hatte, die Fritzbox zur Einwahl am Glasfasermodem (FB macht auch Telefonie) und dahinter die OPNsense.
Das sieht ja auf dem Bild das ich verlinkt habe so aus.

Nun dachte ich mir mache ich das so, der HM80 hat ja 2 Netzwerkschnittstellen d.h LAN --> vtnet0 und WAN --> vtnet1
Ich wollte mein Heimnetz eben an den LAN Anschluss hängen welcher die IP 10.0.0.xxx hat und dann an den WAN die FB.
Was muss ich dazu beachten in den Proxmoxeinstellungen der Nics, sehen so aus:

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
#1 GB Nic

auto enp4s0
iface enp4s0 inet manual
#2.5 GB Nic

auto vmbr0
iface vmbr0 inet static
        address 10.0.0.80/24
        gateway 10.0.0.1
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
#LAN-Netzwerk

iface wlp3s0 inet manual

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
#OPNsense-WAN

Das Netzwerk in meinem LAN kann ich dann ja später noch mit einem oder zwei VLANs ausrüsten. So z.B. LAN an ein VLAN und WLAN Access Points an ein 2. VLAN. Ich habe dafür einen kleinen EdgeRouter-X der dies könnte, den habe ich mir nur zu Testzwecken gekauft, aber könnte ich dafür nutzen (hat 5 Ports) die mir reichen würden.
Ich habe dazu in einem Forum ein Zeichnung gemacht, die ich hier mal anhänge.

Ich hoffe hier kann mir jemand mit meinen Einstellungen helfen, wollte jetzt nicht wild herum probieren da ich komplett neu bin was OPNsense betrifft.

Netzweraufbau so ungefähr ist meine Vorstellung:

      WAN / Internet
            :
            : Deutsche Glasfaser-htp
            :
      .-----+-----.
      |    Modem  |  (Glasfaser Modem)
      '-----+-----'
            |
            |
      .-----+-----.
      |  Fritzbox  |
      '-----+-----'
    IP 192.168.178.1 Fritzbox
            |
            |
    IP 192.168.178.2 OPNsense
           WAN
      .-----+------.
      |  OPNsense  |
      '-----+------'
            |
        LAN | 10.0.0.1/24
            |
     .------+--------.
     | EdgeRouter-X  |  1.Port von der OPNsense
     '--+--+--+---+--'
        |  |      |
        |  |      |
        |  |   .--+---------------.
        |  |   |  Netgear Switch  |
        |  |   '-+--+--+-+--+--+--'
        |  |        |
        |  |        |
        |  |        |-+---... (Hausautomation..?/PCs/Laptop) IP 10.0.0.xxx
        |  |
        |  |-------+---... (Hausautomation.?/Servers) IP 10.0.10.xxx
        |
        |
     +--+------------+                   
     | Ubiquiti LR-6 |
     |  Accesspoint  | IP 10.0.20.xxx ? (nutze noch Fritzbox Mesh 7590/7490)
     |     WLAN      |
     +---------------+

Der Ubiquiti AP muss es nicht unbedingt werden weil ich mit den Dingern nicht so zufrieden bin, momentan ist er ausser Betrieb.
Da ich wenn noch einen zweiten brauche, würde ich auch umsteigen, aber das ist hier ja egal für den Aufbau.

Was bleiben soll ist der Netzwerbereich für mein LAN mit 10.0.0.xxx sonst müßte ich alle Geräte ändern und das sind reichlich HA Geräte.
Ich hoffe alles ist einigermaßen erklärt, wenn noch was gebraucht wird bitte schreiben.

 

[Dunuin]

Aktuell hast du ja dein LAN auf der Gbit NIC. Da würde ich schon die 2.5Gbit NIC für das LAN nehmen, falls du doch mal Hardware auf 2.5G aufrüstest. 2.5Gbit für WAN wäre ja eine Verschwendung. Dein verlinktes Bild war von mir und so wie auf dem Bild war es dann doch nicht gekommen, weil mir eine OPNsense alleine zu fehleranfällig war. Falls du irgendwie VMs auf zwei verschiedenen Hosts laufenlassen kannst würde ich stark zu zwei synchronisierten OPNsense VMs im Master-Backup-HA-Modus raten. Da laufen dann immer gleichzeitig beide OPNsense VMs aber nur eine (der Master) wird aktiv benutzt wärend der andere (Backup) quasi im Leerlauf ist. Die beiden halten sich über das pfsync-Protokoll synchron und sofern die Master-OPNsense Probleme hat wird die Backup-OPNsense innerhalb von 1-3 Sekunden zum neuen Master und nimmt dessen Platz ein. Eine von beiden VMs lauft gerade auf dem PVE-Server und die andere auf dem TrueNAS-Server. Das ist echt suuuper praktisch. Ich kann einfach einen der beiden Hosts runterfahren und nicht einmal laufendne Downloads brechen mir ab und alles läuft weiter als wäre nichts gewesen. Auch habe ich keine Internetaussetzer wenn PVE mal die OPNsense-VM für ein Backup kurz stoppen muss. Und wenn mal was mit dem Haupt-Server ist und ich den für Tage oder Wochen nicht mehr gestartet bekomme, dann ist mein ganzer Haushalt wenigstens nicht für Tage oder Wochen offline.
Wie man das mit OPNsense einrichtet steht z.B. hier: https://www.thomas-krenn.com/de/wiki/OPNsense_HA_Cluster_einrichten

Als Wifi-AP habe ich einen D-Link DIR-860L B1 genommen und OpenWRT draufgeflasht, weil der Router mit OpenWRT auch mit VLANs umgehen kann und es Open Source ist und ich es so selbst updaten kann und der Router nicht plötzlich unsicher wird, weil der Hersteller den support einstellt und keine Updates mehr liefert. Da stellt mein einer 35€ OpenWRT-Router dann 10 verschiedene WLAN-Netze in 5 verschiedenen VLANs (je als 2.4Ghz und 5GHz) bereit. Da habe ich dann Gast-Wifi, IoT-Wifi, LAN-Wifi, Retro-Wifi und DMZ-Wifi alles über den selben AP und je nachdem wo sich dann ein Gerät einwählt landet es im entsprechenden VLANs wo es dann von DHCP-Server der OPNsense-VMs eine IP/DNS/Gateway bekommt.

So richtig Möglichkeiten hat man leider auch erst, wenn man sich einen Managed Switch holt der auch tagged VLANs (IEEE 802.1q) und LACP (IEEE 802.3ad) beherrscht.

 

[moonsorrox]

Das mit den Netzwerk NICs kann ich ja noch tauschen, das ist kein Problem.

Das ist jetzt aber schon höhere Schule, soweit bin ich ja noch lange nicht.
Ich wäre froh wenn ich erstmal mit einer OPNsense ins Internet kommen würde egal wie auch immer. Das habe ich ja nicht in den Griff bekommen.
Ich brauche auch erstmal nur ein LAN für meine Geräte und ein WLAN.
Einen älteren OpenWRT Router habe ich noch irgendwo rum fliegen, damit konnte ich mich nie anfreunden. Es ist ein TP-Link TL-WR1043ND
Der EdgeRouter von mir kann als Switch genutzt werden, aber einen richtigen Managed Switch wollte ich mir sowieso noch zu legen. Nur nicht in extremen Preisbereich.
Deshalb dachte ich der kleine Edge Switch den ich habe reicht aus um damit ersteinmal VLAN zu machen da ich nicht soviel brauche.

Aber wie gesagt ersteinmal muss ich eine OPNsense zum laufen bekommen, damit ich mit der ins Internet kommen.
Meine Zeichnung hast du ja gesehen, wäre das ein erster Ansatz.?

Ich habe einen Klein PC HM 80, und zwei Intel-NUC, einer Intel-i5 und einer Intel-3 beide NUCs haben Proxmox drauf einer macht ein paar LXC der i3 ist zum rum spielen und Testen.
Der HM80 ist ein "16 x AMD Ryzen 7 4800U with Radeon Graphics" also recht gut. das könnte ich später mal probieren mit den beiden Clustern.

 

[Dunuin]

Ja, prinzipiell sollte das so laufen. Kannst du dich ja erst einmal mit OPNsense vertraut machen und dann später noch alles über den Haufen werfen und komplett neu machen, wenn du doch noch OPNsense als HA Cluster versuchen willst. Wäre schon wirklich schade das nicht zu tun, gerade wenn du so viele PVE Nodes hast und es deine vorhandene Hardware bereits erlauben würde.

 

[moonsorrox]

nun bin ich wieder hier weil ich es nicht gebacken bekomme die OPNsense als VM hinter meinem Modem ins Internet zu bringen.
Im OPNsense Forum hat diese Konstellation niemand, d.h. eine virtuelle OPNsense.
Die Netzwerkzeichnung oben stimmt also nicht mehr so ganz da die OPNsense sich direkt hinter dem Modem einwählen kann und genau das bekomme ich nicht hin.

Mir wurde gesagt ich kann keine virtuelle Netzwerkkarte nutzen die muss physisch vorhanden sein, aber ich bin damit etwas überfordert wie ich es machen soll.

Ich habe ja an meinem HM80 zwei NICs über die LAN Schnittstelle der OPNsense komme ich ja in mein Netzwerk und auch auf die Weboberfläche der FW.

Momentan habe ich die WAN Schnittstelle noch in meinem Netzwerk damit ich ein Update machen kann. Diese soll dann über PPPoE ins Internet gehen.
Ich habe von meinem Provider die Vorgabe mit PPPoE, Benutzername und Passwort dazu noch VLAN 22.

Ich hänge mal Screenshots ran wie es in Proxmox aussieht.
Evtl. kann mir jemand sagen was falsch ist.

Screenshots einmal Proxmox Netzwerk und einmal die VM von OPNsense

 

[Falk R.]

Stell mal deine WAN Bridge auf VLAN aware und gib der Sense das VLAN22 mit. Das sollte dann klappen.

 

[moonsorrox]

Das VLAN auf Proxmox wie im Screenshot eingestellt.
In der Sense das VLAN unter -->Schnittstellen -->andere Typen erstellen auf die WAN Schnittstelle vtnet0

oder ist die Netzwerkkarte von der OPNsense gemeint wie im Screenshot opnsense_netzwerk zu sehen, da auf der vmbr0 das VLAN-Tag auf 22 setzen

 

[Dunuin]

Deiner net0 der OPNSense VM im PVE WebUI das VLAN Tag 22 verpassen. Dann landet alles was über die virtuelle NIC rein/raus geht im VLAN 22.
Und die Fritzbix musst du als Router natürlich dann auch deaktivieren, wenn du die nur noch als Modem nutzen willst.

 

[moonsorrox]

Das hatte ich gestern schon ausprobiert, funktioniert aber nicht.
Ich bin echt am verzweifeln, also habe ich heute nochmal alles erneuert, d.h. die OPNsense aus einem Backup in der Grundkonfiguration neu gemacht und alles neu gestartet.

Ich schreibe hier jetzt mal meine gesamte Konfiguration hin.
Das ist die networks interface:

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
#1GB NIC

auto enp4s0
iface enp4s0 inet manual
#2.5 GB NIC

iface wlp3s0 inet manual

auto vmbr1
iface vmbr1 inet static
        address 10.0.0.80/24
        gateway 10.0.0.1
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0
#LAN-Netzwerk

auto vmbr0
iface vmbr0 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

Die net0 der OPNsense VM im PVE WebUI das VLAN Tag 22 gegeben. (Screenshot dazu)


Dann habe ich der vmbr0 VLAN-Aware angehakt. (screenshot dazu)


und hier nochmal die Konsole der OPNsense Ansicht. (Screenshot dazu)



Was ich auch noch ausprobiert hatte, da die vmbr0 ja normalerweise in der Luft hängt, dieser die NIC eno1 zuzuordnen, aber das hat auch nichts gebracht.
Die Fritzbox ist komplett raus hängt nur im normalen Netz, die soll auch nicht das Modem machen.(wenn die FB dran ist ist das Modem in der FB auch ausgeschaltet)
Das Modem ist bei mir vom Provider gestellt werden und hängt schon an der Wand und hier gehe ich von der NIC eno1 des HM80 direkt rein.

Ich hoffe das alles soweit erklärt ist, damit ihr mir weiter helfen könnt.
Vielen Dank

 

[Dunuin]

vmbr0 musst du schon deine WAN NIC geben, sonst hat die Bridge ja keine Change mit dem Modem zu kommunizieren.

 

[moonsorrox]

Das habe ich getan, aber es funktioniert nicht.
Schnittstelle sieht so aus

--- /etc/network/interfaces    2022-03-09 13:54:19.464714837 +0100
+++ /etc/network/interfaces.new    2022-03-09 15:24:16.654672083 +0100
@@ -33,7 +33,7 @@
 
 auto vmbr0
 iface vmbr0 inet manual
-    bridge-ports none
+    bridge-ports eno1
     bridge-stp off
     bridge-fd 0
     bridge-vlan-aware yes

beim Provider habe ich auch angerufen, aber der hatte keine Ahnung, sagt nur ich brauche PPPoE, Benutzername, Passwort und VLAN22

Das habe ich auch alles eingetragen

hier noch ein Screenshot mit eingetragener WAN NIC eno1

 

[moonsorrox]

Muss ich evtl. noch das Gateway auf der vmbr0 eintragen
Auf der LAN Bridge ist ja noch meine jetzige Fritzbox eingetragen, sollte aber wohl erst mal nicht stören. Zumindest muss doch der Internetzugang funktionieren, oder sieht jemand noch was hier falsch ist.?

 

[Dunuin]

Gateway solltest du immer nur eines haben und da würde ich die LAN IP der OPNsense auf der vmbr1 nehmen.
Wenn du garnicht mehr weiter weißt könntest du mal mit tcpdump ein paar Pakete einfangen und die dir dann mit wireshark oder ähnlichem anlysieren. Dann kannst du genau sehen was da los ist, gucken ob die Pakete auch wirklich mit dem korrektem VLAN getaggt sind usw.
Das hatte mir wenigstens mit der OPNSense auf TrueNAS geholfen, da dort immer meine Mellanox-NIC alle CARP-Pakete verschluckt hat.

 

[moonsorrox]

da ich es immer noch nicht aufgegeben habe mal folgendes.
Ich habe die WAN Schnittstelle jetzt mal nur zum testen auf DHCP gestellt und sie an die Fritzbox geklemmt, damit ich überhaupt erst einmal sehe ob die NICs funktionieren und siehe da ich konnte von der OPNsense auch über die Konsole nichts anpingen "no route to Host" kam als Anzeige

Jetzt habe ich wie oben zu sehen in meinem letzten Screenshot "WAN NIC eno1" das VLAN-Aware raus genommen, dann hat es funktioniert, ich konnte auf der Konsole der OPNsense pingen.
Hat das was zu sagen, so in etwa das ich dieses doch nicht anhaken darf.?

Andere Frage....
Ich habe es dann per PPPoE probiert hat aber doch nicht funktioniert.
Kann es sein das mir die IPv6 irgendwie dazwischen funkt.
Wenn ich eine Abfrage mache wie ist meine IP bekomme ich die IPv6 und auch die IPv4 zu sehen.

 

[Dunuin]

da ich es immer noch nicht aufgegeben habe mal folgendes.
Ich habe die WAN Schnittstelle jetzt mal nur zum testen auf DHCP gestellt und sie an die Fritzbox geklemmt, damit ich überhaupt erst einmal sehe ob die NICs funktionieren und siehe da ich konnte von der OPNsense auch über die Konsole nichts anpingen "no route to Host" kam als Anzeige

Jetzt habe ich wie oben zu sehen in meinem letzten Screenshot "WAN NIC eno1" das VLAN-Aware raus genommen, dann hat es funktioniert, ich konnte auf der Konsole der OPNsense pingen.
Hat das was zu sagen, so in etwa das ich dieses doch nicht anhaken darf.?

Die Fritzbox kann auch nicht mit VLANs umgehen. Da ist es dann kein wunder wenn die OPnsense weiterhin VLANID 22 nutzt, dass da nichts erreichbar ist was über die Fritzbox läuft.