VLAN Config mit OPNSense

[techsolo12]

Hallo zusammen,

aktuell stehe ich vor einem Problem, welches mich, so simpel die Lösung auch sein mag, aktuell in den Wahnsinn treibt.
Es handelt sich um eine OPNSense Installation innerhalb einer VM, welche als Router und Firewall dient, zusätzlich macht diese auch DNS und DHCP.
Sobald ich meine Änderung vornehme, bricht jegliche Kommunikation im Netz zusammen. Lediglich die VM und CT im selben Netz können noch untereinander pingen. Ich vermute, dass ein Fehler mit der Bridge Konfiguration vorliegt.

Nun zunächst zum IST Zustand der Umsetzung.

Der Server verfügt über 2x 2x 10Gbit SFP+, 3x 1Gbit RJ45.

• 1x 10 Gbit als Trunk für die OPNSense
• 1x 10 Gbit als Trunk für die VMs und LXCs
• 1x 10 Gbit für Backup
• 1x 10 Gbit für Migration/Replikation
• 1x 1 Gbit als WAN
• 1x 1 Gbit als PVE MGMT
• 1x 1 Gbit als Corosync

Es existieren für diesen Fall 3 relevante Bridges.

• vmbr10, Trunk Port für VM / CT
• vmbr20, Trunk Port für Firewall
• vmbr30, WAN Port für Firewall

Der OPNSense VM sind folgende Bridges zugeordnet. Die VLAN Tags sind innerhalb der OPNSense gesetzt.

• vmbr20
• vmbr30

Andere VMs / CTs erhalten folgende Bridge. Der VLAN Tag wird über die Web UI in der Netzwerkkonfiguration der jeweiligen Maschine gesetzt.

• vmbr10

Die Netzwerk Config sieht wie folgt aus:

auto lo
iface lo inet loopback

iface enp41s0 inet manual
#MB - 1 | MGMT

iface enp42s0 inet manual
#MB - 2 | Corosync

iface enp39s0 inet manual
#PCIe - 2 |

auto enp40s0
iface enp40s0 inet manual
#PCIe - 1 | WAN

iface enx8292ffae3811 inet manual
#IPMI

iface enp48s0f0 inet manual
#PCIe - 1 | Trunk VM / CT

iface enp48s0f1 inet manual
#PCIe - 2 | Trunk FW

iface enp49s0f0 inet manual
        mtu 9000
#PCIe - 1 | Migration & Replikation

iface enp49s0f1 inet manual
        mtu 9000
#PCIe - 2 | Backup

auto vmbr0
iface vmbr0 inet static
        address 10.10.5.2/28
        gateway 10.10.5.1
        bridge-ports enp41s0
        bridge-stp off
        bridge-fd 0
#MGMT

auto vmbr10
iface vmbr10 inet manual
        bridge-ports enp48s0f0
        bridge-stp off
        bridge-fd 0
#Trunk VM / CT

auto vmbr20
iface vmbr20 inet manual
        bridge-ports enp48s0f1
        bridge-stp off
        bridge-fd 0
#Trunk FW

auto vmbr30
iface vmbr30 inet manual
        bridge-ports enp39s0
        bridge-stp off
        bridge-fd 0
#WAN

auto vmbr51
iface vmbr51 inet static
        address 10.10.51.1/28
        bridge-ports enp42s0
        bridge-stp off
        bridge-fd 0
#Corosync

auto vmbr52
iface vmbr52 inet static
        address 10.10.52.1/28
        bridge-ports enp49s0f0
        bridge-stp off
        bridge-fd 0
        mtu 9000
#Replikation & Migration

auto vmbr53
iface vmbr53 inet static
        address 10.10.53.1/28
        bridge-ports enp49s0f1
        bridge-stp off
        bridge-fd 0
        mtu 9000
#Backup

Als Switch kommt ein Mikrotik CRS354-48G-4S+2Q. In diesem sind die beiden Trunk Ports entsprechend konfiguriert.

Jetzt zum SOLL Zustand:

Nun sollen die beiden 10Gbit Trunks auf einen physischen Port zusammengelegt werden, sowie die beiden 10 Gbit für Backup, Migration und Replikation.
Das Zusammenlegen von Backup, Migration und Replikation ist einfach, ich stocke leider bei dem Zusammenlegen der Trunk Ports.

Dazu habe ich der OPNSense folgende Bridge zugewiesen. Aus hier wird der Tag wieder in der OPNSense gesetzt.

• vmbr10
• vmbr30

Die VMs / CTs erhalten weiterhin folgende Bridge. Auch hier wird wieder der VLAN Tag über das Web UI gesetzt.

• vmbr10

Auch hier ist der Switch wie im IST Zustand konfiguriert, beide Port erhalten die selben Tags.

Die Netzwerk Config sieht wie folgt aus:

auto lo
iface lo inet loopback

iface enp41s0 inet manual
#MB - 1 | MGMT

iface enp42s0 inet manual
#MB - 2 | Corosync

iface enp39s0 inet manual
#PCIe - 2 |

auto enp40s0
iface enp40s0 inet manual
#PCIe - 1 | WAN

iface enx8292ffae3811 inet manual
#IPMI

iface enp48s0f0 inet manual
#PCIe - 1 | Trunk VM / CT / FW

iface enp48s0f1 inet manual
        mtu 9000
#PCIe - 1 | Backup / Migration / Replikation

auto vmbr0
iface vmbr0 inet static
        address 10.10.5.2/28
        gateway 10.10.5.1
        bridge-ports enp41s0
        bridge-stp off
        bridge-fd 0
#MGMT

auto vmbr10
iface vmbr10 inet manual
        bridge-ports enp48s0f0
        bridge-stp off
        bridge-fd 0
#Trunk VM / CT

auto vmbr30
iface vmbr30 inet manual
        bridge-ports enp39s0
        bridge-stp off
        bridge-fd 0
#WAN

auto vmbr51
iface vmbr51 inet static
        address 10.10.51.1/28
        bridge-ports enp42s0
        bridge-stp off
        bridge-fd 0
#Corosync

auto vmbr52
iface vmbr52 inet static
        address 10.10.52.1/28
        bridge-ports enp49s0f0
        bridge-stp off
        bridge-fd 0
        mtu 9000
#Backup / Replikation / Migration

Ich hoffe mal, dass ich an alle Details gedacht habe. Sollte etwas fehlen, meldet euch doch bitte kurz.

Liebe Grüße,
techsolo12

 

[techsolo12]

*PUSH*