Proxmox |OPNsense | VLAN

[anaign]

Hallo,

wir betreiben auf einer Hardware mit 2 physischen NIC Karten proxmox v6.0-11 mit statischer IP Adresse als single node mit ZFS Storage, auf dieser läuft unter anderem OPNsense 19.7 als KVM.
NIC Karte 1 = eno1 --> hier wurde eine Linux Bridge erstellt vmbr0 für LAN, (Default Netzwerk ID1) --> OPNsense DHCP Regeln & NAT.
NIK Karte 2 = eno2 --> hier wurde eine Linux Bridge erstellt vmbr1 für WAN, (Internet) --> OPNsense IP Adresse per DHCP vom ISP.

Funktioniert soweit hervorragend und stabil.

Nun möchten wir eine klassische Netzwerksegmentierung durchführen und ein zusätzliches Netzwerk (VLAN0060 mit der ID60) erstellen für eventl. WLAN und IoT.

-Das neu VLAN0060 sollte sowohl für Proxmox LXC oder KVM's funktionieren und auch für physische Hardware über einen 48 Port Switch aufgespannt werden.
-Es muss vom default Netzwerk ID 1 abgeschottet sein, aber WAN also Internet bekommen, ebenso sollten per DHCP IP Adressen vergeben werden.
-Das Routing zwischen den zwei Netzen soll die OPNsense übernehmen.

# Der 48er Layer 2 Switch wurde wie folgt konfiguriert.
-Port 1 als Trunk (nennt sich bei HP TRK1[Member Port 1])=== Verbindung auf die NIK Karte 1 eno1 vmbr0 von Proxmox und OPNsense LAN Interface.
-Port 48 untagged und die VLAN ID60 zugewiesen.

# Proxmox
Es wurde eine dritte Linux Bridge angelegt vmbr0060 aber zeigend auf eno1.60 --> denke hier ist schon ein Fehler, da es diese nicht gibt?
Es wurde an vmbr0 LAN VLAN aware aktiviert.
An einem Test LXC Container wurde die VLAN ID60 eingestellt.

# OPNsense
DNS mittels Unbound ist und war aktiviert.
Es wurde ein neues Interface (OTA) VLAN0060 angelegt und vmbr3 von Proxmox zugewiesen mit AutoGateway.
Auf dieser Schnittstelle wurde DHCP aktiviert und vorerst die Regel allow any gesetzt.

FAZIT:
Wenn mann ein ZB.: Notebook am Port 48 des Switches anschließt, bekommt dieser keine IP also auch kein Internet.
Vergibt man statisch eine IP in der VLAN Range, bekommt er auch kein Internet und der Test LXC Container ist nicht pingbar.

Benötigen wir hierzu (VLAN0060)eine dritte physische NIK Karte am Proxmox Host?

Wo kann hier das Problem liegen?
Bezüglich VLAN fehlt uns schlichtweg die Expertise, an dieser Stelle hoffen wir auf Eure Unterstützung.

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.xxx.xxx
netmask 24
gateway 192.168.xxx.xxx
bridge-ports eno1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094

auto vmbr1
iface vmbr1 inet manual
bridge-ports eno2
bridge-stp off
bridge-fd 0

auto vmbr60
iface vmbr60 inet manual
bridge-ports eno1.60
bridge-stp off
bridge-fd 0


Vielen Dank!

 

[CoolTux]

Du musst natürlich die eno1.60 erstellen lassen

iface eno1.34 inet manual
iface eno1.40 inet manual
iface eno1.60 inet manual
iface eno1.80 inet manual
iface eno1.90 inet manual
iface eno1.120 inet manual


auto vmbr34
iface vmbr34 inet manual
bridge_ports eno1.34
bridge_stp off
bridge_fd 0

auto vmbr40
iface vmbr40 inet static
address 10.6.4.5
netmask 255.255.255.0
gateway 10.6.4.1
bridge_ports eno1.40
bridge_stp off
bridge_fd 0

auto vmbr60
iface vmbr60 inet manual
bridge_ports eno1.60
bridge_stp off
bridge_fd 0

 

[anaign]

Hallo,

danke für die Info, hab ich gesetzt und die Node rebootet, leider kein VLAN?

LG.Andreas

 

[CoolTux]

Zeige mal bitte Deine Konfig

 

[anaign]

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno1.60 inet manual

iface eno2 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.xxx.xxx
netmask 24
gateway 192.168.xxx.xxx
bridge-ports eno1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094

auto vmbr1
iface vmbr1 inet manual
bridge-ports eno2
bridge-stp off
bridge-fd 0

auto vmbr60
iface vmbr60 inet manual
bridge-ports eno1.60
bridge-stp off
bridge-fd 0

 

[CoolTux]

Sieht doch gut aus. Nun musst Du einer VM das Interface vmbr60 zuweisen und innerhalb der VM das Netzwerk konfigurieren.
Und natürlich muss der Port am Switch wo die Netzwerkkarte eno1 dran hängt entsprechend für VLAN60 konfiguriert werden.

 

[anaign]

Hallo,

danke fuer Deine Unterstuetzung.

Hab an der OPNsense noch beim Interface etwas falsch eingestellt gehabt (vtnet).
Nun bekommen schon 2 LXC Container die im VLAN0060 sind eine IP Adresse vom DHCP und koennen sich gegenseitig pingen und haben auch Internet --> perfekt.

Aktuell gehe ich davon aus, das in Proxmox und auf der OPNsense alles ok ist bez. VLAN0060.

Am Switch hab ich auch noch ein einen Fehler entdeckt Trunk TRK1 tagged war kein member von VLAN0060.

Aber am Switch bekommt ein Test Notebook einfach kein VLAN keine IP kein Internet
Ein ganz normaler Layer 2 Hp-1820-48G (J9981A) Switch muss doch einfach konfigurierbar sein?

Vielen Dank!

LG.Andreas

 

[CoolTux]

Ich gehe davon aus das Du an dem Switch den Port das VLAN zu gewiesen hast wo das Notebook dran steckt? Und Du hast die Netzwerkkarte vom Notebook mit VLAN konfiguriert?

 

[anaign]

Guter Tipp, W10 ist OOTB enable, Linux Mint? --> https://community.linuxmint.com/software/view/vlan
Was mir soeben aufgefallen ist es laest sich aus dem Default LAN ID1 ein Maschine im VLAN0060 pingen und umgekehrt? darf nicht sein . . .
Regel in OPNsense auf dem VLAN0060 Interface Default allow VLAN0060 to any rule

 

[CoolTux]

Du musst entsprechende Regeln anlegen und wenn Du das gemacht hast und Dir sicher bist die any Regel löschen.

 

[adrianf]

Hallo zusammen,

ich scheitere gerade exakt am gleichen Thema.

Ich habe eigentlich alles genau so angelegt,wie hier beschrieben, allerdings bekommen meine Geräte keine IP vom DHCP und ich sehe weder im DHCP Log, noch im Firewall Log auf der OPNsense irgendwelche Anfragen.

An welcher Stelle muss das VLAN Taggingaktiviert werden?

Unter Proxmox, bei der OPNsense-VM auf dem (VLAN) Netzwerkadapter oder lege ich im OPNsense Interfaces -> Other Types -> VLAN einen neuen Adapter auf dem entsprechenden Bridge Interface an und aktiviere dort die jeweiligen Tags?

Freue mich über schnelle Hilfe, weil meine Familie schon rebelliert.

 

[CoolTux]

An der opnSense habe ich gar kein tagged. Macht entweder der Switch oder halt bei Proxmox ein vlan Interface anlegen und als Bridge konfigurieren.

 

[adrianf]

Danke, läuft jetzt alles.

 

[Ingo S]

Wir haben hier exakt sowas für ein GästeLAN gebaut.
Es gibt vier Stellen an denen man das VLAN "einführen" kann.

1.) Am Switch via untagged vLAN Port. Dann brauchts am PVE Host eine eigene Netzwerkkarte die einfach untagged Netzwerk bereitstellt. Der Switch tagged jeden an diesem Port eingehenden Traffic mit vLAN 60.
2.) In der PVE Netzwerkkonfig. Auf der Netzwerkkarte ein tagged vInterface erzeugen, z.B. eno1.60 und dieses einer bridge zuordnen. Am Switch muss dann der Port mit tagged vLAN konfiguriert sein. Dann übernimmt der PVE Host das tagging.
3.) In der Konfiguration der VM. In der PVE Konfiguration für die VM lässt sich ein Tag eintragen. PVE übernimmt dann das tagging auf der Bridge. Dazu muss der Switch auf dem Port so konfiguriert sein, das er tagged Pakete für das jeweilige vLAN dort erwartet und die Bridge sollte am besten vLAN aware konfiguriert sein. Die VM sieht das Interface dann nur untagged.
4.) In der opnSense Firewall ein tagged Interface anlegen. Dann sollte am besten am PVE Host die Bridge vlan Aware sein, KEIN vLAN Tag in PVE in der VM Konfig eintragen! und am Switch muss der Port als vLAN Trunk konfiguriert sein, so das dies ein tagged Port ist. EIngehender Traffic wird dann je nach Tag dem jeweiligen vLAN zugeordnet. Die VM übernimmt hier das tagging und man hat in der opnSense Firewall die volle Kontrolle welche vLANs man wie verwalten möchte (Sie müssen nur im Netzwerk/Switch bekannt sein). Jeglicher Netzwerkverkehr, ob tagged oder untagged kann über eine einzige Bridge übertragen werden.

 

[adrianf]

Wir haben hier exakt sowas für ein GästeLAN gebaut.
Es gibt vier Stellen an denen man das VLAN "einführen" kann.

1.) Am Switch via untagged vLAN Port. Dann brauchts am PVE Host eine eigene Netzwerkkarte die einfach untagged Netzwerk bereitstellt. Der Switch tagged jeden an diesem Port eingehenden Traffic mit vLAN 60.
2.) In der PVE Netzwerkkonfig. Auf der Netzwerkkarte ein tagged vInterface erzeugen, z.B. eno1.60 und dieses einer bridge zuordnen. Am Switch muss dann der Port mit tagged vLAN konfiguriert sein. Dann übernimmt der PVE Host das tagging.
3.) In der Konfiguration der VM. In der PVE Konfiguration für die VM lässt sich ein Tag eintragen. PVE übernimmt dann das tagging auf der Bridge. Dazu muss der Switch auf dem Port so konfiguriert sein, das er tagged Pakete für das jeweilige vLAN dort erwartet und die Bridge sollte am besten vLAN aware konfiguriert sein. Die VM sieht das Interface dann nur untagged.
4.) In der opnSense Firewall ein tagged Interface anlegen. Dann sollte am besten am PVE Host die Bridge vlan Aware sein, KEIN vLAN Tag in PVE in der VM Konfig eintragen! und am Switch muss der Port als vLAN Trunk konfiguriert sein, so das dies ein tagged Port ist. EIngehender Traffic wird dann je nach Tag dem jeweiligen vLAN zugeordnet. Die VM übernimmt hier das tagging und man hat in der opnSense Firewall die volle Kontrolle welche vLANs man wie verwalten möchte (Sie müssen nur im Netzwerk/Switch bekannt sein). Jeglicher Netzwerkverkehr, ob tagged oder untagged kann über eine einzige Bridge übertragen werden.

Danke für die ausführliche Darstellung.
Ich hatte zunächst eine Kombination aus Variante 2,3 und 4 eingestellt, was dafür gesorgt hat, dass gar nichts ging....
Ich nutze nun ausschließlich Variante 2 und alles ist tutti.