VLAN Problem: Proxmox-Host (2 NICs) + pfSense VM (WAN+LAN)

P

PhillipB

Renowned Member
Nov 18, 2016
14
2
68
31
Hi,

ich habe einen Minisforum MS01 mit 2 physischen NICs, den ich als Proxmox-Host einsetze.

Auf dem Host läuft eine pfSense VM;
- NIC 1: habe ich per PCI-Passthrough direkt zur VM durchgeschliffen. Die Einwahl mittels PPPoE über das DrayTek Vigor167 Modem funktioniert.
- NIC 2: habe ich als Bridge (IP: 192.168.2.10/24) auf dem Host ohne VLAN-Tag konfiguriert und den Netzwerkadapter der VM zugewiesen.

Der Proxmox-Host selbst ist also unter IP: 192.168.2.10/24 erreichbar.
Die pfSense-VM selbst ist unter IP: 192.168.2.1/24 erreichbar (aktuelles LAN-Interface OHNE VLAN-Schnittstelle).
Switch ist unter IP: 192.168.2.2/24 erreichbar

Code: 
auto lo
iface lo inet loopback

iface enp88s0 inet manual
#2,5G - I226-LM (pfSense WAN)

auto enp87s0
iface enp87s0 inet manual
#2,5G - I226-V (pfSense LAN)

iface enp2s0f0np0 inet manual
#10G - SFP 1

iface enp2s0f1np1 inet manual
#10G - SFP 2

iface wlp89s0 inet manual
#WLAN 6E+ BT5.2

iface enx22d2153e9912 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.2.10/24
        gateway 192.168.2.1
        bridge-ports enp87s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

Wenn ich in pfSense das aktuelle LAN-Interface OHNE VLAN nutze (welches am Switch Port 1 angeschlossen ist), werden die anderen VLAN-Schnittstellen, die ich bisher konfiguriert habe, problemlos zum Switch transportiert.
Schließt sich also ein Client an einem entsprechenden Port mit VLAN an, erhält er DHCP, Zugriff ins Internet etc.

Sobald ich in pfSense das aktuelle LAN-Interface auf VLAN 20 setze geht absolut gar nichts mehr. Egal was ich wo anschließe.

----------------------------------------------------------------------------------------

Der Minisforum (2. NIC, also Proxmox-Bridge (pfSense LAN)) ist am Switch (bridge) Port 1 (Trunk) angeschlossen (PVID 1).

Switch-Konfiguration:

MikroTik CRS326 24 Port Switch
- Alle Ports liegen auf einer Bridge
- Die IP 192.168.2.2/24 ist direkt auf der Bridge konfiguriert (VLAN-Filtering aktiv, PVID 1, Frame Types: admit all, Ingress Filtering aktiv)

Ports:
- Bridge -> Ports 1, PVID = 1, Frame Types: admit all, Ingress Filtering aktiv
- Bridge -> Ports 2 - 7, PVID = 20, Frame Types: admit all, Ingress Filtering aktiv
- Bridge -> Ports 8 - 16, PVID = 30, Frame Types: admit only untagged and priority tagged, Ingress Filtering aktiv
- Bridge -> Ports 17 - 22, PVID = 40, Frame Types: admit only untagged and priority tagged, Ingress Filtering aktiv

VLANs:
- Server: Bridge - VLAN 20 - Tagged: ether1 (Trunk) - Untagged: ether2 - ether7
- Heimnetz: Bridge - VLAN 30 - Tagged: ether1 (Trunk) - Untagged: ether8 - ether16
- Gastnetz: Bridge - VLAN 40 - Tagged: ether1 (Trunk) - Untagged: ether17 - ether22

----------------------------------------------------------------------------------------

Der Proxmox-Host, die pfSense-VM sowie der Switch sollen alle im VLAN 20 (Server) sein. Selbst wenn der Switch im VLAN 20 ist,
soll er trotzdem an die anderen Ports die anderen VLANs zur Verfügung stellen.

Was ich bisher versucht habe?

pfSense LAN-Interface mit VLAN 20 versehen.
Switch Port 1 auf PVID 20 einstellen.
Proxmox-Host Netzwerkkonfiguration wie folgt geändert:

Code: 
auto lo
iface lo inet loopback

iface enp88s0 inet manual
#2,5G - I226-LM (pfSense WAN)

auto enp87s0
iface enp87s0 inet manual
#2,5G - I226-V (pfSense LAN)

iface enp2s0f0np0 inet manual
#10G - SFP 1

iface enp2s0f1np1 inet manual
#10G - SFP 2

iface wlp89s0 inet manual
#WLAN 6E+ BT5.2

iface enx22d2153e9912 inet manual

auto vmbr0
iface vmbr0 inet static
        bridge-ports enp87s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

auto vmbr0.20
iface vmbr0 inet static
        address 192.168.2.10/24
        gateway 192.168.2.1

Jemand 'ne Idee? :)
 
Hüftschuss, ohne mich jetzt groß reinzudenken: Ist der DHCP vom Draytek deaktiviert? Wenn nein, ist das so angedacht?
PCI-Passthrough ja klar, aber nutzt du auch pppoe-passthrough (folglich Einwahl auf der sense?) oder lässt du den Draytek die Einwahl machen?
Wenn sich da die DHCP-Ranges überschneiden und du zwei davon hast -> ungut.
Empfehlung von mir: PCI-passthrough ist gut mit nem Draytek. pppoe-passthrough mit dem nutzen, DHCP auf Draytek deaktivieren. Sein Netz 192.168.2.x/24 kann bleiben, als Verwaltungsnetz ansehen.
Auf der Sense das LAN-Netz z.B. 192.168.3.x/24 fahren (da darf dann auch der Host rein), hauptsache es ist getrennt und überlappt nicht mit dem Draytek.
 
mr44er said:
Hüftschuss, ohne mich jetzt groß reinzudenken: Ist der DHCP vom Draytek deaktiviert? Wenn nein, ist das so angedacht?
PCI-Passthrough ja klar, aber nutzt du auch pppoe-passthrough (folglich Einwahl auf der sense?) oder lässt du den Draytek die Einwahl machen?
Wenn sich da die DHCP-Ranges überschneiden und du zwei davon hast -> ungut.
Empfehlung von mir: PCI-passthrough ist gut mit nem Draytek. pppoe-passthrough mit dem nutzen, DHCP auf Draytek deaktivieren. Sein Netz 192.168.2.x/24 kann bleiben, als Verwaltungsnetz ansehen.
Auf der Sense das LAN-Netz z.B. 192.168.3.x/24 fahren (da darf dann auch der Host rein), hauptsache es ist getrennt und überlappt nicht mit dem Draytek.
Click to expand...

Moin.

1.) DHCP vom Draytek ist im Bridge-Modus inaktiv und ja, das ist so gewollt. Soll nur als Modem fungieren
2.) Die PPPoE Einwahl macht die pfSense

DrayTek hat nur die statische IP: 192.168.1.1 - das Netz nutze ich sonst nirgens

Mein Hauptproblem ist ja, sobald ich in pfSense alle Interfaces über die VLAN-Schnittstellen laufen lasse, dass ich gar keine Verbindung mehr bekomme.
Egal an welchem Switch-Port (VLAN) anschließe, ich bekomme nicht mal mehr DHCP. Zugang ins Internet folglicherweise auch nicht.
Lasse ich das "LAN"-Interface der pfSense ohne VLAN, dann bekomme ich DHCP, Zugang zum Internet etc. Das gilt für jedes VLAN.

Sobald das LAN-Interface die VLAN-Schnittstelle nutzt (also alle Interfaces dann über VLAN laufen) werden auch die anderen VLANs nicht mehr transportiert. Entweder habe ich eine Misskonfiguration auf dem Switch, oder aber vielmehr auf dem Proxmox-Host (bridge) die die ganzen VLANs zum Switch transportiert.
 
Last edited:
Der Hintergrund ist der, dass ich mir mit nem Draytek auch erst mal in den Fuß ballerte und nichts mehr ging. Soweit ich mich erinnere, hat der default zwei LAN-Bereiche 192.168.1.x/24 und 192.168.2.x/24, sodass ich den Bereich anfangs auf der sense komplett mied. Das und der DHCP kollidiert ja ansonsten.

PhillipB said:
1.) DHCP vom Draytek ist im Bridge-Modus inaktiv und ja, das ist so gewollt. Soll nur als Modem fungieren
2.) Die PPPoE Einwahl macht die pfSense
Click to expand...
Ok, das ist gut.

PhillipB said:
Entweder habe ich eine Misskonfiguration auf dem Switch,
Click to expand...
Möglicherweise, Mikrotik will das doppelt gemoppelt an einer Stelle haben. Einmal VLAN auf der Bridge, das hast du ja und dann nochmal explizt auf dem Port. Hat mir auch mal graue Haare beschert. So: https://youtu.be/Be-fA6D4OXM?t=218
 
Habe tatsächlich beides schon probiert, VLAN auf der Bridge mit Trunk/Access-Port und explizit auf dem Bridge Port die PVID gesetzt. Egal ob mit einem oder beidem - nichts hat dann mehr funktioniert. Selbst das eingestellt VLAN ging dann nicht. Alle anderen VLAN-Interfaces werden ja problemlos transportiert, solange die eigentliche LAN-Schnittstelle OHNE VLAN betrieben wird (was ich aber nicht möchte). Das DrayTek schließe ich da komplett raus.

Entweder ist es dann eben tatsächlich die Bridge-Konfiguration (vllt. muss die nochmal umgebaut werden) oder aber eben am Switch.

Danke für deine Info.
 
VLAN Aware ist natürlich aktiviert an der Bridge?
Die VLANs sind auch alle getagged am Switch?
 
Falk R. said:
VLAN Aware ist natürlich aktiviert an der Bridge?
Die VLANs sind auch alle getagged am Switch?
Click to expand...

Jup. Muss auf der Netzwerkkarte selbst noch was gemacht werden, weil in dem Fall ja "nur" die Bridge genutzt wird?
 
Wenn du eine interne Bridge hast, ohne "Uplink NIC" dann reicht es VLAN Aware zu aktivieren. Wenn deine Firewall die Pakete dann tagged und die VMs das richtige VLAN auf der NIC zugewiesen haben, muss das funktionieren.
Notfalls mal testen eine NIC mit z.B. VLAN10 und eine mit VLAN11 auf der Firewall anzulegen und wenn es dann bei den VMs funktioniert, dann liegt es am tagging in der Firewall Konfiguration.
 
Die interne Bridge gehört zur Uplink-NIC zum Switch und dient gleichzeitig dazu, dem PVE-Host auch eine IP zu geben:

Code: 
auto vmbr0
iface vmbr0 inet static
        bridge-ports enp87s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

auto vmbr0.20
iface vmbr0 inet static
        address 192.168.2.10/24
        gateway 192.168.2.1

Sobald ich das LAN-Interface (also die bridge) in der pfSense auf VLAN umstelle, wird weder das VLAN-LAN, noch die anderen VLANs zum Switch transportiert (angeschlossene Clients haben kein Netz). Wenn ich das VLAN deaktiviert lasse werden wiederum alle anderen VLANs ganz normal zum Switch transportiert und wenn ich einen Client an verschiedene VLAN-Ports anschließe hängen sie auch richtig im Netz.

Firewall-Technisch habe ich zu Testzwecken alles erlaubt.
 
PhillipB said:
Die interne Bridge gehört zur Uplink-NIC zum Switch und dient gleichzeitig dazu, dem PVE-Host auch eine IP zu geben:

Code: 
auto vmbr0
iface vmbr0 inet static
        bridge-ports enp87s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

auto vmbr0.20
iface vmbr0 inet static
        address 192.168.2.10/24
        gateway 192.168.2.1

Sobald ich das LAN-Interface (also die bridge) in der pfSense auf VLAN umstelle, wird weder das VLAN-LAN, noch die anderen VLANs zum Switch transportiert (angeschlossene Clients haben kein Netz). Wenn ich das VLAN deaktiviert lasse werden wiederum alle anderen VLANs ganz normal zum Switch transportiert und wenn ich einen Client an verschiedene VLAN-Ports anschließe hängen sie auch richtig im Netz.

Firewall-Technisch habe ich zu Testzwecken alles erlaubt.
Click to expand...
Ganz schlau werde ich aus deiner Konfiguration nicht.
VLAN20 ist scheinbar das Management VLAN für den PVE. Wenn du der pfsense sagst die soll vlan 10 und 11 getagged raus schicken, sollten die Pakete auch im jeweiligen VLAN landen.
Was genau mit welchen VLANs hast du denn getestet? VLAN1 getagged geht z.B. in deinem Setup nicht.
 
Falk R. said:
Ganz schlau werde ich aus deiner Konfiguration nicht.
VLAN20 ist scheinbar das Management VLAN für den PVE. Wenn du der pfsense sagst die soll vlan 10 und 11 getagged raus schicken, sollten die Pakete auch im jeweiligen VLAN landen.
Was genau mit welchen VLANs hast du denn getestet? VLAN1 getagged geht z.B. in deinem Setup nicht.
Click to expand...

VLAN20 ist das Management-Netz, richtig. Vermutlich schickt sie dann auch alles raus wie sie es soll, allerdings kommt beim Switch gar kein VLAN mehr an.
Hier geht es gerade erstmal nur um Tests, ich werde später die entsprechenden Konfigurationen mal bildlich darstellen und nochmal genauer formulieren.
Danke schon mal vor ab!
 
Hi,

habe nochmal ein wenig "um"gebastelt. Soweit funktioniert jetzt alles bis auf, dass ich keinen Zugriff mehr auf den Switch habe.

Anbei alle relevanten Screenshots zur Übersicht der Konfiguration: (Achtung, Schnittstelle Server ist nun Netzwerkport VLAN 20 Ein vtnet0 - lan (SERVER), also alle pfSense Interfaces haben nun ein VLAN.

pfSense:

pfsense interfaces.png

pfsense vlan interfaces.png

Proxmox-Host enp87s0-NIC = bridge. PVE-Host befindet sich im VLAN 20 (vmbr0.20). Zugriff funktioniert (Screenshot war leider vor der Umstellung auf vmbr0.20)

proxmox netzwerk.png

Proxmox-VM (pfSense): bridge hat keinen VLAN-Tag, Bridge ist aber vlan-aware gesetzt

proxmox pfsense vm netzwerk.png

Switch:

switch.png

Ich will also, dass alle Interfaces in der pfSense ein VLAN haben. Diese VLANs sollen alle zum Switch transportiert werden. Jenachdem was ich an einen jeweiligen Port anschließe soll dann auch im entsprechenden VLAN landen. Das scheint jetzt zu funktionieren, nur, dass ich - egal von welchem VLAN aus - keinen Zugriff mehr auf den Switch habe. Die IP-Adresse des Switches ist statisch auf der bridge im Switch gesetzt, der Switch sollte folglich also aktuell, genau so wie der PVE-Host im VLAN 20 sein (spätere Umstellung auf auf Management, aber das ist erstmal sekundär). Auf den PVE-Host im VLAN20 habe ich Zugriff.

Hat jetzt vermutlich nicht mehr viel mit Proxmox zu tun und dafür entschuldige ich mich, wäre dennoch für hilfreiche Tipps sehr dankbar.

Ich vermute, dass ich auf dem Switch entweder auf der bridge, und / oder auf bridge-port 1 (pfsense uplink) die PVID evtl. von 1 auf was anderes ändern muss? Oder aber beim Trunk/Access-Ports was umstellen muss.
 
Last edited:
Hast du die IP im Switch auf das Interface VLAN20 gelegt?
 
Die IP vom Switch liegt direkt auf der Bridge (PVID = 1) vom Switch. Alle 24 Ports sind ja gebridged. Auf Bridge-Port 1 habe ich testweise PVID 20 hinterlegt mit VLAN-Tagging, ether1 bzw. Bridge-Port 1 ist ja auch Trunk. Bin da jetzt echt bisschen verzweifelt da ich mich noch nicht so auskenne. Danke dir vorab.
Sehe allerdings in der pfSense, dass der Switch versucht zu kommunizieren auf einem Interface OHNE VLAN, dass in der pfSense auch nicht mehr existiert, da alle Interfaces in einem VLAN sind.
 
Dann geh auf dem MikroTik auf IP und wechsle von der Bridge auf das VLAN Interface. Dann klappt das.
 
  • Like
Reactions: Johannes S
Das hatte ich tatsächlich auch schon probiert und hatte nicht funktioniert, jetzt allerdings funktioniert alles wie gewünscht. It's magic.
Vielen Dank und schönen Sonntag!
 
  • Like
Reactions: Falk R. and Johannes S
You must log in or register to reply here.
Top Bottom