[SOLVED] Best Practise Frage: LACP Proxmox - OPNSense - Managed Switch

[prxmx_usr]

Hallo zusammen,

ich habe eine Frage zum Thema LACP und hoffe ihr könnt mir hierbei Tipps zur Umsetzung geben.
Gerne würde ich von der virtualisierten OPNsense eine LACP Verbindung (mit VLANs) zu einem Managed Switch umsetzen.
Zugleich würde ich gerne Proxmox und VMs in entsprechende VLANs einbinden.



Seitens OPNsense und Switch ist mir die Konfiguration soweit klar. Was ich jedoch nicht weiß, wie ich die Interfaces in Proxmox konfigurieren müsste und konnte bisher auch keine Empfehlung finden.
Aktuell:
vmbr0 (NIC1): statische IP für Zugriff auf Webinterface Proxmox, wenn OPNSense mal nicht erreichbar wäre
vmbr1 (NIC2) : WAN OPNsense
vmbr2 (NIC3): LAN OPNsense --> Switch / Proxmox statische IP / VMs
vmbr3 (NIC4): unused

Wunsch:
vmbr0 (NIC1): statische IP für Zugriff auf Webinterface Proxmox, wenn OPNSense mal nicht erreichbar wäre
vmbr1 (NIC2) : WAN OPNsense
vmbr2 (NIC3), vmbr3(NIC4): LAN OPNsense == (LACP) ==> Switch / Proxmox statische IP / VMs



Hoffe die Idee ist nachvollziehbar, bzw. so umsetzbar.

Danke und viele Grüße

 

[Dunuin]

Da legst du dir erst ein Linux Bond an. Sollte so in der /etc/network/interfaces aussehen falls eno3+eno4 deine NIC3+NIC4 wären und du layer3+4 statt "layer2+3" willst:

auto bond0
iface bond0 inet manual
        bond-slaves eno3 eno4
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4

Dann legst du dir deine bridges mit VLAN an. Da hättest du zwei optionen.
1.) VLAN aware Bridge mit nur einer bridge und dann VLANs bestimmen, indem du über das WebUI für die virtuellen NICs das "VLAN Tag" setzt. Hätte den Vorteil das du nur eine Bridge brauchst und du auch bei der OPNsense tagged VLAN ankommen lassen könntest, falls da OPNsense selbst mit VLANs arbeiten soll.
2.) Du legst für jedes VLAN ein eigenes Linux VLAN Interface und eine eigene Linux Bridge an.

Letzteres könnte z.B. so aussehen falls VLANID 2 + 3 benutzt werden sollen:

auto bond0.2
iface bond0.2 inet manual

auto bond0.3
iface bond0.3 inet manual

auto vmbr2
iface vmbr2 inet manual
        bridge-ports bond0.2
        bridge-stp off
        bridge-fd 0

auto vmbr3
iface vmbr3 inet manual
        address DeineIP/24
        gateway DeineOPNSenseIP
        bridge-ports bond0.3
        bridge-stp off
        bridge-fd 0

Wenn du schon mit VLANs und OPNsense arbeitest, dann würde ich die VMs aber nicht im LAN haben wollen, sondern in einem eigenen isoliertem DMZ subnet für mehr Sicherheit, dass da keine Port-Forwards in dein LAN gehen müssen.

 

[prxmx_usr]

Da legst du dir erst ein Linux Bond an. Sollte so in der /etc/network/interfaces aussehen falls eno3+eno4 deine NIC3+NIC4 wären und du layer3+4 statt "layer2+3" willst:

auto bond0
iface bond0 inet manual
        bond-slaves eno3 eno4
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer3+4

Dann legst du dir deine bridges mit VLAN an. Da hättest du zwei optionen.
1.) VLAN aware Bridge mit nur einer bridge und dann VLANs bestimmen, indem du über das WebUI für die virtuellen NICs das "VLAN Tag" setzt. Hätte den Vorteil das du nur eine Bridge brauchst und du auch bei der OPNsense tagged VLAN ankommen lassen könntest, falls da OPNsense selbst mit VLANs arbeiten soll.
2.) Du legst für jedes VLAN ein eigenes Linux VLAN Interface und eine eigene Linux Bridge an.

Letzteres könnte z.B. so aussehen falls VLANID 2 + 3 benutzt werden sollen:

auto bond0.2
iface bond0.2 inet manual

auto bond0.3
iface bond0.3 inet manual

auto vmbr2
iface vmbr2 inet manual
        bridge-ports bond0.2
        bridge-stp off
        bridge-fd 0

auto vmbr3
iface vmbr3 inet manual
        address DeineIP/24
        gateway DeineOPNSenseIP
        bridge-ports bond0.3
        bridge-stp off
        bridge-fd 0

Wenn du schon mit VLANs und OPNsense arbeitest, dann würde ich die VMs aber nicht im LAN haben wollen, sondern in einem eigenen isoliertem DMZ subnet für mehr Sicherheit, dass da keine Port-Forwards in dein LAN gehen müssen.

Danke für deine schnelle und ausführliche Rückmeldung, das hilft mir sehr weiter
Zu deiner letzten Anmerkung, grundsätzlich wäre ja, jenachdem in welchen VLAN ich die VM packe, eine Isoierung gegeben (mit der Einschränkung, dass es keine physikalische ist, sondern über die entsprechenden FW-Regeln der OPNsense) oder?

 

[Dunuin]

Danke für deine schnelle und ausführliche Rückmeldung, das hilft mir sehr weiter
Zu deiner letzten Anmerkung, grundsätzlich wäre ja, jenachdem in welchen VLAN ich die VM packe, eine Isoierung gegeben (mit der Einschränkung, dass es keine physikalische ist, sondern über die entsprechenden FW-Regeln der OPNsense) oder?

Ja, ich habe da ein DMZ VLAN angelegt, eine DMZ bridge und alle VMs die vom Internet erreichbar sind kommen in dieses DMZ VLAN. OPNsense routet dann zwischen WAN/LAN/DMZ Subnetzen und lässt DMZ zwar ins WAN aber nicht ins LAN. So kommen die VMs zwar online aber wird ein Gast mal gehackt, dann hat der ANgreifer wenigstens keinen Zugriff auf Rechner im LAN und der Schaden hält sich in Grenzen. Wenn du NAT Reflektion nutzen willst (damit du selbstgehostete Dienste über volle Ethernet-Geschwindigkeit nutzen kannst anstatt das alles über das Internet gehen muss) kannst du die OPNsense Firewall so einstellen, dass da Pakete vom LAN nach DMZ erlaubt sind. Isolierung zwischen Gästen im selben VLAN kannst du dann über die Gast-Firewall-Regeln von Proxmox erreichen.

Falls du Heimautomation oder so betreiben willst, dann bietet sich auch noch ein IoT VLAN an, was weder ins LAN noch WAN darf außer du erlaubst es explizit für eine IP/Port, damit IoT-Geräte nicht wahrlos nach hause telefonieren können.

 

[prxmx_usr]

Ja, ich habe da ein DMZ VLAN angelegt, eine DMZ bridge und alle VMs die vom Internet erreichbar sind kommen in dieses DMZ VLAN. OPNsense routet dann zwischen WAN/LAN/DMZ Subnetzen und lässt DMZ zwar ins WAN aber nicht ins LAN. So kommen die VMs zwar online aber wird ein Gast mal gehackt, dann hat der ANgreifer wenigstens keinen Zugriff auf Rechner im LAN und der Schaden hält sich in Grenzen. Wenn du NAT Reflektion nutzen willst (damit du selbstgehostete Dienste über volle Ethernet-Geschwindigkeit nutzen kannst anstatt das alles über das Internet gehen muss) kannst du die OPNsense Firewall so einstellen, dass da Pakete vom LAN nach DMZ erlaubt sind. Isolierung zwischen Gästen im selben VLAN kannst du dann über die Gast-Firewall-Regeln von Proxmox erreichen.

Falls du Heimautomation oder so betreiben willst, dann bietet sich auch noch ein IoT VLAN an, was weder ins LAN noch WAN darf außer du erlaubst es explizit für eine IP/Port, damit IoT-Geräte nicht wahrlos nach hause telefonieren können.

Danke für deine Rückmeldung. So etwa habe ich mir das auch vorgestellt.

Die Umsetzung hat übrigens 1a funktioniert und alles läuft bestens

Besten Dank!