2te IP für OPNsense / Hetzner

tomtom23

New Member
Feb 13, 2023
9
4
3
Hallo in die Runde :)

Ich verzweifel jetzt schon eine ganze weile an dem vorhaben, eine zweite IP an die OPNSense zu bekommen.

Die Zweite IP soll direkt mit der OPNSense sprechen.


Der "Netzwerkkarte" von der OPNSense VM habe ich die nötige MAC gegeben, welche ich von Hetzner erhalten habe.

Ich hatte zwischenzeitlich aus unerfindlichem grund die 2te IP an der OPNSense (Ping), aber ich konnte weder das Webinterface oder anderes erreichen.

Wie ich das jedoch geschafft hatte, weiß ich nicht mehr. Nur das ich beim Interface vmbr1 in der OPNSense DHCP aktiviert hatte, weiß noch.


Eventuell kann mal jemand über meine Interfaces Datei schauen und mir einen Hinweis geben.

Unbenanntes Diagramm.drawio.png


Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet static
        address 1.2.3.4/26
        gateway 50.50.50.50
        up route add -net 60.60.60.60 netmask 255.255.255.192 gw 50.50.50.50 dev enp0s31f6
        post-up sysctl -w net.ipv4.ip_forward=1
        post-up iptables -t nat -A PREROUTING -i enp0s31f6 -p tcp -m multiport ! --dport 22,8006 -j DNAT --to 10.10.10.1
        post-up iptables -t nat -A PREROUTING -i enp0s31f6 -p udp -j DNAT --to 10.10.10.1
# route 60.60.60.60/26 via 50.50.50.50

iface enp0s31f6 inet6 static
        address 2a01:abcd:abcd:abcd::1/128
        gateway fe80::1
        post-up sysctl -w net.ipv6.conf.all.forwarding=1

auto vmbr0
iface vmbr0 inet static
        address 10.10.10.0/31
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up iptables -t nat -A POSTROUTING -s '10.10.10.1/31' -o enp0s31f6 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.10.1/31' -o enp0s31f6 -j MASQUERADE
#Proxmox LAN - OPNSense WAN

iface vmbr0 inet6 static
        address 2a01:abcd:abcd:abcd:1111::0/127
        up ip route add 2a01:abcd:abcd:abcd::/64 via 2a01:abcd:abcd:abcd:1111::1

auto vmbr1
iface vmbr1 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#OPNSense WAN - 2te IP

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#OPNSense LAN
 
Wenn du zwei Netzwerkkarten hast, würde ich lieber die Netzwerkkarte ohne Bridge an die OPNsense durchreichen.
Ich persönlich mag auch lieber etwas Security, daher würde ich das Management des PVE auch lieber hinter die Sense hängen.
 
Ich habe leider nur eine Netzwerkkarte zur Verfügung.

Den Zugang zu Proxmox werde ich dann über OPNsense machen. Für den Notfall, dass OPNSense flöten geht, werde ich mir SSH offen lassen oder ein extra VPN Zugang. So ist es jedenfalls angedacht.

Jetzt müsste ich nur erstmal die zweite IP direkt an OPNSense bekommen.
 
worüber geht denn dann die vmbr1 raus wenn du nur 1 NIC hast?
 
Vmbr1 geht mit über die 1 NIC raus.

Also 1 NIC mit 2 IP Adressen.

So wie ich der Hetzner Dokumentation entnommen habe, habe ich der Virtuellen NIC auch die zugewiesene MAC Adresse gegeben. Aber ich hab keinen schimmer wie ich das Interface dazu anlege.

Ich muss ja ein Interface auswählen, wenn ich der OPNSense VM eine NIC geben will (mit der zugewiesenen MAC)
 
Dann gibst du der OPNSense die MAC und IP von Hetzner und dann diese vNIC mit an vmbr0 hängen. vmbr1 aus deinem Bild entfällt dann.
Mach bitte den Haken bei Firewall auf der vNIC raus, einige Hoster haben ein Problem damit, wenn die Proxmox Firewall noch dazwischen hängt.
 
Ich habe gestern Abend noch etwas rum probiert und leider noch nicht ganz den Erfolg gehabt.

Wenn ich jetzt vmbr0 nehme dann "verliere" ich ja die NAT von IP1.

Also würde gerne mit beiden IPs auf der OPNSense landen.

Port22 und 8006 von IP1 sollen erstmal noch bei proxmox bleiben.

Ist es nicht möglich die 2te IP an ein eigenes Interface zu bekommen?

So könnte ich der OPNSense einfach vmbr1 mit einer 2 Nic geben und da die MAC einstellen.
 
Last edited:
Ganz verstehe ich nicht was du willst. Warum NAT? Dann brauchst du ja keine zweite öffentliche IP.
Welches zweite Interface? Ich denke der Host hat nur eins?
Du kannst der vmbr0 eine IP geben die der Host nutzt und der Sense ein Interface auf vmbr0 mit der anderen IP.
Dann der Sense ein zweites Interface auf der internen Bridge, die keinen Uplink hat. Da kommen die Gäste dran.
 
Ich habe gestern Abend noch etwas rum probiert und leider noch nicht ganz den Erfolg gehabt.

Wenn ich jetzt vmbr0 nehme dann "verliere" ich ja die NAT von IP1.

Also würde gerne mit beiden IPs auf der OPNSense landen.

Port22 und 8006 von IP1 sollen erstmal noch bei proxmox bleiben.

Ist es nicht möglich die 2te IP an ein eigenes Interface zu bekommen?

So könnte ich der OPNSense einfach vmbr1 mit einer 2 Nic geben und da die MAC einstellen.
Ich glaube nicht, dass es möglich ist, die 'gesamte' IP an die OPNsense zu geben, aber davor die zwei Proxmox-Ports 'abzuzweigen'. Aber wenn du zwei IP-Adresses gekauft hast, sollte das aber nicht notwendig sein:
  • du gibts beide IPs an die OPNsense und konfigurierst da entsprechende Portweiterleitungen zum Proxmox-Host (hat aber den Haken, dass bei Ausfall der OPNsense keine Verbindung zu dem Proxmox mehr möglich ist).
  • oder du lässt dem Proxmox seine IP und gibst die zweite IP an die OPNsense, wo du dann mittels der öffentlichen IP mehr Optionen hast
Immer beachten, dass vmbr0 gleichzeitig eine Bridge ("virtueller Switch") als auch ein Proxmox-eigenes Interface ist. Wenn dein vmbr0 den bridge-port enp0s31f6 hat kannst du vmbr0 eine deiner IPs geben (die dann vom Proxmox gehalten wird) und deiner OPNsense-VM ein virtuelles Interface einrichten, das an der Bridge vmbr0 hängt (und dem gibst du dann im OPNsense die zweite IP).
 
Warum NAT?

Ich möchte gerne auf manche VMs mit IP-1 kommen und auf andere mit IP2.

Welches zweite Interface?

Ich glaub da hab ich mich falsch ausgedrückt. Der server hat nur eine NIC.

Immer beachten, dass vmbr0 gleichzeitig eine Bridge ("virtueller Switch") als auch ein Proxmox-eigenes Interface ist. Wenn dein vmbr0 den bridge-port enp0s31f6 hat kannst du vmbr0 eine deiner IPs geben (die dann vom Proxmox gehalten wird) und deiner OPNsense-VM ein virtuelles Interface einrichten, das an der Bridge vmbr0 hängt (und dem gibst du dann im OPNsense die zweite IP).

du meinst also

Code:
auto vmbr0
iface vmbr0 inet static
        address <MAIN-IP>/26
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

Dann bei der OPNSense eine NIC hinzufügen mit der entsprechenden MAC.
Der OPNSense gebe ich dann die Zweite IP Adresse?

Der Grund wieso ich gerne mit beiden IPs auf die OPNSense kommen will, ist das ich zb IP1 für Administration, Privates nutzen kann und IP2 für andere Projekte.

Deswegen hab ich IP-1 an die OPNSene genated. (Auser halt p22 und p8006)

Bin davon ausgegangen ich kann jetzt einfach vmbr1 anlegen mit IP2. Dann eine zweite NIC mit vmbr2 und habe dann eine schöne trennung.
 
Ich glaube du hast da eine falsche Vorstellung. NAT innerhalb eines Netzwerkes geht nicht, du kannst nur mit NAT ein anderes Netzwerk hinter einer IP verstecken.
Entweder der Host hat die eine IP oder du gibst beide IPs der Sense und verteilst den Traffic ab da.
 
Na das hab ich ja jetzt.

IP1 besitzt der Root-Server. Alles was an Traffic rein kommt geht über Nat an Ein ein anderes Netzwerk (außer p22 und p8006).

Und zwar das Netz von vmbr0.

Das Funktioniert auch Problemlos.

vmbr1 während doch ein neues Netzwerk oder sehe ich das falsch?
 
Mein Server läuft jetzt schon eine weile und ich würde einfach mal mein Setup posten.
Es gibt vielleicht noch andere die auf der Suche nach solch einer Lösung sind.

Kurze Beschreibung

Ich wollte 2 IP Adressen (bei Hetzner max. 5 oder Subnet möglich) auf meiner OPNsense.

Die Haupt-IP hat Proxmox. Es wird aber alles bis auf Port 22 an die OPNsense per NAT weitergereicht.
Eine zweite IP bekommt direkt die OPNsense.

Somit habe ich 2 IP Adressen auf der OPNsense zur verfügung (abgesehen von Port 22 auf der Haupt-IP)

Diagramm vom Setup
Proxmox-OPNsense-2IP.jpg

Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR

        broadcast aaa.aaa.aaa.aaa # primäre WAN-IP-Broadcast-Adresse
        pointopoint bbb.bbb.bbb.bbb # Gateway ist über Punkt-zu-Punkt erreichbar. (Gateway-IP)
        gateway  bbb.bbb.bbb.bbb # Gateway-IP

        # Einstellungen für die Brücke
        # physische Schnittstelle enp0s31f6 überbrücken.
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

        # statische Route durch das Gateway für Subnetz der primären WAN-IP
        up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0

        # Routing für weitere IPs (max 4 bei Hetzner)
        up ip route add eee.eee.eee.eee dev vmbr0 # 2. WAN-IP
        #up ip route add fff.fff.fff.fff dev vmbr0 # 3. WAN-IP
        #up ip route add ggg.ggg.ggg.ggg dev vmbr0 # 4. WAN-IP
        #up ip route add hhh.hhh.hhh.hhh dev vmbr0 # 5. WAN-IP
        
        # TCP/UDP NAT zur OPNsense.
        # Port 22 wird nicht weitergeleitet für SSH zugriff
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -d xxx.xxx.xxx.xxx -m multiport ! --dport 22 -j DNAT --to 10.10.1.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -P UDP -d xxx.xxx.xxx.xxx -j DNAT --to 10.10.1.1
#WAN_Public

auto vmbr1
iface vmbr1 inet static
        address 10.10.1.0/31    # IP für NAT

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        # lokales routing von privaten IPv4-IPs von dem
        # Proxmox-Host über den zweiten WAN-Port der OPNsense
        up ip route add 192.168.0.0/16 via 10.10.1.1 dev vmbr1
        up ip route add 172.16.0.0/12 via 10.10.1.1 dev vmbr1
        up ip route add 10.0.0.0/8 via 10.10.1.1 dev vmbr1
        
        # MASQUERADE Regel für NAT
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
#WAN_Admin

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Public

auto vmbr3
iface vmbr3 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Private

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Test

auto vmbr5
iface vmbr5 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Admin

Code:
/etc/pve/qemu-server/100.conf

agent: 1
balloon: 10240
boot: order=scsi0;ide2;net0
cores: 4
ide2: none,media=cdrom
memory: 12288
meta: creation-qemu=7.2.0,ctime=1677846104
name: OPNsense
net0: virtio=BC:FE:3E:93:C4:60,bridge=vmbr0
net1: virtio=5E:83:9D:04:C7:D8,bridge=vmbr1
net2: virtio=06:B8:C0:EC:42:F1,bridge=vmbr2
net3: virtio=86:1F:FC:FE:32:16,bridge=vmbr3
net4: virtio=BE:DA:97:BA:31:5F,bridge=vmbr4
net5: virtio=56:BB:9C:1D:1B:3B,bridge=vmbr5
numa: 0
onboot: 1
ostype: l26
scsi0: local:100/vm-100-disk-0.qcow2,iothread=1,size=50G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=352d0219-0968-473b-82a2-01fe83608261
sockets: 1
vmgenid: b7cd805f-35e3-4b4e-a370-8c2a2beb2984

Wichtig ist das net0 die MAC Adresse eingetragen wird, welche von Hetzner vergeben wird.

Ich hoffe ich konnte damit jemand helfen =)
 
Mein Server läuft jetzt schon eine weile und ich würde einfach mal mein Setup posten.
Es gibt vielleicht noch andere die auf der Suche nach solch einer Lösung sind.

Kurze Beschreibung

Ich wollte 2 IP Adressen (bei Hetzner max. 5 oder Subnet möglich) auf meiner OPNsense.

Die Haupt-IP hat Proxmox. Es wird aber alles bis auf Port 22 an die OPNsense per NAT weitergereicht.
Eine zweite IP bekommt direkt die OPNsense.

Somit habe ich 2 IP Adressen auf der OPNsense zur verfügung (abgesehen von Port 22 auf der Haupt-IP)

Diagramm vom Setup
View attachment 49273

Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR

        broadcast aaa.aaa.aaa.aaa # primäre WAN-IP-Broadcast-Adresse
        pointopoint bbb.bbb.bbb.bbb # Gateway ist über Punkt-zu-Punkt erreichbar. (Gateway-IP)
        gateway  bbb.bbb.bbb.bbb # Gateway-IP

        # Einstellungen für die Brücke
        # physische Schnittstelle enp0s31f6 überbrücken.
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

        # statische Route durch das Gateway für Subnetz der primären WAN-IP
        up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0

        # Routing für weitere IPs (max 4 bei Hetzner)
        up ip route add eee.eee.eee.eee dev vmbr0 # 2. WAN-IP
        #up ip route add fff.fff.fff.fff dev vmbr0 # 3. WAN-IP
        #up ip route add ggg.ggg.ggg.ggg dev vmbr0 # 4. WAN-IP
        #up ip route add hhh.hhh.hhh.hhh dev vmbr0 # 5. WAN-IP
      
        # TCP/UDP NAT zur OPNsense.
        # Port 22 wird nicht weitergeleitet für SSH zugriff
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -d xxx.xxx.xxx.xxx -m multiport ! --dport 22 -j DNAT --to 10.10.1.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -P UDP -d xxx.xxx.xxx.xxx -j DNAT --to 10.10.1.1
#WAN_Public

auto vmbr1
iface vmbr1 inet static
        address 10.10.1.0/31    # IP für NAT

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        # lokales routing von privaten IPv4-IPs von dem
        # Proxmox-Host über den zweiten WAN-Port der OPNsense
        up ip route add 192.168.0.0/16 via 10.10.1.1 dev vmbr1
        up ip route add 172.16.0.0/12 via 10.10.1.1 dev vmbr1
        up ip route add 10.0.0.0/8 via 10.10.1.1 dev vmbr1
      
        # MASQUERADE Regel für NAT
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
#WAN_Admin

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Public

auto vmbr3
iface vmbr3 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Private

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Test

auto vmbr5
iface vmbr5 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Admin

Code:
/etc/pve/qemu-server/100.conf

agent: 1
balloon: 10240
boot: order=scsi0;ide2;net0
cores: 4
ide2: none,media=cdrom
memory: 12288
meta: creation-qemu=7.2.0,ctime=1677846104
name: OPNsense
net0: virtio=BC:FE:3E:93:C4:60,bridge=vmbr0
net1: virtio=5E:83:9D:04:C7:D8,bridge=vmbr1
net2: virtio=06:B8:C0:EC:42:F1,bridge=vmbr2
net3: virtio=86:1F:FC:FE:32:16,bridge=vmbr3
net4: virtio=BE:DA:97:BA:31:5F,bridge=vmbr4
net5: virtio=56:BB:9C:1D:1B:3B,bridge=vmbr5
numa: 0
onboot: 1
ostype: l26
scsi0: local:100/vm-100-disk-0.qcow2,iothread=1,size=50G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=352d0219-0968-473b-82a2-01fe83608261
sockets: 1
vmgenid: b7cd805f-35e3-4b4e-a370-8c2a2beb2984

Wichtig ist das net0 die MAC Adresse eingetragen wird, welche von Hetzner vergeben wird.

Ich hoffe ich konnte damit jemand helfen =)
Das einfach nur genial. Du hast mir stunden gesparrt! Funktioniert wie geschmiert. Ich bin gerade dran es über IPv6 zu erweitern. Vielen Dank!

Gleich nach der Installation hatte OPNSense kein Verbindung zum Host. Zeigte keine Route. Ich habe es mit
Code:
route add default 10.10.10.0
behoben. Ich hoffe, dass passt so weit und nicht die ganze Sicherheit auf Kopf gestellt ^^ Sollte aber nicht, dass ist doch interne GW oder?
 
Last edited:
Mein Server läuft jetzt schon eine weile und ich würde einfach mal mein Setup posten.
Es gibt vielleicht noch andere die auf der Suche nach solch einer Lösung sind.

Kurze Beschreibung

Ich wollte 2 IP Adressen (bei Hetzner max. 5 oder Subnet möglich) auf meiner OPNsense.

Die Haupt-IP hat Proxmox. Es wird aber alles bis auf Port 22 an die OPNsense per NAT weitergereicht.
Eine zweite IP bekommt direkt die OPNsense.

Somit habe ich 2 IP Adressen auf der OPNsense zur verfügung (abgesehen von Port 22 auf der Haupt-IP)

Diagramm vom Setup
View attachment 49273

Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR

        broadcast aaa.aaa.aaa.aaa # primäre WAN-IP-Broadcast-Adresse
        pointopoint bbb.bbb.bbb.bbb # Gateway ist über Punkt-zu-Punkt erreichbar. (Gateway-IP)
        gateway  bbb.bbb.bbb.bbb # Gateway-IP

        # Einstellungen für die Brücke
        # physische Schnittstelle enp0s31f6 überbrücken.
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

        # statische Route durch das Gateway für Subnetz der primären WAN-IP
        up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0

        # Routing für weitere IPs (max 4 bei Hetzner)
        up ip route add eee.eee.eee.eee dev vmbr0 # 2. WAN-IP
        #up ip route add fff.fff.fff.fff dev vmbr0 # 3. WAN-IP
        #up ip route add ggg.ggg.ggg.ggg dev vmbr0 # 4. WAN-IP
        #up ip route add hhh.hhh.hhh.hhh dev vmbr0 # 5. WAN-IP
        
        # TCP/UDP NAT zur OPNsense.
        # Port 22 wird nicht weitergeleitet für SSH zugriff
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -d xxx.xxx.xxx.xxx -m multiport ! --dport 22 -j DNAT --to 10.10.1.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -P UDP -d xxx.xxx.xxx.xxx -j DNAT --to 10.10.1.1
#WAN_Public

auto vmbr1
iface vmbr1 inet static
        address 10.10.1.0/31    # IP für NAT

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        # lokales routing von privaten IPv4-IPs von dem
        # Proxmox-Host über den zweiten WAN-Port der OPNsense
        up ip route add 192.168.0.0/16 via 10.10.1.1 dev vmbr1
        up ip route add 172.16.0.0/12 via 10.10.1.1 dev vmbr1
        up ip route add 10.0.0.0/8 via 10.10.1.1 dev vmbr1
        
        # MASQUERADE Regel für NAT
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
#WAN_Admin

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Public

auto vmbr3
iface vmbr3 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Private

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Test

auto vmbr5
iface vmbr5 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Admin

Code:
/etc/pve/qemu-server/100.conf

agent: 1
balloon: 10240
boot: order=scsi0;ide2;net0
cores: 4
ide2: none,media=cdrom
memory: 12288
meta: creation-qemu=7.2.0,ctime=1677846104
name: OPNsense
net0: virtio=BC:FE:3E:93:C4:60,bridge=vmbr0
net1: virtio=5E:83:9D:04:C7:D8,bridge=vmbr1
net2: virtio=06:B8:C0:EC:42:F1,bridge=vmbr2
net3: virtio=86:1F:FC:FE:32:16,bridge=vmbr3
net4: virtio=BE:DA:97:BA:31:5F,bridge=vmbr4
net5: virtio=56:BB:9C:1D:1B:3B,bridge=vmbr5
numa: 0
onboot: 1
ostype: l26
scsi0: local:100/vm-100-disk-0.qcow2,iothread=1,size=50G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=352d0219-0968-473b-82a2-01fe83608261
sockets: 1
vmgenid: b7cd805f-35e3-4b4e-a370-8c2a2beb2984

Wichtig ist das net0 die MAC Adresse eingetragen wird, welche von Hetzner vergeben wird.

Ich hoffe ich konnte damit jemand helfen =)

Hey kurze nachfrage:

vtnet0: wird ja bei opnsense bzw pfsense als WAN eingrichtet und vtnet0 als LAN network mit der ip 10.10.1.1/31, korrekt?
und muss ich beide Öffentliche IPs als Virtuelle IP eintragen oder nur eine?
 
Hey...

vtnet0: WAN
vtnet1: LAN (10.10.1.1/31)

das ist soweit richtig.

Virtuelle IP habe ich nicht eingetragen. Läuft bei mir super auch ohne.

Ich weiß jedoch nicht ob es in bestimmten Anwändungsfällen vorteile hat, wenn du es tust.. bzw ob es überhaupt Sinn macht die IPs als Virtuelle Einzutragen.

Weil die IP4 von vtnet0 ist doch nicht Virtuell?! die liegt ja direkt an.. und vtnet1 ist ja "nur" ein NAT und auch nicht virtuell..
 
Mein Server läuft jetzt schon eine weile und ich würde einfach mal mein Setup posten.
Es gibt vielleicht noch andere die auf der Suche nach solch einer Lösung sind.

Kurze Beschreibung

Ich wollte 2 IP Adressen (bei Hetzner max. 5 oder Subnet möglich) auf meiner OPNsense.

Die Haupt-IP hat Proxmox. Es wird aber alles bis auf Port 22 an die OPNsense per NAT weitergereicht.
Eine zweite IP bekommt direkt die OPNsense.

Somit habe ich 2 IP Adressen auf der OPNsense zur verfügung (abgesehen von Port 22 auf der Haupt-IP)

Diagramm vom Setup
View attachment 49273

Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR

        broadcast aaa.aaa.aaa.aaa # primäre WAN-IP-Broadcast-Adresse
        pointopoint bbb.bbb.bbb.bbb # Gateway ist über Punkt-zu-Punkt erreichbar. (Gateway-IP)
        gateway  bbb.bbb.bbb.bbb # Gateway-IP

        # Einstellungen für die Brücke
        # physische Schnittstelle enp0s31f6 überbrücken.
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

        # statische Route durch das Gateway für Subnetz der primären WAN-IP
        up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0

        # Routing für weitere IPs (max 4 bei Hetzner)
        up ip route add eee.eee.eee.eee dev vmbr0 # 2. WAN-IP
        #up ip route add fff.fff.fff.fff dev vmbr0 # 3. WAN-IP
        #up ip route add ggg.ggg.ggg.ggg dev vmbr0 # 4. WAN-IP
        #up ip route add hhh.hhh.hhh.hhh dev vmbr0 # 5. WAN-IP
       
        # TCP/UDP NAT zur OPNsense.
        # Port 22 wird nicht weitergeleitet für SSH zugriff
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -d xxx.xxx.xxx.xxx -m multiport ! --dport 22 -j DNAT --to 10.10.1.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -P UDP -d xxx.xxx.xxx.xxx -j DNAT --to 10.10.1.1
#WAN_Public

auto vmbr1
iface vmbr1 inet static
        address 10.10.1.0/31    # IP für NAT

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        # lokales routing von privaten IPv4-IPs von dem
        # Proxmox-Host über den zweiten WAN-Port der OPNsense
        up ip route add 192.168.0.0/16 via 10.10.1.1 dev vmbr1
        up ip route add 172.16.0.0/12 via 10.10.1.1 dev vmbr1
        up ip route add 10.0.0.0/8 via 10.10.1.1 dev vmbr1
       
        # MASQUERADE Regel für NAT
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
#WAN_Admin

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Public

auto vmbr3
iface vmbr3 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Private

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Test

auto vmbr5
iface vmbr5 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Admin

Code:
/etc/pve/qemu-server/100.conf

agent: 1
balloon: 10240
boot: order=scsi0;ide2;net0
cores: 4
ide2: none,media=cdrom
memory: 12288
meta: creation-qemu=7.2.0,ctime=1677846104
name: OPNsense
net0: virtio=BC:FE:3E:93:C4:60,bridge=vmbr0
net1: virtio=5E:83:9D:04:C7:D8,bridge=vmbr1
net2: virtio=06:B8:C0:EC:42:F1,bridge=vmbr2
net3: virtio=86:1F:FC:FE:32:16,bridge=vmbr3
net4: virtio=BE:DA:97:BA:31:5F,bridge=vmbr4
net5: virtio=56:BB:9C:1D:1B:3B,bridge=vmbr5
numa: 0
onboot: 1
ostype: l26
scsi0: local:100/vm-100-disk-0.qcow2,iothread=1,size=50G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=352d0219-0968-473b-82a2-01fe83608261
sockets: 1
vmgenid: b7cd805f-35e3-4b4e-a370-8c2a2beb2984

Wichtig ist das net0 die MAC Adresse eingetragen wird, welche von Hetzner vergeben wird.

Ich hoffe ich konnte damit jemand helfen =)
Hallo,

Danke dir vielmals für die Konfiguration!
Welches Interface/welche Interfaces hast du dann in OpnSense konfiguriert? MultiWAN oder einfach die 2nd ip als wan?

Gruss
 
Mein Server läuft jetzt schon eine weile und ich würde einfach mal mein Setup posten.
Es gibt vielleicht noch andere die auf der Suche nach solch einer Lösung sind.

Kurze Beschreibung

Ich wollte 2 IP Adressen (bei Hetzner max. 5 oder Subnet möglich) auf meiner OPNsense.

Die Haupt-IP hat Proxmox. Es wird aber alles bis auf Port 22 an die OPNsense per NAT weitergereicht.
Eine zweite IP bekommt direkt die OPNsense.

Somit habe ich 2 IP Adressen auf der OPNsense zur verfügung (abgesehen von Port 22 auf der Haupt-IP)

Diagramm vom Setup
View attachment 49273

Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR

        broadcast aaa.aaa.aaa.aaa # primäre WAN-IP-Broadcast-Adresse
        pointopoint bbb.bbb.bbb.bbb # Gateway ist über Punkt-zu-Punkt erreichbar. (Gateway-IP)
        gateway  bbb.bbb.bbb.bbb # Gateway-IP

        # Einstellungen für die Brücke
        # physische Schnittstelle enp0s31f6 überbrücken.
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

        # statische Route durch das Gateway für Subnetz der primären WAN-IP
        up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0

        # Routing für weitere IPs (max 4 bei Hetzner)
        up ip route add eee.eee.eee.eee dev vmbr0 # 2. WAN-IP
        #up ip route add fff.fff.fff.fff dev vmbr0 # 3. WAN-IP
        #up ip route add ggg.ggg.ggg.ggg dev vmbr0 # 4. WAN-IP
        #up ip route add hhh.hhh.hhh.hhh dev vmbr0 # 5. WAN-IP
       
        # TCP/UDP NAT zur OPNsense.
        # Port 22 wird nicht weitergeleitet für SSH zugriff
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -d xxx.xxx.xxx.xxx -m multiport ! --dport 22 -j DNAT --to 10.10.1.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -P UDP -d xxx.xxx.xxx.xxx -j DNAT --to 10.10.1.1
#WAN_Public

auto vmbr1
iface vmbr1 inet static
        address 10.10.1.0/31    # IP für NAT

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        # lokales routing von privaten IPv4-IPs von dem
        # Proxmox-Host über den zweiten WAN-Port der OPNsense
        up ip route add 192.168.0.0/16 via 10.10.1.1 dev vmbr1
        up ip route add 172.16.0.0/12 via 10.10.1.1 dev vmbr1
        up ip route add 10.0.0.0/8 via 10.10.1.1 dev vmbr1
       
        # MASQUERADE Regel für NAT
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
#WAN_Admin

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Public

auto vmbr3
iface vmbr3 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Private

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Test

auto vmbr5
iface vmbr5 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Admin

Code:
/etc/pve/qemu-server/100.conf

agent: 1
balloon: 10240
boot: order=scsi0;ide2;net0
cores: 4
ide2: none,media=cdrom
memory: 12288
meta: creation-qemu=7.2.0,ctime=1677846104
name: OPNsense
net0: virtio=BC:FE:3E:93:C4:60,bridge=vmbr0
net1: virtio=5E:83:9D:04:C7:D8,bridge=vmbr1
net2: virtio=06:B8:C0:EC:42:F1,bridge=vmbr2
net3: virtio=86:1F:FC:FE:32:16,bridge=vmbr3
net4: virtio=BE:DA:97:BA:31:5F,bridge=vmbr4
net5: virtio=56:BB:9C:1D:1B:3B,bridge=vmbr5
numa: 0
onboot: 1
ostype: l26
scsi0: local:100/vm-100-disk-0.qcow2,iothread=1,size=50G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=352d0219-0968-473b-82a2-01fe83608261
sockets: 1
vmgenid: b7cd805f-35e3-4b4e-a370-8c2a2beb2984

Wichtig ist das net0 die MAC Adresse eingetragen wird, welche von Hetzner vergeben wird.

Ich hoffe ich konnte damit jemand helfen =)
Hey, hast du noch etwas bestimmtes in deiner OPNSense konfiguriert?

Habe es hinbekommen 3 IP Adressen in die OPNSense zu Routen nur werden diese von der Firewall anscheinend nicht geloggt, port-forwarding klappt ergo nur bei der WAN Adresse (in meinem fall endet diese mit 149)

Im Paket Tracer sehe ich aber dass von allen IPs Pakets reinkommen, wüsste also nicht was ich nocht konfigurieren müsste.

Grüße
 
Mein Server läuft jetzt schon eine weile und ich würde einfach mal mein Setup posten.
Es gibt vielleicht noch andere die auf der Suche nach solch einer Lösung sind.

Kurze Beschreibung

Ich wollte 2 IP Adressen (bei Hetzner max. 5 oder Subnet möglich) auf meiner OPNsense.

Die Haupt-IP hat Proxmox. Es wird aber alles bis auf Port 22 an die OPNsense per NAT weitergereicht.
Eine zweite IP bekommt direkt die OPNsense.

Somit habe ich 2 IP Adressen auf der OPNsense zur verfügung (abgesehen von Port 22 auf der Haupt-IP)

Diagramm vom Setup
View attachment 49273

Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR

        broadcast aaa.aaa.aaa.aaa # primäre WAN-IP-Broadcast-Adresse
        pointopoint bbb.bbb.bbb.bbb # Gateway ist über Punkt-zu-Punkt erreichbar. (Gateway-IP)
        gateway  bbb.bbb.bbb.bbb # Gateway-IP

        # Einstellungen für die Brücke
        # physische Schnittstelle enp0s31f6 überbrücken.
        bridge-ports enp0s31f6
        bridge-stp off
        bridge-fd 0

        # statische Route durch das Gateway für Subnetz der primären WAN-IP
        up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0

        # Routing für weitere IPs (max 4 bei Hetzner)
        up ip route add eee.eee.eee.eee dev vmbr0 # 2. WAN-IP
        #up ip route add fff.fff.fff.fff dev vmbr0 # 3. WAN-IP
        #up ip route add ggg.ggg.ggg.ggg dev vmbr0 # 4. WAN-IP
        #up ip route add hhh.hhh.hhh.hhh dev vmbr0 # 5. WAN-IP
       
        # TCP/UDP NAT zur OPNsense.
        # Port 22 wird nicht weitergeleitet für SSH zugriff
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -d xxx.xxx.xxx.xxx -m multiport ! --dport 22 -j DNAT --to 10.10.1.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -P UDP -d xxx.xxx.xxx.xxx -j DNAT --to 10.10.1.1
#WAN_Public

auto vmbr1
iface vmbr1 inet static
        address 10.10.1.0/31    # IP für NAT

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        # lokales routing von privaten IPv4-IPs von dem
        # Proxmox-Host über den zweiten WAN-Port der OPNsense
        up ip route add 192.168.0.0/16 via 10.10.1.1 dev vmbr1
        up ip route add 172.16.0.0/12 via 10.10.1.1 dev vmbr1
        up ip route add 10.0.0.0/8 via 10.10.1.1 dev vmbr1
       
        # MASQUERADE Regel für NAT
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.1/31' -o vmbr0 -j MASQUERADE
#WAN_Admin

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Public

auto vmbr3
iface vmbr3 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Private

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Test

auto vmbr5
iface vmbr5 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#LAN_Admin

Code:
/etc/pve/qemu-server/100.conf

agent: 1
balloon: 10240
boot: order=scsi0;ide2;net0
cores: 4
ide2: none,media=cdrom
memory: 12288
meta: creation-qemu=7.2.0,ctime=1677846104
name: OPNsense
net0: virtio=BC:FE:3E:93:C4:60,bridge=vmbr0
net1: virtio=5E:83:9D:04:C7:D8,bridge=vmbr1
net2: virtio=06:B8:C0:EC:42:F1,bridge=vmbr2
net3: virtio=86:1F:FC:FE:32:16,bridge=vmbr3
net4: virtio=BE:DA:97:BA:31:5F,bridge=vmbr4
net5: virtio=56:BB:9C:1D:1B:3B,bridge=vmbr5
numa: 0
onboot: 1
ostype: l26
scsi0: local:100/vm-100-disk-0.qcow2,iothread=1,size=50G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=352d0219-0968-473b-82a2-01fe83608261
sockets: 1
vmgenid: b7cd805f-35e3-4b4e-a370-8c2a2beb2984

Wichtig ist das net0 die MAC Adresse eingetragen wird, welche von Hetzner vergeben wird.

Ich hoffe ich konnte damit jemand helfen =)

Ich habe die Anleitung aus dem Post befolgt.

Allerdings fehlt mir die Konfiguration, wie ich die OPNsense für vtnet0 und vtnet1 Interface einrichten muss.
Welches muss als Default Gateway angeben werden?
Wie sieht das Gateway für vtnet0 aus?

Unter Proxmox:
Da habe ich zu folgenden beiden Angaben eine Frage:

Code:
address xxx.xxx.xxx.xxx/yy # primäre WAN IP / CIDR
Müsste hier für das CIDR die 27 (wie bei Hetzner beschreiben) oder die 32 eingetragen werden.


Code:
# statische Route durch das Gateway für Subnetz der primären WAN-IP
up route add -net aaa.aaa.aaa.aaa netmask ccc.ccc.ccc.ccc gw bbb.bbb.bbb.bbb vmbr0
Muss für aa die Broadcast Adresse eingetragen werden, für cc die 255.255.255.255 und für bb die Gateway Adresse von Hetzner eingetragen werden.

Würde mich über eine Antwort auf so einen alten Thread recht freuen
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!