Hetzner+Proxmox+OPNsense+4 zusätzliche IPs

[CoolTux]

Hallo Leute,

Ich habe ein Interessantes Problem. Kurz mein Setup

Server bei Hetzner mit Proxmox installation
IP Konfiguration

auto lo
iface lo inet loopback
iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

iface enp0s31f6 inet6 static
        address 2a01:4f8:211:1104::2
        netmask 64
        gateway fe80::1



### Proxmox typische Netzwerke
auto vmbr0
iface vmbr0 inet static
        bridge_ports enp0s31f6
        bridge_stp off
        bridge_fd 0
        address 1xx.xxx.xxx.57
        netmask 255.255.255.192
        gateway 1xx.xxx.xxx.1
        pointopoint 1xx.xxx.xxx.1      (selbe wie Gateway)
        up ip route add 1xx.xxx.xxx.34/32 dev vmbr0
        up ip route add 1xx.xxx.xxx.60/32 dev vmbr0
        up ip route add 1xx.xxx.xxx.55/32 dev vmbr0
        up ip route add 1xx.xxx.xxx.51/32 dev vmbr0


### Virtuelle Netzwerke
iface enp0s31f6.90 inet manual
iface enp0s31f6.60 inet manual
iface enp0s31f6.80 inet manual
iface enp0s31f6.40 inet manual


auto vmbr90
iface vmbr90 inet manual
        bridge_ports enp0s31f6.90
        bridge_stp off
        bridge_fd 0

auto vmbr60
iface vmbr60 inet manual
        bridge_ports enp0s31f6.60
        bridge_stp off
        bridge_fd 0

auto vmbr80
iface vmbr80 inet manual
        bridge_ports enp0s31f6.80
        bridge_stp off
        bridge_fd 0

auto vmbr40
iface vmbr40 inet static
        bridge_ports enp0s31f6.40
        bridge_stp off
        bridge_fd 0
        address 10.6.4.5
        netmask 255.255.255.0
        up route add -net 10.6.32.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40
        up route add -net 10.6.6.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40

In Proxmox habe ich dann erstmal 2 Netzwerkkarten für die Sense VM vergeben. Einmal über vmbr0 Bridge und einmal über vmbr40 Bridge. vmbr0 ist WAN und vmbr40 ist LAN.


Diese Konfiguration mit der 2. IP Adrresse (also 1. zusätzliche IP) läuft seit 6 Monaten und ich kann ohne Probleme aus dem Internet meine angebotenen Services aufrufen welche die Sense dann entsprechend händelt. Also entweder HAProxy direkt auf der Sense oder über Portforwarding weiter auf interne Systeme.

Wie Ihr an der Netzwerkkonfiguration auf dem Proxmoxserver sehen könnt sind noch 3 weitere zusätzliche IP Adressen konfiguriert. Diese habe ich nun in der Sense versucht ein zu binden. Dazu habe ich ein weiteres Netzwerkinterface der Sense VM zugewiesen und wieder Bridge vmbr0 genommen. So wie auch schon bei der 1. zusätzlichen IP. Auf der Sense habe ich dann das dadurch entstandene Netzwerkinterface mit der 2. zusätzlichen IP konfiguriert und als einziges Unterschied unter Gateway "auto" zu stehen da ich sonst nichts weiter auswählen konnte. Aktiviere ich nun dieses Interface funktioniert das Portforwarding für die erste zusätzliche IP nicht mehr. Interessanter Weise bleibt mein VPN und die HA Konfiguration zur ersten zusätzlichen IP aber erreichbar. Es scheint also das alle Services welche direkt auf der Sense Enden weiter funktionieren wogegen Portforwarding nicht mehr geht. Eventuell Routing??
Kann mich da jemanden versuchen zu erhellen wieso ich das nicht zum laufen bekomme.


Danke und Grüße

 

[CoolTux]

Nach dem ich nun den ganzen Tag getestet habe bin ich zu folgender Erkenntnis gekommen.
Anscheinend lässt etweder Hetzner es nicht zu 2 zusätzliche IPs auf ein und der selben VM zu legen oder OPNSense hat Probleme mit dem Routing wenn 2 oder mehr zusätzliche IPs von Hetzner an die Netzwerkdevices der Sense gebunden werden.