Hetzner Dedicated 1IP Proxmox mit OPNSense - VMs haben kein Internet

[Maj0rrush]

Hi,

ich bin Neu hier und habe wahrscheinlich wie schon mehrere Menschen vor mir dasselbe Problem. Ich habe die anderen Posts schon durchgesehen und nichts gefunden was mir geholfen hat.

Vorweg bin kein Linux Profi, habe aber Spaß an der Materie.

Meine Ausgangssituation gerade:

1x Dedicated Server
-> Proxmox installiert
-> VM mit OPNSense
-> VM mit Ubuntu

Ich kann von dem Ubuntu Server die OPNsense pingen, komme aber nicht ins Internet. Firewall regeln "Allow all" wurden erstellt, hat aber nichts gebracht. Ebenso wie kurzzeitiges deaktivieren der Filter in der OPNSense.

Von der OPNSense sowie dem Proxmox Host komme ich aber ins Internet.

Folgende Konfigurationen habe ich anliegen:

Proxmox Host:

auto lo
iface lo inet loopback


iface enp4s0 inet manual


auto vmbr0
iface vmbr0 inet static
        address 94.130.11.222/26
        gateway 94.130.11.193
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up sysctl -w net.ipv4.ip_forward=1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp -m multiport ! --dport 22,8006 -j DNAT --to 10.10.10.1
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p udp -j DNAT --to 10.10.10.1


        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0


auto vmbr1
iface vmbr1 inet static
        address 10.10.10.0/31
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up iptables -t nat -A POSTROUTING -s '10.10.10.1/31' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.10.1/31' -o vmbr0 -j MASQUERADE
#OPNSense WAN - Proxmox LAN


auto vmbr2
iface vmbr2 inet manual
        ovs_type OVSBridge

Zugewiesene Netzwerke:

Die OPNSense VM:


Die Ubuntu VM:


Ich habe jetzt schon mehrere Tage probiert aber ich denke ich brauche Unterstützung.


Vielen Dank und viele Grüße,

Markus

 

[gurubert]

Warum hat vmbr0 nicht enp4s0 als bridge-port? Wie kommst Du überhaupt auf die Maschine drauf?

 

[Maj0rrush]

Hi,

ich habe mir eine Subdomain eingerichtet mit der ich über den Browser Proxmox aufrufen kann. Darüber habe ich ja dann Shell Zugang.

Mir ist grade noch ein Fehler aufgefallen den ich vorher nicht gesehen habe.

In der Bridge0 konfiguriere ich zweimal die gleichen Parameter mit unterschiedlichen Werten.

bridge-ports none
bridge-stp off
bridge-fd 0

bridge-ports enp4s0
bridge-stp off
bridge-fd 0

Ob es daran liegt ?

Damit hätte ich dann auch deine Frage beantwortet oder ?

 

[gurubert]

Ach, das hatte ich übersehen. Dann ist enp4s0 am Ende doch Bridge-Port von vmbr0.

Wird die Ubuntu-VM auf der OPNsense genattet? Leitet die OPNsense die Pakete überhaupt weiter?

Guck mal per tcpdump auf vmbr1, was dort ankommt.

 

[Maj0rrush]

Hi also tcpdump -i vmbr0 gibt mir eine menge Anfragen aus. Also da scheint schon etwas zu passieren.

Wenn ich es richtig verstanden habe ist das aber zu erwarten gewesen da ich ja von der Proxmox VM ins Internet komme, oder ?

In der Firewall sehe ich auch im Log das OPNSense die Anfragen zumindest rauslässt.



Wenn ich in der Proxmox Shell auf den Dump aktiviere sehe ich auch das die Anfragen dort ankommen, aber irgendwie geht es dann nicht mehr zurück zur VM. Macht das Sinn ?

 

[Maj0rrush]

So nach endlos vielem lesen von Foren-Posts zur OPNSense habe ich die Lösung gefunden.

Ich habe wirklich mehrere Tage damit verbracht das ans laufen zu kriegen.

In der OPNSense muss man das Gateway vom WAN Interface explizit setzen. Das stand bei mir auf Auto-Detect.

 

[CoolTux]

Was ich nicht ganz verstehe ist wieso Du ein NAT in der Netzwerkkonfiguration auf dem Proxmox Host machst? Hat das Wan Interface der OPNSense keine Public IP von Dir bekommen?
Sorry für die Frage, sehe nicht ganz durch bei Deiner Konfig.

 

[Maj0rrush]

Was ich nicht ganz verstehe ist wieso Du ein NAT in der Netzwerkkonfiguration auf dem Proxmox Host machst? Hat das Wan Interface der OPNSense keine Public IP von Dir bekommen?
Sorry für die Frage, sehe nicht ganz durch bei Deiner Konfig.

Hi,

das ist ein Hetzner Dedicated Server und der hat erstmal nur eine IP und die hat der Proxmox Host bekommen.