Proxmox 7 und OPNsense - Linux VMs haben kein Internet - Windows VMs schon

[fellpower]

Moin Leute

Ich hatte schon einmal im englischen Teil versucht, eine Antwort zu bekommen, leider hat da niemand geantwortet - vielleicht ja hier.

Ich habe folgende Konfiguration:

- root, auf dem Proxmox läuft
- VM1 mit OPNSense als FW und zur Realisierung des lokalen Netzwerks
- VM2 Gameserver VM mit Debian
- VM3 Windows VM auch als Gameserver

Ich schicke den kompletten Traffic per iptables durch Proxmox durch und leite ihn auf die OPNSense. Dazu habe ich entsprechende Interfaces angelegt - und ihnen IP Bereiche zugeordnet.

Ich habe eine Netzwerkstruktur, wie hier zu sehen: https://schroederdennis.de/allgemei...ver-mit-nur-1-public-ip-addresse-pfsense-nat/

Nun funktioniert soweit alles, jedoch bekommen die Linux VMs kein Internet - weder bei deren Installation vom Netinst Image noch hinterher beim Starten.

Das funktioniert weder per fix IP noch per DHCP. Die VMs bekommen zwar ne IP per DHCP - kommen aber nicht ins Netz.

VM3 unter Windows funktioniert tadellos. Hat Internet und ist erreichbar....

Reloade ich jedoch bei der OPNsense alle Dienste (Option 11 in der console) - haben alle VMs Internet - das funktioniert so lange, bis ich die VM neustarten muss (Gameserver VM) - dann haben sie wieder kein Internet.

Reload aller Dienste auf der VM - und es geht wieder.

Habt ihr Ideen, wo ich ansetzen kann?
Chris



Debian VM (Gameserver)



OPNSense VM

 

[Falk R.]

Wenn das nach dem neustarten der Dienste geht, scheint die Konfiguration ja in Ordnung zu sein. Da vermute ich eher einen Fehler bei der OPNsense.

 

[fellpower]

Ja, aber welcher Fehler soll das sein? Neuinstall hat das gleiche Problem verursacht.

 

[Falk R.]

Ich vermute keinen Fehler in der Software, meistens ist das ein Konfigurationsfehler. Mal durch versteckte Optionen die vergessen wurden oder schlechter Defaulteinstellungen. Um da weiter zu kommen, müsste man deine Komplette Netzwerkkonfiguration / OPNsensekonfiguration einmal auseinandernehmen.

 

[Falk R.]

Was mir gerade auffällt, du hast ein /26, ein /30 und ein /24er Netz. In den Screenshots sind die IPs leider gestrichen. Passt die Konfiguration denn so wirklich?

 

[fellpower]

Das /30er ist der Tunnel zwischen Proxmox und Sense. Da will ich keine ip zwischen haben, also /30.

Das /24er ist halt lokal für die VMs - da brauch ich ein paar IPs - die ich auch bekomme - das ist nicht das Problem.

Und das /26er hat der Serverbetreiber festgelegt, das hab ich so übernommen.

 

[Falk R.]

Ok, kann man so machen. Wie ist denn die Konfiguration der sense? Die VMs haben ja die OPNsense als Gateway und die sense dann die IP des Tunnelinterface als Gateway.
Der PVE dann wiederum das Gateway des Betreibers. Falls du irgendwo zwei Gateways hast, wäre das ein Grund.

 

[fellpower]

Es muss ja irgendwas damit zu tun haben, sicherlich. Soweit war ich auch schon. Nur habe ich absolut keine Ahnung mehr, wo ich noch gucken soll. Dir jetzt hier haarklein die Conf der Sense runter zu beten, wird schwierig.

Interessant ist jedoch, das alle VMs die 192.168.1.1, also das VM Interface der Sense, als Gateway nutzen. Und wenn es da ein generelles Problem in meiner Conf gäbe, dürfte keine der VMs Internet haben. Die Windows VMs funktionieren jedoch tadellos - was machen die anders? Die haben fest vergeben, auch die 192.168.1.1 als Gateway. Genau wie die Linux Maschinen. Aber von denen hat eine nur Netz, wenn OPNSense neu gestartet wird (Neustart aller Dienste per Option 11 in der Konsole) - und die andere, 100% komplett gleich konfigurierte (andere ip / virtuelle MAC) - kommt gar nicht ins Netz?

Bei per DHCP zugewiesenen IPs usw - ist das gleiche Problem.

Und jetzt kommt der richtige Knaller. Als ich eben die Linux VM, welche manchmal ins Netz kommt, wenn OPNSense neu gestartet wird, geclont habe - macht die die gleichen Probleme und kommt nicht ins Netz...

Ich glaube, das kann nur n Bug sein, entweder von Proxmox oder Sense...

Weiß aber nicht, wie ich das nachvollziehen soll...

 

[Falk R.]

Was sagt ein tracert? Läuft DNS sauber?

 

[virshling]

Hallo,
gibt es zu diesem Thema irgendwelche neuen Erkenntnisse?
Ich erlebe dasselbe Phänomen nur mit anderen Vorzeichen:
Eine simple Anordnung von Server - opnsense - Client, komplett virtualisiert auf VirtualBox unter Debian, nur IPv4.
Der Versuch vom Client über NAT auf den Server zuzugreifen, gelingt im Falle eines Linux-Clients, von Windows (7 oder 10) aus geht es nicht -
Network unreachable. Suche mich seit Stunden dumm und dämlich ...

Bernhard

 

[Falk R.]

Hi, wie sieht denn deine Netzwerkkonfiguration aus?

 

[virshling]

Lauter Statische IPs, kein DHCP. DNS habe ich vernachlässigt und rufe alles über die IPs auf.
Client: 10.2.1.25
OpnSense LAN: 10.2.1.3
OpnSense WAN: 192.0.2.3
Server: 192.0.2.7
Alles /24

Aktuell gibt es vor dem Server noch eine OpnSense, der Server ist aber per 1:1 NAT exponiert. Das macht keine Schwierigkeiten, der Aufruf von OpnSense aus (curl --head 192.0.2.7) funktioniert.
Nur Anfragen des Win-Clients an den Server verlaufen erfolglos. Ein Linux-Client mit der selben IP (natürlich immer nur wechselweise) hat das Problem nicht.

 

[Falk R.]

Das Gateway im Windows passt auch? Sind in der Registry vielleicht noch Infos von alten Adaptern mit anderen Gateway Einstellungen?

 

[virshling]

SkyDiver, Du Hellseher, das Gateway war es!
Herzlichen Dank!

 

[Falk R.]

Hi, ist einfach Erfahrung im Troubleshooting und manchmal sind es doch die einfachen Dinge.

Viele Grüße, Falk

P.S. kannst auf solved setzen

 

[virshling]

Jau, wenn ich jetzt noch wüsste, wo der Knopf für solved ist.
Die einfachen Dinge verstecken sich offenbar gerade vor mir ...

 

[Falk R.]

Du editierst den Post und im Dropdown wählst du solved.

 

[virshling]

Hm, kann es sein, dass nur der Threaderöffner dieses Dropdown sieht?

 

[Falk R.]

jupp, glaube schon

 

[virshling]

Dann muss ich passen, weil mittendrin eingestiegen, sorry.
Dennoch: ein lehrreicher Vormittag ..


Viele Grüße

Bernhard