Netzwerk-Konfiguration mit pfSense

[Bob22]

Hallo,

ich habe derzeit Probleme mit meiner Netzwerk-Konfiguration. Zunächst möchte ich kurz mein Grundsetup beschreiben, dazu habe ich eine kleine Grafik angelegt, die vielleicht mehr aussagt, als mein wirres Geschwätz:


pfSense läuft also als virtuelle Maschine unter 192.168.1.1 in Proxmox (192.168.1.2). Soweit funktioniert das auch alles recht gut. Allerdings habe ich das Problem, dass hin und wieder meine Maschinen in Proxmox (beispielsweise Nextcloud unter xxx.net) nicht mehr von außerhalb erreichbar sind. Also zunächst läuft es ein paar Tage, und danach geht nichts mehr - ich habe zwar noch Internet-Verbindung nach außen, aber von außen kann mich nichts mehr erreichen; bis jetzt habe ich dies immer durch Flushes in pfSense und restarten des Servers irgendwann fixen können, aber das ist auf Dauer halt keine Lösung...

Da ich in pfSense keinerlei Firewall-Einträge finden konnte (und die Grundkonfiguration dort passen sollte - denn manchmal geht es ja), habe ich die Vermutung, dass es mit dem Gateway in Proxmox irgendein Problem gibt und die Leitung vermutlich generell vermurkst ist (dazu muss ich sagen, dass ich, bevor ich mein Server-Projekt gestartet habe, kaum Erfahrung mit Netzwerktechnik hatte und im Zuge dessen dies jetzt versuche zu lernen) - dieses Grundsetup habe ich mir durch eine Kombination von Internetressourcen und herumprobieren selbst zusammengebastelt, also ist vermutlich hier der Fehler (?)

#/etc/network/interfaces:

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

auto enp3s0
iface enp3s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address  192.168.1.2
        netmask  24
        gateway  192.168.1.1
        bridge-ports enp3s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
        dns-nameservers 209.222.18.222 209.222.18.218 8.8.8.8
#LAN-Bridge

Ich bin über jeden Tipp dankbar
Liebe Grüße

 

[Bob22]

Soeben hat sich herausgestellt, dass das Problem sich löst, wenn ich den Router im Bridge-Modus neustarte.
Kann es trotzdem sein, dass die Konfiguration fehlerhaft ist, oder ist der Router defekt - das Problem tritt meistens auf, wenn sich gerade Leute mit dem Server verbinden - aber halt schon bei einer extrem geringen Anzahl, anscheinend reichen bereits 3 Leute...

Liebe Grüße

 

[at3tb]

Kann der WAN Router VLAN ? oder bekommt er es erst am Switsch ?

Ich Selber habe auch eine Firewall (ipFire) im Proxmox laufen.
Aber dazu eine NIC eingebaut und die an die Fireall VM durchgereicht für WAN.
Damit WAN und LAN getrend sind.
Vieleicht auch für Dich eine Überlegung wert ?
Damit würde das ganze VLan wegfallen.
mfg

 

[Ingo S]

Das LAN/VLAN Setup ist so erstmal korrekt. Wenn die Verbindung zusammenbricht, sobald sich mehrere Leute mit deinem Server verbinden, würde ich die Ursache bei deinem Router vermuten.
Achso, und welches Gerät wählt sich denn ins Internet ein? Dein pfsense, oder dein Router? Oder beide? Wenn der vorher nicht im Bridge mode war...

Wenn sich beide Geräte gleichzeitig eingewählt haben (Sowas geht bei einigen Providern tatsächlich!) kann es auch ein IP Adresskonflikt sein, oder dein Provider hat die doppelte Anmeldung irgendwann bemerkt und schaltet eine der beiden Einwahlen ab, bzw. deren Monitoring macht das.

Das würde erklären, warum es funktioniert, seit der Router im Bridge mode ist.

 

[Bob22]

Oh, vielleicht habe ich das etwas unklar erläutert - Also das erste Gerät (welches ich als "WAN-Router" bezeichnet habe - welcher Begriff wäre da treffender? Weil im Bridge mode ist es ja kein wirklicher Router mehr, oder?) war schon die ganze Zeit im Bridge Mode; diesbezüglich weiß ich nicht genau, welches Gerät sich letztendlich ins Internet einwählt, der "WAN-Router" ist jedenfalls eines von diesen Geräten, welche sich per SIM-Karte über das Funknetz verbinden. Ich bin mir nicht sicher, ob dieses Gerät VLAN unterstützt, da ich im Bridge-Mode halt wirklich nichts einstellen kann bei diesem Gerät - also die VLANs kommen vom Switch (und in pfSense hab ich sie auch drin - wo sie jetzt genau "entstehen": keine Ahnung).

Liebe Grüße

 

[Ingo S]

Dann solltest du davon ausgehen, das die "Bridge" kein VLAN unterstützt. Aber auch das ist in der konfiguration ja schon korrekt. Der Port auf dem die Bridge hängt, ist auf VLAN10 untagged geschaltet. Die Bridge muss gar kein VLAN verstehen. Jeder Traffic der auf dem Port von der Bridge rein kommt ist automatisch im VLAN10
Wie das mit der SIM Karte läuft hängt auch vom Provider ab, z.B. mach Vodafone Carrier Grade NAT, so das das Gerät mit der SIM Karte schon nur noch in einem Privaten Netz landet wie z.B. bei uns 192.168.8/x. Bei der Telekom bekommt man noch öffentliche Adressen auch auf SIM Karten.

Normalerweise terminiert das öffentliche Netz des Providers an dem Gerät wo die SIM Karte drin ist. In dem Moment hat die Bridge ein Interface mit einer IP Adresse vom Provider.
Damit landet Traffic aus dem Internet über die SIM Karte auf der Bridge, und die weiß dann eigentlich nicht, wo das hin muss und verwirft die Pakete oder gibt ein "destination unreachable" zurück.

Dein Setup ist anscheinend nicht so ganz trivial...

 

[Bob22]

Ich habe von meinem Provider schon vor seit einiger Zeit eine öffentliche IP (eine dynamische - laut pfSense hat mein DynDNS-Service aber keine Probleme, sollte also passen), kann in diesem Fall Carrier Grade NAT trotzdem eine Auswirkung auf mich haben? Der Provider macht nämlich mit Sicherheit CGN.

Damit landet Traffic aus dem Internet über die SIM Karte auf der Bridge, und die weiß dann eigentlich nicht, wo das hin muss und verwirft die Pakete oder gibt ein "destination unreachable" zurück.

Könntest du noch einmal näher erläutern, warum es dazu kommen kann? Das verstehe ich nicht ganz, aber könnte ein Anhaltspunkt sein; heute ist das Problem zum ersten Mal aufgetreten, während überhaupt kein Traffic zu verzeichnen war, also scheinbar "aus dem Nichts" - wie zuvor hatte ich trotzdem noch Internetzugang (und konnte über NAT Reflection auch meine Ressourcen noch erreichen, also die Container & VMs sind noch gelaufen), von außen war allerdings wieder alles dicht.

Liebe Grüße

 

[Ingo S]

Da ich dein Gerät nicht kenne und ich auch nicht weiß welche Funktionen das Gerät überhaupt noch kann, wenn es im Bridge mode ist, ist das natürlich jetzt alles Spekulatius.
Aber eine Bridge arbeitet auf Layer 2, sie leitet also Pakete anhand ihrer Ziel MAC-Adresse an den Port weiter wo diese erreichbar ist, zumindest tun dies Switches in einem Netzwerk.

Wenn das Gerät über die SIM Karte eine Internetverbindung aufbaut, dann passiert das auf Layer 3. Das heißt, die Pakete die da ankommen, können nur via Routing weitergeleitet werden, da im Header des Layer 3 immer die Zieladresse des Empfängers eingetragen ist (deine öffentliche IP Adresse) Auf Layer 2 wird aber die Ziel MAC-Adresse von jedem Router durch die jeweils nächste MAC des nächsten Hops ersetzt. Wenn Datenpakete aus dem Internet vom Provider an dich weiter geroutet werden, kennt der Provider nur die IP Adresse die er dem Einwahl Endpunkt zugewiesen hat. Diese Adresse steht auch als Ziel im Header des Layer3, wenn wegen NAT die bei dir internen Netzwerkadressen nicht sichtbar sind. In der Regel verwendet man da ja die privaten Adressräume wie 192.168.0.0/16 etc. Wenn das Gerät als Router arbeitet und NAT macht, merkt sich der Router für jedes ausgehende Paket (UDP) oder jede ausgehende Verbindung (TCP) jeweils Quelle in deinem Netz und Ziel im Internet und kann dann via NAT die Adressen zuordnen und Pakete zustellen.
Wenn dein Gerät also im Bridge Mode nicht weiß, das deine pfSense der nächste Hop ist, weil im Bridge Mode kein Routing eingetragen werden kann, dann hat das Gerät keine Möglichkeit das nächste Ziel für das Paket zu finden.

Die einzige Möglichkeit die mir einfällt, wie das dennoch funktionieren kann ist, das das Gerät im Bridge Mode einfach grundsätzlich ALLE Pakete die auf der SIM Karte rein kommen, an den Bridge Ports wieder raus gibt, also spiegelt, ähnlich wie bei einem Monitor Port auf einem Switch. Dann würde die pfSense die Pakete zumindest sehen. Ohne besondere Behandlung wird aber die pfSense diese Pakete gar nicht beachten weil die Ziel MAC nicht die der pfSense ist, sondern die der Bridge. Ich weiß jetzt nicht ob man die pfSense so konfigurieren kann das sie diese Pakete annimmt und entsprechend mithilfe von Firewall Regeln z.B, via NAT irgendwo hin routet, z.B. auf einen Server oder so...

Bei CGN ist es sogar noch "schlimmer", weil die öffentlich sichtbare Adresse nichtmal an deinem Gerät terminiert sondern irgendwo beim Provider und du mit deinem Gerät selbst nach außen hin in einem privaten Netz steckst. Bei so einer Konstellation hat man in der Regel gar keine Chance, von außen eine Erreichbarkeit von Servern zu realisieren, weil das NAT beim Provider natürlich nicht unter deiner Kontrolle liegt und du dort keine Portweiterleitungen eintragen kannst.

Ich hoffe ich habe das nicht zu ausführlich und wirr erklärt.

 

[at3tb]

DANKE da habe Ich jetzt auch viel gelernd !
Frage meinerseitz dazu , wie schaut es dann mit einen VPN Tundel aus ?

 

[Ingo S]

Naja für einen VPN Tunnel gilt das gleiche, wie für einen Server, der von außen erreichbar sein soll. Der Tunnel kann nur aufgebaut werden, wenn es eine direkte Erreichbarkeit gibt, also entweder via NAT und Portfreigabe, oder über eine öffentliche IP Adresse auf dem Tunnel Endpunkt (üblicherweise die Firewall/pfSense), die du aber ja leider nicht hast.