Bridges, VLANs und ein falscher DHCP

Apr 5, 2024
115
7
18
www.oops.co.at
Guten Morgen,

ich bin grad am Suchen und Eingrenzen eines Themas, und will das mal kurz beschreiben, vielleicht kann mich ja hier jemand auf einen Fehler hinweisen, oder andererseits prüfen, ob ich es richtig mache ;-)

Ich hab einen PVE (und einen PBS) bei einem Kunden in Betrieb genommen. Dort sollen 2 Firmen mit getrennten LANs langsam in eine gemeinsame Struktur zusammen geführt werden.

Jede Firma hat einen eigenen Router ins Internet, und jeweils einen eigenen Windows-DC, der auch DHCP macht.

Ich betreue die pfSense in Firma1 (im LAN1), und wir haben dort schon länger ein VLAN für das LAN2 der Firma2 erstellt.

Dh. die pfSense sendet tagged VLAN-ID 150 auf ihrem Interface igc2 raus, das geht in einen Port auf Switch2 in Firma1 .. und Switch2p22 is native in VLAN150 und steckt direkt am Switch3 in Firma2 (ich verwende gleich diese Nummerierungen, die verwende ich auch in dem Thread, den ich unten verlinke).

Das klappt soweit, seit Monaten.

Dh. nach meiner Auffassung sprechen LAN1 und LAN2 nur durch die pfSense miteinander. Dort ist FW-technisch alles erlaubt, vielleicht ist hier schon mein Fehler ... eigentlich war ich der Annahme, dass DHCP-Traffic über diese Grenze nicht drüber geht.

Was klappt:

Ich hab VLAN150, und LAN1 über mehrere Switches drüber gezogen, und auch in den PVE "connected", siehe Config weiter unten.

Ich kann VMs an vmbr1.150 betreiben und kriege DHCP vom DHCP-Server in LAN2.
Ich kann VMs an vmbr1 klemmen und kriege DHCP vom DHCP-Server in LAN1.

Nun aber das Problem:

Ein PC, der an einem "default" Switch-Port an Switch1 klemmt, *sollte* native in LAN1 landen und DHCP dort kriegen.
Er bekommt aber, reproduzierbar, eine Adresse aus LAN2. Und der DHCP in LAN2 zeigt auch die Lease an etc ...

Irgendwie landen also DHCP-Pakete aus untagged LAN2 in dem anderen Segment.

Dh. entweder hab ich mein Setup falsch, oder es gibt noch physisch irgendwo eine Verbindung, die es nicht geben soll.

Ich bin ca. 300km weg von den Systemen, und kann daher nicht selbst stöpseln und testen.

Meine Frage Nummer 1 dazu:

Baue ich mir evtl mit vmbr0 eine solche falsche Verbindung?

vmbr0 nutze ich für keine VMs, die hat auch keine IP
Ich will damit nur erreichen, dass ich an der physischen NIC eno01 den PVE im Management-VLAN 100 erreiche -> vmbr0.100

Krieg ich das anders hin, oder ist das eh egal .. hier bin ich unsicher.

Code:
auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

iface eno3 inet manual

iface eno4 inet manual

auto eno5np0
iface eno5np0 inet manual

auto eno6np1
iface eno6np1 inet manual

auto vmbr0
iface vmbr0 inet manual
    bridge-ports eno1
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094

auto vmbr0.100
iface vmbr0.100 inet static
    address 10.0.100.10/24
    gateway 10.0.100.1
#Management IP PVE

auto vmbr1
iface vmbr1 inet manual
    bridge-ports eno5np0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094
#VMs

source /etc/network/interfaces.d/*


Wenn jemand sehr interessiert ist, hier der Thread im netgate-Forum: https://forum.netgate.com/topic/199157/lan-plus-vlans-device-gets-ip-from-the-wrong-dhcp-server

Dort hab ich auch die Connections der Switches etc aufgelistet

Danke für jedes Feedback!
 
Hi, hast du in den Switches irgendwo noch iphelper konfiguriert? Das wäre die einfachste Lösung.
Sonst hast du vermutlich irgendwo ein Tagged/Untagged Fehler im Netzwerk.
 
iphelper: nein. Ich musste das grade googeln ;-) / ich hab in anderen Installationen schon mal DHCP-Relay (auf pfSense) enabled, aber hier nicht.
Wobei ich natürlich diesen Switch3 der 2. Firma bislang nicht in meinem Zugriff habe. Wer weiß, was der tut (wobei das eigentlich nicht sein kann, dass dessen Config Auswirkungen auf die "upstream" Switches hat, denke ich.
 
iphelper: nein. Ich musste das grade googeln ;-) / ich hab in anderen Installationen schon mal DHCP-Relay (auf pfSense) enabled, aber hier nicht.
Wobei ich natürlich diesen Switch3 der 2. Firma bislang nicht in meinem Zugriff habe. Wer weiß, was der tut (wobei das eigentlich nicht sein kann, dass dessen Config Auswirkungen auf die "upstream" Switches hat, denke ich.
Dann kontrolliere mal die Konfiguration, vermutlich werden die beiden Netze durch eine falsche VLAN Konfiguration vermischt.
Wäre nicht das erste mal. ;)
 
Tja, ich hab das schon etliche Male durchgesehen. Und weil ich es nicht sehe, hab ich die Infos eben aufgeschrieben, in dem Post hier drüben.
Ich seh den Wald vor Bäumen nicht ... gerade weil es ja weitgehend klappt, bzw. die VLANs korrekt am PVE ankommen und verwendet werden können.
Schon klar, dass ich was falsch haben könnte, sonst wäre ich nicht hier ;-)

Ich hatte halt gehofft, dass jemand drüber liest und sagt "DA!" ;)

Voraussichtlich teste ich morgen mit einem Kollegen samt Test-PC vor Ort, dann stöpseln wir mal rum und ich checke Dinge ...
 
Ich würde einfach mal an einer zentralen Stelle (z.B. der pfSense) einen tcpdump (gefiltert auf Port 67/68 ist die Datenmenge nicht so groß) im VLAN 1 und VLAN 100 machen und schauen, wer was sendet und beantwortet. Hier wäre vor allem interessant, welchen Weg die Broadcasts (DHCPDISCOVER) nehmen.
 
Abseits von DHCP noch eine weitere Frage zum Netzwerk-Setup aus https://forum.proxmox.com/threads/bridges-vlans-und-ein-falscher-dhcp.174853/post-812551 :

Ich hab ja die Management-IP des PVE auf vmbr0.100, darunter liegt physisch eno1, das ist eine 1GbE NIC. (Ich wollte eine separate NIC fürs Verwalten, um darüber auch etwaige Changes an der Bridge für die VMs machen zu können, bzw. ungestört das eine 1GbE für die WebGUI zu haben. Ja, es gibt auch noch IlO zusätzlich ... )

Der PVE selbst hat keine IP auf vmbr1, welche physisch mit 25 GbE angebunden ist.

Wenn ich jetzt Backups von VMs ausführe, gehen die wohl über vmbr0.100 raus, also über die langsamere Anbindung? Der Host selbst kennt ja den Weg über vmbr1 nicht, wenn er dort keine IP hat, oder?

Wenn das so stimmt, ist es dann besser, die Management-IP auch auf die schnelle vmbr1 zu verlegen (und vmbr0 zu entfernen)?

Tips willkommen ....
 
Der Host ist letztendlich auch nur ein Linux-Computer, der seine Pakete nach Standard-Linux-Routingmechanismen routet.
Wenn also ein traceroute zum PBS über das 1G-Interface geht, dann das Backup auch. Man kann aber natürlich spezielle Routen setzen.
 
stimmt .. danke

Zum Ursprungsthema "falscher DHCP":

Wie gesagt bin ich ja relativ remote zu dem Setup, und kann nicht selbst vor Ort an PCs testen. Am Mittwoch ließ ich einen Admin dort an Switchports DHCP ausprobieren, und hab den Switchport in verschiedene VLANs geschaltet ... Er hat es nicht eindeutig zugegeben, aber vermutlich ("eventuell ...") war beim ursprünglichen Test damals eine statische IP auf dem besagten PC gesetzt ... jedenfalls ist das Verhalten nun korrekt laut Tests ;-)