Hallo zusammen,
ich habe ein merkwürdiges Problem. Ich nutze in Proxmox 8.4.11 eine VM mit pfSense. Die pfSense dient als Firewall zwischen mehreren Netzen und auch dem WAN und zugleich auch als DHCP Server für 3 der 4 Netze (LAN, INT, GST).
Das angehangene Bild verdeutlicht den Aufbau
Mein Problem ist nun, dass die physikalischen PCs am LAN keine DHCP IP Adresse zugewiesen bekommen. Es scheint für sie, als sei kein DHCP Server vorhanden. Schließe ich den gleichen PC an INT oder GST an erhält dieser sofort eine IP Adresse.
Der DHCP Server scheint aber zu funktionieren, da die Test VM immer sofort eine IP aus dem jeweiligen Band zugewiesen bekommt. Egal mit welchem vmbr (0,1,2) ich sie verbinde.
Es hat den Anschein, dass die DHCP Telegramme es nicht über den enp90s schaffen.
Weise ich den physikalischen PCs am LAN eine feste IP zu, dann läuft alles einwandfrei. Es geht lediglich um DHCP. Nachgelagerte Switche kann ich auch ausschließen. Ich habe den Test auch mit einem PC gemacht, der direkt an den LAN Port (enp90s0) eingesteckt war. Dieser hat ebenfalls keine DHCP IP Adresse zugewiesen bekommen.
Auch habe ich in meiner Verzweifelung versucht das ageing auf 0 zu setzen. Hat jedoch keinen Erfolg gebracht.
Anbei meine /etc/network/interfaces.conf
ip addr liefert das folgende Ergebnis
Auch habe ich mir mal die fdb ausgeben lassen und etwas sortiert. So recht sehe ich hier aber auch kein Probem
Nun bin ich ratlos. Zumal das schon mal funktioniert hat, aber ich weiss nicht mehr genau bis wann. Was könnte ich geändert haben? Wo könnte ich suchen, um das wieder hin zu bekommen?
Ich habe irgendwann einen zweiten Node (pve1) aufgebaut und somit ein 2node Cluster (ich weiss man bräuchte 3). Bin mir jedoch recht sicher, dass es danach noch ging.
Vor kurzen habe ich über die Update Funktion auch beide notes mal geupdated. Hoffentlich lag es nicht daran.
Migriere ich die pfSense VM zu dem anderen Proxmox Server (pve1), dann läuft alles und ich erhalte auch extern die gewünschten DHCP IP Adressen auf dem LAN zugewiesen. Hole ich sie wieder zurück zum pve0 geht es nicht mehr (wie oben beschrieben). Ansonsten haben sie eine nahezu gleiche Config (ist nicht die gleiche Hardware). Der node2 ist auch nicht immer an.
Ich hoffe ihr habt Ideen wo ich hinsehen muss/kann. Ich bin mit meinem Latein etwas am Ende. Möchte es aber gern wieder hinbekommen, um eine Neuinstallation mit ungewissem Ausgang vermeiden.
Vielen Dank an das Forum.
Gruß
Christoph
ich habe ein merkwürdiges Problem. Ich nutze in Proxmox 8.4.11 eine VM mit pfSense. Die pfSense dient als Firewall zwischen mehreren Netzen und auch dem WAN und zugleich auch als DHCP Server für 3 der 4 Netze (LAN, INT, GST).
Das angehangene Bild verdeutlicht den Aufbau

Mein Problem ist nun, dass die physikalischen PCs am LAN keine DHCP IP Adresse zugewiesen bekommen. Es scheint für sie, als sei kein DHCP Server vorhanden. Schließe ich den gleichen PC an INT oder GST an erhält dieser sofort eine IP Adresse.
Der DHCP Server scheint aber zu funktionieren, da die Test VM immer sofort eine IP aus dem jeweiligen Band zugewiesen bekommt. Egal mit welchem vmbr (0,1,2) ich sie verbinde.
Es hat den Anschein, dass die DHCP Telegramme es nicht über den enp90s schaffen.
Weise ich den physikalischen PCs am LAN eine feste IP zu, dann läuft alles einwandfrei. Es geht lediglich um DHCP. Nachgelagerte Switche kann ich auch ausschließen. Ich habe den Test auch mit einem PC gemacht, der direkt an den LAN Port (enp90s0) eingesteckt war. Dieser hat ebenfalls keine DHCP IP Adresse zugewiesen bekommen.
Auch habe ich in meiner Verzweifelung versucht das ageing auf 0 zu setzen. Hat jedoch keinen Erfolg gebracht.
Anbei meine /etc/network/interfaces.conf
Code:
auto lo
iface lo inet loopback
auto enp90s0
iface enp90s0 inet manual
post-up /sbin/ethtool -s enp90s0 wol g
#58:47:CA:7D:CA:3F - 2.5GBit/s von hinten on board, links
iface enp2s0f0np0 inet manual
#58:47:CA:7D:CA:3C - 10GBit/s von hinten SFP Modul, XXX
iface enp2s0f1np1 inet manual
#58:47:CA:7D:CA:3D - 10GBit/s von hinten SFP Modul, XXX
auto enp87s0
iface enp87s0 inet manual
#58:47:CA:7D:CA:3E - 2.5GBit/s von hinten on board, rechts
iface wlp90s0 inet manual
auto enxc8a362d067fe
iface enxc8a362d067fe inet manual
#C8:A3:62:D0:67:FE - 1GBit/s USB Adapter (WAN)
auto enxc8a362d06297
iface enxc8a362d06297 inet manual
#C8:A3:62:D0:62:97 - 1Gbit/s USB Adapter (GST)
iface wlp91s0 inet manual
auto vmbr0
iface vmbr0 inet static
address 192.168.xxx.xxx/24
gateway 192.168.xxx.xxx
bridge-ports enp90s0
bridge-stp off
bridge-fd 0
bridge-ageing 0
#LAN (incl administration pve0)
auto vmbr1
iface vmbr1 inet manual
bridge-ports enp87s0
bridge-stp off
bridge-fd 0
#INT
auto vmbr2
iface vmbr2 inet manual
bridge-ports enxc8a362d06297
bridge-stp off
bridge-fd 0
#GST
auto vmbr3
iface vmbr3 inet manual
bridge-ports enxc8a362d067fe
bridge-stp off
bridge-fd 0
#WAN
ip addr liefert das folgende Ergebnis
Code:
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host noprefixroute
valid_lft forever preferred_lft forever
2: enp87s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr1 state UP group default qlen 1000
link/ether 58:47:ca:7d:ca:3e brd ff:ff:ff:ff:ff:ff
3: enp90s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
link/ether 58:47:ca:7d:ca:3f brd ff:ff:ff:ff:ff:ff
4: enp2s0f0np0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 58:47:ca:7d:ca:3c brd ff:ff:ff:ff:ff:ff
5: enp2s0f1np1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 58:47:ca:7d:ca:3d brd ff:ff:ff:ff:ff:ff
6: enxc8a362d067fe: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr3 state UP group default qlen 1000
link/ether c8:a3:62:d0:67:fe brd ff:ff:ff:ff:ff:ff
7: enxc8a362d06297: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr2 state UP group default qlen 1000
link/ether c8:a3:62:d0:62:97 brd ff:ff:ff:ff:ff:ff
8: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 58:47:ca:7d:ca:3f brd ff:ff:ff:ff:ff:ff
inet 192.168.123.xxx/24 scope global vmbr0
valid_lft forever preferred_lft forever
inet6 fe80::5a47:caff:fe7d:ca3f/64 scope link
valid_lft forever preferred_lft forever
9: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 58:47:ca:7d:ca:3e brd ff:ff:ff:ff:ff:ff
inet6 fe80::5a47:caff:fe7d:ca3e/64 scope link
valid_lft forever preferred_lft forever
10: vmbr2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether c8:a3:62:d0:62:97 brd ff:ff:ff:ff:ff:ff
inet6 fe80::caa3:62ff:fed0:6297/64 scope link
valid_lft forever preferred_lft forever
11: vmbr3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether c8:a3:62:d0:67:fe brd ff:ff:ff:ff:ff:ff
inet6 fe80::caa3:62ff:fed0:67fe/64 scope link
valid_lft forever preferred_lft forever
12: wlp91s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 3c:c5:dd:49:b1:3d brd ff:ff:ff:ff:ff:ff
21: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN group default qlen 1000
link/ether 7a:b4:18:21:08:57 brd ff:ff:ff:ff:ff:ff
22: tap100i1: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr1 state UNKNOWN group default qlen 1000
link/ether 06:fb:da:8c:57:01 brd ff:ff:ff:ff:ff:ff
23: tap100i2: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr2 state UNKNOWN group default qlen 1000
link/ether e6:d7:1a:03:3e:bb brd ff:ff:ff:ff:ff:ff
24: tap100i3: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr3 state UNKNOWN group default qlen 1000
link/ether c2:fc:46:d1:8b:9d brd ff:ff:ff:ff:ff:ff
Auch habe ich mir mal die fdb ausgeben lassen und etwas sortiert. So recht sehe ich hier aber auch kein Probem
Code:
bridge fdb show
<< LAN >>
58:47:ca:7d:ca:3f dev enp90s0 vlan 1 master vmbr0 permanent
58:47:ca:7d:ca:3f dev enp90s0 master vmbr0 permanent
33:33:00:00:00:01 dev enp90s0 self permanent
01:00:5e:00:00:01 dev enp90s0 self permanent
33:33:00:00:00:01 dev vmbr0 self permanent
33:33:00:00:00:02 dev vmbr0 self permanent
01:00:5e:00:00:6a dev vmbr0 self permanent
33:33:00:00:00:6a dev vmbr0 self permanent
01:00:5e:00:00:01 dev vmbr0 self permanent
33:33:ff:7d:ca:3f dev vmbr0 self permanent
33:33:ff:00:00:00 dev vmbr0 self permanent
7a:b4:18:21:08:57 dev tap100i0 vlan 1 master vmbr0 permanent
7a:b4:18:21:08:57 dev tap100i0 master vmbr0 permanent
33:33:00:00:00:01 dev tap100i0 self permanent
01:00:5e:00:00:01 dev tap100i0 self permanent
<< INT >>
58:47:ca:7d:ca:3e dev enp87s0 vlan 1 master vmbr1 permanent
58:47:ca:7d:ca:3e dev enp87s0 master vmbr1 permanent
33:33:00:00:00:01 dev enp87s0 self permanent
01:00:5e:00:00:01 dev enp87s0 self permanent
08:f9:e0:ea:bf:83 dev enp87s0 master vmbr1
fc:84:a7:4f:38:b4 dev enp87s0 master vmbr1
10:32:2c:68:b7:30 dev enp87s0 master vmbr1
b0:65:3a:7e:e5:d4 dev enp87s0 master vmbr1
fc:84:a7:4f:38:ac dev enp87s0 master vmbr1
78:f5:05:7f:9d:d4 dev enp87s0 master vmbr1
d8:eb:97:cd:1d:e0 dev enp87s0 master vmbr1
cc:8d:a2:20:ee:fc dev enp87s0 master vmbr1
cc:8d:a2:20:ef:54 dev enp87s0 master vmbr1
cc:8d:a2:1f:f4:a0 dev enp87s0 master vmbr1
cc:8d:a2:1f:f1:3c dev enp87s0 master vmbr1
cc:8d:a2:20:eb:00 dev enp87s0 master vmbr1
80:1f:02:b6:03:0b dev enp87s0 master vmbr1
40:d6:3c:79:dc:76 dev enp87s0 master vmbr1
00:03:ac:4d:9e:46 dev enp87s0 master vmbr1
ec:71:db:46:b7:41 dev enp87s0 master vmbr1
40:a8:f0:71:9c:82 dev enp87s0 master vmbr1
00:03:ac:4d:78:c2 dev enp87s0 master vmbr1
33:33:00:00:00:01 dev vmbr1 self permanent
01:00:5e:00:00:6a dev vmbr1 self permanent
33:33:00:00:00:6a dev vmbr1 self permanent
01:00:5e:00:00:01 dev vmbr1 self permanent
33:33:ff:7d:ca:3e dev vmbr1 self permanent
bc:24:11:28:6c:65 dev tap100i1 master vmbr1
06:fb:da:8c:57:01 dev tap100i1 vlan 1 master vmbr1 permanent
06:fb:da:8c:57:01 dev tap100i1 master vmbr1 permanent
33:33:00:00:00:01 dev tap100i1 self permanent
01:00:5e:00:00:01 dev tap100i1 self permanent
<< GST >>
c8:a3:62:d0:62:97 dev enxc8a362d06297 vlan 1 master vmbr2 permanent
c8:a3:62:d0:62:97 dev enxc8a362d06297 master vmbr2 permanent
33:33:00:00:00:01 dev enxc8a362d06297 self permanent
01:00:5e:00:00:01 dev enxc8a362d06297 self permanent
1a:ca:9d:8f:55:d2 dev enxc8a362d06297 master vmbr2
50:23:6d:51:5d:13 dev enxc8a362d06297 master vmbr2
70:ee:50:6f:99:46 dev enxc8a362d06297 master vmbr2
64:90:c1:18:ba:f1 dev enxc8a362d06297 master vmbr2
40:a8:f0:71:9c:82 dev enxc8a362d06297 master vmbr2
33:33:00:00:00:01 dev vmbr2 self permanent
01:00:5e:00:00:6a dev vmbr2 self permanent
33:33:00:00:00:6a dev vmbr2 self permanent
01:00:5e:00:00:01 dev vmbr2 self permanent
33:33:ff:d0:62:97 dev vmbr2 self permanent
bc:24:11:ac:14:33 dev tap100i2 master vmbr2
e6:d7:1a:03:3e:bb dev tap100i2 vlan 1 master vmbr2 permanent
e6:d7:1a:03:3e:bb dev tap100i2 master vmbr2 permanent
33:33:00:00:00:01 dev tap100i2 self permanent
01:00:5e:00:00:01 dev tap100i2 self permanent
<< WAN >>
c8:a3:62:d0:67:fe dev enxc8a362d067fe vlan 1 master vmbr3 permanent
c8:a3:62:d0:67:fe dev enxc8a362d067fe master vmbr3 permanent
33:33:00:00:00:01 dev enxc8a362d067fe self permanent
01:00:5e:00:00:01 dev enxc8a362d067fe self permanent
c0:25:06:29:bb:2e dev enxc8a362d067fe master vmbr3
40:a8:f0:71:9c:82 dev enxc8a362d067fe master vmbr3
33:33:00:00:00:01 dev vmbr3 self permanent
01:00:5e:00:00:6a dev vmbr3 self permanent
33:33:00:00:00:6a dev vmbr3 self permanent
01:00:5e:00:00:01 dev vmbr3 self permanent
33:33:ff:d0:67:fe dev vmbr3 self permanent
bc:24:11:64:72:98 dev tap100i3 master vmbr3
c2:fc:46:d1:8b:9d dev tap100i3 vlan 1 master vmbr3 permanent
c2:fc:46:d1:8b:9d dev tap100i3 master vmbr3 permanent
33:33:00:00:00:01 dev tap100i3 self permanent
01:00:5e:00:00:01 dev tap100i3 self permanent
<< NICHT VERWENDETE SCHNITTSTELLEN >>
33:33:00:00:00:01 dev enp2s0f0np0 self permanent
33:33:00:00:00:01 dev enp2s0f1np1 self permanent
33:33:00:00:00:01 dev wlp91s0 self permanent
Nun bin ich ratlos. Zumal das schon mal funktioniert hat, aber ich weiss nicht mehr genau bis wann. Was könnte ich geändert haben? Wo könnte ich suchen, um das wieder hin zu bekommen?
Ich habe irgendwann einen zweiten Node (pve1) aufgebaut und somit ein 2node Cluster (ich weiss man bräuchte 3). Bin mir jedoch recht sicher, dass es danach noch ging.
Vor kurzen habe ich über die Update Funktion auch beide notes mal geupdated. Hoffentlich lag es nicht daran.
Migriere ich die pfSense VM zu dem anderen Proxmox Server (pve1), dann läuft alles und ich erhalte auch extern die gewünschten DHCP IP Adressen auf dem LAN zugewiesen. Hole ich sie wieder zurück zum pve0 geht es nicht mehr (wie oben beschrieben). Ansonsten haben sie eine nahezu gleiche Config (ist nicht die gleiche Hardware). Der node2 ist auch nicht immer an.
Ich hoffe ihr habt Ideen wo ich hinsehen muss/kann. Ich bin mit meinem Latein etwas am Ende. Möchte es aber gern wieder hinbekommen, um eine Neuinstallation mit ungewissem Ausgang vermeiden.
Vielen Dank an das Forum.
Gruß
Christoph
Last edited: