Proxmox sendet Pakete zurück zu Router - Hetzner

Rocky

Active Member
Aug 12, 2020
8
0
41
31
Hallo zusammen,

ich habe einen Proxmox Server bei Hetzner, auf dem eine Einzelne IP für eine pfSense gebridged wird.

Ein weiteres /29 Subnetz hängt ebenfalls drauf und eine IP wurde nun gesperrt, da sie Pakete zum Router zurück geschickt hat.

Ich habe die Proxmox Firewall auf Datacenter- und Node-Ebene eingeschaltet und nur bestimmte Ports freigeschaltet, alles andere wird geDROPt.

Die Netzwerkconfig sieht folgendermaßen aus:
Code:
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp41s0
iface enp41s0 inet manual

auto enp1s0
iface enp1s0 inet static
        address 192.168.178.1/24
# ZUM PBS direct attached

auto vmbr0
iface vmbr0 inet static
        address 162.55.XXX.52/32
        gateway 162.55.XXX.1
        bridge-ports enp41s0
        bridge-stp off
        bridge-fd 0
        pointopoint 162.55.XXX.1
        up sysctl -w net.ipv4.ip_forward=1
        up sysctl -w net.ipv4.conf.enp41s0.send_redirects=0
# Main IP
# Einzel IP für pfSense WAN
# Subnetz für Virtuelle IPs auf WAN pfSense

auto vmbr1
iface vmbr1 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
# Bridge für VMs zu pfSense (Intern)

Log von Hetzner:
Code:
2023-11-17 20:19:13 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
64.226.84.141 136.243.XXX.170 40995    19 (2 packets)
2023-11-17 20:19:13 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.161.193.173 136.243.XXX.170 33038    19 (3 packets)
2023-11-17 20:19:13 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.78.69.44 136.243.XXX.170 58818    19 (3 packets)
2023-11-17 20:19:13 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
193.176.158.146 136.243.XXX.170 58494    19 (2 packets)
2023-11-17 20:19:13 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.127.196.43 136.243.178.173 47862    19 (1 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
104.28.158.25 136.243.XXX.170 60143    19 (4 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
57.128.26.251 136.243.178.173 33628    19 (2 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
198.57.27.73 136.243.XXX.170 48484    19 (3 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
2.147.169.60 136.243.178.173 48713    19 (1 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.120.245.78 136.243.XXX.170  6497    19 (2 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
104.28.158.216 136.243.XXX.170 35269    19 (4 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
45.15.177.165 136.243.XXX.170 44651    19 (3 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
135.148.76.178 136.243.XXX.170 12959    19 (5 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
104.28.155.159 136.243.XXX.170 60249    19 (1 packets)
2023-11-17 20:19:14 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
49.13.123.158 136.243.XXX.170 35470    19 (3 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
178.62.54.14 136.243.XXX.170 54417    19 (3 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
91.149.242.231 136.243.XXX.170 47194    19 (2 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.122.62.35 136.243.XXX.170 10355    19 (2 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
172.99.190.223 136.243.XXX.170 45868    19 (1 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.123.26.240 136.243.XXX.170 30966    19 (1 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
2.147.249.132 136.243.XXX.170 11275    19 (2 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
193.118.51.41 136.243.XXX.170 53241    19 (3 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
89.19.216.18 136.243.XXX.170 33042    19 (1 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
168.119.244.196 136.243.XXX.170 42524    19 (1 packets)
2023-11-17 20:19:15 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
104.28.158.17 136.243.178.173 14498    19 (2 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.113.148.218 136.243.XXX.170 29485    19 (2 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.122.159.10 136.243.XXX.170 20940    19 (3 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
5.115.72.7 136.243.XXX.170  7755    19 (2 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
46.143.47.234 136.243.178.173 52822    19 (3 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
108.61.211.36 136.243.XXX.170 38136    19 (1 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
2.147.66.131 136.243.178.173 12673    19 (2 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
54.36.189.115 136.243.XXX.170 22042    19 (1 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
49.13.59.165 136.243.XXX.170 51120    19 (4 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
104.28.158.22 136.243.XXX.170 24822    19 (1 packets)
2023-11-17 20:19:16 213.133.117.176 info local3 fpc3 PFE_FW_SYSLOG_ETH_IP:
FW: xe-3/1/18.100 D 0064:0800 a8:a1:59:8b:2a:ac -> b4:8a:5f:36:a4:5e  tcp
46.29.235.85 136.243.XXX.170 54588    19 (1 packets)
Wie kann ich das Verhindern??
Was ist die Ursache??
Datacenter FIrewall
1_Datacenter.png


Node pve Firewall
2_Node.png

VM pfSense Firewall
3_VM_pfSense.png

pfSense WAN Firewall
4_WAN Firewall Rules.png

pfSense NAT
5_NAT.png

pfSense Virtuelle IPs
6_Virtuelle_IPs_pfSense.png
 
Mit den Ips kann ich nichts anfangen,normalisier dochmal mit einer privaten range.

Bei mir funktioniert das so :
Code:
auto vmbr0
iface vmbr0 inet static
                  address 88.x.x.120
                  netmask 255.255.255.192
                  gateway 88.x.x.65
                  # route 88.x.x.64/26 via 88.x.x.65
                  up route add -net 88.x.x.64 netmask 255.255.255.192 gw 88.x.x.65 dev vmbr0
          bridge_ports enp4s0
          bridge_stp off
          bridge_fd 0
          hwaddress 38:d5:47:xx:xx:xx
Bridge, wie gehabt:
Code:
auto vmbr1
iface vmbr1inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
Wichtig: hwaddress ist das main-interface des Proxmox Servers, also enp4s0. Das ist wichig, da hetzner static arp, bzw. mac-acl auf dem switch hinterlegt.
Anschließend holst du dir für deine Zusätzlichen IPs eine "virtuelle MAC", kopierst diese und weist diese an das WAN interface deiner PfSense.
Die MAC kannst du in der Proxmox GUI einfach hinterlegen.
Dann konfigurierst du EINE deiner zusätzlichen Ips mit Gateway usw. als Haupt-Ip deiner Firewall und anschließend die zusätzlichen Ips als /32 ohne Gateway.

88.x.x.120 --> Liegt an der Proxmox-Node (nicht nutzbar für pfsense!)

Wenn du mehrere Server hast kannst du vxlan bei Hetzner bestellen, also "virtuelles v-lan" sogar über Rechenzentren, funktioniert bei mir super von bspw. FSN nach HEL. (Geht über dein WAN, also max ~1 GBit/s und ggf. hohe Latenz!)
Für Corosync, ZFS-Replikation und backups reicht es, auch Livemigrationen hauen hin =)
Code:
auto vmbr69
iface vmbr69 inet static
          address 10.0.69.5
          netmask 255.255.255.0
          bridge_ports enp4s0.4069 <--- 4069 == VLAN id aus dem Robot
          bridge_stp off
          bridge_fd 0
          hwaddress 38:d5:47:xx:xx:xx <---- Wieder die MAC vom haupt-interface, Wichtig !
          up route add -net 10.0.100.0 netmask 255.255.255.0 gw 10.0.69.2 dev vmbr69 <--- Eine Firewall mit VPN
          up route add -net 192.168.178.0 netmask 255.255.255.0 gw 10.0.69.1 dev vmbr69 <-- Ne andere Firewall mit VPN

P.S.
Hab die Leichenschändung erst eben gesehen, Big Sorry. Aber vielleicht hilft es ja jemand anderen irgendwie.
 
Last edited:
  • Like
Reactions: Kamik