[SOLVED] SDN Probleme / Konfiguration

[tmdnw]

Hi zusammen,

ich hab richtig spannende Probleme mit meiner SDN Konfig, ich bin völlig am Anfang ohne viel Vorkenntnisse. Das Szenario

Ich habe 3 HA Cluster, darauf befindet sich eine OPNSense VM und dahinter soll eine Windows VM, die OPNSense soll mal eine öffentliche IP bekommen.

Dazu habe ich im SDN eine vxlan Zone erstellt, auf der VXLAN Zone ein Netzwerk mit einem VLAN Tag. Auf meinen Hostadaptern ist VLANaware aktiviert.

Jetzt wirds richtig wild: wenn ich 2 Rechner mit Windows in diesem Netzwerk habe, kann ich untereinander Problemlos drauf zugreifen, wenn ich versuche die OPNsense zu erreichen geht ping und trace durch, aber die Weboberfläche hat kein bock.

Außerdem habe ich jetzt sporadisch Internet. Google geht / Bing geht - Advanced ip Scanner webseite nicht.

Habt ihr Ideen?

Danke!

 

[shanreich]

Wie sieht der Output der folgenden Commands aus?

cat /etc/pve/sdn/*
cat /etc/network/interfaces.d/*
cat /etc/network/interfaces

Wie sieht die Netzwerkkonfig auf den Windows-Rechnern aus?
Wie sehen die VM Configs der Maschinen aus? qm config <vmid>

Bitte alles in CODE-Tags posten, zwecks lesbarkeit.

 

[tmdnw]

moment

 

[tmdnw]

cat /etc/pve/sdn/*
cat /etc/network/interfaces.d/*
cat /etc/network/interfaces
subnet: nwcloud-192.168.1.0-24
        vnet test
        gateway 192.168.1.1
        snat 1

vnet: test
        zone nwcloud
        alias test
        tag 500

vxlan: nwcloud
        peers 192.168.61.4,192.168.61.5,192.168.61.6
        ipam pve
        mtu 1460

#version:33

auto test
iface test
        bridge_ports vxlan_test
        bridge_stp off
        bridge_fd 0
        mtu 1460
        alias test

auto vxlan_test
iface vxlan_test
        vxlan-id 500
        vxlan_remoteip 192.168.61.4
        vxlan_remoteip 192.168.61.5
        mtu 1460
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

auto eno1np0
iface eno1np0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual

auto eno2np1
iface eno2np1 inet manual

iface enxbe3af2b6059f inet manual

auto enp97s0f0
iface enp97s0f0 inet manual

auto enp1s0f0
iface enp1s0f0 inet manual

auto enp97s0f1
iface enp97s0f1 inet manual

auto enp97s0f2
iface enp97s0f2 inet manual

auto enp97s0f3
iface enp97s0f3 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves eno1np0 eno2np1
        bond-miimon 100
        bond-mode 802.3ad
#2x10GBIT ONBOARD

auto bond1
iface bond1 inet manual
        bond-slaves enp97s0f0 enp97s0f1 enp97s0f2 enp97s0f3
        bond-miimon 100
        bond-mode 802.3ad
#CEPH 4X 10GBIT

auto bond2
iface bond2 inet manual
        bond-slaves enp1s0f0 enp1s0f1
        bond-miimon 100
        bond-mode 802.3ad
#2x 10GBIT PCIE

auto vmbr0
iface vmbr0 inet static
        address 192.168.61.6/24
        gateway 192.168.61.1
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
#2x 10GBIT ONBOARD

auto vmbr1
iface vmbr1 inet static
        address 192.168.81.6/24
        bridge-ports bond1
        bridge-stp off
        bridge-fd 0
#4x 10GBIT CEPH BOND

auto vmbr2
iface vmbr2 inet manual
        bridge-ports bond2
        bridge-stp off
        bridge-fd 0
#2x 10GBIT PCIE

source /etc/network/interfaces.d/*
root@hanode03:~# ^C
root@hanode03:~#

 qm config 101
boot: order=scsi0;ide2
cores: 2
cpu: x86-64-v2-AES
ide2: local:iso/OPNsense-24.1-dvd-amd64.iso,media=cdrom,size=1936730K
memory: 4096
meta: creation-qemu=8.1.5,ctime=1721904467
name: firewall
net1: virtio=BC:24:11:77:FF:D3,bridge=vmbr0
net2: virtio=BC:24:11:55:B8:4B,bridge=test
numa: 0
onboot: 1
ostype: l26
scsi0: ceph01:vm-101-disk-0,iothread=1,size=12G
scsihw: virtio-scsi-single
smbios1: uuid=acbc460c-5e55-4334-8cee-837a66726c36
sockets: 1
vmgenid: 1171d679-6a6f-4fd2-a948-c702efa8b13f

qm config 105
agent: 1
bios: ovmf
boot: order=ide0;ide1
cores: 4
cpu: host
efidisk0: ceph01:vm-105-disk-0,efitype=4m,pre-enrolled-keys=1,size=528K
ide0: ceph01:vm-105-disk-1,cache=writeback,discard=on,size=100G
machine: pc-q35-8.1
memory: 16384
meta: creation-qemu=8.1.5,ctime=1721900605
name: server
net1: virtio=BC:24:11:45:A2:09,bridge=test
numa: 0
onboot: 1
ostype: win11
scsihw: virtio-scsi-pci
smbios1: uuid=e800e8f7-1a6f-48bb-b115-600ee51fd3fa
sockets: 1
tpmstate0: ceph01:vm-105-disk-2,size=4M,version=v2.0
vmgenid: f3992106-b6d8-449d-b2fa-cb5b2b27a69b

 

[shanreich]

Habe mir die Konfiguration angesehen, mir fällt da nicht direkt was auf. Hast du mal probiert auf der OPNsense zu tcpdumpen um zu sehen ob der Traffic zu den Webseiten, die nicht funktionieren, durchgeht?

Wie sieht die Netzwerkkonfiguration innerhalb der VMs aus? Sowohl OPNsense als auch WIndows

 

[tmdnw]

Das Problem waren die MTUs, ich hab auf Jumboframes umgestellt und es ging sofort. Den beschnitt durch VXLAN von 40 hatte ich wohl berücksichtigt, aber zum einen nicht überall, zum anderen was auch immer.

Man muss in den Adaptern ja 1460 (oder 50?) manuell einstellen, hier wurde exakt der SSL Bereich abgeschnitten, deshalb gingen auch Google / Suchmaschinen.

 

[tmdnw]

Das war leider nicht das Problem, das Problem besteht nach wie vor. Ich hab mittlerweile alles auf Jumboframes nach Angaben vom Inett Support umgestellt 8900, keine besserung. Das interne VLAN Tagging hatte ich auch mal getestet, da geht auch nix. 9220 auch nix.

Die Webseiten laden über einen unendlichen Zeitraum irgendwann - sobald die Server (vFirewall und Server) sich auf dem selben Host befinden läuft es astreint. D.h. es muss ja eig. ein Geräte dazwischen das Problem sein.

 

[tmdnw]

Jetzt hab ichs doch gefunden: 9220 hat in der SDN Konfig gefehlt. Jetzt läufts.

 

[tmdnw]

Korrigiere: 9160 muss es sein, sonst geht das CEPH flöten.

 

[Falk R.]

Das ist aber kein Default. Welche Protokolle nutzt du, dass du so große Frames brauchst. P.S. Ceph mit VXLAN ist eine ganz schlechte Idee, falls du das nutzt.