[SOLVED] VM's nicht erreichbar

CBJ · Sep 4, 2024

Hallo Community,

wir wollen unsere derzeitigen VM's von VMware nach Proxmox umziehen. Das hat soweit auch alles funktioniert. Wir erhalten derzeit nur keine Verbindung vom Sprungserver zu unseren VM's. Die VMs hängen in verschiedenen VLANs. Wir nutzen auf der VMware Seite eine "VMware vSphere Distributed Switch".

Es funktioniert weder die Variante über die Linux Bridge --> VLAN Aware yes und das jeweilige VLAN in der Netzwerkconfig des Systems zu hinterlegen, noch über die SDN Variante. Wir würden auch langfristig gerne auf die SDN Variante setzen, da wir noch mehrere Hosts in die Proxmox Umgebung einbinden wollen.

Wir haben auch verschiedene Einstellungsmöglichkeiten vorgenommen, welche leider nicht erfolgreich waren.

Wir sind uns derzeit nicht sicher, ob für den erfolgreichen Umzug von VMware nach Proxmox noch weitere Anpassungen auf der Proxmox Seite durchzuführen sind oder es im Netzwerkbereich unterschiede gibt, das wir hier auf dem Switch / Firewall noch Anpassungen vornehmen müssen.

Die beiden VLANs wurden mit unterschiedlichen Configs zum testen angelegt. Leider waren beide nicht erfolgreich.

Vielleicht hatte jemand bereits ähnliche Probleme und hat hier einen Tipp für uns.

Vielen Dank vorab.

Hardware

Intel(R) Xeon(R) CPU E7-4809 v4 @ 2.10GHz
Intel(R) GbE 4P I350-t rNDC

interfaces

Code:

root@pve143:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!


auto lo
iface lo inet loopback


iface eno1 inet manual


iface eno2 inet manual


iface eno3 inet manual


iface eno4 inet manual


iface enp65s0f0 inet manual


iface enp65s0f1 inet manual


auto vmbr0
iface vmbr0 inet static
        address 192.168.0.143/24
        gateway 192.168.0.254
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094


source /etc/network/interfaces.d/*

sdn

Code:

root@pve143:~# cat /etc/network/interfaces.d/sdn
#version:39


auto VLAN200
iface VLAN200
        bridge_ports vmbr0.200
        bridge_stp off
        bridge_fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094


auto VLAN202
iface VLAN202
        bridge_ports vmbr0.202
        bridge_stp off
        bridge_fd 0

Output Netzwerkinterface (ohne das VLAN 202):

Code:

root@pve143:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute
       valid_lft forever preferred_lft forever
2: eno1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
    link/ether 24:6e:96:4e:1e:b4 brd ff:ff:ff:ff:ff:ff
    altname enp1s0f0
3: eno2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 24:6e:96:4e:1e:b5 brd ff:ff:ff:ff:ff:ff
    altname enp1s0f1
4: eno3: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 24:6e:96:4e:1e:b6 brd ff:ff:ff:ff:ff:ff
    altname enp1s0f2
5: eno4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 24:6e:96:4e:1e:b7 brd ff:ff:ff:ff:ff:ff
    altname enp1s0f3
6: enp65s0f0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether a0:36:9f:df:61:48 brd ff:ff:ff:ff:ff:ff
7: enp65s0f1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether a0:36:9f:df:61:49 brd ff:ff:ff:ff:ff:ff
8: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 24:6e:96:4e:1e:b4 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.143/24 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::266e:96ff:fe4e:1eb4/64 scope link
       valid_lft forever preferred_lft forever
19: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN group default qlen 1000
    link/ether 82:3e:d6:d5:f6:3b brd ff:ff:ff:ff:ff:ff
30: vlan200: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 24:6e:96:4e:1e:b4 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::266e:96ff:fe4e:1eb4/64 scope link
       valid_lft forever preferred_lft forever
34: vmbr0.200@vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vlan200 state UP group default qlen 1000
    link/ether 24:6e:96:4e:1e:b4 brd ff:ff:ff:ff:ff:ff
36: tap101i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vlan200 state UNKNOWN group default qlen 1000
    link/ether 6e:99:a1:08:21:0e brd ff:ff:ff:ff:ff:ff

Falk R. · Sep 4, 2024

CBJ said:
Hallo Community,

wir wollen unsere derzeitigen VM's von VMware nach Proxmox umziehen. Das hat soweit auch alles funktioniert. Wir erhalten derzeit nur keine Verbindung vom Sprungserver zu unseren VM's. Die VMs hängen in verschiedenen VLANs. Wir nutzen auf der VMware Seite eine "VMware vSphere Distributed Switch".

Es funktioniert weder die Variante über die Linux Bridge --> VLAN Aware yes und das jeweilige VLAN in der Netzwerkconfig des Systems zu hinterlegen, noch über die SDN Variante. Wir würden auch langfristig gerne auf die SDN Variante setzen, da wir noch mehrere Hosts in die Proxmox Umgebung einbinden wollen.

Das SDN Setup ist dem vSphere Distributed Switch sehr ähnlich.

CBJ said:
Wir haben auch verschiedene Einstellungsmöglichkeiten vorgenommen, welche leider nicht erfolgreich waren.

Wir sind uns derzeit nicht sicher, ob für den erfolgreichen Umzug von VMware nach Proxmox noch weitere Anpassungen auf der Proxmox Seite durchzuführen sind oder es im Netzwerkbereich unterschiede gibt, das wir hier auf dem Switch / Firewall noch Anpassungen vornehmen müssen.

Die beiden VLANs wurden mit unterschiedlichen Configs zum testen angelegt. Leider waren beide nicht erfolgreich.

Vielleicht hatte jemand bereits ähnliche Probleme und hat hier einen Tipp für uns.

Vielen Dank vorab.

Hardware

Intel(R) Xeon(R) CPU E7-4809 v4 @ 2.10GHz
Intel(R) GbE 4P I350-t rNDC

View attachment 74206

Erst einmal ohne SDN testen und die NIC auf vmbr0 connecten, sowie das VLAN Tag bei der vNIC angeben.
Wenn das nicht geht, passt beim Tagging des Switches etwas nicht.

CBJ said:
View attachment 74207

View attachment 74208

Bei den jeweiligen VNets, bitte kein VLAN Aware anklicken, da du hier untagged das eine VLAN nutzen willst.

CBJ said:
View attachment 74209

Subnetzte musst du nicht anlegen, außer du willst z.B. DHCP IPs verteilen.

CBJ said:
View attachment 74210

Da der Rest normal aussieht, vermute ich einen Konfigurationsfehler auf Switchseite.

CBJ · Sep 5, 2024

Hi,

vielen Dank schon mal für deine schnelle Antwort und für die Tipps im Bezug auf die Einstellungen.

Wir haben am Netz selbst nur keine Anpassungen vorgenommen. Wir haben den ESXi heruntergefahren und auf dem gleichen System Proxmox installiert. Der ESXi zuvor hatte mit den VLANs funktioniert.

Arbeitet Proxmox hier eventuell anders das noch weitere Einstellungen vorgenommen werden müssen?

Wenn wir die SDN Variante nutzen, muss zwingend unter Netzwerkkarte bei der Bride das VLAN ausgewählt werden?

Eine Neuinstallation mit dem aktuellen ISO hat nicht geholfen. Wir haben jetzt auch die einfache Variante versucht, das wir das VLAN Tag für das jeweilige System selber hinterlegen. War auch nicht erfolgreich. Eigentlich passt das doch so oder bedenken wir hier etwas nicht?

Vielen Dank vorab schon mal für deine Unterstützung.

Code:

auto lo
iface lo inet loopback


iface eno1 inet manual


iface eno2 inet manual


iface eno3 inet manual


iface eno4 inet manual


iface enp65s0f0 inet manual


iface enp65s0f1 inet manual


auto vmbr0
iface vmbr0 inet static
        address 192.168.0.143/24
        gateway 192.168.0.254
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094


source /etc/network/interfaces.d/*

Falk R. · Sep 5, 2024

Also das ganz simple Setup muss gehen und ich habe schon einige ESXi zu PVE umgebaut. Das Netzwerk hat immer wie konfiguriert funktioniert.
Hattet ihr aus dem DV-Switch LACP im Einsatz oder andere Einstellungen? Existiert das vCenter noch, dass man sich die Konfiguration einmal anschauen könnte?

CBJ · Sep 5, 2024

Wir haben kein LACP im Einsatz. vCenter wäre verfügbar. Welche Informationen würdest du benötigen?

Falk R. · Sep 5, 2024

Am besten die komplette Konfiguration des DV Switches. Da man sehr viele Sachen konfigurieren kann, weiß ich nicht was bei euch konfiguriert ist.
Notfalls mal 3 Minuten zusammen drauf schauen.

CBJ · Sep 5, 2024

Hilft dir die Config im Anhang? Hast du vielleicht ein Befehl der dir die benötigen Daten anzeigt?

Falk R. · Sep 5, 2024

CBJ said:
Hilft dir die Config im Anhang? Hast du vielleicht ein Befehl der dir die benötigen Daten anzeigt?

View attachment 74293

Wie sind denn die Uplinks konfiguriert?

CBJ · Sep 5, 2024

Das schaut bei uns so aus:

kein SR-IOV, kein CDP, kein LLDP

Falk R. · Sep 5, 2024

CDP und LLDP helfen dir nur zu erkennen wo was angeschlossen ist und daher mache ich immer gern LLDP an.
Wie ist denn der Uplink definiert? auf dem DV Switch? Warum habt ihr 4 Uplinks definiert und alle Netzwerkkarten auf einen Uplink genommen?

CBJ · Sep 10, 2024

Hallo Falk, Hallo Community,

wir konnten das Problem mit Falk telefonisch beheben. Vielen Dank dafür auch nochmal über diesen Weg

Hintergrund war bei uns, das wir davon ausgegangen sind, nur ein physikalisches Interface zu haben. Es waren aber tatsächlich auf dem VMware Seite bereits 2. Dadurch ist der Traffic auf der Proxmox Seite zu den VM's nicht durchgegangen.

Das zweite Interface ist auch nicht automatisch online bei der Installation online gegangen. Es musste also händisch online gesetzt werden, eine zweite Bridge auf dieses Interface gesetzt werden. Damit waren die VMs für uns direkt ohne irgendwelche reboots erreichbar. VLAN-Aware ist bei beiden Bridges aktiviert.

So schauen dann die Einstellungen bei uns aus:

Vielen Dank nochmal Falk das du uns hier so unterstützt hast

Falk R. · Sep 10, 2024

Auf der ersten Bridge kannst du das VLAN Aware ausmachen, da ist nur das Management VLAN drauf

Search

Search

[SOLVED] VM's nicht erreichbar

CBJ

New Member

Falk R.

Distinguished Member

CBJ

New Member

Falk R.

Distinguished Member

CBJ

New Member

Falk R.

Distinguished Member

CBJ

New Member

Attachments

Falk R.

Distinguished Member

CBJ

New Member

Falk R.

Distinguished Member

CBJ

New Member

Falk R.

Distinguished Member