Proxmox liefert falsche MAC-Adresse nach ping

M

mzurhorst

Member
Jun 22, 2022
19
2
8
Hallo zusammen.

Ich bin ziemlich frustriert nach gut 10 Stunden Kampf mit meiner Netzwerkkonfiguration und bekomme das Problem überhaupt nicht gelöst. Das Thema sollte eigentlich „einfach“ sein, und ich bin sehr unsicher, ob ich etwas grundlegend falsch mache oder ob irgendwo ein Bug vorliegt.
1773626545330.png
Ich versuche mal, das Bild zu erklären:
  1. Ich habe zwei Proxmox‑Server (nicht in einem Cluster): pve und pve2.
    Der erste Server „pve“ hostet meine OPNsense‑Firewall in einer VM. Er hat vier Netzwerkkarten.
  2. Port 1 ist mit dem DSL‑Modem verbunden
  3. Port 2 ist mit dem Switch verbunden
  4. Der zweite Server „pve2“ hostet mehrere Container/VMs. Er hat sechs Netzwerkkarten.
  5. NIC 2 ist in einer Bridge konfiguriert und mit dem Switch verbunden.
  6. Der WLAN‑Access‑Point ist ebenfalls mit dem Switch verbunden.
  7. Soweit funktioniert alles gut.

Heute wollte ich eine defekte HDD auf dem „pve“-Server reparieren und deshalb die OPNsense auf den „pve2“-Host verschieben. Dafür wollte ich ein „Notfall‑Netzwerk“ zwischen den beiden Servern und meinem Computer einrichten.

Idee:
Meinen Computer mit NIC 5 (enp6s0) auf dem pve2‑Server verbinden (rote Verbindung) und den pve‑Server mit NIC 6 (enp7s0). Beide NICs sollten in einer Bridge konfiguriert sein. Egal was schiefgeht, ich hätte dann immer Zugriff auf die Proxmox‑Ebene, indem ich meinem Computer eine feste IP gebe und das rote „Debug‑Kabel“ einstecke.

Ich kämpfe nun seit mehreren Stunden (mit Unterstützung von Gemini), aber komme nicht weiter:
  • Von pve zu pve2 habe ich mit dieser Konfiguration Zugriff (Ping, SSH).
  • Aber vom PC zu pve2 bekomme ich beim Ping nichts (sichtbares) zurück. (ich bekomme eine falsche MAC Adresse, siehe unten)
  • Ein tcpdump zeigt, dass anscheinend eine ARP‑Anfrage empfangen wird. Aber pve2 antwortet nie an den PC.
  • Ich habe die Bridge gelöscht und habe statische IPs ohne Bridge konfiguriert – mit verschiedenen IP‑Bereichen für NIC5 und NIC6 (so wie jetzt im Bild). Doch selbst damit funktioniert es nicht.
  • Mysteriöserweise: Auch wenn ich die ARP‑Tabellen auf pve2 und dem Windows‑11‑PC lösche, taucht nach jedem Ping eine falsche MAC‑Adresse (60:BE:B4:0A:0E:9F) in meiner ARP‑Tabelle auf.
  • Diese MAC‑Adresse gehört zur enp3s0‑Schnittstelle hinter vmbr2.
  • Ich habe verschiedene Einstellungen mit arp_ignore, arp_announce und arp_proxy getestet, aber ohne Erfolg. Ich habe wirklich keine Idee mehr, warum immer wieder eine falsche MAC‑Adresse in der ARP‑Tabelle meines Windows‑Rechners auftaucht.


Hier kann man das mal gut auf der Konsole beobachten. Nach dem Ping ist die falsche MAC wieder auf dem Windows-PC angekommen:

PS C:\WINDOWS\system32> arp -a 192.168.3.52
Schnittstelle: 192.168.3.100 --- 0xb
Internetadresse Physische Adresse Typ
192.168.3.5260-be-b4-0a-0e-9f dynamisch

PS C:\WINDOWS\system32> arp -d 192.168.3.52

PS C:\WINDOWS\system32> arp -a 192.168.3.52
Keine ARP-Einträge gefunden.

PS C:\WINDOWS\system32> ping 192.168.3.52
Ping wird ausgeführt für 192.168.3.52 mit 32 Bytes Daten:
Zeitüberschreitung der Anforderung.
Zeitüberschreitung der Anforderung.
Ping-Statistik für 192.168.3.52:
Pakete: Gesendet = 2, Empfangen = 0, Verloren = 2
(100% Verlust),
STRG-C

PS C:\WINDOWS\system32> arp -a 192.168.3.52
Schnittstelle: 192.168.3.100 --- 0xb
Internetadresse Physische Adresse Typ
192.168.3.5260-be-b4-0a-0e-9f dynamisch


Ich habe dann noch einen weiteren tcpdump, diesmal auf der bridge vmbr2, gemacht. Hier scheint das Problem zu liegen:

root@pve2:~# tcpdump -eni vmbr2 arp
21:44:21.324410 60:be:b4:0a:0e:9f > 2c:f0:5d:cf:90:8e, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Reply 192.168.3.52 is-at 60:be:b4:0a:0e:9f, length 28



Ich habe wirklich keine Idee mehr, warum immer wieder eine falsche MAC‑Adresse in der ARP‑Tabelle meines Windows‑Rechners auftaucht.
Was mischt denn vmbr2 da drin rum auf einem ganz anderen Port?


Nun habe ich das exakt gleiche Verhalten auch auf dem zweiten Proxmox Server:
Ich vergebe einer Schnittstelle eine fest IP auf einem freien Port, und beim Ping kommt dann eine MAC-Adresse von dem anderen Brigde-Port an.


Das scheint mir so nicht richtig zu sein.
Was meint ihr?

Danke & viele Grüße,
Marcus
 
Nachtrag: Hier ist noch die /etc/network/interfaces Datei.
Die ist von Server 1 statt Server 2, es ist aber exakt das gleiche Verhalten. Der Ping an einem Anschluss wird mit der MAC-Adresse der Bridge an einem anderen Anschluss beantwortet.

Code: 
root@pve:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# ....
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

auto enp1s0
iface enp1s0 inet manual
#OPNsense (PCIe pass-through for WAN)

auto enp2s0
iface enp2s0 inet manual
#OPNsense (LAN Trunk)

auto enp3s0
iface enp3s0 inet static
        address 192.168.3.50/24
#Emergency-Zugang für Proxmox

auto enp4s0
iface enp4s0 inet manual
#Notfall_neu in OPNsense

auto vmbr2
iface vmbr2 inet static
        address 192.168.1.50/24
        gateway 192.168.1.1
        bridge-ports enp2s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 10-100
#andere Netze hinter OPNsense

auto vmbr2.10
iface vmbr2.10 inet static
        address 192.168.10.50/24
#VLAN10 (DMZ)

auto vmbr2.20
iface vmbr2.20 inet static
        address 192.168.20.50/24
#VLAN20 (HomeAutomation)

auto vmbr4
iface vmbr4 inet static
        address 192.168.4.50/24
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0
#Emergency Bridge in OPNsense

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp1s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
#OPNSense WAN Bridge

root@pve:~#
 
Ist der Aufwand für den tausch der HDD nicht übertrieben?
Wenn von allen VM auf pve ein Backup vorhanden ist, kiste runterfahren, HDD tauschen, kiste hoch und ggf einbinden.
Der kurze Internetausfall ist doch zu verschmerzen.

Ist dein router zum zeitpunkt des notfallnetzes bereits down? Hast den Arp cache in der firewall gelöscht?
 
Last edited:
  • Like
Reactions: Johannes S
Hallo ThoSo.

Vergessen wir das mit der HDD doch mal kurz. Ich möchte parallel zu meinem wunderbar funktionierenden Produktivnetz noch einen zweiten Zugang haben zu meinem Server. Eine "Direktleitung".

Ich habe einen Port am Proxmoxserver, und ich habe eine fest IP vergeben. Auf der Gegenseite beim Win11 Client das gleiche.
Dennoch bekomme ich beim Ping eine falsche MAC-Adresse zurück. Dafür möchte ich die Ursache verstehen.


Meiner Meinung nach sollte sich das so doch auch jederzeit parallel betreiben lassen können:
  1. vom PC über WLAN, OPNsense und die vmbr2 bis auf den Server 2 drauf. (Client im VLAN30 mit 192.168.30.150 auf Server 2 im untagged Netz 192.168.1.52).
  2. vom PC über LAN-Kabel direkt auf den Server 2 drauf (Client mit fester IP 192.168.3.100 auf Server mit im untagged Netz 192.168.3.52)
  3. die Metrik der Interfaces in Windows ist für das LAN-Kabel niedriger. Dieses wird nur eingesteckt, wenn ich den Zugang brauche

Das Lustige ist: Ich habe mir vor 2 Jahren eine 2 Seiten lange Anleitung geschrieben mit Screenshots geschrieben, wie ich im Notfall vorgehen muss, falls mal etwas nicht stimmen sollte. (IP Einstellungen in Windows, welche Ports gepatcht werden müssen im Schrank im Keller, Logins, ...). Diese Anleitung habe ich schon 1-2 benutzt, und bis dato funktionierte immer alles.
 
Last edited:
Oh mein Gott. Vergesst bitte den gesamten Thread, ich bin unfassbar unfähig :rolleyes:
Ich habe am Patch-Panel den falschen Port gepatcht, und dann mit der festen IP quasi "in dass Drucker-VLAN rein gerufen".

Es funktioniert alles, der Fehler lag komplett auf meiner Seite. Sehr ärgerlich.
 
  • Like
Reactions: UdoB
Danke für die Einsicht in dein Netzwerksetup!
Ja auch das Lernen von anderen Nutzzen will gelernt sein;
:cool:
 
You must log in or register to reply here.
Top Bottom
Back