[SOLVED] Datacenter - eine wkst mag das LAN nicht wirklich

[pro-ite]

Hallo, ich habe hier ein 7ner PVE Datacenter mit drei identischen Maschinen (Lenovo, 12C, 32G, 2x512GB SSDs, 10+1G, pve-manager/7.0-11/63d82f4e). Das hat auch mal kurz (wenige Tage) funktioniert.
Nach einem reboot kann niemand im Netz wkst02 erreichen, wkst02 läßt sich aber über die GUI von wkst01 (+3) managen. Wie auch immer. Über die >_ Shell kann ich komischerweise "einige" (nicht recht definierbar) IP-Adressen pingen, andere nicht. Beim Vergleich der "ip a "-Ausgabe ist mir aufgefallen, dass wkst01+03 folgende Zeilen zeigt, die bei wkst02 fehlen:

1-4 sind identisch (außer natürlich MAC- und IP-Adresse)
5: tap108i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr108i0 state UNKNOWN group default qlen 1000
link/ether be:c6:b9:78:48:fa brd ff:ff:ff:ff:ff:ff
6: fwbr108i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 1e:81:d4:5b:d4:26 brd ff:ff:ff:ff:ff:ff
7: fwpr108p0@fwln108i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP group default qlen 1000
link/ether 5e:f6:fe:83:46:45 brd ff:ff:ff:ff:ff:ff
8: fwln108i0@fwpr108p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr108i0 state UP group default qlen 1000
link/ether 72:b0:36:55:80:20 brd ff:ff:ff:ff:ff:ff

In /etc rekursiv konnte ich dazu keine Einstellungen finden.
...
Während ich gewartet habe "Awaiting approval before being displayed publicly." hab ich mal n diff auf "iptables -L" gemacht. Uups, da fehlt ne ganze Menge.

Wer baut denn die Scripte?

root@wkst01:/var/lib/pve-firewall# ls -l
total 28
-rw-r--r-- 1 root root 380 Aug 22 21:22 ebtablescmdlist
-rw-r--r-- 1 root root 15 Aug 22 21:22 ip4cmdlist
-rw-r--r-- 1 root root 12 Aug 22 21:22 ip4cmdlistraw
-rw-r--r-- 1 root root 15 Aug 22 21:22 ip6cmdlist
-rw-r--r-- 1 root root 12 Aug 22 21:22 ip6cmdlistraw
-rw-r--r-- 1 root root 446 Aug 22 21:22 ipsetcmdlist1
-rw-r--r-- 1 root root 0 Aug 22 21:22 ipsetcmdlist2
-rw-r--r-- 1 root root 1 Aug 22 14:24 log_nf_conntrack
root@wkst01:/var/lib/pve-firewall# cat ebtablescmdlist
*filter
:FORWARD ACCEPT
:INPUT ACCEPT
:OUTPUT ACCEPT
VEFW-FORWARD ACCEPT
VEFW-FWBR-OUT ACCEPT
:tap108i0-OUT ACCEPT
-A FORWARD -j PVEFW-FORWARD
-A PVEFW-FORWARD -p IPv4 -j ACCEPT
-A PVEFW-FORWARD -p IPv6 -j ACCEPT
-A PVEFW-FORWARD -o fwln+ -j PVEFW-FWBR-OUT
-A PVEFW-FWBR-OUT -i tap108i0 -j tap108i0-OUT
-A tap108i0-OUT -s ! aa:c9:7c:59:85:37 -j DROP
-A tap108i0-OUT -j ACCEPT
root@wkst01:/var/lib/pve-firewall#

Da fehlen vier Zeilen:

root@wkst02:/var/lib/pve-firewall# ls -l
total 28
-rw-r--r-- 1 root root 240 Aug 22 21:21 ebtablescmdlist
-rw-r--r-- 1 root root 15 Aug 22 21:21 ip4cmdlist
-rw-r--r-- 1 root root 12 Aug 22 21:21 ip4cmdlistraw
-rw-r--r-- 1 root root 15 Aug 22 21:21 ip6cmdlist
-rw-r--r-- 1 root root 12 Aug 22 21:21 ip6cmdlistraw
-rw-r--r-- 1 root root 446 Aug 22 21:21 ipsetcmdlist1
-rw-r--r-- 1 root root 0 Aug 22 21:21 ipsetcmdlist2
-rw-r--r-- 1 root root 1 Aug 22 15:47 log_nf_conntrack
root@wkst02:/var/lib/pve-firewall# cat ebtablescmdlist
*filter
:FORWARD ACCEPT
:INPUT ACCEPT
:OUTPUT ACCEPT
VEFW-FORWARD ACCEPT
VEFW-FWBR-OUT ACCEPT
-A FORWARD -j PVEFW-FORWARD
-A PVEFW-FORWARD -p IPv4 -j ACCEPT
-A PVEFW-FORWARD -p IPv6 -j ACCEPT
-A PVEFW-FORWARD -o fwln+ -j PVEFW-FWBR-OUT
root@wkst02:/var/lib/pve-firewall#

Jemand ne Idee, wie so etwas passieren kann, bzw. wie (außer manuellen Transfer der Daten) ich das "reparieren" kann?

 

[Stoiko Ivanov]

5: tap108i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr108i0 state UNKNOWN group default qlen 1000
link/ether be:c6:b9:78:48:fa brd ff:ff:ff:ff:ff:ff
6: fwbr108i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 1e:81:d4:5b:d4:26 brd ff:ff:ff:ff:ff:ff
7: fwpr108p0@fwln108i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP group default qlen 1000
link/ether 5e:f6:fe:83:46:45 brd ff:ff:ff:ff:ff:ff
8: fwln108i0@fwpr108p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr108i0 state UP group default qlen 1000
link/ether 72:b0:36:55:80:20 brd ff:ff:ff:ff:ff:ff

das sind die virtuellen interfaces, die für VM 108 erstellt wurden. - wenn keine VM auf einer node läuft gibt es diese interfaces auch nicht.

Shell kann ich komischerweise "einige" (nicht recht definierbar) IP-Adressen pingen, andere nicht.

Möglicherweise eine doppelt vergebene IP? (das würde das teilweise erklären).

 

[pro-ite]

Hallo Stoiko,
okay, das mit den virtuellen Interfaces hab ich verstanden, ist logisch.
Doppelte IP trifft es leider nicht. Die IP-Adressen sind streng mit IP/MAC-Bindung vergeben. Deswegen ist es für mich auch so unlogisch. Kein Maskenfehler oder sonstige Konfiguration deutet darauf hin, dass da ne partielle Amnesie herrscht. Wir haben selbstverständlich Support/Subsciptions auf den Maschinen. Trotzdem dachte ich, dass ich hier ähnliche Situationen wieder treffe.

 

[Stoiko Ivanov]

Hmm - naja - dann würde ich als nächstes folgendes machen:
* firewall auf allen nodes temporär stoppen - `systemctl stop pve-firewall`
* verifizieren dass in `iptables-save` keine regeln mehr sind
* die /etc/network/interfaces zwischen den nodes vergleichen
* das output von `pveversion -v` auf den nodes vergleichen

Ich hoffe das hilft!

 

[pro-ite]

Fehler gefunden. Im Switch war n Port-Aggregation falsch aktiviert. Danke für die Hilfe.