Ping funktioniert nur im vollständigem aktivem Cluster

[smilebasti]

Guten Tag, ich habe ein Cluster mit drei Nodes aufgesetzt.
Mein Problem ist jetzt das dass Kommando: ping nicht funktioniert wenn ein aktiver Node angepingt wird aber ein andere Node down ist.

Also Server1 mein Hauptserver soll Server2 anpingen. Das funktioniert wenn Server3 auf online ist. Wenn Server3 aber ausfällt dann funktioniert der Ping zwischen 1 und 2 auch nicht mehr. Auch von einem externem Computer funktioniert dann der Ping zu S1 nicht mehr obwohl dieser online ist. (Cluster funkioniert aber trotzdem weiter und ist nicht betroffen).

Woran könnte das liegen?

Vielen Dank schon mal im voraus.

 

[Stoiko Ivanov]

Wie sieht denn das Netzwerksetup aus? Wo hängen die Nodes dran - ist proxy_arp aktiviert?

Wo zeigt der ARP entry von Server 2 auf Server 1 hin?

Sonst würde ich vorschlagen mal mit tcpdump den traffic in beiden Fällen auf allen nodes mal zu monitoren.

Ich hoffe das hilft!

 

[smilebasti]

Es ist bisher nur die Standardinstallation mit jeweils einem Lan-Kabel pro Server mit einem Switch.
Ich habe nichts an den Netzwerkeinstellungen geändert.

Außerdem glaube ich auch nicht das etwas mit den Einträgen nicht stimmt da es ja funktioniert wenn alle Nodes online sind.

Worauf sollte ich bei tcpdump achten? Also welche besonderen Vorkommnisse?

Ich sehe in meinem Grafana Dashboard das dieses nur aufzeichnet wenn alle Nodes online sind. Deswegen bin ich auf das problem gekommen das der Befehl"ping" nicht funktioniert wenn ein Node offline geht.

 

[Stoiko Ivanov]

sicher, dass es nicht eine duplicate IP in dem Netzwerk gibt?

wie sehen die neighbor tables aus, wenn der server up ist und wenn er weg ist
kann es potentiell am switch liegen?

tcpdump -s0 -w /tmp/test.pcap -envi vmbr0 laufen lassen während der tests und nachher das file /tmp/test.pcap mit wireshark ansehen (da stehen viele Anomalien schon farblich hervor)

 

[Christian D.]

Hallo,
läuft der DNS sauber? Oder setzt du den Ping auf die IP ab?

 

[smilebasti]

Ich verwende eine FritzBox als mein DHCP Server auch für jede vm/lxc in Proxmox. Diese vergibt keine Adresse doppelt.

Der Switch ist ein ein unmanaged Switch wo ich nichts einstellen kann. An den neighbor tabels hab ich nichts verändert und sollte somit Standardwerte haben.

Das einzig auffällige von tcpdump war: "Who has 192.168.20.9? Tell 192.168.20.5" und ein weiters mal "...? Tell 192.168.20.100".
192.168.20.9 ist der server im cluster welcher down ist. Die anderen zwei IP-Adressen sind die zwei Server welche online sind. Ein gleiches Ergebnis bekomme ich wenn ich einen anderen Server herunterfahre und dafür .9 wieder hochfahre.

Der Ping läuft nur im heimischen Netz direkt auf eine IP.

 

[Stoiko Ivanov]

Der Switch ist ein ein unmanaged Switch wo ich nichts einstellen kann. An den neighbor tabels hab ich nichts verändert und sollte somit Standardwerte haben.

in der neighbor table stehen die arp entries drinnen, welche gelernt werden - deswegen meine frage was der host lernt zu den IPs wenn sie erreichbar sind/was wenn nicht

`ip neigh`
ist das kommando zum anzeigen des tables

 

[smilebasti]

Ah Danke.

.11 ist ein Server der das Cluster verlassen hat
.9 ist der Server welcher im Cluster offline ist
.100 ist der 2. Server

Alle anderen gelisteten IP-6 sind in: Stale

 

[Stoiko Ivanov]

.11 ist ein Server der das Cluster verlassen hat

heisst das dass .11 ausgeschalten ist?

.9 ist der Server welcher im Cluster offline ist

heisst das dass .9 noch laeuft aber nicht pingbar ist?

.100 ist der 2. Server

hier sollte der ping funktionieren

Ich würde auf Verdacht mal einen anderen switch versuchen - wenn das setup relativ simpel ist (alle server haben nur eine NIC konfiguriert und diese ist mit einem kabel am switch angesteckt) - bleiben wenig andere Möglichkeiten - wenn alle im selben subnetz sind

 

[smilebasti]

.11 ist nicht mehr am Netz (Strom und LAN)
.9 ist heruntergefahren aber teil des Clusters
.100 ist der 2. Server im Cluster welcher online ist aber nicht pingbar wenn .9 heruntergefahren ist

Ich besitze keinen anderen Switch und habe derzeit kein Subnetz für die Server aufgebaut.

(alle server haben nur eine NIC konfiguriert und diese ist mit einem kabel am switch angesteckt)

So ist es aufgebaubt.

Ich glaube immer noch das es an dem Cluster liegt da es ja funktioniert wenn Server .9 online ist.

 

[Stoiko Ivanov]

das funktionieren eines pings hat initial sehr wenig mit dem clusterstack von pve zu tun.
(wenn ein ping nicht funktioniert und es nicht an irgendwelchen firewall regeln liegt wir normalerweise auch die clusterkommunikation nicht funktionieren)

.100 ist der 2. Server im Cluster welcher online ist aber nicht pingbar wenn .9 heruntergefahren ist

* welche mac-addresse steht in der neighbor-table (des servers von dem aus der ping versucht wird) bei der .100? - ist das auch die mac-addresse die die NIC im server hat?
* verlassen die ping-pakete den server von dem aus der ping versucht wird?
* kommen ping-pakete beim .100 an?

 

[smilebasti]

Ich bin nicht aufgrund dieses Projekts darauf gekommen das der Ping nicht funktioniert da dieses auch nicht mehr funktioniert hat wenn ein Node down ist. (https://github.com/znerol/prometheus-pve-exporter) Deswegen vermutete ich auch das dies nicht nur an Ping liegt.

Wenn ich versuche von .100 - .5 zu pingen funktioniert das auch nicht. Auch von einem Externen gerät funktioniert der Ping nicht mehr sobald ein Node down ist.

* welche mac-addresse steht in der neighbor-table (des servers von dem aus der ping versucht wird) bei der .100? - ist das auch die mac-addresse die die NIC im server hat?

Die Mac-Adresse ist die gleiche.

* verlassen die ping-pakete den server von dem aus der ping versucht wird?
* kommen ping-pakete beim .100 an?

Mit TCPDump auf .100 hat es folgendes aufgezeichnet im Bezug auf Ping:
192.168.20.5 192.168.20.100 ICMP 98 Echo (ping) request id=0x50a4, seq=2/512, ttl=64 (no response found!)

 

[Stoiko Ivanov]

sind firewall regeln aktiv?
(iptables -nvL)

 

[smilebasti]

Ja sind welche aber nur meine eigenen. Nicht diese https://pve.proxmox.com/wiki/Firewall#_ports_used_by_proxmox_ve

Eine VM-Live-Migration welche laut der Liste ports 60000-60050 verwenden hat bei mir ohne eine Freigabe funktioniert während der dritte Server offline war. (falls das hilfreich sein kann)

Konfiguriert habe ich diese Port-freigaben nur über die GUI.

 

[Stoiko Ivanov]

Bitte mal die firewall disablen (ein Stück weniger Komplexität)

 

[smilebasti]

Ich habe die Firewall deaktiviert gehabt und der Ping hat funktioniert. Leider hat das Grafana Dashboard trotzdem nicht funktioniert.