Mysteriöser Traffic auf VMs

[PG1987]

Hallo Zusammen,

ich bin Ratlos. Ich habe seit gestern plötzlich auf den meisten VMs einen hohen Traffic. Das merkwürdige ist, das es zwischen 2 Nodes aus dem Cluster ist. Wenn ich in iftop schaue sehe ich 99% Netzwerkauslastung zwischen zweit Nodes. Wie geht das?

Ich habe eine Ceph Cluster mit 4 Nodes.
Jeder Node hat 2x 10Gbit. Ceph, Backup und Coro läuft auf Karte 2, und die Bridge auf Karte 1.

Ich habe KEINE Ansätze wieso das so ist. Ich habe in meiner Verzweiflung schon nen Reboot der Nodes gemacht. Leider Erfolglos - das war ja zu erwarten.

Ich habe aktuell keinen Ansatz wo ich suchen soll... Habt Ihr Ideen?

Viele Grüße!

 

[Guillaume Delanoy]

Hallo,

# netstat (oder ss) -laputn
auf die jeweiligen Nodes kann dich bestimmt auf die Spur bringen, oder auch nethogs wenn du das installieren kannst.

Grüße,

GD

 

[Falk R.]

Wenn du nur 10 GBit hast, könnte ein Rebalance oder ein Ausfall einer Disk dein Netzwerk voll auslasten, worauf die VMs träge werden.

 

[PG1987]

Wenn du nur 10 GBit hast, könnte ein Rebalance oder ein Ausfall einer Disk dein Netzwerk voll auslasten, worauf die VMs träge werden.

Da hast du etwas falsch verstanden, oder ich habe mich unklar ausgedrückt.

Die VMs sind nicht nur träge, es ist Traffic VON den Nodes in IFTOP zu sehen. Ich gehe also in eine VM, gebe dort "iftop" ein und sehe dort Traffic von Node2 -> Node3... Das sollte in der VM nicht zu sehen sein. Merkwürdig ist auch, das die VM nur bis zu Ihrer Begrenzung voll ausgelastet ist. Hat die VM 10Mbit, ballert dieser Traffic mit 10Mbit ... und das ist auf fast jeder VM zu beobachten.

Noch ein kurzes Update: der Traffic scheint nur eingehend zu sein. Und der Traffic auf der Netzwerkkarte vom Host ist nicht einmal mit 1Gbit ausgelastet. Die Karte für die Bridge mit 100-300Mbit maximal, und die Karte für Ceph mit ~700Mbits.

 

[Falk R.]

Das klingt ja fast nach Broadcasts. Ist da irgend ein Gerät was massiv Broadcasts senden darf?

 

[PG1987]

Ich sehe einen Haufen ARP Requests im TCP Dump, pro Sekunde einige! Und auf beiden Interfaces. Ich weiß aber nicht ob das normal ist.

Ich bin eigentlich nicht der Fachmann dafür, musste das Cluster aber übernehmen weil der Kollege der das Betreute den Betrieb gewechselt hat. Daher bin ich froh wenn mir hier geholfen wird bis ein neuer Kollege da ist =)

 

[Falk R.]

Ich sehe einen Haufen ARP Requests im TCP Dump, pro Sekunde einige! Und auf beiden Interfaces. Ich weiß aber nicht ob das normal ist.

Ich bin eigentlich nicht der Fachmann dafür, musste das Cluster aber übernehmen weil der Kollege der das Betreute den Betrieb gewechselt hat. Daher bin ich froh wenn mir hier geholfen wird bis ein neuer Kollege da ist =)

Das hat auch nix mit Proxmox zu tun. Da ist eindeutig im Netzwerk etwas faul. ARP requests solltest du immer nur ein paar sehen und nicht so viele, dass es einen Link sättigt.
Siehst du die Quellip?