[SOLVED] VM Backups auf NFS verursacht hohe Bandbreite auf allen Nodes

[JulianTie]

Guten Tag,
Wir haben ein Proxmox Cluster bestehend aus aktuell 2 Nodes a 4x1G Ports und einem Storage Server mit 4x1G Ports zusammen an einem EX3300 Angeschlossen.

Wir haben einen NFS Server auf dem Storage Server laufen in einem 192.168.0.0 Netz. Dieser ist als NFS Disk im Cluster eingebunden und auf allen Nodes verfügbar.

Nun zu unserer Problematik.
Wenn wir bei einer VM ein Backup Starten sehen wir via nload auf dem Node bei eno3 ausgehend 500Mbts, soweit alles okay.
Aber zeitgleich startend und aufhörend auch 500Mbts eingehend auf allen Nodes auf en01. Dies beeinflusst Natürlich unsere Kunden.

Woran kann das Liegen? Eine Idee die wir hatten, das PVE das Backup auf allen Nodes Sync. aber das sollte ja eigentlich nicht passieren, da dafür ja der Storage Server eingebunden ist.


pveversion -v
Node1

proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-6 (running version: 6.3-6/2184247e)
pve-kernel-5.4: 6.3-8
pve-kernel-helper: 6.3-8
pve-kernel-5.4.106-1-pve: 5.4.106-1
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.60-1-pve: 5.4.60-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.0-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksmtuned: 4.20150325+b1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.0.8
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-5
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.1-1
libpve-network-perl: 0.4-6
libpve-storage-perl: 6.3-8
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.13-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-9
pve-cluster: 6.2-1
pve-container: 3.3-4
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.2-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-5
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-10
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.4-pve1

Node2

proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-6 (running version: 6.3-6/2184247e)
pve-kernel-5.4: 6.3-8
pve-kernel-helper: 6.3-8
pve-kernel-5.4.106-1-pve: 5.4.106-1
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.60-1-pve: 5.4.60-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.0-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksmtuned: 4.20150325+b1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.0.8
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-5
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.1-1
libpve-network-perl: 0.4-6
libpve-storage-perl: 6.3-7
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.12-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-9
pve-cluster: 6.2-1
pve-container: 3.3-4
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.2-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-5
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-10
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.5-pve1

Danke schon mal

 

[aaron]

Wenn wir bei einer VM ein Backup Starten sehen wir via nload auf dem Node bei eno3 ausgehend 500Mbts, soweit alles okay.
Aber zeitgleich startend und aufhörend auch 500Mbts eingehend auf allen Nodes auf en01. Dies beeinflusst Natürlich unsere Kunden.

Das klingt so als wenn mit dem Netzwerk etwas nicht ganz so konfiguriert ist wie es sein sollte.

Wie ist denn die Netzwerkconfig der Nodes? (/etc/network/interfaces). Public IP Adressen bitte so anonymisieren, dass man sie zur Fehlersuche eindeutig auseinander halten kann.

 

[JulianTie]

Hey,
Hier das Bild von Node01



Node 2 genau so außer das die IP vmbr0 .201 und bei eno3 .16

 

[pakuzaz]

Warum /16 oder /8 muss man nicht verstehen oder ?
DNS sollte bei euch liegen habt ihr die hosts Einträge gesetzt?

 

[aaron]

Hmm, soweit sehe ich nichts aufälliges. Damit ich das richtig verstehe, sobald auf einer Node auf eno3 viel ausgehender Traffic ist (allgemein oder wirklich nur bei backups?)

eno3 ist auch nicht irgendwas zwischen 192.168.0.1 und 192.168.255.254?

Wenn wir bei einer VM ein Backup Starten sehen wir via nload auf dem Node bei eno3 ausgehend 500Mbts, soweit alles okay.
Aber zeitgleich startend und aufhörend auch 500Mbts eingehend auf allen Nodes auf en01. Dies beeinflusst Natürlich unsere Kunden.

Hängen die Server an einem Switch oder Hub? Denn so komisch das jetzt klingen mag, für mich klingt es ein wenig als wenn da ein Hub ist der den Traffic nicht an den Port rausschickt, an dem der Empfänger hängt, sondern einfach mal an alle schickt und der Empfänger wird sich die Pakete nehmen und alle anderen verwerfen. :-/