[SOLVED] VM Backups auf NFS verursacht hohe Bandbreite auf allen Nodes

JulianTie

Member
Jan 30, 2020
10
0
6
25
Guten Tag,
Wir haben ein Proxmox Cluster bestehend aus aktuell 2 Nodes a 4x1G Ports und einem Storage Server mit 4x1G Ports zusammen an einem EX3300 Angeschlossen.

Wir haben einen NFS Server auf dem Storage Server laufen in einem 192.168.0.0 Netz. Dieser ist als NFS Disk im Cluster eingebunden und auf allen Nodes verfügbar.

Nun zu unserer Problematik.
Wenn wir bei einer VM ein Backup Starten sehen wir via nload auf dem Node bei eno3 ausgehend 500Mbts, soweit alles okay.
Aber zeitgleich startend und aufhörend auch 500Mbts eingehend auf allen Nodes auf en01. Dies beeinflusst Natürlich unsere Kunden.

Woran kann das Liegen? Eine Idee die wir hatten, das PVE das Backup auf allen Nodes Sync. aber das sollte ja eigentlich nicht passieren, da dafür ja der Storage Server eingebunden ist.


pveversion -v
Node1
proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-6 (running version: 6.3-6/2184247e)
pve-kernel-5.4: 6.3-8
pve-kernel-helper: 6.3-8
pve-kernel-5.4.106-1-pve: 5.4.106-1
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.60-1-pve: 5.4.60-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.0-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksmtuned: 4.20150325+b1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.0.8
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-5
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.1-1
libpve-network-perl: 0.4-6
libpve-storage-perl: 6.3-8
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.13-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-9
pve-cluster: 6.2-1
pve-container: 3.3-4
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.2-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-5
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-10
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.4-pve1

Node2
proxmox-ve: 6.3-1 (running kernel: 5.4.78-2-pve)
pve-manager: 6.3-6 (running version: 6.3-6/2184247e)
pve-kernel-5.4: 6.3-8
pve-kernel-helper: 6.3-8
pve-kernel-5.4.106-1-pve: 5.4.106-1
pve-kernel-5.4.78-2-pve: 5.4.78-2
pve-kernel-5.4.60-1-pve: 5.4.60-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.0-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksmtuned: 4.20150325+b1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.0.8
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.1-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.3-5
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.1-1
libpve-network-perl: 0.4-6
libpve-storage-perl: 6.3-7
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.0.12-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.4-9
pve-cluster: 6.2-1
pve-container: 3.3-4
pve-docs: 6.3-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.2-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-5
pve-xtermjs: 4.7.0-3
qemu-server: 6.3-10
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 0.8.5-pve1


Danke schon mal :)
 
Last edited:
Wenn wir bei einer VM ein Backup Starten sehen wir via nload auf dem Node bei eno3 ausgehend 500Mbts, soweit alles okay.
Aber zeitgleich startend und aufhörend auch 500Mbts eingehend auf allen Nodes auf en01. Dies beeinflusst Natürlich unsere Kunden.
Das klingt so als wenn mit dem Netzwerk etwas nicht ganz so konfiguriert ist wie es sein sollte.

Wie ist denn die Netzwerkconfig der Nodes? (/etc/network/interfaces). Public IP Adressen bitte so anonymisieren, dass man sie zur Fehlersuche eindeutig auseinander halten kann.
 
Hey,
Hier das Bild von Node01

1617809967830.png

Node 2 genau so außer das die IP vmbr0 .201 und bei eno3 .16
 
Warum /16 oder /8 muss man nicht verstehen oder ?
DNS sollte bei euch liegen habt ihr die hosts Einträge gesetzt?
 
Hmm, soweit sehe ich nichts aufälliges. Damit ich das richtig verstehe, sobald auf einer Node auf eno3 viel ausgehender Traffic ist (allgemein oder wirklich nur bei backups?)

eno3 ist auch nicht irgendwas zwischen 192.168.0.1 und 192.168.255.254?

Wenn wir bei einer VM ein Backup Starten sehen wir via nload auf dem Node bei eno3 ausgehend 500Mbts, soweit alles okay.
Aber zeitgleich startend und aufhörend auch 500Mbts eingehend auf allen Nodes auf en01. Dies beeinflusst Natürlich unsere Kunden.
Hängen die Server an einem Switch oder Hub? Denn so komisch das jetzt klingen mag, für mich klingt es ein wenig als wenn da ein Hub ist der den Traffic nicht an den Port rausschickt, an dem der Empfänger hängt, sondern einfach mal an alle schickt und der Empfänger wird sich die Pakete nehmen und alle anderen verwerfen. :-/
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!