VMs leiden bei Migration

A

Alvin2k8

Member
Feb 22, 2023
72
1
8
Gute Abend an Alle,

ich bin recht neu in Proxmox und betreibe aktuell ein Cluster mit 2 nodes die Baugleich sind.
Wenn wir nun eine Live Migration von Node A auf Node B starten, leiden darunter alle VMs auf Node B
Auch steigt dort die CPU Last massiv an. Sobald er dann damit beginnt das er die Festplattendaten kopiert, normalisiert sich das wieder.

Hatte sowas schonmal jemand und evtl. gelöst bekommen?

Grüße!
 
Ich hoffe du hast ein Quorum Device für den Cluster.
Wie stark ist denn die CPU überbucht?
Die Migration fordert natürlich auch CPU auf dem Host und bei zu hoher Überbuchung bekommst du delays in den VMs.
 
Hi,

ich habe kein HA Cluster. Wichtig ist für mich nur das ich Maschinen im falle des Falles einfach zu nem anderen Host migrieren kann.

Ich hab nun in der Konfig die Migrationseinstellungen auf insecure gestellt.
Dies hat das ganze schon etwas entschärft aber ganz weg ist es noch nicht.
Alle VMs auf dem empfangenden System hängen sich für ca. 2 Minuten auf.
Danach geht alles ganz normal weiter...
 
CPU Überbuchung hat ja nix mit HA zu tun.
Wenn ich zu viele virtuelle Cores pro physikalischem Core habe, unabhängig der Last, entstehen Warteschlangen und Latenzen.
Das kann ja im Normalbetrieb eventuell nicht auffallen, aber sobald ein Prozess dazu kommt, der Last verursacht, gehen die Latenzen durch die Decke.
Das insecure was gebracht hat, spricht sehr deutlich dafür.
Wieviel echte Cores (ohne HT) hat denn der Host und wie viele Cores hast du den VMs zugeteilt?
 
Hi,

aktuell hat der 32 echte Kerne, es sind 4VMs mit jeweils 4 Kernen drauf!
 
Last edited:
HI,

ja das ist aus.

Das Phänomen ist, bei diesem Punkt fängts an zu haken:

2023-02-23 09:16:39 scsi0: start migration to nbd:xx.xx.xx.xx:60001:exportname=drive-scsi0
drive mirror is starting for drive-scsi0 with bandwidth limit: 25600 KB/s

Auch ist zu beobachten das die IO-Verzögerung stark ansteigt. Sobald er dann mit dem kopieren der Daten beginnt, ist alles wieder in Ordnung.
 
Alvin2k8 said:
Hi,

ich habe kein HA Cluster. Wichtig ist für mich nur das ich Maschinen im falle des Falles einfach zu nem anderen Host migrieren kann.
Click to expand...
Leider ist Cluster immer mit Quorum. Sonst hätte ich das auch eingerichtet, aus genau demselben Grund.
 
mow said:
Leider ist Cluster immer mit Quorum. Sonst hätte ich das auch eingerichtet, aus genau demselben Grund.
Click to expand...
Ich hab aber aktuell nur zwei Hosts und über die GUI das Cluster eröffnet.
Mehr habe ich nicht gemacht.
 
Könntest Du die Ausgabe von zpool status, damit klar ist wie der Pool aufgebaut ist, und von pveversion -v posten? Was für Disken werden für den Pool verwendet?
 
Habt ihr Replikation am laufen?
Bei der Replikation kann man discard anlassen und er migriert immer nur das Delta was noch fehlt. So kann man viel schneller migrieren.
 
  • Like
Reactions: Max Carrara and fiona
fiona said:
Könntest Du die Ausgabe von zpool status, damit klar ist wie der Pool aufgebaut ist, und von pveversion -v posten? Was für Disken werden für den Pool verwendet?
Click to expand...
pool: datastore
state: ONLINE
config:

NAME STATE READ WRITE CKSUM
datastore ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
sda4 ONLINE 0 0 0
sdc4 ONLINE 0 0 0
sdb2 ONLINE 0 0 0
sdd2 ONLINE 0 0 0
sde2 ONLINE 0 0 0
sdf2 ONLINE 0 0 0
sdg2 ONLINE 0 0 0
sdh2 ONLINE 0 0 0

errors: No known data errors


proxmox-ve: 7.3-1 (running kernel: 5.15.85-1-pve)
pve-manager: 7.3-6 (running version: 7.3-6/723bb6ec)
pve-kernel-helper: 7.3-4
pve-kernel-5.15: 7.3-2
pve-kernel-5.15.85-1-pve: 5.15.85-1
ceph-fuse: 14.2.21-1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: residual config
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve2
libproxmox-acme-perl: 1.4.3
libproxmox-backup-qemu0: 1.3.1-1
libpve-access-control: 7.3-1
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.3-2
libpve-guest-common-perl: 4.2-3
libpve-http-server-perl: 4.1-5
libpve-storage-perl: 7.3-2
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 5.0.2-1
lxcfs: 5.0.3-pve1
novnc-pve: 1.3.0-3
proxmox-backup-client: 2.3.3-1
proxmox-backup-file-restore: 2.3.3-1
proxmox-mail-forward: 0.1.1-1
proxmox-mini-journalreader: 1.3-1
proxmox-offline-mirror-helper: 0.5.1-1
proxmox-widget-toolkit: 3.5.5
pve-cluster: 7.3-2
pve-container: 4.4-2
pve-docs: 7.3-1
pve-edk2-firmware: 3.20220526-1
pve-firewall: 4.2-7
pve-firmware: 3.6-3
pve-ha-manager: 3.5.1
pve-i18n: 2.8-2
pve-qemu-kvm: 7.1.0-4
pve-xtermjs: 4.16.0-1
qemu-server: 7.3-3
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.8.0~bpo11+2
vncterm: 1.7-1
zfsutils-linux: 2.1.9-pve1
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom