Seit PVE 6.1: stockende VM während dem Backup

[fips]

Hallo Leute,

hab einen Cluster mit 6 Hosts, 4 davon sind ebenfalls Ceph OSD Hosts. Backup läuft auf einen eigenen NFS Server.
Nun hab ich vor 2 Wochen auf PVE 6.1 aktualisiert und seitdem stocken die VMs kurzeitig wenn ein vzdump Backup durchgeführt wird.
Man kann sie weder im Netzwerk erreichen noch über noVNC. Dies dauert allerdings nur wenige Augenblicke und dann ist die VM wieder normal ansprechbar.

Das Problem an dem ganzen ist, dass das Monitoring damit etwas Probleme hat und glaub die VMs sind offline, dutzende falsche Monitoring Benachrichtigungen sind die Folge.

Hat sich durch das 6.1er Update etwas an vzdump verändert, das solche Auswirkungen haben könnte?
Vor dem Update gabs während des Backups nie solche Meldungen oder Effekte.

Danke und euch allen schöne Feiertage!!!

 

[fireon]

Ich häng mich hier mal drann. Wir haben das Update von unserem Cephcluster noch nicht auf PVE6.1 durch geführt. Sind noch auf 5.x.
Was für ein OS läuft den auf dem NFSserver?

 

[j-a-n]

Hallo,

wir haben das gleiche Problem seit dem Upgrade auf PVE 6.1.
Wir haben ein Cluster mit 4 Nodes.
Beim Backup über vzdump auf einen NFS-Share frieren die VMs immer für einige Sekunden ein und laufen dann weiter.
NFS-Server ist ein Ubuntu 18.04.3 LTS.
Vor dem Upgrade auf 6.1 lief das alles problemlos.

Grüße
Jan

 

[fips]

Was für ein OS läuft den auf dem NFSserver?

Ist FreeNAS in der Version 11.2-U4.1.


@j-a-n
Schön, bzw. nicht schön das ich nicht allein bin.

 

[fireon]

Ich habs hier mal beobachtet. Ich sichere auch auf NFS(4.2). Backupserver ist auch Proxmox. Läuft auch während dem Backup normal. Ist hier aber ZFS. Bei unseren Cephclustern sichern wir auch auf Proxmoxbackupserver aber mit CIFS. Das geht auch normal.

 

[j-a-n]

Kernel-Meldungen währen des Backups.

 

[fips]

Hab letzte Woche mal neueste Updates auf allen Nodes eingespielt aber keine Verbesserung

proxmox-ve: 6.1-2 (running kernel: 5.3.13-1-pve)
pve-manager: 6.1-5 (running version: 6.1-5/9bf06119)
pve-kernel-5.3: 6.1-1
pve-kernel-helper: 6.1-1
pve-kernel-5.0: 6.0-11
pve-kernel-5.3.13-1-pve: 5.3.13-1
pve-kernel-5.3.10-1-pve: 5.3.10-1
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-5.0.21-2-pve: 5.0.21-7
pve-kernel-5.0.21-1-pve: 5.0.21-2
pve-kernel-4.13.13-2-pve: 4.13.13-33
ceph: 14.2.5-pve1
ceph-fuse: 14.2.5-pve1
corosync: 3.0.2-pve4
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.13-pve1
libpve-access-control: 6.0-5
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-9
libpve-guest-common-perl: 3.0-3
libpve-http-server-perl: 3.0-3
libpve-storage-perl: 6.1-3
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve3
lxc-pve: 3.2.1-1
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.1-1
pve-cluster: 6.1-2
pve-container: 3.0-15
pve-docs: 6.1-3
pve-edk2-firmware: 2.20191127-1
pve-firewall: 4.0-9
pve-firmware: 3.0-4
pve-ha-manager: 3.0-8
pve-i18n: 2.0-3
pve-qemu-kvm: 4.1.1-2
pve-xtermjs: 3.13.2-1
qemu-server: 6.1-4
smartmontools: 7.0-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.2-pve2

 

[fireon]

Kann das Verhalten hier nirgends nachvollziehen. Vielleicht solltest du dich doch mal an den Support direkt wenden. Der kann dir bestimmt weiter helfen.

 

[j-a-n]

Ich habe den Backup-Server jetzt per CIFS statt NFS eingebunden.
Jetzt funktionieren die Backups wieder problemlos.
Scheint mir ein Kernel-Bug zu sein.

 

[fireon]

Ich habe den Backup-Server jetzt per CIFS statt NFS eingebunden.
Jetzt funktionieren die Backups wieder problemlos.
Scheint mir ein Kernel-Bug zu sein.

Sehr interessant. Gut zu wissen das es nun funktioniert. Kann das jemand der CEPH hat auch noch bestätigen? Möchte nicht zum Test hier auf NFS umbauen.

 

[sumsum]

Ich habe den Backup-Server jetzt per CIFS statt NFS eingebunden.
Jetzt funktionieren die Backups wieder problemlos.
Scheint mir ein Kernel-Bug zu sein.

Das kann ich nur bestätigen, die Backups via CIFS funktionieren tadellos. Bei NFS muss wirklich irgendwo ein Bug drin sein.

 

[fips]

Jup...kann das auch bestätigen. Hab die Shares nun via CIFS eingebunden und die Fehler sind weg.
Netter Nebeneffekt: schneller ist das Backup nun auch

 

[fireon]

Netter Nebeneffekt: schneller ist das Backup nun auch

Über CIFS, kenn ich umgkehrt...

 

[Matthias Mayr]

Kann das Problem ebenfalls Nachvollziehen. War auch schon mit dem PVE Support in Kontakt. Ohne NFS kein Problem. Leider ist NFS bei uns aktuell die einzige Option. Ich habe gestern noch einmal ein Update gefahren und werde mal schauen ob sich das Problem damit bessert.

Das Problem besteht bei mir seit dem Upgrade auf PVE 6. Vor dem Upgrade, also mit PVE 5 funktionerte das noch zuverlässig (wobei ich nicht weiß wie schnell).