Komisches verhalten beim Snapshot löschen wenn ZFS Replizierung aktiv ist

[fireon]

Hallo Leute,

hab schon öfters ein komisches Verhalten beobachtet. In PVE6 und auch in PVE7. Wenn ich eine VM habe die per ZFS über das Webinterface auf einen anderen PVE repliziert wird und ich ein Snapshot mache, und das dann irgendwann lösche, ist die Replizierung defekt. Nur ein löschen und neu replizieren behebt den Fehler wieder. Auch die Replizierung zum Zeitpunkt des Snapshots deaktivieren hilft hier nicht.

Ich hab dann mal auf der CMD nach geschaut was denn da passiert. Löscht man das Snapshot das man manuell im Webinterface getätigt hat, sind auch alle Replizierungssnapshots weg. Ist das normal? Ist bei einer 2TB VM wohl nicht so günstig.
Als Workaround mach ich nun die Snapshots auf der CMD mit "zfs snapshot" das funktioniert natürlich.

pve-manager/7.0-10/d2f465d3 (running kernel: 5.11.22-1-pve)

 

[fiona]

Hallo,
könntest Du die VM-Konfiguration und Ausgabe von pveversion -v posten? Wurden irgendwelche Rollbacks gemacht?

 

[fireon]

Bitte sehr:

proxmox-ve: 7.0-2 (running kernel: 5.11.22-1-pve)
pve-manager: 7.0-10 (running version: 7.0-10/d2f465d3)
pve-kernel-5.11: 7.0-5
pve-kernel-helper: 7.0-5
pve-kernel-5.11.22-2-pve: 5.11.22-4
pve-kernel-5.11.22-1-pve: 5.11.22-2
ceph-fuse: 14.2.21-1
corosync: 3.1.2-pve2
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: residual config
ifupdown2: 3.1.0-1+pmx2
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.21-pve1
libproxmox-acme-perl: 1.2.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.0-4
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-5
libpve-guest-common-perl: 4.0-2
libpve-http-server-perl: 4.0-2
libpve-storage-perl: 7.0-9
libqb0: 1.0.5-1
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.9-4
lxcfs: 4.0.8-pve2
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.0.4-1
proxmox-backup-file-restore: 2.0.4-1
proxmox-mini-journalreader: 1.2-1
proxmox-widget-toolkit: 3.3-5
pve-cluster: 7.0-3
pve-container: 4.0-8
pve-docs: 7.0-5
pve-edk2-firmware: 3.20200531-1
pve-firewall: 4.2-2
pve-firmware: 3.2-4
pve-ha-manager: 3.3-1
pve-i18n: 2.4-1
pve-qemu-kvm: 6.0.0-2
pve-xtermjs: 4.12.0-1
pve-zsync: 2.2
qemu-server: 7.0-10
smartmontools: 7.2-pve2
spiceterm: 3.2-2
vncterm: 1.7-1
zfsutils-linux: 2.0.5-pve1

Rollbacks? Manchmal ja, manchmal nein. Verhalten ist immer gleich. Hinterher ist die Replikation zu löschen.

Hier eine VM Config:

arch: amd64
cores: 10
cpuunits: 512
description: Stream
features: fuse=1,mount=cifs
hostname: stream.osit.cc
memory: 6144
net0: name=eth0,bridge=vmbr0,firewall=1,hwaddr=2A:60:31:AB:0E:9C,ip=dhcp,ip6=auto,type=veth
onboot: 1
ostype: ubuntu
rootfs: SSD-vmdata:subvol-108-disk-0,acl=1,size=50G
swap: 0
lxc.cgroup.devices.allow: c 226:128 rwm
lxc.mount.entry: /dev/dri/renderD128 dev/dri/renderD128 none bind,optional,create=file

 

[fiona]

Könntest Du einen Screenshot von der Task History von einer VM mit dem Problem machen? Ein Log von einer fehlgeschlagenen Replikation wäre auch hilfreich. Wie groß ist/war das Replikations-Intervall eingestellt?

 

[fireon]

Der Klassiker, jetzt kann ich selbst nicht mehr nachstellen. Funktioniert immer, und die Snapshots werden nicht gelöscht Irgendetwas muss ich anders gemacht haben. Aber gut, tritt hoffentlich bald wieder auf. Danke trotzdem.

 

[fiona]

Könntest Du trotzdem ein Bild von der Task History einer VM posten? Und wenn das Problem wieder auftritt, dann bitte einfach hier das Log (und neue Task History) posten.

In Kombination mit Rollback gibt es momentan ein Problem, da für ZFS beim Rollback alle nachfolgenden Snapshots gelöscht werden müssen. Wir überlegen gerade, wie wir unsere Replikation da flexibler machen können.

 

[fireon]

Am 2. Juli wurde ein Rollback durchgeführt. Gibt es ne Art Checklist was man alles "nicht tun darf"? Eben das die Replication nicht gelöscht werden muss. Hintergrund ist der da wir hier einen Auftrag haben wo eine VM 2TB groß ist. Dabei soll die Replication selbstverständlich nicht versehentlich zerstört werden.

 

[fiona]

Keine Garantie auf Vollständigkeit, aber:

1. Nachdem ein neuer Snapshot gemacht wurde, sollte repliziert werden, bevor ein Rollback gemacht wird.
2. Nachdem ein Rollback gemacht wurde, sollte immer repliziert werden, bevor irgendwas anderes mit Snapshots gemacht wird.

 

[fireon]

Keine Garantie auf Vollständigkeit, aber:

1. Nachdem ein neuer Snapshot gemacht wurde, sollte repliziert werden, bevor ein Rollback gemacht wird.
2. Nachdem ein Rollback gemacht wurde, sollte immer repliziert werden, bevor irgendwas anderes mit Snapshots gemacht wird.

Danke dir vielmals. Wir testen das aus