Bug bei replizieren

Yakuraku · Aug 24, 2019

Hi,

ich habe testweise 2 Proxmox zu einem Cluster zusammengeschlossen. Beide sind mittels nativer ZFS-Encryption verschlüsselt.

Wenn ich jetzt von Node A eine VM auf Node B Replizieren (in GUI Konfiguriert) möchte kommt im Log die Meldung:

Code:

cannot send rpool/disks/vm-100-disk-0@__replicate_100-0_1566629820__: encrypted dataset rpool/disks/vm-100-disk-0 may not be sent with properties without the raw flag

Ich weiß nicht ob ihr ein Bug-Tracker habt, in dem man ein Ticket erstellen kann, deswegen hab ich es mal hier gepostet.

Hier noch der komplette Replikations-Log

Code:

2019-08-24 09:02:00 100-0: start replication job
2019-08-24 09:02:00 100-0: guest => VM 100, running => 27594
2019-08-24 09:02:00 100-0: volumes => Disks-rpool:vm-100-disk-0,Disks-rpool:vm-100-disk-1
2019-08-24 09:02:01 100-0: freeze guest filesystem
2019-08-24 09:02:01 100-0: create snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-0
2019-08-24 09:02:01 100-0: create snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-1
2019-08-24 09:02:01 100-0: thaw guest filesystem
2019-08-24 09:02:01 100-0: full sync 'Disks-rpool:vm-100-disk-0' (__replicate_100-0_1566630120__)
2019-08-24 09:02:02 100-0: cannot send rpool/disks/vm-100-disk-0@__replicate_100-0_1566630120__: encrypted dataset rpool/disks/vm-100-disk-0 may not be sent with properties without the raw flag
2019-08-24 09:02:02 100-0: command 'zfs send -Rpv -- rpool/disks/vm-100-disk-0@__replicate_100-0_1566630120__' failed: exit code 1
2019-08-24 09:02:02 100-0: cannot receive: failed to read from stream
2019-08-24 09:02:02 100-0: cannot open 'rpool/disks/vm-100-disk-0': dataset does not exist
2019-08-24 09:02:02 100-0: command 'zfs recv -F -- rpool/disks/vm-100-disk-0' failed: exit code 1
2019-08-24 09:02:02 100-0: delete previous replication snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-0
2019-08-24 09:02:02 100-0: delete previous replication snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-1
2019-08-24 09:02:02 100-0: end replication job with error: command 'set -o pipefail && pvesm export Disks-rpool:vm-100-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_100-0_1566630120__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=nodeb' root@[IP] -- pvesm import Disks-rpool:vm-100-disk-0 zfs - -with-snapshots 1' failed: exit code 1

fiona · Aug 26, 2019

Hi yakuraku,

unser Bugtracker ist hier https://bugzilla.proxmox.com/ zu finden. Ich war auch in der Lage das Problem hier nachzustellen; das Feature mit verschlüsselten ZFS Storages zu replizieren scheint noch zu fehlen.

Beste Grüße,
Fabi

fiona · Aug 26, 2019

Nochmal hi,

es gibt auch das Tool pve-zsync, hier ( https://pve.proxmox.com/wiki/PVE-zsync ) die Doku. Es ist unabhängig von der PVE Storage Replication, ist geeignet für Backup, aber bei Migration muss man händisch nachhelfen. Jedenfalls geht es auch mit verschlüsselten Pools.

Beste Grüße,
Fabi

patrick-werner · Aug 31, 2020

Wir sind auch aktuell von diesem Bug/Missing feature. Habe bereits den Bugreport gefunden: https://bugzilla.proxmox.com/show_bug.cgi?id=2350

Leider scheint das Feature keine hohe Prio zu bekommen.
Gedachter Workaround für uns:

encrypted hdd auf einen unencrypted local storage schieben
migrate vom unencrypted local storage auf den 2. Node

Beim Migrationsschritt wird mir auf dem target node aber nur der encrypted storage angezeigt, bzw. ich kann den storage nicht wählen.
Kann ich dieses Verhalten beeinflussen?

fiona · Sep 1, 2020

patrick-werner said:
Wir sind auch aktuell von diesem Bug/Missing feature. Habe bereits den Bugreport gefunden: https://bugzilla.proxmox.com/show_bug.cgi?id=2350

Leider scheint das Feature keine hohe Prio zu bekommen.
Gedachter Workaround für uns:

encrypted hdd auf einen unencrypted local storage schieben

migrate vom unencrypted local storage auf den 2. Node

Beim Migrationsschritt wird mir auf dem target node aber nur der encrypted storage angezeigt, bzw. ich kann den storage nicht wählen.
Kann ich dieses Verhalten beeinflussen?

Könntest Du die /etc/pve/storage.cfg und die Konfiguration der VM zum Zeitpunkt der Migration posten? In der GUI ist es derzeit nur für Online-Migration möglich den Ziel-Storage zu wählen. Mit der --targetstorage Option in der CLI kann man ihn auch für Offline-Migration angeben.

patrick-werner · Sep 1, 2020

Fabian_E said:
Mit der --targetstorage Option in der CLI kann man ihn auch für Offline-Migration angeben.

Habe den Fehler gefunden, ich hatte bei move-disk vergessen delete source auszuwählen. Daher war das nicht mehr benötigte encrypted Volume die Ursache. Sobald man dies entfernt funktioniert es.

Danke für den Tipp mit --targetstorage deutlich entspannter als die disk erst zu moven. Sollte auch mit encrypted zfs volume funktionieren, oder?

fiona · Sep 2, 2020

patrick-werner said:
Danke für den Tipp mit --targetstorage deutlich entspannter als die disk erst zu moven. Sollte auch mit encrypted zfs volume funktionieren, oder?

Ich glaube bei Online-Migration sollte es immer funktionieren (auch ohne --targetstorage), weil die Disk mit Hilfe von QEMU's drive-mirror synchronisiert wird. ~~Allerdings ist die Ziel-Disk dann nicht verschlüsselt.~~

Und bei Offline-Migration wird im Hintergrund zfs send/recv benutzt und da gibt es eben das Problem aus dem Bug Report. Bei Offline-Migration mit einer ZFS Disk ist im Moment nur ZFS als Ziel-Storage möglich.

fiona · Sep 3, 2020

Fabian_E said:
Ich glaube bei Online-Migration sollte es immer funktionieren (auch ohne --targetstorage), weil die Disk mit Hilfe von QEMU's drive-mirror synchronisiert wird. ~~Allerdings ist die Ziel-Disk dann nicht verschlüsselt.~~

Wenn der Ziel-Storage ein verschlüsselter ZFS Pool ist, dann ist die Ziel-Disk verschlüsselt.

patrick-werner · Oct 25, 2020

Gerade nochmals per CLI probiert, leider erfolglos:

Code:

root@pve1:~# qm migrate 113 pve2 --targetstorage encrypted_zfs
2020-10-25 13:45:38 starting migration of VM 113 to node 'pve2' (10.181.1.102)
2020-10-25 13:45:38 found local disk 'encrypted_zfs:vm-113-disk-0' (in current VM config)
2020-10-25 13:45:39 copying local disk images
2020-10-25 13:45:39 cannot send vmPool/encrypted_data/vm-113-disk-0@__migration__: encrypted dataset vmPool/encrypted_data/vm-113-disk-0 may not be sent with properties without the raw flag
2020-10-25 13:45:39 command 'zfs send -Rpv -- vmPool/encrypted_data/vm-113-disk-0@__migration__' failed: exit code 1
2020-10-25 13:45:39 cannot receive: failed to read from stream
2020-10-25 13:45:39 cannot open 'vmPool/encrypted_data/vm-113-disk-0': dataset does not exist
2020-10-25 13:45:39 command 'zfs recv -F -- vmPool/encrypted_data/vm-113-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2020-10-25 13:45:39 ERROR: Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
2020-10-25 13:45:39 aborting phase 1 - cleanup resources
2020-10-25 13:45:39 ERROR: found stale volume copy 'encrypted_zfs:vm-113-disk-0' on node 'pve2'
2020-10-25 13:45:39 ERROR: migration aborted (duration 00:00:01): Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
migration aborted

qm rescan -vmid 113 und qm rescan finden kein stale volume.

storage.cfg:

Code:

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool rpool/data
        content images,rootdir
        sparse 1

zfspool: encrypted_zfs
        pool vmPool/encrypted_data
        content rootdir,images
        mountpoint /vmPool/encrypted_data
        sparse 1

pbs: pbs
        datastore backup-local
        server 10.181.1.103
        content backup
        fingerprint 3F:7D:47:79:EF:61:61:5C:C1:E9:E2:4C:F5:D2:21:B5:91:65:2C:48:96:42:FF:E2:CC:DF:B2:D2:38:89:40:D1
        maxfiles 0
        username backup@pbs

fiona · Oct 27, 2020

patrick-werner said:

Gerade nochmals per CLI probiert, leider erfolglos:

Code:

root@pve1:~# qm migrate 113 pve2 --targetstorage encrypted_zfs
2020-10-25 13:45:38 starting migration of VM 113 to node 'pve2' (10.181.1.102)
2020-10-25 13:45:38 found local disk 'encrypted_zfs:vm-113-disk-0' (in current VM config)
2020-10-25 13:45:39 copying local disk images
2020-10-25 13:45:39 cannot send vmPool/encrypted_data/vm-113-disk-0@__migration__: encrypted dataset vmPool/encrypted_data/vm-113-disk-0 may not be sent with properties without the raw flag
2020-10-25 13:45:39 command 'zfs send -Rpv -- vmPool/encrypted_data/vm-113-disk-0@__migration__' failed: exit code 1
2020-10-25 13:45:39 cannot receive: failed to read from stream
2020-10-25 13:45:39 cannot open 'vmPool/encrypted_data/vm-113-disk-0': dataset does not exist
2020-10-25 13:45:39 command 'zfs recv -F -- vmPool/encrypted_data/vm-113-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2020-10-25 13:45:39 ERROR: Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
2020-10-25 13:45:39 aborting phase 1 - cleanup resources
2020-10-25 13:45:39 ERROR: found stale volume copy 'encrypted_zfs:vm-113-disk-0' on node 'pve2'
2020-10-25 13:45:39 ERROR: migration aborted (duration 00:00:01): Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
migration aborted

qm rescan -vmid 113 und qm rescan finden kein stale volume.

storage.cfg:

Code:

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool rpool/data
        content images,rootdir
        sparse 1

zfspool: encrypted_zfs
        pool vmPool/encrypted_data
        content rootdir,images
        mountpoint /vmPool/encrypted_data
        sparse 1

pbs: pbs
        datastore backup-local
        server 10.181.1.103
        content backup
        fingerprint 3F:7D:47:79:EF:61:61:5C:C1:E9:E2:4C:F5:D2:21:B5:91:65:2C:48:96:42:FF:E2:CC:DF:B2:D2:38:89:40:D1
        maxfiles 0
        username backup@pbs

Wie schon gesagt, im Moment ist Migration mit verschlüsselten ZFS storages nur online möglich:

Fabian_E said:
Und bei Offline-Migration wird im Hintergrund zfs send/recv benutzt und da gibt es eben das Problem aus dem Bug Report.

Wegen dem "stale volume": qm rescan würde die Disk nicht finden, da sie auf dem Ziel-Knoten pve2 wäre. Aber es scheint als würden wir diese Meldung fälschlicherweise auch ausgeben, wenn die Migration so früh fehlschlägt, dass die Disk am Ziel-Knoten noch gar nicht angelegt wurde.

Catscrash · Sep 6, 2021

Fabian_E said:
Wie schon gesagt, im Moment ist Migration mit verschlüsselten ZFS storages nur online möglich:

Hi,

ich versuche das gerade auch und komme leider auch mit online-MIgration nicht weiter. Auf beiden Hosts sind die selben encrypted zfs storages angelegt - selbe key passphrase falls das einen unterschied macht. Eine Online und Offline-Migration anderer Storages ist kein Problem, aber bei der verschlüsselten Storage funktioniert weder Replikation, noch Migration. Fehlerbild:

Code:

Proxmox
Virtual Environment 6.4-13
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:25:03 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:25:03 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:25:03 scsi0: start tracking writes using block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:03 replicating disk images
2021-09-06 21:25:03 start replication job
2021-09-06 21:25:03 guest => VM 105, running => 31531
2021-09-06 21:25:03 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 freeze guest filesystem
2021-09-06 21:25:04 create snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 thaw guest filesystem
2021-09-06 21:25:04 using secure transmission, rate limit: none
2021-09-06 21:25:04 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630956303__)
2021-09-06 21:25:05 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:25:05 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__': backup failed
2021-09-06 21:25:05 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__' failed: exit code 1
2021-09-06 21:25:05 cannot receive: failed to read from stream
2021-09-06 21:25:05 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:25:05 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:25:05 delete previous replication snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:05 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 aborting phase 1 - cleanup resources
2021-09-06 21:25:05 scsi0: removing block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:05 ERROR: migration aborted (duration 00:00:02): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

Wenn ich eine offline-Migration probiere, sieht es ähnlich aus:

Code:

Proxmox
Virtual Environment 6.4-9
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:14:32 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:14:32 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:14:32 replicating disk images
2021-09-06 21:14:32 start replication job
2021-09-06 21:14:32 guest => VM 105, running => 0
2021-09-06 21:14:32 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 create snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 using secure transmission, rate limit: none
2021-09-06 21:14:32 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630955672__)
2021-09-06 21:14:33 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:14:33 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__': backup failed
2021-09-06 21:14:33 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__' failed: exit code 1
2021-09-06 21:14:33 cannot receive: failed to read from stream
2021-09-06 21:14:33 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:14:33 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:14:33 delete previous replication snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:33 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 aborting phase 1 - cleanup resources
2021-09-06 21:14:33 ERROR: migration aborted (duration 00:00:01): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

das ist über die GUI, aber auch über die CLI funktioniert eine online-Migration via

qm migrate 105 host2 --targetstorage encrypted_nvme --online --with-local-disks

nicht. Selbes Fehlerbild.

Muss ich noch etwas spezielles tun, damit die Online-Migration funktioniert?

fiona · Sep 7, 2021

Hallo,

Catscrash said:

Hi,

ich versuche das gerade auch und komme leider auch mit online-MIgration nicht weiter. Auf beiden Hosts sind die selben encrypted zfs storages angelegt - selbe key passphrase falls das einen unterschied macht. Eine Online und Offline-Migration anderer Storages ist kein Problem, aber bei der verschlüsselten Storage funktioniert weder Replikation, noch Migration. Fehlerbild:

Code:

Proxmox
Virtual Environment 6.4-13
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:25:03 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:25:03 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:25:03 scsi0: start tracking writes using block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:03 replicating disk images
2021-09-06 21:25:03 start replication job
2021-09-06 21:25:03 guest => VM 105, running => 31531
2021-09-06 21:25:03 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 freeze guest filesystem
2021-09-06 21:25:04 create snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 thaw guest filesystem
2021-09-06 21:25:04 using secure transmission, rate limit: none
2021-09-06 21:25:04 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630956303__)
2021-09-06 21:25:05 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:25:05 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__': backup failed
2021-09-06 21:25:05 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__' failed: exit code 1
2021-09-06 21:25:05 cannot receive: failed to read from stream
2021-09-06 21:25:05 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:25:05 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:25:05 delete previous replication snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:05 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 aborting phase 1 - cleanup resources
2021-09-06 21:25:05 scsi0: removing block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:05 ERROR: migration aborted (duration 00:00:02): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

Wenn ich eine offline-Migration probiere, sieht es ähnlich aus:

Code:

Proxmox
Virtual Environment 6.4-9
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:14:32 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:14:32 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:14:32 replicating disk images
2021-09-06 21:14:32 start replication job
2021-09-06 21:14:32 guest => VM 105, running => 0
2021-09-06 21:14:32 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 create snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 using secure transmission, rate limit: none
2021-09-06 21:14:32 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630955672__)
2021-09-06 21:14:33 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:14:33 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__': backup failed
2021-09-06 21:14:33 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__' failed: exit code 1
2021-09-06 21:14:33 cannot receive: failed to read from stream
2021-09-06 21:14:33 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:14:33 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:14:33 delete previous replication snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:33 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 aborting phase 1 - cleanup resources
2021-09-06 21:14:33 ERROR: migration aborted (duration 00:00:01): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

das ist über die GUI, aber auch über die CLI funktioniert eine online-Migration via

qm migrate 105 host2 --targetstorage encrypted_nvme --online --with-local-disks

nicht. Selbes Fehlerbild.

Muss ich noch etwas spezielles tun, damit die Online-Migration funktioniert?

Da bei der Replizierung der ZFS-Mechanismus verwendet wird, läuft man in das selbe Problem wie bei der Offline-Migration. Aber da die Replikation im Falle von encrypteten ZFS-Datasets/Pools momentan eh nicht möglich ist, sollte es reichen, keine Replikation einzurichten. Dann sollte die Online-Migration funktionieren.

Catscrash · Sep 7, 2021

Danke, nach dem löschen der nicht funktionierenden Replikation funktioniert die Online-Migration jetzt. So ist es nicht so hübsch wie für die unverschlüsselten Systeme, aber immerhin es klappt. Danke!

Search

Search

Bug bei replizieren

Yakuraku

Active Member

fiona

Proxmox Staff Member

fiona

Proxmox Staff Member

patrick-werner

Active Member

fiona

Proxmox Staff Member

patrick-werner

Active Member

fiona

Proxmox Staff Member

fiona

Proxmox Staff Member

patrick-werner

Active Member

fiona

Proxmox Staff Member

Catscrash

New Member

fiona

Proxmox Staff Member

Catscrash

New Member