Bug bei replizieren

Yakuraku

Active Member
Sep 24, 2016
69
0
26
38
Hi,

ich habe testweise 2 Proxmox zu einem Cluster zusammengeschlossen. Beide sind mittels nativer ZFS-Encryption verschlüsselt.

Wenn ich jetzt von Node A eine VM auf Node B Replizieren (in GUI Konfiguriert) möchte kommt im Log die Meldung:
Code:
cannot send rpool/disks/vm-100-disk-0@__replicate_100-0_1566629820__: encrypted dataset rpool/disks/vm-100-disk-0 may not be sent with properties without the raw flag

Ich weiß nicht ob ihr ein Bug-Tracker habt, in dem man ein Ticket erstellen kann, deswegen hab ich es mal hier gepostet.


Hier noch der komplette Replikations-Log
Code:
2019-08-24 09:02:00 100-0: start replication job
2019-08-24 09:02:00 100-0: guest => VM 100, running => 27594
2019-08-24 09:02:00 100-0: volumes => Disks-rpool:vm-100-disk-0,Disks-rpool:vm-100-disk-1
2019-08-24 09:02:01 100-0: freeze guest filesystem
2019-08-24 09:02:01 100-0: create snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-0
2019-08-24 09:02:01 100-0: create snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-1
2019-08-24 09:02:01 100-0: thaw guest filesystem
2019-08-24 09:02:01 100-0: full sync 'Disks-rpool:vm-100-disk-0' (__replicate_100-0_1566630120__)
2019-08-24 09:02:02 100-0: cannot send rpool/disks/vm-100-disk-0@__replicate_100-0_1566630120__: encrypted dataset rpool/disks/vm-100-disk-0 may not be sent with properties without the raw flag
2019-08-24 09:02:02 100-0: command 'zfs send -Rpv -- rpool/disks/vm-100-disk-0@__replicate_100-0_1566630120__' failed: exit code 1
2019-08-24 09:02:02 100-0: cannot receive: failed to read from stream
2019-08-24 09:02:02 100-0: cannot open 'rpool/disks/vm-100-disk-0': dataset does not exist
2019-08-24 09:02:02 100-0: command 'zfs recv -F -- rpool/disks/vm-100-disk-0' failed: exit code 1
2019-08-24 09:02:02 100-0: delete previous replication snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-0
2019-08-24 09:02:02 100-0: delete previous replication snapshot '__replicate_100-0_1566630120__' on Disks-rpool:vm-100-disk-1
2019-08-24 09:02:02 100-0: end replication job with error: command 'set -o pipefail && pvesm export Disks-rpool:vm-100-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_100-0_1566630120__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=nodeb' root@[IP] -- pvesm import Disks-rpool:vm-100-disk-0 zfs - -with-snapshots 1' failed: exit code 1
 
Hi yakuraku,

unser Bugtracker ist hier https://bugzilla.proxmox.com/ zu finden. Ich war auch in der Lage das Problem hier nachzustellen; das Feature mit verschlüsselten ZFS Storages zu replizieren scheint noch zu fehlen.

Beste Grüße,
Fabi
 
  • Like
Reactions: Dominic
Nochmal hi,

es gibt auch das Tool pve-zsync, hier ( https://pve.proxmox.com/wiki/PVE-zsync ) die Doku. Es ist unabhängig von der PVE Storage Replication, ist geeignet für Backup, aber bei Migration muss man händisch nachhelfen. Jedenfalls geht es auch mit verschlüsselten Pools.

Beste Grüße,
Fabi
 
  • Like
Reactions: fireon
Wir sind auch aktuell von diesem Bug/Missing feature. Habe bereits den Bugreport gefunden: https://bugzilla.proxmox.com/show_bug.cgi?id=2350

Leider scheint das Feature keine hohe Prio zu bekommen.
Gedachter Workaround für uns:
  • encrypted hdd auf einen unencrypted local storage schieben
  • migrate vom unencrypted local storage auf den 2. Node
Beim Migrationsschritt wird mir auf dem target node aber nur der encrypted storage angezeigt, bzw. ich kann den storage nicht wählen.
Kann ich dieses Verhalten beeinflussen?
 
Wir sind auch aktuell von diesem Bug/Missing feature. Habe bereits den Bugreport gefunden: https://bugzilla.proxmox.com/show_bug.cgi?id=2350

Leider scheint das Feature keine hohe Prio zu bekommen.
Gedachter Workaround für uns:
  • encrypted hdd auf einen unencrypted local storage schieben
  • migrate vom unencrypted local storage auf den 2. Node
Beim Migrationsschritt wird mir auf dem target node aber nur der encrypted storage angezeigt, bzw. ich kann den storage nicht wählen.
Kann ich dieses Verhalten beeinflussen?

Könntest Du die /etc/pve/storage.cfg und die Konfiguration der VM zum Zeitpunkt der Migration posten? In der GUI ist es derzeit nur für Online-Migration möglich den Ziel-Storage zu wählen. Mit der --targetstorage Option in der CLI kann man ihn auch für Offline-Migration angeben.
 
Mit der --targetstorage Option in der CLI kann man ihn auch für Offline-Migration angeben.

Habe den Fehler gefunden, ich hatte bei move-disk vergessen delete source auszuwählen. Daher war das nicht mehr benötigte encrypted Volume die Ursache. Sobald man dies entfernt funktioniert es.

Danke für den Tipp mit --targetstorage deutlich entspannter als die disk erst zu moven. Sollte auch mit encrypted zfs volume funktionieren, oder?
 
Danke für den Tipp mit --targetstorage deutlich entspannter als die disk erst zu moven. Sollte auch mit encrypted zfs volume funktionieren, oder?

Ich glaube bei Online-Migration sollte es immer funktionieren (auch ohne --targetstorage), weil die Disk mit Hilfe von QEMU's drive-mirror synchronisiert wird. Allerdings ist die Ziel-Disk dann nicht verschlüsselt.

Und bei Offline-Migration wird im Hintergrund zfs send/recv benutzt und da gibt es eben das Problem aus dem Bug Report. Bei Offline-Migration mit einer ZFS Disk ist im Moment nur ZFS als Ziel-Storage möglich.
 
Last edited:
Ich glaube bei Online-Migration sollte es immer funktionieren (auch ohne --targetstorage), weil die Disk mit Hilfe von QEMU's drive-mirror synchronisiert wird. Allerdings ist die Ziel-Disk dann nicht verschlüsselt.
Wenn der Ziel-Storage ein verschlüsselter ZFS Pool ist, dann ist die Ziel-Disk verschlüsselt.
 
Gerade nochmals per CLI probiert, leider erfolglos:

Code:
root@pve1:~# qm migrate 113 pve2 --targetstorage encrypted_zfs
2020-10-25 13:45:38 starting migration of VM 113 to node 'pve2' (10.181.1.102)
2020-10-25 13:45:38 found local disk 'encrypted_zfs:vm-113-disk-0' (in current VM config)
2020-10-25 13:45:39 copying local disk images
2020-10-25 13:45:39 cannot send vmPool/encrypted_data/vm-113-disk-0@__migration__: encrypted dataset vmPool/encrypted_data/vm-113-disk-0 may not be sent with properties without the raw flag
2020-10-25 13:45:39 command 'zfs send -Rpv -- vmPool/encrypted_data/vm-113-disk-0@__migration__' failed: exit code 1
2020-10-25 13:45:39 cannot receive: failed to read from stream
2020-10-25 13:45:39 cannot open 'vmPool/encrypted_data/vm-113-disk-0': dataset does not exist
2020-10-25 13:45:39 command 'zfs recv -F -- vmPool/encrypted_data/vm-113-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2020-10-25 13:45:39 ERROR: Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
2020-10-25 13:45:39 aborting phase 1 - cleanup resources
2020-10-25 13:45:39 ERROR: found stale volume copy 'encrypted_zfs:vm-113-disk-0' on node 'pve2'
2020-10-25 13:45:39 ERROR: migration aborted (duration 00:00:01): Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
migration aborted

qm rescan -vmid 113 und qm rescan finden kein stale volume.

storage.cfg:
Code:
dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool rpool/data
        content images,rootdir
        sparse 1

zfspool: encrypted_zfs
        pool vmPool/encrypted_data
        content rootdir,images
        mountpoint /vmPool/encrypted_data
        sparse 1

pbs: pbs
        datastore backup-local
        server 10.181.1.103
        content backup
        fingerprint 3F:7D:47:79:EF:61:61:5C:C1:E9:E2:4C:F5:D2:21:B5:91:65:2C:48:96:42:FF:E2:CC:DF:B2:D2:38:89:40:D1
        maxfiles 0
        username backup@pbs
 
Gerade nochmals per CLI probiert, leider erfolglos:

Code:
root@pve1:~# qm migrate 113 pve2 --targetstorage encrypted_zfs
2020-10-25 13:45:38 starting migration of VM 113 to node 'pve2' (10.181.1.102)
2020-10-25 13:45:38 found local disk 'encrypted_zfs:vm-113-disk-0' (in current VM config)
2020-10-25 13:45:39 copying local disk images
2020-10-25 13:45:39 cannot send vmPool/encrypted_data/vm-113-disk-0@__migration__: encrypted dataset vmPool/encrypted_data/vm-113-disk-0 may not be sent with properties without the raw flag
2020-10-25 13:45:39 command 'zfs send -Rpv -- vmPool/encrypted_data/vm-113-disk-0@__migration__' failed: exit code 1
2020-10-25 13:45:39 cannot receive: failed to read from stream
2020-10-25 13:45:39 cannot open 'vmPool/encrypted_data/vm-113-disk-0': dataset does not exist
2020-10-25 13:45:39 command 'zfs recv -F -- vmPool/encrypted_data/vm-113-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2020-10-25 13:45:39 ERROR: Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
2020-10-25 13:45:39 aborting phase 1 - cleanup resources
2020-10-25 13:45:39 ERROR: found stale volume copy 'encrypted_zfs:vm-113-disk-0' on node 'pve2'
2020-10-25 13:45:39 ERROR: migration aborted (duration 00:00:01): Failed to sync data - storage migration for 'encrypted_zfs:vm-113-disk-0' to storage 'encrypted_zfs' failed - command 'set -o pipefail && pvesm export encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -snapshot __migration__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=pve2' root@10.181.1.102 -- pvesm import encrypted_zfs:vm-113-disk-0 zfs - -with-snapshots 0 -delete-snapshot __migration__ -allow-rename 1' failed: exit code 1
migration aborted

qm rescan -vmid 113 und qm rescan finden kein stale volume.

storage.cfg:
Code:
dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool rpool/data
        content images,rootdir
        sparse 1

zfspool: encrypted_zfs
        pool vmPool/encrypted_data
        content rootdir,images
        mountpoint /vmPool/encrypted_data
        sparse 1

pbs: pbs
        datastore backup-local
        server 10.181.1.103
        content backup
        fingerprint 3F:7D:47:79:EF:61:61:5C:C1:E9:E2:4C:F5:D2:21:B5:91:65:2C:48:96:42:FF:E2:CC:DF:B2:D2:38:89:40:D1
        maxfiles 0
        username backup@pbs
Wie schon gesagt, im Moment ist Migration mit verschlüsselten ZFS storages nur online möglich:
Und bei Offline-Migration wird im Hintergrund zfs send/recv benutzt und da gibt es eben das Problem aus dem Bug Report.

Wegen dem "stale volume": qm rescan würde die Disk nicht finden, da sie auf dem Ziel-Knoten pve2 wäre. Aber es scheint als würden wir diese Meldung fälschlicherweise auch ausgeben, wenn die Migration so früh fehlschlägt, dass die Disk am Ziel-Knoten noch gar nicht angelegt wurde.
 
Wie schon gesagt, im Moment ist Migration mit verschlüsselten ZFS storages nur online möglich:

Hi,

ich versuche das gerade auch und komme leider auch mit online-MIgration nicht weiter. Auf beiden Hosts sind die selben encrypted zfs storages angelegt - selbe key passphrase falls das einen unterschied macht. Eine Online und Offline-Migration anderer Storages ist kein Problem, aber bei der verschlüsselten Storage funktioniert weder Replikation, noch Migration. Fehlerbild:

Code:
Proxmox
Virtual Environment 6.4-13
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:25:03 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:25:03 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:25:03 scsi0: start tracking writes using block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:03 replicating disk images
2021-09-06 21:25:03 start replication job
2021-09-06 21:25:03 guest => VM 105, running => 31531
2021-09-06 21:25:03 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 freeze guest filesystem
2021-09-06 21:25:04 create snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 thaw guest filesystem
2021-09-06 21:25:04 using secure transmission, rate limit: none
2021-09-06 21:25:04 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630956303__)
2021-09-06 21:25:05 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:25:05 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__': backup failed
2021-09-06 21:25:05 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__' failed: exit code 1
2021-09-06 21:25:05 cannot receive: failed to read from stream
2021-09-06 21:25:05 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:25:05 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:25:05 delete previous replication snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:05 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 aborting phase 1 - cleanup resources
2021-09-06 21:25:05 scsi0: removing block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:05 ERROR: migration aborted (duration 00:00:02): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

Wenn ich eine offline-Migration probiere, sieht es ähnlich aus:

Code:
Proxmox
Virtual Environment 6.4-9
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:14:32 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:14:32 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:14:32 replicating disk images
2021-09-06 21:14:32 start replication job
2021-09-06 21:14:32 guest => VM 105, running => 0
2021-09-06 21:14:32 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 create snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 using secure transmission, rate limit: none
2021-09-06 21:14:32 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630955672__)
2021-09-06 21:14:33 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:14:33 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__': backup failed
2021-09-06 21:14:33 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__' failed: exit code 1
2021-09-06 21:14:33 cannot receive: failed to read from stream
2021-09-06 21:14:33 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:14:33 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:14:33 delete previous replication snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:33 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 aborting phase 1 - cleanup resources
2021-09-06 21:14:33 ERROR: migration aborted (duration 00:00:01): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

das ist über die GUI, aber auch über die CLI funktioniert eine online-Migration via

qm migrate 105 host2 --targetstorage encrypted_nvme --online --with-local-disks

nicht. Selbes Fehlerbild.

Muss ich noch etwas spezielles tun, damit die Online-Migration funktioniert?
 
Hallo,
Hi,

ich versuche das gerade auch und komme leider auch mit online-MIgration nicht weiter. Auf beiden Hosts sind die selben encrypted zfs storages angelegt - selbe key passphrase falls das einen unterschied macht. Eine Online und Offline-Migration anderer Storages ist kein Problem, aber bei der verschlüsselten Storage funktioniert weder Replikation, noch Migration. Fehlerbild:

Code:
Proxmox
Virtual Environment 6.4-13
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:25:03 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:25:03 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:25:03 scsi0: start tracking writes using block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:03 replicating disk images
2021-09-06 21:25:03 start replication job
2021-09-06 21:25:03 guest => VM 105, running => 31531
2021-09-06 21:25:03 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 freeze guest filesystem
2021-09-06 21:25:04 create snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:04 thaw guest filesystem
2021-09-06 21:25:04 using secure transmission, rate limit: none
2021-09-06 21:25:04 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630956303__)
2021-09-06 21:25:05 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:25:05 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__': backup failed
2021-09-06 21:25:05 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630956303__' failed: exit code 1
2021-09-06 21:25:05 cannot receive: failed to read from stream
2021-09-06 21:25:05 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:25:05 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:25:05 delete previous replication snapshot '__replicate_105-0_1630956303__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:25:05 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:25:05 aborting phase 1 - cleanup resources
2021-09-06 21:25:05 scsi0: removing block-dirty-bitmap 'repl_scsi0'
2021-09-06 21:25:05 ERROR: migration aborted (duration 00:00:02): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630956303__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

Wenn ich eine offline-Migration probiere, sieht es ähnlich aus:

Code:
Proxmox
Virtual Environment 6.4-9
Virtual Machine 105 (VM) on node 'host1'
Logs
()
2021-09-06 21:14:32 starting migration of VM 105 to node 'host2' (172.18.1.12)
2021-09-06 21:14:32 found local, replicated disk 'encrypted_nvme:vm-105-disk-0' (in current VM config)
2021-09-06 21:14:32 replicating disk images
2021-09-06 21:14:32 start replication job
2021-09-06 21:14:32 guest => VM 105, running => 0
2021-09-06 21:14:32 volumes => encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 create snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:32 using secure transmission, rate limit: none
2021-09-06 21:14:32 full sync 'encrypted_nvme:vm-105-disk-0' (__replicate_105-0_1630955672__)
2021-09-06 21:14:33 cannot send nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__: encrypted dataset nvme/encrypted_data/vm-105-disk-0 may not be sent with properties without the raw flag
2021-09-06 21:14:33 warning: cannot send 'nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__': backup failed
2021-09-06 21:14:33 command 'zfs send -Rpv -- nvme/encrypted_data/vm-105-disk-0@__replicate_105-0_1630955672__' failed: exit code 1
2021-09-06 21:14:33 cannot receive: failed to read from stream
2021-09-06 21:14:33 cannot open 'nvme/encrypted_data/vm-105-disk-0': dataset does not exist
2021-09-06 21:14:33 command 'zfs recv -F -- nvme/encrypted_data/vm-105-disk-0' failed: exit code 1
send/receive failed, cleaning up snapshot(s)..
2021-09-06 21:14:33 delete previous replication snapshot '__replicate_105-0_1630955672__' on encrypted_nvme:vm-105-disk-0
2021-09-06 21:14:33 end replication job with error: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 ERROR: command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
2021-09-06 21:14:33 aborting phase 1 - cleanup resources
2021-09-06 21:14:33 ERROR: migration aborted (duration 00:00:01): command 'set -o pipefail && pvesm export encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -snapshot __replicate_105-0_1630955672__ | /usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=host2' root@172.18.1.12 -- pvesm import encrypted_nvme:vm-105-disk-0 zfs - -with-snapshots 1 -allow-rename 0' failed: exit code 1
TASK ERROR: migration aborted

das ist über die GUI, aber auch über die CLI funktioniert eine online-Migration via

qm migrate 105 host2 --targetstorage encrypted_nvme --online --with-local-disks

nicht. Selbes Fehlerbild.

Muss ich noch etwas spezielles tun, damit die Online-Migration funktioniert?
Da bei der Replizierung der ZFS-Mechanismus verwendet wird, läuft man in das selbe Problem wie bei der Offline-Migration. Aber da die Replikation im Falle von encrypteten ZFS-Datasets/Pools momentan eh nicht möglich ist, sollte es reichen, keine Replikation einzurichten. Dann sollte die Online-Migration funktionieren.
 
Last edited:
Danke, nach dem löschen der nicht funktionierenden Replikation funktioniert die Online-Migration jetzt. So ist es nicht so hübsch wie für die unverschlüsselten Systeme, aber immerhin es klappt. Danke!
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!