[SOLVED] "missing replicate feature.." trotz ZFS

[BerndKleinert]

Guten Morgen,

ich habe 3 Nodes neu mit der Proxmox Installer ISO und ZFS (RAID0, jeder Node hat 2x 3TB Festplatten) aufgesetzt. Wenn ich aber Replizierung einstellen möchte, kommt die Meldung:

missing replicate feature on volume 'local:103/vm-103-disk-0.qcow2' (500)

Ich habe auch eine Idee, warum:

root@server3 /etc/pve/nodes/server3/qemu-server # cat 103.conf
agent: 1
boot: c
bootdisk: ide0
cores: 3
ide0: local:103/vm-103-disk-0.qcow2,size=120G
ide2: none,media=cdrom
memory: 6144
name: demo.example.org
net0: e1000=32:54:67:C1D:90,bridge=vmbr0,firewall=1
numa: 0
onboot: 1
ostype: win10
protection: 1
scsihw: virtio-scsi-pci
smbios1: uuid=f546fd17-adad-42c5-b867-ffd91fb43571
sockets: 1
startup: up=60
vmgenid: 8eea70c7-a975-4716-ad43-148f6837f3f5
root@server3 /etc/pve/nodes/server3/qemu-server #

Die storage.cfg:

root@server3 ~ # cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content vztmpl,rootdir,snippets,iso
maxfiles 0
shared 0

zfspool: local-zfs-server3
pool rpool/data
content images,rootdir
nodes server3
sparse 1

zfspool: local-zfs-server2
pool rpool/data
content images,rootdir
nodes server2
sparse 1

zfspool: local-zfs-server1
pool rpool/data
content images,rootdir
nodes server1
sparse 1

root@server3 ~ #

Das Dateisystem auf server3 (ist aber auf allen Servern identisch):

root@server3 ~ # lsblk -f
NAME FSTYPE LABEL UUID FSAVAIL FSUSE% MOUNTPOINT
sda zfs_member rpool 2880287226356701632
├─sda1 zfs_member rpool 2880287226356701632
├─sda2 vfat rpool 37A2-DD90
└─sda3 zfs_member rpool 2880287226356701632
sdb zfs_member rpool 2880287226356701632
├─sdb1 zfs_member rpool 2880287226356701632
├─sdb2 vfat rpool 37A3-43EE
└─sdb3 zfs_member rpool 2880287226356701632
root@server3 ~ #

Ich vermute, dass der Storage "local" falsch konfiguriert ist, deshalb habe ich bei einer neu geklonten Test-VM aus "local" ein "scsi0: local-zfs-server3:108/vm-108-disk-0.qcow2,size=102G" gemacht, jetzt kommt aber:

unable to parse zfs volume name '108/vm-108-disk-0.qcow2' (500)

Google fand einen Thread hier im Forum, da wurde gesagt man soll vor den Pfad noch ein / setzen, also:

scsi0: local-zfs-server3:/108/vm-108-disk-0.qcow2,size=102G

Das hat aber auch nichts genützt, es kommt die gleiche Fehlermeldung.

Jemand eine Idee, wie das gelöst wird?

 

[aaron]

RAID0, jeder Node hat 2x 3TB Festplatten

Bist du dir sicher dass du Raid0 (striping) willst? Sobald eine der Festplatten kaputt ist, ist der ganze ZFS Pool kaputt.

Zum replication Feature: Das "local" Storage ist ein Directory Storage auf dem Root Dateisystem (das auf dem ZFS Pool liegt).

Um ZFS als Storage für deine VMs zu verwenden musst du deren Festplatten in das "local-zfs" Storage legen. Dann wird die Disk nicht als Datei im Dateisystem angelegt sondern als ZVOL. Das kann das repliziert werden.

Du kannst bestehende VM Festplatten zwischen den Storages verschieben indem du sie in der GUI markierst und auf "Move Disk" klickst.

 

[BerndKleinert]

Bist du dir sicher dass du Raid0 (striping) willst? Sobald eine der Festplatten kaputt ist, ist der ganze ZFS Pool kaputt.

Ups, du hast Recht, das muss natürlich RAID1 sein. Also nochmal alles aufsetzen ...

Zum replication Feature: Das "local" Storage ist ein Directory Storage auf dem Root Dateisystem (das auf dem ZFS Pool liegt).

Um ZFS als Storage für deine VMs zu verwenden musst du deren Festplatten in das "local-zfs" Storage legen. Dann wird die Disk nicht als Datei im Dateisystem angelegt sondern als ZVOL. Das kann das repliziert werden.

Du kannst bestehende VM Festplatten zwischen den Storages verschieben indem du sie in der GUI markierst und auf "Move Disk" klickst.

Vielen vielen Dank, diesen Button hatte ich noch nicht gesehen.

 

[RolandK]

hallo, warum kann ich denn VMs die nicht auf ZVOLS basieren (die performance issues haben) live im cluster clonen und sogar ohne shared storage auf nen anderen node/storage verschieben - aber nicht replizieren ?

wenn ich das richtig sehe kann qemu doch mittlerweile sogar die replikations-königsliga ? ist das nicht dasselbe, was bei vmware "fault tolerance" heisst ?

https://wiki.qemu.org/Features/COLO