[SOLVED] pve-zsync funktioniert nicht wegen Snapshots im Ziel

T

Thomas Stofer

Well-Known Member
Proxmox Subscriber
Oct 29, 2017
113
4
58
56
Hallo und guten Abend zusammen,

ich versuche gerade mit pve-zsync back ups zu testen. Ich habe zum erstellen des Auftrags folgenden Befehl benutzt:
Code: 
pve-zsync create --source 801 --dest 192.168.169.5:speicher-ts-cs-02/backup-zsync --verbose --maxsnap 7
Das ist dann wunschgemäß durchgelaufen. Ich habe dann den Auftrag mit dem Befehl der in der cron.d von pve-zsync stand noch mal gestartet um zu sehen ob das funktioniert. Darauf hin wurde der neue snapshot erstellt, aber beim senden an den zweiten pve wurde folgende Fehlermeldung ausgegeben:
Code: 
Job --source 801 --name default got an ERROR!!!
ERROR Message:
COMMAND:
        zfs send -v -- speicher-ts-cs-01/vm-801-disk-1@rep_default_2017-11-07_18:28:51 | ssh -o 'BatchMode=yes' root@
GET ERROR:
        cannot receive new filesystem stream: destination has snapshots (eg. speicher-ts-cs-02/backup-zsync/vm-801-di
must destroy them to overwrite it
Ich habe darauf hin alle snapshots im Ziel und in der Quelle gelöscht und den auftrag mit pve-zsync gelöscht. Seit dem kommt die gleiche Fehlermeldung bereits bei pve-zsync create.
Im Ziel ist dann aber seltsamerweise mit zfs list -t snapshot nur der beim starten mit dem create Befehl erstellte und übertragene Snapshot zu sehen:

Code: 
...
18:37:24   48.5G   rpool/data/vm-801-disk-1@rep_default_2017-11-07_18:28:51
18:37:25   48.6G   rpool/data/vm-801-disk-1@rep_default_2017-11-07_18:28:51
18:37:26   48.7G   rpool/data/vm-801-disk-1@rep_default_2017-11-07_18:28:51
full send of speicher-ts-cs-01/vm-801-disk-1@rep_default_2017-11-07_18:28:51 estimated size is 257G
total estimated size is 257G
TIME        SENT   SNAPSHOT

Code: 
root@ts-cs02:/speicher-ts-cs-02# zfs list -t snapshot
NAME                                                                           USED  AVAIL  REFER  MOUNTPOINT
rpool/backap@backup-vm-801-disk-2                                                0B      -  84.2M  -
speicher-ts-cs-02/backup-zsync/vm-801-disk-1@rep_default_2017-11-07_18:28:51     0B      -  40.8G  -
Der Auftrag wurde nicht erstellt, wie ein
Code: 
root@ts-cs01:~# pve-zsync status
SOURCE                   NAME                     STATUS
root@ts-cs01:~#
zeigt. Auch in der cronjob datei ist nichts zu finden.

Weiß jemand Rat?
LG
Thomas Stofer
 
Hi,

Du must im Ziel auch das image löschen nicht nur die snapshots.
Wenn du ein neuen job anlegst darf am Ziel das image nicht vorhanden sein.
 
Hallo und Danke!
Aber es klappt noch immer nicht. Ich habe alle Images und snapshots im Ziel gelöscht:

Code: 
root@ts-cs01:~# pve-zsync create --source 801 --dest 192.168.169.5:speicher-ts-c                                                      s-02/backup-zsync-test --verbose --maxsnap 7
WARN: COMMAND:
        ssh root@192.168.169.5 -- zfs list -rt snapshot -Ho name speicher-ts-cs-                                                      02/backup-zsync-test/vm-801-disk-1@rep_default_2017-11-07_17:52:11
GET ERROR:
        cannot open 'speicher-ts-cs-02/backup-zsync-test/vm-801-disk-1@rep_defau                                                      lt_2017-11-07_17:52:11': dataset does not exist
full send of rpool/data/vm-801-disk-1@rep_default_2017-11-08_11:56:57 estimated                                                       size is 48.6G
total estimated size is 48.6G
TIME        SENT   SNAPSHOT
11:57:00   80.8M   rpool/data/vm-801-disk-1@rep_default_2017-11-08_11:56:57
11:57:01    179M   rpool/data/vm-801-disk-1@rep_default_2017-11-08_11:56:57

Wenn ich das richtig verstehe besagt die Fehlermeldung, dass der snapshot speicher-ts-cs-02/backup-zsync-test/vm-801-disk-1@rep_defau lt_2017-11-07_17:52:11
nicht vorhanden ist und deshalb ein full send of rpool.... gemacht wird.
Dann am Ende:

Code: 
12:07:11   49.0G   rpool/data/vm-801-disk-1@rep_default_2017-11-08_11:58:35
full send of speicher-ts-cs-01/vm-801-disk-1@rep_default_2017-11-08_11:58:35 est                                                      imated size is 257G
total estimated size is 257G
TIME        SENT   SNAPSHOT
Job --source 801 --name default got an ERROR!!!
ERROR Message:
COMMAND:
        zfs send -v -- speicher-ts-cs-01/vm-801-disk-1@rep_default_2017-11-08_11                                                      :58:35 | ssh -o 'BatchMode=yes' root@192.168.169.5 -- zfs recv -F -- speicher-ts                                                      -cs-02/backup-zsync-test/vm-801-disk-1
GET ERROR:
        cannot receive new filesystem stream: destination has snapshots (eg. spe                                                      icher-ts-cs-02/backup-zsync-test/vm-801-disk-1)
must destroy them to overwrite it

besagt der Fehler dass genau der Snapshot, der gerade gesendet wurde vorhanden ist (sollte er ja auch) und deshalb einen ERROR!!! erzeugt... :-(
Ich habe jetzt alle snapshots und Images der besagten Maschine im Ziel gelöscht, bis auf eine in rpool/data, das ist aber die zweite disk, die offensichtlich bei pve/zsync nicht mit übertragen wird.
Ist das immer so?

Ich lösche jetzt auch mal diese Disk und schups das ganze noch mal an, wäre dankbar um weitere Tipps..

LG
Thomas
 
Schick mal bitte von beiden nodes ein

Code: 
zfs list -t  all
 
Das wird aber lang ... :-)
pve-zsync ist mit bekannten Fehlermeldungen durch.
Vom "sendenden"Node:
Code: 
root@ts-cs01:~# zfs list -t all
NAME                                                                     USED  A                                                                                                              VAIL  REFER  MOUNTPOINT
rpool                                                                    115G                                                                                                                 109G   104K  /rpool
rpool@zfs-auto-snap_daily-2017-11-02-0525                                  0B                                                                                                                    -   104K  -
rpool@zfs-auto-snap_daily-2017-11-03-0525                                  0B                                                                                                                    -   104K  -
  -   104K  -
rpool@zfs-auto-snap_frequent-2017-11-08-1400                               0B                                                                                                                    -   104K  -
rpool/ROOT                                                              34.9G                                                                                                                 109G    96K  /rpool/ROOT
rpool/ROOT@zfs-auto-snap_daily-2017-11-02-0525                             0B                                                                                                                    -    96K  -

rpool/ROOT@zfs-auto-snap_frequent-2017-11-08-1400                          0B                                                                                                                    -    96K  -
rpool/ROOT/pve-1                                                        34.9G                                                                                                                 109G  34.6G  /

rpool/ROOT/pve-1@zfs-auto-snap_frequent-2017-11-08-1400                  868K                                                                                                                    -  34.6G  -
rpool/data                                                              71.7G                                                                                                                 109G    96K  /rpool/data
                                                                                                             -    96K  -
rpool/data@zfs-auto-snap_frequent-2017-11-08-1400                          0B                                                                                                                    -    96K  -
rpool/data/subvol-1001-disk-1                                           1.51G  6                                                                                                              .80G  1.20G  /rpool/data/subvol-1001-disk-1
rpool/data/subvol-1001-disk-1@zfs-auto-snap_daily-2017-11-02-0525       38.2M                                                                                                                    -  1.17G  -

rpool/data/subvol-1001-disk-1@zfs-auto-snap_frequent-2017-11-08-1400    1.49M                                                                                                                    -  1.20G  -
rpool/data/vm-801-disk-1                                                60.9G                                                                                                                 109G  40.7G  -
rpool/data/vm-801-disk-1@zfs-auto-snap_daily-2017-11-02-0525            1.55G                                                                                                                    -  40.2G  -

rpool/data/vm-801-disk-1@zfs-auto-snap_frequent-2017-11-08-1400         2.68M                                                                                                                    -  40.7G  -
rpool/data/vm-901-disk-1                                                9.26G                                                                                                                 109G  8.31G  -

rpool/data/vm-901-disk-1@zfs-auto-snap_frequent-2017-11-08-1400          336K                                                                                                                    -  8.31G  -
rpool/swap                                                              8.50G                                                                                                                 117G   952M  -
speicher-ts-cs-01                                                        288G  2                                                                                                              .35T  35.4G  /speicher-ts-cs-01
speicher-ts-cs-01@zfs-auto-snap_daily-2017-11-02-0525                      0B                                                                                                                    -  35.4G  -

speicher-ts-cs-01@zfs-auto-snap_frequent-2017-11-08-1400                   0B                                                                                                                    -  35.4G  -
speicher-ts-cs-01/vm-801-disk-1                                          253G  2                                                                                                              .35T   252G  -

speicher-ts-cs-01/vm-801-disk-1@zfs-auto-snap_frequent-2017-11-08-1400     0B                                                                                                                    -   252G  -
root@ts-cs01:~#
Ich habe jetzt die vielen snapshots von zfs-auto-snap rausgeschnitten, weil dem Forum sonst der text zu lange war... Reicht das so?


vom Empfangenden Node:
Code: 
root@ts-cs02:~# zfs list -t all
NAME                                                                                USED  AVAIL  REFER  MOUNTPOINT
rpool                                                                              92.5G   357G    96K  /rpool
rpool/ROOT                                                                         1.66G   357G    96K  /rpool/ROOT
rpool/ROOT/pve-1                                                                   1.66G   357G  1.66G  /
rpool/backap                                                                       84.2M   357G  84.2M  -
rpool/data                                                                         82.2G   357G   128K  /rpool/data
rpool/data/subvol-1001-disk-1                                                      2.39G  5.61G  2.39G  /rpool/data/subvol-1001-disk-1
rpool/data/vm-8001-disk-1                                                          79.9G   357G  79.9G  -
rpool/swap                                                                         8.50G   365G   142M  -
speicher-ts-cs-02                                                                  40.7G  1.72T   112K  /speicher-ts-cs-02
speicher-ts-cs-02/backup-zsync-test                                                40.7G  1.72T    96K  /speicher-ts-cs-02/backup-zsync-test
speicher-ts-cs-02/backup-zsync-test/vm-801-disk-1                                  40.7G  1.72T  40.7G  -
speicher-ts-cs-02/backup-zsync-test/vm-801-disk-1@rep_default_2017-11-08_14:51:24     0B      -  40.7G  -
root@ts-cs02:~#
 
Bitte schick mir mal den output von

Code: 
pveversion -v
 
Guten Morgen,
gerne!

Node 1 (Sender)

Code: 
root@ts-cs01:~# pveversion -v
proxmox-ve: 5.1-25 (running kernel: 4.13.4-1-pve)
pve-manager: 5.1-35 (running version: 5.1-35/722cc488)
pve-kernel-4.13.4-1-pve: 4.13.4-25
libpve-http-server-perl: 2.0-6
lvm2: 2.02.168-pve6
corosync: 2.4.2-pve3
libqb0: 1.0.1-1
pve-cluster: 5.0-15
qemu-server: 5.0-17
pve-firmware: 2.0-3
libpve-common-perl: 5.0-20
libpve-guest-common-perl: 2.0-13
libpve-access-control: 5.0-7
libpve-storage-perl: 5.0-16
pve-libspice-server1: 0.12.8-3
vncterm: 1.5-2
pve-docs: 5.1-12
pve-qemu-kvm: 2.9.1-2
pve-container: 2.0-17
pve-firewall: 3.0-3
pve-ha-manager: 2.0-3
ksm-control-daemon: 1.2-2
glusterfs-client: 3.8.8-1
lxc-pve: 2.1.0-2
lxcfs: 2.0.7-pve4
criu: 2.11.1-1~bpo90
novnc-pve: 0.6-4
smartmontools: 6.5+svn4324-1
zfsutils-linux: 0.7.2-pve1~bpo90
root@ts-cs01:~#

Node 2:

Code: 
root@ts-cs02:~# pveversion -v
proxmox-ve: 5.1-25 (running kernel: 4.13.4-1-pve)
pve-manager: 5.1-35 (running version: 5.1-35/722cc488)
pve-kernel-4.13.4-1-pve: 4.13.4-25
libpve-http-server-perl: 2.0-6
lvm2: 2.02.168-pve6
corosync: 2.4.2-pve3
libqb0: 1.0.1-1
pve-cluster: 5.0-15
qemu-server: 5.0-17
pve-firmware: 2.0-3
libpve-common-perl: 5.0-20
libpve-guest-common-perl: 2.0-13
libpve-access-control: 5.0-7
libpve-storage-perl: 5.0-16
pve-libspice-server1: 0.12.8-3
vncterm: 1.5-2
pve-docs: 5.1-12
pve-qemu-kvm: 2.9.1-2
pve-container: 2.0-17
pve-firewall: 3.0-3
pve-ha-manager: 2.0-3
ksm-control-daemon: 1.2-2
glusterfs-client: 3.8.8-1
lxc-pve: 2.1.0-2
lxcfs: 2.0.7-pve4
criu: 2.11.1-1~bpo90
novnc-pve: 0.6-4
smartmontools: 6.5+svn4324-1
zfsutils-linux: 0.7.2-pve1~bpo90
root@ts-cs02:~#
 
Hab es jetzt mal bei mir nachgebaut und geht ohne Probleme.

Bist du sicher, das du das ganze Zvol auf der Empfengerseite gelöscht hast?
Der Target dataset muss lehr sein.

Und es sollten auch keine Snapshots mit dem Namen "rep_*" auf der Senderseite existieren.
 
Hallo Wolfgang,
Also, ich bin einen entscheidenden Schritt weiter gekommen. Ich hatte alle Dateisysteme in denen ich getestet hatte noch mal gelöscht und auch alle snapshots mit dem Namen "rep_* gelöscht. Der Fehler war aber immer noch da.
Dann kam mir in den Sinn es mal mit einer anderen Maschine zu testen. Und siehe da: Es läuft.
Hab ich mir gedacht, such ich den Unterschied. Die Maschine die nicht geht ist eine Windows Maschine, die zwei Disks auf zwei verschiedenen zfs Dateisystemen liegt. Also: Zweite Platte gelöscht und jetzt läuft die Kiste. :-)
Jetzt hab ich aber doch noch 2 Fragen:
Funktioniert das ganze nur wenn die Festplatten auf einem Dateisystem liegen?
Darf sie zwei Festplatten auf dem gleichen Speicherpool im gleichen Dateisystem haben?
LG
Thomas
 
Ok das macht Sinn.

Problem ist, das du 2 mal den gleichen Disk Namen hast "vm-<vmid>-disk-1".
Der ist auf 2 verschiedenen Storages, was generell ok ist aber beim replizieren versuchst pve-zsync es auf das gleiche target zu legen.
Da der Name gleich ist funktioniert das aber nicht.
Workaround beim anlegen der zweiten Disk einfach anderen Namen verwenden.
 
Da wir das Problem wie Wolfgang mit 2 virt. HDD auf 2 untersch. physikalischen Volumnes auch hatten, aber das produktive System nicht herunterfahren wollten: Es geht auch anders. Man kann auch jedes volume einzeln replizieren wenn es nur um aktuelle Daten geht:

pve-zsync create -source 10.0.0.50:zfsRaidSSD/vm-202-disk-0 -dest 10.0.0.40:ZFSL5Replicates/ssd —maxsnap 3
 
Hallo Timo,
für mich hat es gerreicht zu wissen, dass ich die Namen anpassen muss. Seit dem passt es. Bei neuen VMs mach ich das jetzt von Haus aus. Aber trotzdem Danke für den Hinweis ...
Wer weiß wers brauchen kann ....
LG
Thomas
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom