11.1GB VM lässt sich nicht in 11.97GB Storage zurückmigrieren

jacotec · 2025-06-21T09:09:02+0200

Hi,

ich bin gerade ziemlich verwirrt. Meine Media-Store-VM lebte friedlich auf einem eigenen Storage mit 11.97 GB in einem eigenen Disk-Array, welches jedoch noch aus SATA-HDDs bestand. Dieses letzte SATA-Array will ich nun auch aus SAS-Drives umstellen. Die VM hat 4 logische Disks:

5 TB
5 TB
1 TB
100 GB (Boot/System)

Sind also 11.1 GB in Summe.

Die VM habe ich live auf einen anderen Host migriert (Gut 13TB frei im Storage), hat einen ganzen Tag gedauert aber prima geklappt. Dann den alten Storage gelöscht, das Disk-Array plattgemacht, neues Array und vDisk mit den SAS-Drives erstellt, neues Storage erstellt - auch hier alles super.

Das neue Storage hat wieder 11.97 GB - Genau wie das Alte, auf dem die VM vorher lebte.

Vorgestern spätabends die Livemigration zurück gestartet. Gestern Abend war er noch nicht ganz fertig, ich dachte heute Morgen wäre alles fein. Mitnichten

Gegen 2 Uhr in der Nacht und ca 400GB vor Schluss ist die Migration mit Fehler abgebrochen - Target Disk full

Meine 11.1 GB VM passt nicht mehr in den 11.97 GB Storage, wo sie herkam.

Gibt es dafür irgendeine sinnvolle Erklärung?

Werde wohl jetzt die 1 TB Disk auf einen Shared Storage schieben und erneut starten, dann fdisk in der Guest-VM und die 1TB zurückschieben. Wieder ein Tag weg. Nur warum?

Gruß,
Marco

Falk R. · 2025-06-21T12:17:33+0200

Das kann viele verschiedene Gründe haben. Was für ein Datastore ist das? ZFS? Wenn ZFS ist es Mirror oder RaidZ?
Nutzt du Thin Provision? Scheinbar nicht.
Wenn du mehr zum Unterbau schreibst, kann man sich das bestimmt herleiten.

jacotec · 2025-06-21T14:27:23+0200

Hi Falk,

Datastore ist ein LVM-Thin (Weil ein Hardware-RAID drunter liegt)

Impact · 2025-06-21T14:52:22+0200

Kannst du bitte folgendes von beiden nodes sowie den migration Log teilen?

Bash:

cat /etc/pve/storage.cfg
qm config VMIDHERE --current
lsblk -o+FSTYPE
vgs
lvs

ThoSo · 2025-06-21T16:50:30+0200

jacotec said:
Dieses letzte SATA-Array will ich nun auch aus SAS-Drives umstellen

Du ersetzt Festplatte durch neue Festplatten und gönnst Dir nicht gleich etwas mehr Speicher dabei oder habe ich das falsch gelesen?
Die Platten können auch eine anderen Blockgröße haben - was sind das für Platten (alt / neu) ?
Schon mal daran gedacht evtl noch zwei SSDs dazu zuhängen?

Falk R. · 2025-06-21T17:06:32+0200

Das ganze ist eh ganz knapp bemessen. Man hat bei verschiedenen SATA/SAS Platten auch immer etwas unterschiedliche Größen und Metadaten kommen bei dem Thin Pool auch hinzu.
Gerade bei einem Thin Pool sollte man mal 10-20% frei lassen.
Was mich auch wundert, sind die Platten in der VM komplett voll?

jacotec · 2025-06-21T22:05:00+0200

Impact said:
Kannst du bitte folgendes von beiden nodes sowie den migration Log teilen?

Bash:

cat /etc/pve/storage.cfg qm config VMIDHERE --current lsblk -o+FSTYPE vgs lvs

PMX2 - der Host, auf dem die VM temporär wohnt:

Code:

root@pmx2:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content iso,backup,vztmpl

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images
        nodes pmx2,pmx4,pmx1,pmx5,pmx3,pmx7

lvmthin: local-lvm2
        thinpool local-lvm2
        vgname local-lvm2
        content rootdir,images
        nodes pmx4,pmx2,pmx1,pmx5,pmx7

lvmthin: local-lvm1
        thinpool local-lvm1
        vgname local-lvm1
        content images,rootdir
        nodes pmx1,pmx2

nfs: PMX_Backups
        export /volume1/PMX_Backup_ISO
        path /mnt/pve/PMX_Backups
        server 10.0.1.201
        content iso,images,vztmpl,backup
        options vers=3
        prune-backups keep-all=1

pbs: PBS_Flairnet
        datastore PBS_Flairnet
        server 10.0.1.112
        content backup
        fingerprint *****
        prune-backups keep-all=1
        username root@pam

pbs: PBS_Clubbi
        datastore PBS_Clubbi
        server 10.0.1.112
        content backup
        fingerprint *****
        prune-backups keep-all=1
        username root@pam

pbs: PBS_Clubbi_In
        datastore PBS_Clubbi_In
        server 10.0.1.112
        content backup
        fingerprint *****
        prune-backups keep-all=1
        username root@pam

lvmthin: local-lvm3
        thinpool local-lvm3
        vgname local-lvm3
        content images,rootdir
        nodes pmx1
      
root@pmx2:~# qm config 143 --current
agent: 1,fstrim_cloned_disks=1
boot: order=scsi0;ide0
cores: 8
cpu: host
ide0: none,media=cdrom
lock: migrate
memory: 8192
meta: creation-qemu=9.0.2,ctime=1733390478
name: MediaNAS
net0: virtio=BC:24:11:C4:F7:BB,bridge=vmbr0,firewall=1
numa: 1
onboot: 1
ostype: other
scsi0: local-lvm2:vm-143-disk-0,format=raw,iothread=1,serial=281D1893,size=100G
scsi1: local-lvm2:vm-143-disk-1,format=raw,iothread=1,serial=15ABA7CA,size=5T
scsi2: local-lvm2:vm-143-disk-2,format=raw,iothread=1,serial=B533C830,size=5T
scsi3: PMX_Backups:143/vm-143-disk-0.raw,iothread=1,serial=4023F6F8,size=1T
scsihw: virtio-scsi-single
smbios1: uuid=d5b321e2-a8c7-4fd4-bbbf-b8e98dedfa70
sockets: 1
startup: order=1,up=30,down=300
tags: wichtig
vmgenid: 926eca06-9a83-457e-84ed-23727c503c20


root@pmx2:~# lsblk -o+FSTYPE
NAME                               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS FSTYPE
sda                                  8:0    0   931G  0 disk
├─sda1                               8:1    0  1007K  0 part
├─sda2                               8:2    0     1G  0 part             vfat
└─sda3                               8:3    0   930G  0 part             LVM2_member
  ├─pve-swap                       252:0    0     8G  0 lvm  [SWAP]      swap
  ├─pve-root                       252:1    0    96G  0 lvm  /           ext4
  ├─pve-data_tmeta                 252:11   0   8.1G  0 lvm
  │ └─pve-data-tpool               252:13   0 793.8G  0 lvm
  │   └─pve-data                   252:14   0 793.8G  1 lvm
  └─pve-data_tdata                 252:12   0 793.8G  0 lvm
    └─pve-data-tpool               252:13   0 793.8G  0 lvm
      └─pve-data                   252:14   0 793.8G  1 lvm
sdb                                  8:16   0  13.6T  0 disk             LVM2_member
├─local--lvm1-local--lvm1_tmeta    252:6    0  15.9G  0 lvm
│ └─local--lvm1-local--lvm1-tpool  252:8    0  13.6T  0 lvm
│   ├─local--lvm1-vm--140--disk--1 252:5    0    36G  0 lvm
│   ├─local--lvm1-local--lvm1      252:9    0  13.6T  1 lvm
│   ├─local--lvm1-vm--141--disk--0 252:10   0   100G  0 lvm
│   ├─local--lvm1-vm--100--disk--0 252:19   0   250G  0 lvm
│   ├─local--lvm1-vm--107--disk--0 252:20   0   512G  0 lvm
│   ├─local--lvm1-vm--155--disk--0 252:21   0   3.5T  0 lvm
│   ├─local--lvm1-vm--101--disk--0 252:24   0   200G  0 lvm
│   ├─local--lvm1-vm--102--disk--0 252:25   0   250G  0 lvm
│   ├─local--lvm1-vm--104--disk--0 252:26   0   500G  0 lvm
│   ├─local--lvm1-vm--105--disk--0 252:27   0   500G  0 lvm
│   ├─local--lvm1-vm--106--disk--0 252:28   0   500G  0 lvm
│   ├─local--lvm1-vm--109--disk--0 252:31   0   250G  0 lvm
│   ├─local--lvm1-vm--112--disk--0 252:32   0   500G  0 lvm
│   ├─local--lvm1-vm--113--disk--1 252:33   0     1T  0 lvm
│   ├─local--lvm1-vm--113--disk--0 252:34   0     4M  0 lvm
│   ├─local--lvm1-vm--113--disk--2 252:35   0     4M  0 lvm
│   ├─local--lvm1-vm--127--disk--0 252:36   0   500G  0 lvm
│   ├─local--lvm1-vm--128--disk--1 252:37   0   128G  0 lvm
│   ├─local--lvm1-vm--128--disk--0 252:38   0     4M  0 lvm
│   ├─local--lvm1-vm--133--disk--0 252:39   0     1T  0 lvm
│   ├─local--lvm1-vm--135--disk--0 252:40   0   150G  0 lvm
│   ├─local--lvm1-vm--158--disk--0 252:43   0   250G  0 lvm
│   ├─local--lvm1-vm--161--disk--0 252:47   0     1T  0 lvm
│   ├─local--lvm1-vm--163--disk--0 252:49   0   500G  0 lvm
│   ├─local--lvm1-vm--140--disk--0 252:54   0     4M  0 lvm
│   └─local--lvm1-vm--199--disk--0 252:59   0    32G  0 lvm
└─local--lvm1-local--lvm1_tdata    252:7    0  13.6T  0 lvm
  └─local--lvm1-local--lvm1-tpool  252:8    0  13.6T  0 lvm
    ├─local--lvm1-vm--140--disk--1 252:5    0    36G  0 lvm
    ├─local--lvm1-local--lvm1      252:9    0  13.6T  1 lvm
    ├─local--lvm1-vm--141--disk--0 252:10   0   100G  0 lvm
    ├─local--lvm1-vm--100--disk--0 252:19   0   250G  0 lvm
    ├─local--lvm1-vm--107--disk--0 252:20   0   512G  0 lvm
    ├─local--lvm1-vm--155--disk--0 252:21   0   3.5T  0 lvm
    ├─local--lvm1-vm--101--disk--0 252:24   0   200G  0 lvm
    ├─local--lvm1-vm--102--disk--0 252:25   0   250G  0 lvm
    ├─local--lvm1-vm--104--disk--0 252:26   0   500G  0 lvm
    ├─local--lvm1-vm--105--disk--0 252:27   0   500G  0 lvm
    ├─local--lvm1-vm--106--disk--0 252:28   0   500G  0 lvm
    ├─local--lvm1-vm--109--disk--0 252:31   0   250G  0 lvm
    ├─local--lvm1-vm--112--disk--0 252:32   0   500G  0 lvm
    ├─local--lvm1-vm--113--disk--1 252:33   0     1T  0 lvm
    ├─local--lvm1-vm--113--disk--0 252:34   0     4M  0 lvm
    ├─local--lvm1-vm--113--disk--2 252:35   0     4M  0 lvm
    ├─local--lvm1-vm--127--disk--0 252:36   0   500G  0 lvm
    ├─local--lvm1-vm--128--disk--1 252:37   0   128G  0 lvm
    ├─local--lvm1-vm--128--disk--0 252:38   0     4M  0 lvm
    ├─local--lvm1-vm--133--disk--0 252:39   0     1T  0 lvm
    ├─local--lvm1-vm--135--disk--0 252:40   0   150G  0 lvm
    ├─local--lvm1-vm--158--disk--0 252:43   0   250G  0 lvm
    ├─local--lvm1-vm--161--disk--0 252:47   0     1T  0 lvm
    ├─local--lvm1-vm--163--disk--0 252:49   0   500G  0 lvm
    ├─local--lvm1-vm--140--disk--0 252:54   0     4M  0 lvm
    └─local--lvm1-vm--199--disk--0 252:59   0    32G  0 lvm
sdc                                  8:32   0  13.6T  0 disk             LVM2_member
├─local--lvm2-local--lvm2_tmeta    252:15   0  15.9G  0 lvm
│ └─local--lvm2-local--lvm2-tpool  252:17   0  13.6T  0 lvm
│   ├─local--lvm2-vm--166--disk--0 252:2    0     1T  0 lvm
│   ├─local--lvm2-vm--132--disk--1 252:3    0   250G  0 lvm
│   ├─local--lvm2-vm--132--disk--0 252:4    0     4M  0 lvm
│   ├─local--lvm2-local--lvm2      252:18   0  13.6T  1 lvm
│   ├─local--lvm2-vm--156--disk--0 252:22   0     2T  0 lvm
│   ├─local--lvm2-vm--172--disk--0 252:23   0   100G  0 lvm
│   ├─local--lvm2-vm--108--disk--0 252:29   0   100G  0 lvm
│   ├─local--lvm2-vm--108--disk--1 252:30   0     4T  0 lvm
│   ├─local--lvm2-vm--154--disk--0 252:41   0     2T  0 lvm
│   ├─local--lvm2-vm--157--disk--0 252:42   0   500G  0 lvm
│   ├─local--lvm2-vm--159--disk--1 252:44   0     1T  0 lvm
│   ├─local--lvm2-vm--159--disk--0 252:45   0     4M  0 lvm
│   ├─local--lvm2-vm--160--disk--0 252:46   0   500G  0 lvm
│   ├─local--lvm2-vm--162--disk--0 252:48   0   250G  0 lvm
│   ├─local--lvm2-vm--164--disk--0 252:50   0   300G  0 lvm
│   ├─local--lvm2-vm--165--disk--0 252:51   0   500G  0 lvm
│   ├─local--lvm2-vm--168--disk--0 252:52   0   250G  0 lvm
│   ├─local--lvm2-vm--169--disk--0 252:53   0     1T  0 lvm
│   ├─local--lvm2-vm--143--disk--0 252:55   0   100G  0 lvm
│   ├─local--lvm2-vm--143--disk--1 252:56   0     5T  0 lvm
│   └─local--lvm2-vm--143--disk--2 252:57   0     5T  0 lvm
└─local--lvm2-local--lvm2_tdata    252:16   0  13.6T  0 lvm
  └─local--lvm2-local--lvm2-tpool  252:17   0  13.6T  0 lvm
    ├─local--lvm2-vm--166--disk--0 252:2    0     1T  0 lvm
    ├─local--lvm2-vm--132--disk--1 252:3    0   250G  0 lvm
    ├─local--lvm2-vm--132--disk--0 252:4    0     4M  0 lvm
    ├─local--lvm2-local--lvm2      252:18   0  13.6T  1 lvm
    ├─local--lvm2-vm--156--disk--0 252:22   0     2T  0 lvm
    ├─local--lvm2-vm--172--disk--0 252:23   0   100G  0 lvm
    ├─local--lvm2-vm--108--disk--0 252:29   0   100G  0 lvm
    ├─local--lvm2-vm--108--disk--1 252:30   0     4T  0 lvm
    ├─local--lvm2-vm--154--disk--0 252:41   0     2T  0 lvm
    ├─local--lvm2-vm--157--disk--0 252:42   0   500G  0 lvm
    ├─local--lvm2-vm--159--disk--1 252:44   0     1T  0 lvm
    ├─local--lvm2-vm--159--disk--0 252:45   0     4M  0 lvm
    ├─local--lvm2-vm--160--disk--0 252:46   0   500G  0 lvm
    ├─local--lvm2-vm--162--disk--0 252:48   0   250G  0 lvm
    ├─local--lvm2-vm--164--disk--0 252:50   0   300G  0 lvm
    ├─local--lvm2-vm--165--disk--0 252:51   0   500G  0 lvm
    ├─local--lvm2-vm--168--disk--0 252:52   0   250G  0 lvm
    ├─local--lvm2-vm--169--disk--0 252:53   0     1T  0 lvm
    ├─local--lvm2-vm--143--disk--0 252:55   0   100G  0 lvm
    ├─local--lvm2-vm--143--disk--1 252:56   0     5T  0 lvm
    └─local--lvm2-vm--143--disk--2 252:57   0     5T  0 lvm
root@pmx2:~# vgs
  VG         #PV #LV #SN Attr   VSize    VFree
  local-lvm1   1  29   0 wz--n-   13.64t <16.25g
  local-lvm2   1  23   0 wz--n-   13.64t <16.25g
  pve          1   3   0 wz--n- <930.00g  24.10g
root@pmx2:~# lvs
  LV               VG         Attr       LSize    Pool       Origin Data%  Meta%  Move Log Cpy%Sync Convert
  local-lvm1       local-lvm1 twi-aotz--   13.61t                   10.85  4.93
  vm-100-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        10.74
  vm-101-disk-0    local-lvm1 Vwi-aotz--  200.00g local-lvm1        5.25
  vm-102-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        4.75
  vm-104-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        9.81
  vm-105-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        4.37
  vm-106-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        4.98
  vm-107-disk-0    local-lvm1 Vwi-aotz--  512.00g local-lvm1        27.39
  vm-109-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        10.39
  vm-112-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        2.87
  vm-113-disk-0    local-lvm1 Vwi-aotz--    4.00m local-lvm1        14.06
  vm-113-disk-1    local-lvm1 Vwi-aotz--    1.00t local-lvm1        5.10
  vm-113-disk-2    local-lvm1 Vwi-aotz--    4.00m local-lvm1        1.56
  vm-127-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        21.57
  vm-128-disk-0    local-lvm1 Vwi-aotz--    4.00m local-lvm1        14.06
  vm-128-disk-1    local-lvm1 Vwi-aotz--  128.00g local-lvm1        12.59
  vm-133-disk-0    local-lvm1 Vwi-aotz--    1.00t local-lvm1        1.08
  vm-135-disk-0    local-lvm1 Vwi-aotz--  150.00g local-lvm1        31.88
  vm-140-disk-0    local-lvm1 Vwi-a-tz--    4.00m local-lvm1        3.12
  vm-140-disk-1    local-lvm1 Vwi-a-tz--   36.03g local-lvm1        7.72
  vm-141-disk-0    local-lvm1 Vwi-a-tz--  100.00g local-lvm1        100.00
  vm-153-cloudinit local-lvm1 Vwi---tz--    4.00m local-lvm1
  vm-153-disk-0    local-lvm1 Vwi---tz--    4.00m local-lvm1
  vm-153-disk-1    local-lvm1 Vwi---tz--  100.00g local-lvm1
  vm-155-disk-0    local-lvm1 Vwi-aotz--    3.50t local-lvm1        19.85
  vm-158-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        6.34
  vm-161-disk-0    local-lvm1 Vwi-aotz--    1.00t local-lvm1        1.01
  vm-163-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        15.97
  vm-199-disk-0    local-lvm1 Vwi-a-tz--   32.00g local-lvm1        87.58
  local-lvm2       local-lvm2 twi-aotz--   13.61t                   39.44  11.79
  vm-108-disk-0    local-lvm2 Vwi-aotz--  100.00g local-lvm2        98.72
  vm-108-disk-1    local-lvm2 Vwi-aotz--    4.00t local-lvm2        17.14
  vm-132-disk-0    local-lvm2 Vwi-a-tz--    4.00m local-lvm2        3.12
  vm-132-disk-1    local-lvm2 Vwi-a-tz--  250.00g local-lvm2        39.77
  vm-143-disk-0    local-lvm2 Vwi-aotz--  100.00g local-lvm2        100.00
  vm-143-disk-1    local-lvm2 Vwi-aotz--    5.00t local-lvm2        5.13
  vm-143-disk-2    local-lvm2 Vwi-aotz--    5.00t local-lvm2        70.29
  vm-154-disk-0    local-lvm2 Vwi-aotz--    2.00t local-lvm2        5.36
  vm-156-disk-0    local-lvm2 Vwi-aotz--    2.00t local-lvm2        2.95
  vm-157-disk-0    local-lvm2 Vwi-aotz--  500.00g local-lvm2        21.55
  vm-159-disk-0    local-lvm2 Vwi-aotz--    4.00m local-lvm2        3.12
  vm-159-disk-1    local-lvm2 Vwi-aotz--    1.00t local-lvm2        6.20
  vm-160-disk-0    local-lvm2 Vwi-aotz--  500.00g local-lvm2        1.21
  vm-162-disk-0    local-lvm2 Vwi-aotz--  250.00g local-lvm2        11.20
  vm-164-disk-0    local-lvm2 Vwi-aotz--  300.00g local-lvm2        36.38
  vm-165-disk-0    local-lvm2 Vwi-aotz--  500.00g local-lvm2        1.28
  vm-166-disk-0    local-lvm2 Vwi-a-tz--    1.00t local-lvm2        1.38
  vm-167-disk-0    local-lvm2 Vwi---tz--  250.00g local-lvm2
  vm-168-disk-0    local-lvm2 Vwi-aotz--  250.00g local-lvm2        10.56
  vm-169-disk-0    local-lvm2 Vwi-aotz--    1.00t local-lvm2        5.53
  vm-171-disk-0    local-lvm2 Vwi---tz--  300.00g local-lvm2
  vm-172-disk-0    local-lvm2 Vwi-aotz--  100.00g local-lvm2        28.50
  data             pve        twi-aotz-- <793.80g                   0.00   0.24
  root             pve        -wi-ao----   96.00g
  swap             pve        -wi-ao----    8.00g

jacotec · 2025-06-21T22:05:31+0200

PMX1 (Der Host, wo sie in local-lvm3 wieder zurückmigriert werden soll)

Code:

root@pmx1:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content iso,backup,vztmpl

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images
        nodes pmx2,pmx4,pmx1,pmx5,pmx3,pmx7

lvmthin: local-lvm2
        thinpool local-lvm2
        vgname local-lvm2
        content rootdir,images
        nodes pmx4,pmx2,pmx1,pmx5,pmx7

lvmthin: local-lvm1
        thinpool local-lvm1
        vgname local-lvm1
        content images,rootdir
        nodes pmx1,pmx2

nfs: PMX_Backups
        export /volume1/PMX_Backup_ISO
        path /mnt/pve/PMX_Backups
        server 10.0.1.201
        content iso,images,vztmpl,backup
        options vers=3
        prune-backups keep-all=1

pbs: PBS_Flairnet
        datastore PBS_Flairnet
        server 10.0.1.112
        content backup
        fingerprint *****
        prune-backups keep-all=1
        username root@pam

pbs: PBS_Clubbi
        datastore PBS_Clubbi
        server 10.0.1.112
        content backup
        fingerprint *****
        prune-backups keep-all=1
        username root@pam

pbs: PBS_Clubbi_In
        datastore PBS_Clubbi_In
        server 10.0.1.112
        content backup
        fingerprint *****
        prune-backups keep-all=1
        username root@pam

lvmthin: local-lvm3
        thinpool local-lvm3
        vgname local-lvm3
        content images,rootdir
        nodes pmx1

root@pmx1:~# lsblk -o+FSTYPE
NAME                               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS FSTYPE
sda                                  8:0    0   931G  0 disk
├─sda1                               8:1    0  1007K  0 part
├─sda2                               8:2    0     1G  0 part             vfat
└─sda3                               8:3    0   930G  0 part             LVM2_member
  ├─pve-swap                       252:0    0     8G  0 lvm  [SWAP]      swap
  ├─pve-root                       252:1    0    96G  0 lvm  /           ext4
  ├─pve-data_tmeta                 252:24   0   8.1G  0 lvm
  │ └─pve-data-tpool               252:26   0 793.8G  0 lvm
  │   └─pve-data                   252:27   0 793.8G  1 lvm
  └─pve-data_tdata                 252:25   0 793.8G  0 lvm
    └─pve-data-tpool               252:26   0 793.8G  0 lvm
      └─pve-data                   252:27   0 793.8G  1 lvm
sdb                                  8:16   0   8.2T  0 disk             LVM2_member
├─local--lvm1-local--lvm1_tmeta    252:6    0  15.9G  0 lvm
│ └─local--lvm1-local--lvm1-tpool  252:8    0   8.2T  0 lvm
│   ├─local--lvm1-local--lvm1      252:10   0   8.2T  1 lvm
│   ├─local--lvm1-vm--122--disk--0 252:11   0   200G  0 lvm
│   ├─local--lvm1-vm--137--disk--0 252:28   0   100G  0 lvm
│   ├─local--lvm1-vm--123--disk--0 252:35   0   512G  0 lvm
│   ├─local--lvm1-vm--114--disk--0 252:37   0     3T  0 lvm
│   ├─local--lvm1-vm--115--disk--0 252:39   0   750G  0 lvm
│   ├─local--lvm1-vm--116--disk--0 252:40   0   250G  0 lvm
│   ├─local--lvm1-vm--117--disk--0 252:41   0   500G  0 lvm
│   ├─local--lvm1-vm--118--disk--0 252:42   0   500G  0 lvm
│   ├─local--lvm1-vm--119--disk--0 252:43   0   512G  0 lvm
│   ├─local--lvm1-vm--120--disk--0 252:44   0   200G  0 lvm
│   ├─local--lvm1-vm--125--disk--0 252:47   0   250G  0 lvm
│   ├─local--lvm1-vm--131--disk--0 252:52   0   250G  0 lvm
│   ├─local--lvm1-vm--131--disk--1 252:53   0     4T  0 lvm
│   ├─local--lvm1-vm--134--disk--0 252:55   0   500G  0 lvm
│   ├─local--lvm1-vm--151--disk--1 252:58   0   250G  0 lvm
│   └─local--lvm1-vm--151--disk--0 252:59   0     4M  0 lvm
└─local--lvm1-local--lvm1_tdata    252:7    0   8.2T  0 lvm
  └─local--lvm1-local--lvm1-tpool  252:8    0   8.2T  0 lvm
    ├─local--lvm1-local--lvm1      252:10   0   8.2T  1 lvm
    ├─local--lvm1-vm--122--disk--0 252:11   0   200G  0 lvm
    ├─local--lvm1-vm--137--disk--0 252:28   0   100G  0 lvm
    ├─local--lvm1-vm--123--disk--0 252:35   0   512G  0 lvm
    ├─local--lvm1-vm--114--disk--0 252:37   0     3T  0 lvm
    ├─local--lvm1-vm--115--disk--0 252:39   0   750G  0 lvm
    ├─local--lvm1-vm--116--disk--0 252:40   0   250G  0 lvm
    ├─local--lvm1-vm--117--disk--0 252:41   0   500G  0 lvm
    ├─local--lvm1-vm--118--disk--0 252:42   0   500G  0 lvm
    ├─local--lvm1-vm--119--disk--0 252:43   0   512G  0 lvm
    ├─local--lvm1-vm--120--disk--0 252:44   0   200G  0 lvm
    ├─local--lvm1-vm--125--disk--0 252:47   0   250G  0 lvm
    ├─local--lvm1-vm--131--disk--0 252:52   0   250G  0 lvm
    ├─local--lvm1-vm--131--disk--1 252:53   0     4T  0 lvm
    ├─local--lvm1-vm--134--disk--0 252:55   0   500G  0 lvm
    ├─local--lvm1-vm--151--disk--1 252:58   0   250G  0 lvm
    └─local--lvm1-vm--151--disk--0 252:59   0     4M  0 lvm
sdc                                  8:32   0   8.2T  0 disk             LVM2_member
├─local--lvm2-local--lvm2_tmeta    252:16   0  15.9G  0 lvm
│ └─local--lvm2-local--lvm2-tpool  252:22   0   8.2T  0 lvm
│   ├─local--lvm2-vm--152--disk--0 252:2    0   150G  0 lvm
│   ├─local--lvm2-vm--139--disk--1 252:4    0   200G  0 lvm
│   ├─local--lvm2-vm--139--disk--0 252:5    0     4M  0 lvm
│   ├─local--lvm2-local--lvm2      252:23   0   8.2T  1 lvm
│   ├─local--lvm2-vm--103--disk--1 252:31   0     1T  0 lvm
│   ├─local--lvm2-vm--103--disk--0 252:32   0     4M  0 lvm
│   ├─local--lvm2-vm--144--disk--0 252:33   0   300G  0 lvm
│   ├─local--lvm2-vm--110--disk--0 252:34   0   100G  0 lvm
│   ├─local--lvm2-vm--149--disk--0 252:36   0   250G  0 lvm
│   ├─local--lvm2-vm--138--disk--0 252:38   0    25G  0 lvm
│   ├─local--lvm2-vm--121--disk--0 252:45   0     1T  0 lvm
│   ├─local--lvm2-vm--124--disk--0 252:46   0   300G  0 lvm
│   ├─local--lvm2-vm--126--disk--0 252:48   0   150G  0 lvm
│   ├─local--lvm2-vm--130--disk--0 252:49   0   250G  0 lvm
│   ├─local--lvm2-vm--130--disk--1 252:50   0     3T  0 lvm
│   ├─local--lvm2-vm--130--disk--2 252:51   0     3T  0 lvm
│   ├─local--lvm2-vm--131--disk--0 252:54   0     4T  0 lvm
│   ├─local--lvm2-vm--136--disk--0 252:56   0   100G  0 lvm
│   └─local--lvm2-vm--150--disk--0 252:57   0   100G  0 lvm
└─local--lvm2-local--lvm2_tdata    252:17   0   8.2T  0 lvm
  └─local--lvm2-local--lvm2-tpool  252:22   0   8.2T  0 lvm
    ├─local--lvm2-vm--152--disk--0 252:2    0   150G  0 lvm
    ├─local--lvm2-vm--139--disk--1 252:4    0   200G  0 lvm
    ├─local--lvm2-vm--139--disk--0 252:5    0     4M  0 lvm
    ├─local--lvm2-local--lvm2      252:23   0   8.2T  1 lvm
    ├─local--lvm2-vm--103--disk--1 252:31   0     1T  0 lvm
    ├─local--lvm2-vm--103--disk--0 252:32   0     4M  0 lvm
    ├─local--lvm2-vm--144--disk--0 252:33   0   300G  0 lvm
    ├─local--lvm2-vm--110--disk--0 252:34   0   100G  0 lvm
    ├─local--lvm2-vm--149--disk--0 252:36   0   250G  0 lvm
    ├─local--lvm2-vm--138--disk--0 252:38   0    25G  0 lvm
    ├─local--lvm2-vm--121--disk--0 252:45   0     1T  0 lvm
    ├─local--lvm2-vm--124--disk--0 252:46   0   300G  0 lvm
    ├─local--lvm2-vm--126--disk--0 252:48   0   150G  0 lvm
    ├─local--lvm2-vm--130--disk--0 252:49   0   250G  0 lvm
    ├─local--lvm2-vm--130--disk--1 252:50   0     3T  0 lvm
    ├─local--lvm2-vm--130--disk--2 252:51   0     3T  0 lvm
    ├─local--lvm2-vm--131--disk--0 252:54   0     4T  0 lvm
    ├─local--lvm2-vm--136--disk--0 252:56   0   100G  0 lvm
    └─local--lvm2-vm--150--disk--0 252:57   0   100G  0 lvm
sdd                                  8:48   0  10.9T  0 disk             LVM2_member
├─local--lvm3-local--lvm3_tmeta    252:3    0  15.9G  0 lvm
│ └─local--lvm3-local--lvm3-tpool  252:12   0  10.9T  0 lvm
│   ├─local--lvm3-local--lvm3      252:13   0  10.9T  1 lvm
│   ├─local--lvm3-vm--143--disk--0 252:14   0   100G  0 lvm
│   ├─local--lvm3-vm--143--disk--1 252:15   0     5T  0 lvm
│   └─local--lvm3-vm--143--disk--2 252:18   0     5T  0 lvm
└─local--lvm3-local--lvm3_tdata    252:9    0  10.9T  0 lvm
  └─local--lvm3-local--lvm3-tpool  252:12   0  10.9T  0 lvm
    ├─local--lvm3-local--lvm3      252:13   0  10.9T  1 lvm
    ├─local--lvm3-vm--143--disk--0 252:14   0   100G  0 lvm
    ├─local--lvm3-vm--143--disk--1 252:15   0     5T  0 lvm
    └─local--lvm3-vm--143--disk--2 252:18   0     5T  0 lvm
root@pmx1:~# vgs
  VG         #PV #LV #SN Attr   VSize    VFree
  local-lvm1   1  20   0 wz--n-   <8.19t <16.25g
  local-lvm2   1  19   0 wz--n-   <8.19t <16.25g
  local-lvm3   1   4   0 wz--n-   10.91t 376.00m
  pve          1   3   0 wz--n- <930.00g  24.10g
root@pmx1:~# lvs
  LV               VG         Attr       LSize    Pool       Origin Data%  Meta%  Move Log Cpy%Sync Convert
  local-lvm1       local-lvm1 twi-aotz--    8.15t                   30.64  8.20
  vm-114-disk-0    local-lvm1 Vwi-aotz--    3.00t local-lvm1        2.34
  vm-115-disk-0    local-lvm1 Vwi-aotz--  750.00g local-lvm1        6.96
  vm-116-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        6.77
  vm-117-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        5.46
  vm-118-disk-0    local-lvm1 Vwi-a-tz--  500.00g local-lvm1        62.56
  vm-119-disk-0    local-lvm1 Vwi-aotz--  512.00g local-lvm1        7.10
  vm-120-disk-0    local-lvm1 Vwi-aotz--  200.00g local-lvm1        20.28
  vm-122-disk-0    local-lvm1 Vwi-aotz--  200.00g local-lvm1        8.23
  vm-123-disk-0    local-lvm1 Vwi-aotz--  512.00g local-lvm1        2.44
  vm-125-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        3.84
  vm-131-disk-0    local-lvm1 Vwi-aotz--  250.00g local-lvm1        2.57
  vm-131-disk-1    local-lvm1 Vwi-aotz--    4.00t local-lvm1        44.67
  vm-134-disk-0    local-lvm1 Vwi-aotz--  500.00g local-lvm1        17.68
  vm-137-disk-0    local-lvm1 Vwi-aotz--  100.00g local-lvm1        15.04
  vm-142-cloudinit local-lvm1 Vwi---tz--    4.00m local-lvm1
  vm-142-disk-0    local-lvm1 Vwi---tz--    4.00m local-lvm1
  vm-142-disk-1    local-lvm1 Vwi---tz--  100.00g local-lvm1
  vm-151-disk-0    local-lvm1 Vwi-aotz--    4.00m local-lvm1        14.06
  vm-151-disk-1    local-lvm1 Vwi-aotz--  250.00g local-lvm1        7.45
  local-lvm2       local-lvm2 twi-aotz--    8.15t                   52.60  13.07
  vm-103-disk-0    local-lvm2 Vwi-aotz--    4.00m local-lvm2        14.06
  vm-103-disk-1    local-lvm2 Vwi-aotz--    1.00t local-lvm2        38.29
  vm-110-disk-0    local-lvm2 Vwi-aotz--  100.00g local-lvm2        30.89
  vm-121-disk-0    local-lvm2 Vwi-aotz--    1.00t local-lvm2        2.30
  vm-124-disk-0    local-lvm2 Vwi-aotz--  300.00g local-lvm2        9.35
  vm-126-disk-0    local-lvm2 Vwi-aotz--  150.00g local-lvm2        67.96
  vm-130-disk-0    local-lvm2 Vwi-aotz--  250.00g local-lvm2        1.33
  vm-130-disk-1    local-lvm2 Vwi-aotz--    3.00t local-lvm2        22.43
  vm-130-disk-2    local-lvm2 Vwi-aotz--    3.00t local-lvm2        22.58
  vm-131-disk-0    local-lvm2 Vwi-aotz--    4.00t local-lvm2        55.78
  vm-136-disk-0    local-lvm2 Vwi-aotz--  100.00g local-lvm2        10.91
  vm-138-disk-0    local-lvm2 Vwi-aotz--   25.00g local-lvm2        40.90
  vm-139-disk-0    local-lvm2 Vwi-aotz--    4.00m local-lvm2        3.12
  vm-139-disk-1    local-lvm2 Vwi-aotz--  200.00g local-lvm2        9.81
  vm-144-disk-0    local-lvm2 Vwi-aotz--  300.00g local-lvm2        8.17
  vm-149-disk-0    local-lvm2 Vwi-aotz--  250.00g local-lvm2        10.03
  vm-150-disk-0    local-lvm2 Vwi-aotz--  100.00g local-lvm2        15.61
  vm-152-disk-0    local-lvm2 Vwi-a-tz--  150.00g local-lvm2        25.83
  local-lvm3       local-lvm3 twi-aotz--   10.88t                   44.58  8.30
  vm-143-disk-0    local-lvm3 Vwi-aotz--  100.00g local-lvm3        0.00
  vm-143-disk-1    local-lvm3 Vwi-aotz--    5.00t local-lvm3        0.00
  vm-143-disk-2    local-lvm3 Vwi-aotz--    5.00t local-lvm3        97.04
  data             pve        twi-aotz-- <793.80g                   0.00   0.24
  root             pve        -wi-ao----   96.00g
  swap             pve        -wi-ao----    8.00g
root@pmx1:~#

jacotec · 2025-06-21T22:10:51+0200

Falk R. said:
Das ganze ist eh ganz knapp bemessen. Man hat bei verschiedenen SATA/SAS Platten auch immer etwas unterschiedliche Größen und Metadaten kommen bei dem Thin Pool auch hinzu.
Gerade bei einem Thin Pool sollte man mal 10-20% frei lassen.
Was mich auch wundert, sind die Platten in der VM komplett voll?

Hmmm .... 10-20% frei und die Metadaten (hatte ich komplett vergessen) könnte es sein. Die Platten in der VM sind bei weitem nicht komplett voll, overall ca. 4.5GB belegt. Das Problem scheint zu sein: Egal wie ich migriere, ich brauche erstmal die komplette Maximalkapazität auf dem Zielhost und kann dann erst mit dem fstrim wieder auf die Größe einschmelzen, die die VM vorher hatte.

Das ist wirklich der einzige Punkt, wo ich VMWare etwas nachtrauere - waren von 12TB nur 4 belegt, wurden bei der Live-Migration nur 4 übertragen und auch nie mehr als 4 im Zielstorage benötigt.

jacotec · 2025-06-21T22:15:43+0200

ThoSo said:
Du ersetzt Festplatte durch neue Festplatten und gönnst Dir nicht gleich etwas mehr Speicher dabei oder habe ich das falsch gelesen?
Die Platten können auch eine anderen Blockgröße haben - was sind das für Platten (alt / neu) ?
Schon mal daran gedacht evtl noch zwei SSDs dazu zuhängen?

Ja, will nur von Consumer-SATA zu Enterprise-SAS-HDD wechseln. Neue Platten sind Seagate ES.3 4TB - 4 Stück im RAID-5

Impact · 2025-06-22T02:41:54+0200

Ich denke das Problem ist, dass der Speicherplatz jedes individuellen VGs auf dem alten Server kleiner ist als alle Festplatten der VM zusammen.
Bei der Migration funktioniert Thin Provisioning wohl nicht so richtig und verursacht dadurch vermutlich das Problem. Der Migration Log fehlt leider.
- https://forum.proxmox.com/threads/v...fter-migrating-it-to-lvm-thin-storage.142070/
- https://forum.proxmox.com/threads/raw-image-fills-100-space-of-thin-lvm-after-migration.137665/
Eventuell kann man die Platten irgendwie einzeln migrieren und zwischendrin trimmen oder sie verkleinern.
Wie genau man letzteres macht hängt ein bisschen vom Partitionslayout ab. Eventuell kann die gparted live iso hier helfen. Die CLI wird hier auch benötigt.
Anderernfalls eventuell jede Platte in ein eigenes Storage migrieren. Ich glaube das geht momentan nur per CLI wie hier.

ThoSo · 2025-06-22T10:38:13+0200

jacotec said:
Die Platten in der VM sind bei weitem nicht komplett voll, overall ca. 4.5GB belegt.

Da könntest du das aktuell auf einen anderen Datenträger auslagern, die zu große Platte löschen und neu erstellen und den Inhalte zurück sichern. Dann würde auch der Rückweg vielleicht klappen.

Search

Search

11.1GB VM lässt sich nicht in 11.97GB Storage zurückmigrieren

jacotec

Member

Falk R.

Distinguished Member

jacotec

Member

Impact

Well-Known Member

ThoSo

Well-Known Member

Falk R.

Distinguished Member

jacotec

Member

jacotec

Member

jacotec

Member

jacotec

Member

Impact

Well-Known Member

ThoSo

Well-Known Member

We value your privacy