PM 6.0.6 - Problem mit Metadaten auf LVM-Thin "PVE-DATA"

[tr_inett]

Hallo,

ich habe hier ein interessantes Problem mit einem Proxmox-Server, zunächst die HW-Ausstattung: das ist ein System mit "echten" RAID-Controller und 2 x 300 GB RAID-1 als Systempartition sowie 3 x 1.2 TB RAID-1 mit Hotspare als Datenpartiton. Das System wurde wegen des RAID-Controllers "klassisch" aufgesetzt (also ohne ZFS), das LV "PVE-DATA" wurde vom Installer als LVM-Thin angelegt.

root@pve:~# pveversion
pve-manager/6.0-6/c71f879f (running kernel: 5.0.21-1-pve)

root@pve:~# lsblk
NAME                             MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                                8:0    0   279G  0 disk
├─sda1                             8:1    0  1007K  0 part
├─sda2                             8:2    0   512M  0 part /boot/efi
└─sda3                             8:3    0 278.4G  0 part
  ├─pve-swap                     253:9    0     8G  0 lvm  [SWAP]
  ├─pve-root                     253:10   0  69.5G  0 lvm  /
  ├─pve-data_tmeta               253:11   0   9.9G  0 lvm
  │ └─pve-data                   253:13   0 181.2G  0 lvm
  └─pve-data_tdata               253:12   0 181.2G  0 lvm
    └─pve-data                   253:13   0 181.2G  0 lvm
sdb                                8:16   0   2.2T  0 disk
├─PVE--DATA-PVE--DATA_tmeta      253:0    0    72M  0 lvm
│ └─PVE--DATA-PVE--DATA-tpool    253:2    0   2.2T  0 lvm
│   ├─PVE--DATA-PVE--DATA        253:3    0   2.2T  0 lvm
│   ├─PVE--DATA-vm--100--disk--0 253:4    0   128G  0 lvm
│   ├─PVE--DATA-vm--101--disk--0 253:5    0   128G  0 lvm
│   ├─PVE--DATA-vm--100--disk--1 253:6    0   512G  0 lvm
│   ├─PVE--DATA-vm--101--disk--1 253:7    0   500G  0 lvm
│   ├─PVE--DATA-vm--100--disk--2 253:8    0   100G  0 lvm
│   ├─PVE--DATA-vm--200--disk--0 253:15   0   100G  0 lvm
│   ├─PVE--DATA-vm--200--disk--1 253:16   0   100G  0 lvm
│   └─PVE--DATA-vm--200--disk--2 253:17   0   100G  0 lvm
└─PVE--DATA-PVE--DATA_tdata      253:1    0   2.2T  0 lvm
  └─PVE--DATA-PVE--DATA-tpool    253:2    0   2.2T  0 lvm
    ├─PVE--DATA-PVE--DATA        253:3    0   2.2T  0 lvm
    ├─PVE--DATA-vm--100--disk--0 253:4    0   128G  0 lvm
    ├─PVE--DATA-vm--101--disk--0 253:5    0   128G  0 lvm
    ├─PVE--DATA-vm--100--disk--1 253:6    0   512G  0 lvm
    ├─PVE--DATA-vm--101--disk--1 253:7    0   500G  0 lvm
    ├─PVE--DATA-vm--100--disk--2 253:8    0   100G  0 lvm
    ├─PVE--DATA-vm--200--disk--0 253:15   0   100G  0 lvm
    ├─PVE--DATA-vm--200--disk--1 253:16   0   100G  0 lvm
    └─PVE--DATA-vm--200--disk--2 253:17   0   100G  0 lvm
sdc                                8:32   0   1.8T  0 disk
└─sdc1                             8:33   0   1.8T  0 part /backup

root@pve:~# pvs -a
  PV         VG       Fmt  Attr PSize   PFree
  /dev/sda2                ---       0      0
  /dev/sda3  pve      lvm2 a--  278.43g <8.00g
  /dev/sdb   PVE-DATA lvm2 a--    2.18t     0
  /dev/sdc1                ---       0      0

root@pve:~# vgs -a
  VG       #PV #LV #SN Attr   VSize   VFree
  PVE-DATA   1   9   0 wz--n-   2.18t     0
  pve        1   3   0 wz--n- 278.43g <8.00g

root@pve:~# lvs -a
  LV               VG       Attr       LSize   Pool     Origin Data%  Meta%  Move Log Cpy%Sync Convert
  PVE-DATA         PVE-DATA twi-aotz--   2.18t                 16.10  76.37
  [PVE-DATA_tdata] PVE-DATA Twi-ao----   2.18t
  [PVE-DATA_tmeta] PVE-DATA ewi-ao----  72.00m
  [lvol0_pmspare]  PVE-DATA ewi-------  72.00m
  vm-100-disk-0    PVE-DATA Vwi-aotz-- 128.00g PVE-DATA        25.23
  vm-100-disk-1    PVE-DATA Vwi-aotz-- 512.00g PVE-DATA        21.95
  vm-100-disk-2    PVE-DATA Vwi-aotz-- 100.00g PVE-DATA        99.98
  vm-101-disk-0    PVE-DATA Vwi-aotz-- 128.00g PVE-DATA        29.27
  vm-101-disk-1    PVE-DATA Vwi-aotz-- 500.00g PVE-DATA        11.76
  vm-200-disk-0    PVE-DATA Vwi-aotz-- 100.00g PVE-DATA        17.70
  vm-200-disk-1    PVE-DATA Vwi-aotz-- 100.00g PVE-DATA        0.76
  vm-200-disk-2    PVE-DATA Vwi-aotz-- 100.00g PVE-DATA        0.30
  data             pve      twi-a-tz-- 181.23g                 0.00   0.17
  [data_tdata]     pve      Twi-ao---- 181.23g
  [data_tmeta]     pve      ewi-ao----   9.85g
  [lvol0_pmspare]  pve      ewi-------   1.85g
  root             pve      -wi-ao----  69.50g
  swap             pve      -wi-ao----   8.00g

Wie zu sehen ist ist PVE-DATA noch nicht einmal zu einem Viertel voll, der Metadata-Pool für PVE-DATA ist jedoch bereits zu 76% befüllt, in Kürze werden 100% erreicht und dann wird es unschön für die VMs. Leider gab der Installer keine Optionen für die Größe der Metadata-Pools vor.

Ein "lvextend --pooldatametasize +4G PVE-DATA/PVE-DATA" schlägt fehl weil nun mal nicht genug Platz mehr in PVE-DATA vorhanden ist.

Hat jemand noch eine andere Idee außer einer kompletten Neuinstallation des Proxmox-Servers?

Vielen Dank & beste Grüße,
Tom

 

[aaron]

Es sollte möglich sein, PVE-DATA, das ein thin LV ist, etwas kleiner zu machen. Dann sollte wieder Platz vorhanden sein.