Nach force-shutdown booten vms nicht mehr

[watcherkb]

Ich habe des Öfteren das Problem gehabt, dass ich nach einem Neustart des Nodes keine vms starten kann.
Geholfen hat bisher:

lvchange -an /dev/pve/data
lvconvert --repair /dev/pve/data
lvchange -ay /dev/pve/data

Doch heute geht das nicht mehr da der Speicherplatz wohl nicht ausreicht:

Volume group "pve" has insufficient free space (559 extents): 884 required.

root@nuc:~# lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                  8:0    0 465.8G  0 disk
├─sda1               8:1    0  1007K  0 part
├─sda2               8:2    0   512M  0 part
└─sda3               8:3    0 465.3G  0 part
  ├─pve-swap       253:0    0     8G  0 lvm  [SWAP]
  ├─pve-root       253:1    0    96G  0 lvm  /
  ├─pve-data_meta0 253:2    0   3.5G  0 lvm
  ├─pve-data_meta1 253:3    0   3.5G  0 lvm
  ├─pve-data_meta2 253:4    0   3.5G  0 lvm
  ├─pve-data_meta3 253:5    0   3.5G  0 lvm
  └─pve-data_meta4 253:6    0   3.5G  0 lvm

root@nuc:~# pvs
  PV             VG   Fmt  Attr PSize    PFree
  /dev/sda3      pve  lvm2 a--  <465.26g  2.18g
root@nuc:~# vgs
  VG   #PV #LV #SN Attr   VSize    VFree
  pve    1  27   0 wz--n- <465.26g  2.18g
root@nuc:~# lvs
  LV                                        VG  Attr       LSize    Pool Origin                                   Data%  Meta%  Move Log Cpy%Syn                            c Convert
  data                                      pve twi---tz-- <338.36g                                                                                                         
  data_meta0                                pve -wi-a-----    3.45g                                                                                                         
  data_meta1                                pve -wi-a-----    3.45g                                                                                                         
  data_meta2                                pve -wi-a-----    3.45g                                                                                                         
  data_meta3                                pve -wi-a-----    3.45g                                                                                                         
  data_meta4                                pve -wi-a-----    3.45g                                                                                                         
  root                                      pve -wi-ao----   96.00g                                                                                                         
  snap_vm-100-disk-0_Snap20191014           pve Vri---tz-k    4.00g data vm-100-disk-0                                                                                     
  snap_vm-101-disk-0_Snap20191106           pve Vri---tz-k   10.00g data vm-101-disk-0                                                                                     
  snap_vm-102-disk-0_Snap20191031           pve Vri---tz-k    2.00g data vm-102-disk-0                                                                                     
  snap_vm-110-disk-0_Vor_Alarmanlagenscript pve Vri---tz-k   32.00g data                                                                                                   
  snap_vm-110-disk-0_Vor_Javascript_Update  pve Vri---tz-k   32.00g data                                                                                                   
  swap                                      pve -wi-ao----    8.00g                                                                                                         
  vm-100-disk-0                             pve Vwi---tz--    4.00g data                                                                                                   
  vm-101-disk-0                             pve Vwi---tz--   10.00g data                                                                                                   
  vm-102-disk-0                             pve Vwi---tz--    2.00g data                                                                                                   
  vm-103-disk-0                             pve Vwi---tz--    8.00g data                                                                                                   
  vm-105-disk-0                             pve Vwi---tz--    5.00g data                                                                                                   
  vm-106-disk-0                             pve Vwi---tz--    8.00g data                                                                                                   
  vm-107-disk-0                             pve Vwi---tz--    8.00g data                                                                                                   
  vm-108-disk-0                             pve Vwi---tz--    8.00g data                                                                                                   
  vm-108-disk-1                             pve Vwi---tz--    8.00g data                                                                                                   
  vm-110-disk-0                             pve Vwi---tz--   32.00g data snap_vm-110-disk-0_Vor_Javascript_Update                                                           
  vm-110-state-Vor_Alarmanlagenscript       pve Vwi---tz--    8.39g data                                                                                                   
  vm-110-state-Vor_Javascript_Update        pve Vwi---tz--    8.39g data                                                                                                   
  vm-111-disk-0                             pve Vwi---tz--   35.00g data                                                                                                   
  vm-200-disk-0                             pve Vwi---tz--   32.00g data

Ich hoffe es gibt da eine Lösung.

 

[watcherkb]

was kann ich tun um den freien Speicher zu vergrößern?

 

[fireon]

Du hast ja nur mehr 2GB frei. Ich würd die mal der VG hinzufügen. Dann einhängen und mal deine ganzen Snapshots löschen, dann sollte wohl wieder genug frei sein. Was das Starten angeht, startet PVE vielleicht zu schnell. Hierfür gebe es eine Option in Grub.

nano /etc/default/grub

# If you change this file, run 'update-grub' afterwards to update
# /boot/grub/grub.cfg.
# For full documentation of the options in this file, see:
#   info -f grub -n 'Simple configuration'

GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="Proxmox Virtual Environment"
GRUB_CMDLINE_LINUX_DEFAULT="quiet"
GRUB_CMDLINE_LINUX="root=ZFS=rpool/ROOT/pve-1 boot=zfs rootdelay=13"

Interessant ist der Part mit "rootdelay=13". Das verzögert um 13 Sekunden, das benötige ich bei mir hier auch, sonst gibt es keine Storage.

 

[watcherkb]

@fireon
Vielen Dank für deine Hilfe.
Das Löschen hat auch nicht funktioniert:

Check of pool pve/data failed (status:1). Manual repair required!
TASK ERROR: lvremove 'pve/vm-110-state-Vor_Javascript_Update' error:   Failed to update pool pve/data.

Was ich aber geschafft habe und eher als Zwischenlösung sehe: eine weitere HD eingebaut und den Datapool erweitern. Dann konnte ich wiederherstellen. Jetzt muss ich die neue HD wieder irgendwie entfernen. Aber das ist ne andere Baustelle.

root@nuc:~# vgs
  VG  #PV #LV #SN Attr   VSize    VFree
  pve   1  27   0 wz--n- <465.26g 2.18g
root@nuc:~# vgextend pve /dev/nvme0n1p1
  Volume group "pve" successfully extended
root@nuc:~# vgs
  VG  #PV #LV #SN Attr   VSize    VFree
  pve   2  27   0 wz--n- <489.67g 26.59g
root@nuc:~# lvchange -an /dev/pve/data
root@nuc:~# lvconvert --repair /dev/pve/data
  Transaction id 878 from pool "pve/data" does not match repaired transaction id 877 from /dev/mapper/pve-lvol0_pmspare.
  WARNING: LV pve/data_meta5 holds a backup of the unrepaired metadata. Use lvremove when no longer required.
  WARNING: New metadata LV pve/data_tmeta might use different PVs.  Move it with pvmove if required.
root@nuc:~# lvchange -ay /dev/pve/data
root@nuc:~# vgs
  VG  #PV #LV #SN Attr   VSize    VFree
  pve   2  26   0 wz--n- <489.67g <19.69g

 

[fireon]

Freut mich das du weiter gekommen bist. Normal ist das Verhalten nicht das du den Pool dauernd reparieren musst. Irgendwas passt da nicht ganz.