[SOLVED] Ugrade von 4.4-103 auf 5.1-35 Problem Multipath u. LVM

T

Tiemo

New Member
Sep 23, 2016
13
0
1
Hallo :)

nach einem eigentlich erfogreichen Upgrade auf 5.1 lassen sich meine VMs nicht mehr starten:

TASK ERROR: can't activate LV '/dev/vg_s3200b_dm-2/vm-501-disk-1': Cannot activate LVs in VG vg_s3200b_dm-2 while PVs appear on duplicate devices.

Es hängt ein Lenovo Storage S3200 per FC dran.

Ein Auszug von lvs:
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-102-disk-1 which is accessing /dev/sdb instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.

multipath -ll:
3600c0ff00027fd646bcee35801000000 dm-43 Lenovo,S3200
size=5.8T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=10 status=active
`- 6:0:0:0 sdb 8:16 active ready running
3600c0ff00027fd32aecee35801000000 dm-44 Lenovo,S3200
size=15T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 6:0:0:1 sdc 8:32 active ready running

Die /etc/lvm/lvm.conf sieht eigentlich gleich aus wie bei der 4.4.
Für mich sieht es so aus, als würden die Filter in der lvm.conf nicht greifen.

Ich habe folgendes versucht:
global_filter = [ "r|/dev/zd.*|", "r|/dev/mapper/pve-.*|", "r|/dev/sdb.*|", "r|/dev/sdc.*|" ]
#filter = [ "a|/dev/sda.*|", "a|/dev/mapper|", "r|/dev/sd.*|" ]
#filter = [ "a|/dev/sda.*|", "a|/dev/mapper/3600c0ff00027fd32aecee35801000000.*|", "a|/dev/mapper/3600c0ff00027fd646bcee358010000

Hilft aber auch nicht.

Hat jemand vielleicht eine Idee für mich?
Vielen Dank und viele Grüße
TD
 
Das hier habe ich noch gefunden dmesg:
[ 10.881381] device-mapper: multipath service-time: version 0.3.0 loaded
[ 10.894047] device-mapper: table: 253:45: multipath: error getting device
[ 10.894738] device-mapper: ioctl: error adding target to table

Nachtrag, betrifft /dev/sda diese wird korrekterweise nicht hinzugefügt.
Müsste man in der /etc/multipath.conf blacklisten!
 
Last edited:
Ok, ich habe es gefunden in /etc/lvm/lvm.conf:

# Example
# ab Debian 9 bzw. pve 5.1 auskommentieren
preferred_names = [ "^/dev/mpath/", "^/dev/mapper/mpath", "^/dev/[hs]d" ]
use_lvmetad = 1

und schon ist Welt wieder schön :)

Leider doch nicht, zu früh gefreut.

Beim 2. Host dasselbe Problem, allerdings zeigen in dem Fall die obigen Einstellungen keine Wirkung.
 
Last edited:
Ich habe noch etwas gefunden.
Beim funktionierenden Host ergibt ein lsblk /dev/sdc:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sdb 8:16 0 5.8T 0 disk
└─3600c0ff00027fd646bcee35801000000 253:43 0 5.8T 0 mpath
├─vg_s3200a_dm--1-vm--102--disk--1 253:28 0 50G 0 lvm
├─vg_s3200a_dm--1-vm--105--disk--1 253:29 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--205--disk--1 253:30 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--205--disk--2 253:31 0 20G 0 lvm
├─vg_s3200a_dm--1-vm--206--disk--1 253:32 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--204--disk--1 253:33 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--203--disk--1 253:34 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--103--disk--1 253:35 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--201--disk--1 253:36 0 300G 0 lvm
├─vg_s3200a_dm--1-vm--110--disk--1 253:37 0 500G 0 lvm
├─vg_s3200a_dm--1-vm--300--disk--1 253:38 0 200G 0 lvm
├─vg_s3200a_dm--1-vm--401--disk--1 253:39 0 100G 0 lvm
└─vg_s3200a_dm--1-vm--105--disk--2 253:40 0 800G 0 lvm

Beim 2. identischen:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sde 8:64 0 5.8T 0 disk
├─vg_s3200a_dm--1-vm--102--disk--1 253:0 0 50G 0 lvm
├─vg_s3200a_dm--1-vm--105--disk--1 253:1 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--205--disk--1 253:2 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--205--disk--2 253:3 0 20G 0 lvm
├─vg_s3200a_dm--1-vm--206--disk--1 253:4 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--204--disk--1 253:5 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--203--disk--1 253:6 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--103--disk--1 253:7 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--201--disk--1 253:8 0 300G 0 lvm
├─vg_s3200a_dm--1-vm--110--disk--1 253:9 0 500G 0 lvm
├─vg_s3200a_dm--1-vm--300--disk--1 253:10 0 200G 0 lvm
├─vg_s3200a_dm--1-vm--401--disk--1 253:11 0 100G 0 lvm
├─vg_s3200a_dm--1-vm--105--disk--2 253:12 0 800G 0 lvm
└─3600c0ff00027fd646bcee35801000000 253:18 0 5.8T 0 mpath

Da fällt auf, die LVs sind auf derselben Ebene wie /dev/mapper/3600.... , vielleicht hat es damit etwas zu tun.
 
root@pve4:~# pvs
WARNING: Not using lvmetad because duplicate PVs were found.
WARNING: Use multipath or vgimportclone to resolve duplicate PVs?
WARNING: After duplicates are resolved, run "pvscan --cache" to enable lvmetad.
WARNING: PV 12gxtN-61jS-NOG7-Lptr-7bnN-xG3r-Wmlsui on /dev/sde was already found on /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: PV 12gxtN-61jS-NOG7-Lptr-7bnN-xG3r-Wmlsui prefers device /dev/sde because device is used by LV.
PV VG Fmt Attr PSize PFree
/dev/mapper/3600c0ff00027fd32aecee35801000000 vg_s3200b_dm-2 lvm2 a-- 15.19t 3.92t
/dev/sda3 pve lvm2 a-- 556.75g 15.78g
/dev/sde vg_s3200a_dm-1 lvm2 a-- 5.81t 3.30t


root@pve4:~# pvscan --cache
root@pve4:~# pvs
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-102-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-105-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-205-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-205-disk-2 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-206-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-204-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-203-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-103-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-201-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-110-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-300-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-401-disk-1 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
WARNING: Device mismatch detected for vg_s3200a_dm-1/vm-105-disk-2 which is accessing /dev/sde instead of /dev/mapper/3600c0ff00027fd646bcee35801000000.
PV VG Fmt Attr PSize PFree
/dev/mapper/3600c0ff00027fd32aecee35801000000 vg_s3200b_dm-2 lvm2 a-- 15.19t 3.92t
/dev/mapper/3600c0ff00027fd646bcee35801000000 vg_s3200a_dm-1 lvm2 a-- 5.81t 3.30t
/dev/sda3 pve lvm2 a-- 556.75g 15.78g
 
So ich hoffe zum letzten Mal, folgende Einstellungen habe ich in der /etc/lvm/lvm.conf vorgenommen:

global_filter = [ "r|/dev/zd.*|", "r|/dev/mapper/pve-.*|", "r|/dev/sdf|", "r|/dev/sde|" ]
use_lvmetad = 1

sdf u. sde gefiltert.

Nach einem reboot scheint es zu funktionieren.

Unter pve 4.4 hatte es auch ohne diese Einstellungen funktioniert.

Vielleicht gibt ja noch jemand Antwort der genaueres darüber weiß?
 
Last edited:
HI!,
entweder sind wir hier die Minderheit mit solche setups oder wir übersehen was ...
hat jemand hier die Lösung gefunden bzw. kann jemand die anpassung für den lvm.conf posten ?
Mein Fall ist ähnlich soeben upgedatet auf pve8, original lvm.conf ....

Setup:
4x PVE (cluster)
2x shared Storage (Lenovo FC SAN, multipath)

#> lvscan
WARNING: Device mismatch detected for mpaths2pav1/vm-1282-disk-0 which is accessing /dev/sdg instead of /dev/mapper/mpaths2pav1.
WARNING: Device mismatch detected for mpaths2pbv1/vm-1340-disk-0 which is accessing /dev/sdh instead of /dev/mapper/mpaths2pbv1.

Vielen Dank !
 
proxminent said:
HI!,
entweder sind wir hier die Minderheit mit solche setups oder wir übersehen was ...
hat jemand hier die Lösung gefunden bzw. kann jemand die anpassung für den lvm.conf posten ?
Mein Fall ist ähnlich soeben upgedatet auf pve8, original lvm.conf ....
Click to expand...
Hi, ja das Setup ist eher die Minderheit, weil oldschool und weniger Features als z.B. Ceph.
proxminent said:
Setup:
4x PVE (cluster)
2x shared Storage (Lenovo FC SAN, multipath)

#> lvscan
WARNING: Device mismatch detected for mpaths2pav1/vm-1282-disk-0 which is accessing /dev/sdg instead of /dev/mapper/mpaths2pav1.
WARNING: Device mismatch detected for mpaths2pbv1/vm-1340-disk-0 which is accessing /dev/sdh instead of /dev/mapper/mpaths2pbv1.
Click to expand...
Eigentlich ist die Meldung klar, es wird der zeiger /dev/sdg genutzt obwohl er erwartet, dass du /dev/mapper/mpaths2pav1 nutzt.
Da musst du deine Konfigurationsdateien mal checken ob da /dev/sdg etc. genutzt wird.
 
Vielen Dank für die Antwort!

und genau hier komme ich ins schleudern ...
Also im PVE ist mpaths2pav1 als shared LVM storage definiert.
Eine live migration lief auch problemslos ... bisher ...

aber neulich führe ich ein pvscan und siehe da kommt das ...

#> lvscan
WARNING: Device mismatch detected for mpaths2pav1/vm-1282-disk-0 which is accessing /dev/sdg instead of /dev/mapper/mpaths2pav1.

#> multipath -ll -v2
mpaths2pav1 (XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX) dm-96 Lenovo,DS4200
size=3.2T features='0' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 7:0:0:6 sdd 8:48 active ready running
| `- 7:0:3:6 sdj 8:144 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 8:0:0:6 sdl 8:176 active ready running
`- 8:0:1:6 sdn 8:208 active ready running

#cat /etc/pve/nodes/XXXX/qemu-server/1282.conf |grep virt
virtio0: mpaths2pav1:vm-1282-disk-0,size=16G

der /etc/lvm/lvm.conf ist der pve-ditro original, hätte ich hier was filtern müssen ?

ich finde nirgens eine referenz auf "/dev/sdg" ...

Danke für die Hilfe :)
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back