LSI Volumes nach reboot weg

[Minga]

Servus zusammen,

zwei RAID 1 LSI Volumes wurden auf der PVE 7.4-3 als LVM-Thin eingerichtet und sie haben bis zum ersten reboot funktioniert. Aktuell werden die Volumes als Type "unknown" unter Disks angezeigt und können nicht wieder eingebunden werden. Die Volumes haben VM Disks/Daten drauf und können nicht einfach neu formatiert werden, deswegen... wie lassen sich die Volumes wieder in die PVE einbinden?

Beste Grüße aus Minga

 

[mira]

Wir bräuchten den Output folgender Befehle:
pveversion -v
cat /etc/pve/storage.cfg
pvs
vgs
lvs
pvscan --cache

 

[Minga]

root@pve:~# pveversion -v
proxmox-ve: 7.4-1 (running kernel: 5.15.104-1-pve)
pve-manager: 7.4-3 (running version: 7.4-3/9002ab8a)
pve-kernel-5.15: 7.4-1
pve-kernel-5.15.104-1-pve: 5.15.104-2
pve-kernel-5.15.102-1-pve: 5.15.102-1
ceph-fuse: 15.2.17-pve1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve2
libproxmox-acme-perl: 1.4.4
libproxmox-backup-qemu0: 1.3.1-1
libproxmox-rs-perl: 0.2.1
libpve-access-control: 7.4-2
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.3-4
libpve-guest-common-perl: 4.2-4
libpve-http-server-perl: 4.2-3
libpve-rs-perl: 0.7.5
libpve-storage-perl: 7.4-2
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 5.0.2-2
lxcfs: 5.0.3-pve1
novnc-pve: 1.4.0-1
proxmox-backup-client: 2.4.1-1
proxmox-backup-file-restore: 2.4.1-1
proxmox-kernel-helper: 7.4-1
proxmox-mail-forward: 0.1.1-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.6.5
pve-cluster: 7.3-3
pve-container: 4.4-3
pve-docs: 7.4-2
pve-edk2-firmware: 3.20230228-2
pve-firewall: 4.3-1
pve-firmware: 3.6-4
pve-ha-manager: 3.6.0
pve-i18n: 2.12-1
pve-qemu-kvm: 7.2.0-8
pve-xtermjs: 4.16.0-1
qemu-server: 7.4-3
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.8.0~bpo11+3
vncterm: 1.7-1
zfsutils-linux: 2.1.9-pve1

root@pve:~# cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content iso,vztmpl,backup

lvmthin: local-lvm
thinpool data
vgname pve
content images,rootdir

lvmthin: LSI_SSD_R1
thinpool LSI_SSD_R1
vgname LSI_SSD_R1
content rootdir,images
nodes pve

lvmthin: LSI_SATA_R1
thinpool LSI_SATA_R1
vgname LSI_SATA_R1
content images,rootdir
nodes pve

root@pve:~# pvs
PV VG Fmt Attr PSize PFree
/dev/sdc3 pve lvm2 a-- 231.88g <16.00g

root@pve:~# vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 3 0 wz--n- 231.88g <16.00g

root@pve:~# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
data pve twi-aotz-- <137.11g 0.00 1.16
root pve -wi-ao---- 67.97g
swap pve -wi-ao---- 8.00g

root@pve:~# pvscan --cache
pvscan[9705] PV /dev/sdc3 online.

 

[mira]

Interessant, werden die beiden eventuell gefiltert? Z.B. in /etc/lvm/lvm.conf

Könntest du noch das Journal seit dem letzten Boot anhängen? journalctl -b > journal.txt

 

[Minga]

Gefiltert wird nichts in der /etc/lvm/lvm.conf allerdings gab es dort den Eintrag "scan_lvs = 0" und der wurde auf 1 geändert und das System noch mal gestartet. Mal sehen... Der Boot Log ist sehr lang... gibt es einen bestimmten Bereich der von Interesse ist? Angenommen ich erstelle noch mal ein LVM-Thin über die GUI auf auf /dev/sda... wird dann das Volume automatisch neu formatiert?

 

[mira]

Ah entschuldige bitte, habe das `Usage` nicht gesehen. Scheinbar wurden die Disken selbst gelöscht. (Usage `no`)
Ich würde die beiden Disken überprüfen ob da tatsächlich noch VGs darauf existieren, z.B. mit einer entsprechenden Live CD.

Würde noch etwas gefunden werden, würde es dort stehen. Z.B. als `LVM` und ein Erstellen eines LVMs/ZFS darauf würde das GUI nicht zulassen.

Beim Boot Log wären vor allem die LVM (pvscan und co.) Infos interessant, aber alles rund um die Disks wäre wohl notwendig.

 

[Minga]

"scan_lvs = 1" und Reboot hat nichts gebracht. Ich habe über die GUI, Disks, ein LVM-Thin auf /dev/sda erstellt (LSI R1 Volume) und dieses war gleich verfügbar und auch nach Reboot, allerdings komplett leer... und das ist ein "kleines" Problem... wenn LVM's einfach so "flöten gehen"... :-/ Übrigens ist der Eintrag in /etc/lvm/lvm.conf ist "scan_lvs = 0" nach Reboot

 

[mira]

Das sieht nach seltsamen Verhalten seitens des LSI Controllers aus. Ich würde diesen und dessen Config überprüfen.

 

[Minga]

Der LSI Controller und Volumes sehen gut aus, kein Alarm, kein Fehler etc.

VD LIST :
=======

---------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
---------------------------------------------------------------
0/0 RAID1 Optl RW Yes RWBD - ON 237.968 GB
1/1 RAID1 Optl RW Yes RWBD - ON 3.637 TB
---------------------------------------------------------------

 

[Minga]

Status :
======
Controller Status = Optimal
Memory Correctable Errors = 0
Memory Uncorrectable Errors = 0
ECC Bucket Count = 0
Any Offline VD Cache Preserved = No
BBU Status = 0
Support PD Firmware Download = No
Lock Key Assigned = No
Failed to get lock key on bootup = No
Lock key has not been backed up = No
Bios was not detected during boot = No
Controller must be rebooted to complete security operation = No
A rollback operation is in progress = No
At least one PFK exists in NVRAM = Yes
SSC Policy is WB = No
Controller has booted into safe mode = No

 

[mira]

Still, if the data on the RAID volumes is reset, it points in the direction of the RAID controller.
Do you see similar behavior when booting a Live ISO and writing to those volumes?

 

[Falk R.]

Hast du den Disk Cache aktiv? RAID und Disk Cache sind eine tödliche Kombination.