Create a extra LV for /var/lib/vz - Verzeichnis nicht löschbar

[pvedd7]

Hallo Community,

ich habe einen Dell T430 Server mit 2x Hardware-Raid (1x Raid1, bestehend aus 2 SSDs für System & 1x Raid6, bestehend aus 4 SSDs) mit Proxmox 4.2 aufgesetzt.

Mein Problem (wie auch das von scheinbar vielen anderen Usern) ist die Einrichtung eines Extra-LVs für /var/lib/vz.
Ich möchte das zusätzliche Raid6-Array anstatt der von Proxmox standardmäßig eingerichteten Partition auf dem System-Raid-Array als ISO-, Image, Backup- und Image-Pfad nutzen.

Getan habe ich konkret folgendes, um das Raid6-Array als LVM-Thin einzubinden:

fdisk -l                                                        # listet Festplatten
sgdisk -N 1 /dev/sdb                                              # Partition angelegt
pvcreate --metadatasize 250k -y -ff /dev/sdb1      # physical volume auf 2. SSD-Raid-Verbund angelegt
vgcreate vmdata /dev/sdb1                                   # VolumeGroup vmdata auf sdb1 angelegt
lvcreate -l 100%FREE -T -n vmstore vmdata        # Logical Volume vmstore in vmdata angelegt
mkfs.ext4 /dev/vmdata/vmstore                             # ext4-Dateisystem erstellt
lvs                                                                           # listet die Logical Volumes
lvremove pve/data                                                  # Proxmox-Standard-LVM-Thin-Volume gelöscht
lvrename vmstore lvdata                                        # kosmetische Umbenennung des LVs
vgrename vmdata vgdata                                       # kosmetische Umbenennung der VG
echo '/dev/vgdata/lvdata /var/lib/vz ext4 defaults 0 2' >> /etc/fstab          # Versuch, das neue ThinVolume dauerhaft zu mounten (vorher versucht, /var/lib/vz zu leeren bzw. zu löschen, nicht möglich)

Ich habe diese Tutorials befolgt:
https://pve.proxmox.com/wiki/LVM2#Create_a_extra_LV_for_.2Fvar.2Flib.2Fvz
https://pve.proxmox.com/wiki/Installation:_Tips_and_Tricks

Ich komme an der Stelle nicht weiter, wo es im ersten Link heißt:
Note: Be sure that /var/lib/vz is empty. On a default installation it isn’t.
bzw. im 2. Link:
You can delete the thin-volume via GUI or manually and have to set the local directory to store images and container aswell. You should have such a config in the end:

Mein Versuch, per WebGUI das local-Verzeichnis zu löschen, bzw. dieses händisch in der /etc/pve/storage.cfg zu löschen, schlugen fehl.
Der Inhalt von /var/lib/vz läßt sich nicht löschen. Die Unterverzeichnisse dump und templates werden immer wieder neu erstellt.
Beim Versuch
echo '/dev/pve/vz /var/lib/vz ext4 defaults 0 2' >> /etc/fstab
gelingt nur das Booten in den Maintenance-Modus

Zuletzt habe ich versucht, in ein anderes Verzeichnis zu mounten (vorher mit gleichen Rechten wie /var/lib/vz erstellt):
echo '/dev/pve/vz /var/lib/vzdata ext4 defaults 0 2' >> /etc/fstab
es gelingt wieder nur das Booten in den Maintenance-Modus

Kann mir jemand einen Denkanstoss geben?
Danke.

Der Inhalt meiner /etc/pve/storage.cfg (Löschen von local-Verzeichnis in WebGUI löscht den 1. Eintrag, aber das Verzeichnis bleibt bestehen):
dir: local
path /var/lib/vz
content iso,images,vztmpl,rootdir
maxfiles 0

lvmthin: lvm-thin
vgname vgdata
thinpool lvdata
content images,rootdir

Inhalt von /etc/fstab:
# <file system> <mount point> <type> <options> <dump> <pass>
/dev/pve/root / ext4 errors=remount-ro 0 1
/dev/pve/swap none swap sw 0 0
proc /proc proc defaults 0 0
# /dev/vgdata/lvdata /var/lib/vzdata ext4 defaults 0 2 geht nicht -> Startfehler


Weiterhin erscheint nun beim Restart mit reboot now folgende Fehlermeldung beim Shutdown:
watchdog watchdog0: watchdog did not stop!
systemd-shutdown[1]: Failed to finalize DM devices, ignoring

Und beim Systemstart:
systemd-sysv-generator[994]: Ignoring creation of an alias umount iscsi.service for itself

Ich kann bei Bedarf weitere Dateiauszüge posten.
Danke.

 

[LnxBil]

Mein Versuch, per WebGUI das local-Verzeichnis zu löschen, bzw. dieses händisch in der /etc/pve/storage.cfg zu löschen, schlugen fehl.

Richtig, das Storage 'local' ist unlöschbar (d.h. es wird immer wieder neu angelegt.)

echo '/dev/pve/vz /var/lib/vz ext4 defaults 0 2' >> /etc/fstab

Wenn du nach dem Hinzufügen einfach ein mount /var/lib/vz macht, was kommt dann als Meldung?

 

[pvedd7]

Danke für die schnelle Antwort
Sorry, für meinen Tippfehler aus dem letzten Post.
Korrekterweise müsste ich in meinem Fall schreiben:

echo '/dev/vgdata/lvdata /var/lib/vz ext4 defaults 0 2' >> /etc/fstab
mount /var/lib/vz

Hmmm, auf der ssh-Konsole bringt er dabei keinen Fehler.
df -h zeigt mir danach auch den Speicherplatz auf dem gemounteten Laufwerk an.
Allerdings zeigt er auf einer anderen Java-Remote-Konsole vor dem Login folgende Fehlermeldung:
EXT4-fs (dm-3): couldn't mount as ext3 due to feature incompatibilities
EXT4-fs (dm-3): couldn't mount as ext2 due to feature incompatibilities

Nun, das werde ich mal im Netz suchen.
Sehr Merkwürdig, da ich das Thin-Volume als ext4-FS erstellt habe.
Warum will er es als ext3 oder ext2 einbinden?

 

[LnxBil]

Über SSH kannst du auf Systemmeldungen im Kernel-Ring-Buffer via dmesg zugreifen, dann siehst du auch alles über SSH.

Kannst du bitte mal die df-Aufgabe noch posten?

 

[pvedd7]

Ich habe nochmal probiert, unter /mnt/lvdata zu mounten:

neuer Inhalt meiner /etc/fstab:

cat /etc/fstab
# <file system> <mount point> <type> <options> <dump> <pass>
/dev/pve/root / ext4 errors=remount-ro 0 1
/dev/pve/swap none swap sw 0 0
proc /proc proc defaults 0 0
/dev/vgdata/lvdata /mnt/lvdata ext4 defaults 0 2

root@pve:~# mount /mnt/lvdata &> /home/mountversuch.log
root@pve:~# cat /home/mountversuch.log
root@pve:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 10M 0 10M 0% /dev
tmpfs 13G 9.3M 13G 1% /run
/dev/dm-0 23G 1.4G 21G 7% /
tmpfs 32G 40M 32G 1% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/fuse 30M 16K 30M 1% /etc/pve
/dev/mapper/vgdata-lvdata 879G 72M 835G 1% /mnt/lvdata

Es kommt keine Fehlermeldung unter ssh
Aber einen ordentlichen Neustart überlebt das System damit leider auch nicht.

dmesg-Ausschnitte:

[ 11.317978] EXT4-fs (dm-0): mounted filesystem with ordered data mode. Opts: (null)

[ 11.416407] systemd-sysv-generator[994]: Ignoring creation of an alias umountiscsi.service for itself
[ 11.449377] systemd[1]: Cannot add dependency job for unit cgmanager.service, ignoring: Unit cgmanager.service failed to load: No such file or directory.
[ 11.449416] systemd[1]: Cannot add dependency job for unit display-manager.service, ignoring: Unit display-manager.service failed to load: No such file or directory.

[ 11.538584] ACPI Error: No handler for Region [SYSI] (ffff88085e0b6828) [IPMI] (20150930/evregion-163)
[ 11.538590] ACPI Error: Region IPMI (ID=7) has no handler (20150930/exfldio-297)
[ 11.538595] ACPI Error: Method parse/execution failed [\_SB.PMI0._GHL] (Node ffff88085e0a4500), AE_NOT_EXIST (20150930/psparse-542)
[ 11.538607] ACPI Error: Method parse/execution failed [\_SB.PMI0._PMC] (Node ffff88085e0a4460), AE_NOT_EXIST (20150930/psparse-542)
[ 11.538616] ACPI Exception: AE_NOT_EXIST, Evaluating _PMC (20150930/power_meter-755)

[ 11.586059] input: PC Speaker as /devices/platform/pcspkr/input/input4
[ 11.594449] Error: Driver 'pcspkr' is already registered, aborting...

[ 11.681974] EXT4-fs (dm-0): re-mounted. Opts: errors=remount-ro
[ 11.745543] (NULL device *): The BMC does not support setting the recv irq bit, compensating, but the BMC needs to be fixed.

[ 12.002101] device-mapper: thin: Data device (dm-2) discard unsupported: Disabling discard passdown.

[ 5972.291835] EXT4-fs (dm-3): mounted filesystem with ordered data mode. Opts: (null)

 

[LnxBil]

und was genau kommt als Fehler beim Neustart des Systems?

Vielleicht solltest du mal das initrd neu bauen:

update-initramfs -k all -u