nach "qm rescan" images im pool "device_health_metrics"

[lightmans]

Hallo zusammen,

Heute habe ich mit Ceph in der shell gespielt und ein rbd image mit striping erstellt im pool "rbd"

 rbd create test_rbd_nvme/vm-105-disk-1 --size 102400 --stripe-unit 65536B --stripe-count 4

Plötzlich sehe ich in der Proxmox GUI alle Images die im Pool RBD sind doppelt im Pool "device_health_metrics" ?!
Wenn ich

rbd ls -l device_health_metrics

ausführe dann sind dort keine images und der pool ist leer.

Irgendwie hat das commando

qm rescan

die GUI Proxmox Datenbank durcheinander gebracht.

Wenn ich über die GUI die Images lösche im Pool "device_health_metrics" dann werden die original Images im Pool RBD gelöscht.
Irgendwie schreit das doch nach einem Bug.

Hat das jemand schonmal gehabt?
Weiß jemand wie man das korrigieren kann?

danke im voraus für Antworten,
lightmans

 

[fiona]

Hi,
bitte die Ausgabe von pveversion -v und cat /etc/pve/storage.cfg posten. Wo genau siehst Du die Images in der UI?

 

[lightmans]

Hallo Fiona,

Wir haben ein Pool mit dem Namen RBD (ja der Pool heißt so) , dort sind alle original VM Images.
Dann gebits es noch den Pool "Device Health Metrics" für Monitoring etc.
In der GUI klicke ich auf "Server View" -> "Datacenter" -> "irgend eine Node" -> "Storage device_health_metrics" -> VM Disks



Hier die Ausgabe

root@cd88-ceph-osdh-01:~# pveversion -v
proxmox-ve: 7.2-1 (running kernel: 5.15.60-1-pve)
pve-manager: 7.2-11 (running version: 7.2-11/b76d3178)
pve-kernel-helper: 7.2-12
pve-kernel-5.15: 7.2-11
pve-kernel-5.13: 7.1-9
pve-kernel-5.15.60-1-pve: 5.15.60-1
pve-kernel-5.15.53-1-pve: 5.15.53-1
pve-kernel-5.15.35-3-pve: 5.15.35-6
pve-kernel-5.13.19-6-pve: 5.13.19-15
pve-kernel-5.13.19-2-pve: 5.13.19-4
ceph: 16.2.9-pve1
ceph-fuse: 16.2.9-pve1
corosync: 3.1.5-pve2
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown2: 3.1.0-1+pmx3
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.24-pve1
libproxmox-acme-perl: 1.4.2
libproxmox-backup-qemu0: 1.3.1-1
libpve-access-control: 7.2-4
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.2-2
libpve-guest-common-perl: 4.1-2
libpve-http-server-perl: 4.1-3
libpve-storage-perl: 7.2-9
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 5.0.0-3
lxcfs: 4.0.12-pve1
novnc-pve: 1.3.0-3
proxmox-backup-client: 2.2.6-1
proxmox-backup-file-restore: 2.2.6-1
proxmox-mini-journalreader: 1.3-1
proxmox-widget-toolkit: 3.5.1
pve-cluster: 7.2-2
pve-container: 4.2-2
pve-docs: 7.2-2
pve-edk2-firmware: 3.20220526-1
pve-firewall: 4.2-6
pve-firmware: 3.5-3
pve-ha-manager: 3.4.0
pve-i18n: 2.7-2
pve-qemu-kvm: 7.0.0-3
pve-xtermjs: 4.16.0-1
qemu-server: 7.2-4
smartmontools: 7.2-pve3
spiceterm: 3.2-2
swtpm: 0.7.1~bpo11+1
vncterm: 1.7-1
zfsutils-linux: 2.1.5-pve1
root@cd88-ceph-osdh-01:~#

root@cd88-ceph-osdh-01:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content vztmpl,iso,backup

lvmthin: local-lvm
        thinpool data
        vgname pve
        content images,rootdir

rbd: rbd
        content rootdir,images
        krbd 0
        pool rbd

cephfs: iso_cephfs
        path /mnt/pve/iso_cephfs
        content vztmpl,iso,backup
        fs-name iso_cephfs

rbd: device_health_metrics
        content images,rootdir
        krbd 0
        pool rbd

pbs: cd133-bck-01.mgmt.camdata.de
        datastore store1
        server cd133-bck-01.mgmt.camdata.de
        content backup
        fingerprint 54:35:9b:9e:f1:f7:01:ff:fc:28:c1:65:23:a4:1a:67:f2:8e:fc:7a:6e:20:d0:7b:a0:76:ef:5c:5c:74:2d:56
        prune-backups keep-all=1
        username root@pam

rbd: test_rbd_nvme
        content rootdir,images
        krbd 0
        pool test_rbd_nvme

Danke für die Unterstützung

 

[fiona]

rbd: device_health_metrics
        content images,rootdir
        krbd 0
        pool rbd

Der pool-Eintrag ist falsch. Ich würde einfach pvesm remove device_health_metrics machen, um die Storage-Konfiguration dafür zu entfernen. Der Spezial-Pool für die device health metrics sollte nicht als Storage für Proxmox VE benutzt werden, sondern nur für Ceph intern

 

[lightmans]

OOkkkaayy... Frage: wenn ich den Befehl pvesm remove "device_health_metrics" ausführe wird nur in der GUI der Pool entfernt ? Oder auch der Pool in Ceph? Ist der Befehl Cluster übergreigend? Oder muss ich den auf jeder Node ausführen?

 

[fiona]

OOkkkaayy... Frage: wenn ich den Befehl pvesm remove "device_health_metrics" ausführe wird nur in der GUI der Pool entfernt ? Oder auch der Pool in Ceph? Ist der Befehl Cluster übergreigend? Oder muss ich den auf jeder Node ausführen?

Der Befehl löscht nur die Proxmox VE-spezifische Konfiguration und ist Cluster-übergreifend, weil die Storage-Konfiguration auf dem geteilten Cluster-Filesystem in /etc/pve/storage.cfg liegt.

 

[lightmans]

Super, danke dir. Ich habe es gerade ausgeführt und jetzt ist der Pool in der GUI weg.
Stellt sich aber trotzdem noch die Frage warum nach einem qm rescan die Images im Pool RBD in einem anderen Pool auftauchen. Ist euch das Verhalten bekannt?

 

[fiona]

Ich glaube nicht, dass das rescan da etwas geändert hat. Das liest die Storage-Konfiguration nur. Die Frage ist, wie der falsche Eintrag in die Storage-Konfiguration gekommen ist? Die GUI zeigt ja das "richtige" an: und zwar die Images, die im konfigurierten Pool sind.

 

[lightmans]

Ich weiss jetzt nicht ob wir an einander vorbeireden daher wiederhole ich nochmal was passiert ist oder war.

- Der Pool "device_health_metrics" ist damals entstanden als wir in der testumgebung versucht haben das Original Ceph Dashboard zu aktivieren u mit iSCSI Gateways zu experimentieren.

- Der Pool "device_health_metrics" war immer leer !

- Alle VM Images befinden sich immer im Pool RBD.

- Gestern Abend habe ich mit dem Feature Ceph Striping experimentiert. Da wir ein Schreib Performance Problem haben bei kleinen Dateien z.b. Datenbanken usw. Daher habe ich gestern ein Image manuell erstellt

rbd create test_rbd_nvme/vm-105-disk-1 --size 102400 --stripe-unit 65536B --stripe-count 4

- Als das image erstellt war habe ich qm rescan ausgeführt um das neue Festplatten Image der VM hinzuzufügen UND dann waren in der GUI plötzlich alle Image zusätzlich im Pool "device_health_metics" zu sehen

- Ich habe dann mit rbd ls -l device_health_metrics nachgeschaut und der Pool war weiterhin leer.

- Dann habe ich über die GUI testweise ein Image im Pool device_health_metrics gelöscht , und dann stelle ich erschreckenderweise fest das er das Image im Pool RBD gelöscht hat.

Das war ganz schön irreführend und got sei dank habe ich nur ein testimage gelöscht Aber das sollte nicht oder darf nicht passieren.

 

[fiona]

- Der Pool "device_health_metrics" war immer leer !

Dann muss aber damals der pool-Eintrag anders gewesen sein, oder noch keine VM Images im Pool rbd vorhanden.

- Als das image erstellt war habe ich qm rescan ausgeführt um das neue Festplatten Image der VM hinzuzufügen UND dann waren in der GUI plötzlich alle Image zusätzlich im Pool "device_health_metics" zu sehen

Mit rescan wurden die Disken, die auf dem falsch konfigurierten Storage waren als unused zu den VMs hinzugefügt. Kann es sein, dass dadurch erst aufgefallen ist, dass in der falsch konfigurierten Storage auch Images gelistet werden? Wie gesagt, rescan liest die Storage-Konfiguration nur.

- Ich habe dann mit rbd ls -l device_health_metrics nachgeschaut und der Pool war weiterhin leer.

Ja, aber das war nicht der konfigurierte Pool für die Storage.

- Dann habe ich über die GUI testweise ein Image im Pool device_health_metrics gelöscht , und dann stelle ich erschreckenderweise fest das er das Image im Pool RBD gelöscht hat.

Das war ganz schön irreführend und got sei dank habe ich nur ein testimage gelöscht Aber das sollte nicht oder darf nicht passieren.

Ja, aber der konfigurierte Pool war rbd, also hat die GUI das richtige gemacht.