PVE Sicherung sporadischer Fehler - Backup Backup of VM XXX failed - cannot determine size of volume

[m.hieb]

Seit Wochen macht die tägliche Sicherung auf einen Cluster Knotens eines PVE 8.1.4 auf/per den PBS 3.1-4 Storage Probleme.
Die VMs liegen auf mehreren NAS LUNS die per LVM/ISCSI + Multipath und 10GB eingebunden sind.

Der Fehler tritt bei den VM Sicherung sporadisch auf:

ERROR: Backup of VM XXX failed - cannot determine size of volume 'XXX' - command '/sbin/lvs --separator : --noheadings --units b --unbuffered --nosuffix --options lv_size XXX' failed: got timeout

VMID​	Name​	Status​	Time​	Size​	Filename​
100	XXX	ok	8min 16s	150 GiB	vm/100/2024-04-22T01:00:00Z
103	XXX	err	1min 21s	0 B	null
104	XXX	err	1min 39s	0 B	null
105	XXX	ok	1min 34s	50 GiB	vm/105/2024-04-22T01:11:17Z
107	XXX	err	1min 27s	0 B	null
110	XXX	err	2min 38s	0 B	null
111	XXX	err	1min 33s	0 B	null
121	XXX	err	1min 33s	0 B	null
122	XXX	ok	1min 17s	50 GiB	vm/122/2024-04-22T01:20:02Z
123	XXX	err	3min	0 B	null
124	XXX	err	2min 2s	0 B	null
125	XXX	ok	1min 55s	60 GiB	vm/125/2024-04-22T01:26:21Z
126	XXX	err	1min 23s	0 B	null
133	XXX	err	2min 2s	0 B	null
135	XXX	err	1min 36s	0 B	null
138	XXX	err	1min 39s	0 B	null
144	XXX	err	3min 31s	0 B	null

Gibt es dafür eine Lösung?

 

[mgabriel]

Wenn es sporadisch auftritt, könnte es sein dass eine deiner Storages zu langsam ist.

Läuft dein PBS virtuell auf den gleichen LUNs? Das konnte ich dem ersten Satz nicht so richtig entnehmen.

 

[m.hieb]

Auf dem PVE Knoten sind LUNs eingebunden mit RAID6 HDDs+SSDs-Cache und auch reinen Raid5 SSDs.
Der Fehler tritt auch bei der reinen SSD LUNS auf.

Der PBS befindet sich auf dem betroffene Knoten und ist auf einer lokalen SSD virtualisiert.
Die Sicherung werden auf ein eine Storage vom PBS gespeichert, welches per ISCSI LUN eingebunden ist. Den LUN Storage für die Sicherung stellt eine anderen NAS bereit.

Bei einem anderen PVE Knoten sind diese VM-LUNs genauso eingebunden und machen keine Probleme bei der Sicherung.

 

[mgabriel]

Was geschieht denn, wenn du den Befehl /sbin/lvs --separator : --noheadings --units b --unbuffered --nosuffix --options lv_size <volume_group> von Hand eingibst, einmal wenn keine Backups laufen und einmal wenn Backups laufen?

Wie hoch steht denn der iowait zur Zeit des Backups auf dieser LUN?

 

[m.hieb]

Wir hatten den betroffenen Cluster Knoten neu gestartet, danach funktionierte die Sicherung wieder ohne Probleme.