Backup of one single LXC hangs up at 3 Node CEPH Cluster

[houbidoo]

Hallo zusammen,



Wir haben ein unangenehmes Phänomen:

Auf unserem Proxmox HA-Cluster hängt sich das Backup eines einzelnen LXC (LibreNMS) andauernd auf, nur dieser. Der Zustand der VM ist „undefiniert“, via Konsole kein Output, CPU und RAM nahe Null, HA sagt aber started und der Container ist locked.



Hintergundinfos:

3 Node Cluster (168 CPU, 384GB RAM, 1TB CEPH Storage RBD auf HDDs 15k SAS) mit CEPH 6 OSDs, alles active + clean

System ist je Node auf 2 Platten mit ZFS Raid1 installiert, CEPH Storage dann auf den anderen beiden Platten je Node. Alles 15k SAS HDD

Auslastung in allen Richtungen CPU, RAM, Storage weit weg von nur annähernd ausgelastet

Backups werden auf einem NFS share gespeichert

7 LXC Container alle Ubuntu 20.04 oder 22.04, 2 KVM VMs…recht gleichmäßig verteilt auf die 3 nodes



Log:

INFO: Starting Backup of VM 106 (lxc)

INFO: Backup started at 2022-11-16 03:30:11

INFO: status = running

INFO: CT Name: monitoring01

INFO: including mount point rootfs ('/') in backup

INFO: backup mode: snapshot

INFO: ionice priority: 7

INFO: create storage snapshot 'vzdump'

…..da bleibt es dann hängen. Der LXC is locked, es tut sich nichts mehr

 

[houbidoo]

If you tell me location and what to look for of additional logs I can get the info

 

[Falk R.]

Für mich stellt sich die Frage, warum man bei einem Ceph HA Cluster LXCs installiert. VMs könntest du live zwischen den Nodes migrieren und ich habe die Erfahrung gemacht, dass manche Software in Containern zickig sind, wenn man den Kernel auf dem Host patcht.

Zum Problem ohne weitere Logs wird dir leider keiner helfen können.

 

[houbidoo]

Wie es so häufig ist: historisch gewahsen...das ganze war mal nicht als HA Cluster im betrieb, aber tut nun ja nichts zur Sache.

Welche Logs wären interessant und wo find ich diese, dann kann ich gerne alle Infos zur Verfügung stellen.

 

[Falk R.]

Ich habe null Erfahrung mit LXC, da ich immer HA Cluster baue mit VMs, aber einfach mal im Forum gucken zu dem Thema.