Backup Task hängt und lässt sich nicht stoppen

[Dadido3]

Hallo,

ein Proxmox Backup Task ist hier einfach mitten im Backup hängengeblieben und lässt sich nun nicht mehr beenden. Dadurch lässt sich die entsprechende VM nun auch nicht mehr runterfahren, weil die immernoch gelockt ist (Es ist natürlich kein Problem den Lock aufzuheben). Soweit ich es sehen kann laufen alle VMs, Container und Proxmox im Moment ohne Probleme weiter.

Ich könnte den Server einfach resetten, aber dann bleibt natürlich das ungute Gefühl, dass das Problem eventuell wieder auftaucht. Deswegen, falls jemand eine Idee hat wie man dem Problem auf den Grund geht, immer her damit. Irgendwann muss ich natürlich einen Reset machen, aber bis dahin würde ich noch Hinweise sammeln.

Systembeschreibung

• proxmox-ve: 7.3-1 (running kernel: 5.15.85-1-pve).
• 32 GiB RAM.
• ZFS mirror mit 2 SSDs (Für Proxmox, VMs und LXCs).
• ZFS-Verbund von verschiedenen HDDs (Cold storage, nicht relevant für das Backup oder die entsprechende VM).
• Das "Snapshot" Backup der VMs und Container wird über CIFS/SMB auf einen anderen Windows-Rechner geschrieben.

Vorhergehende Änderung

Die Backups liefen sonst jahrelang ohne Probleme. Hier sind Änderungen welche ca. eine Woche vorher durchgeführt wurden:

• Update von PVE 7.1-X auf PVE 7.3-1.
• Hinzufügen von TPM devices für die VMs.
• Änderung einer VM von SeaBIOS zu OVMF.
• Änderung aller VMs Machine Version von 5.2 zu 7.1.

Das Backup lief aber bereits ein paar mal ohne Probleme seit diesen Änderungen.

Symptome

• Backup hängt, lässt sich nicht beenden.
• IO Delay hängt bei ca. 36 %, die Warteschlange wird anscheinend nicht abgearbeitet, siehe Screenshot.

Versuche

• Normales beenden des Tasks.
• CIFS/SMB Server kurz aus dem Netzwerk nehmen.
• kill, kill -9 mit der PID des Tasks.
• zpool status meldet keine Probleme mit den Laufwerken.
• Laufwerke sind nicht voll, auch nicht das Ziel des Backups.

 

[Falk R.]

Das Backup scheint ja laut Log abgeschlossen zu sein. Also am besten den Lock einfach entfernen.

Zu deinen Änderungen:
Änderung einer VM von SeaBIOS zu OVMF. wie hast du das gemacht? Normalerweise kann man kein OS von BIOS auf UEFI umstellen, außer mit Bastelanleitungen welche oft recht suspekt aussehen.

IO Delay hängt bei ca. 36 %, die Warteschlange wird anscheinend nicht abgearbeitet, siehe Screenshot.
Das klingt irgendwie nach Storageproblemen, hast du mal geschaut ob alle Disks / NFS zugreifbar sind?

 

[Dadido3]

Das Backup scheint ja laut Log abgeschlossen zu sein. Also am besten den Lock einfach entfernen.

Er ist nach der ersten VM hängen geblieben, da fehlen leider noch ein paar VMs und Container. Den Lock werde ich noch entfernen, aber das ist nicht das Problem.

Änderung einer VM von SeaBIOS zu OVMF. wie hast du das gemacht? Normalerweise kann man kein OS von BIOS auf UEFI umstellen

Das wird offiziell von Windows unterstützt, funktioniert auch genauso gut auch auf reellen Maschinen: https://learn.microsoft.com/de-de/windows/deployment/mbr-to-gpt.

Das klingt irgendwie nach Storageproblemen, hast du mal geschaut ob alle Disks / NFS zugreifbar sind?

Alle Platten/SSDs im Server funktionieren ohne Probleme, NFS hab ich nicht eingerichtet, externer Speicher ist (für die Backups) bis jetzt nur über CIFS/SMB angebunden.

Nach ein wenig Recherche sieht es aber wirklich nach Storageproblemen aus, aber eher in richtung Anbindung des Speichers:
Die Implementation von CIFS scheint irgendwie fehlerhaft und es kann zu Deadlocks (oder ähnlich) kommen, ich habe mittlerweile einige Threads gefunden die Ähnliches berichten:

• forum.proxmox.com/threads/proxmox-6-cifs-stuck
• forum.proxmox.com/threads/tainted-p
• forum.proxmox.com/threads/valid-smb-cifs-timing-out-and-other-issues
• lore.kernel.org/linux-cifs/325128ce-6ef7-9a18-a626-ee3505037c2c
• forums.sonarr.tv/t/strange-failures-on-cifs-mounts-solution (Mit möglicher Lösung durch abstellen des Caches in den CIFS mounts. Es wäre schön wenn es da eine Option in Proxmox Storage geben würde.)

Falls es sich herausstellt, dass es wirklich "nur" CIFS ist, dann werde ich kurzfristig damit leben müssen, und langfristig werde ich dann auf was Anderes umstellen.

 

[Falk R.]

Wieso nutzt du nicht den PBS? Da kannst du auch schön inkrementelle Backups machen.

 

[Dadido3]

Das wäre auf jeden Fall die beste Lösung, aber ich habe (noch) keine zweite Maschine wo ich den drauf installieren kann. Die Backups werden im Moment noch auf einen Windows PC geschrieben. Mal sehen wann ich das ändern kann.

 

[proxifoxi]

Das wäre auf jeden Fall die beste Lösung, aber ich habe (noch) keine zweite Maschine wo ich den drauf installieren kann. Die Backups werden im Moment noch auf einen Windows PC geschrieben. Mal sehen wann ich das ändern kann.

Warum nicht den Windows PC auf den Proxmox Server migrieren und dann den Windows PC als PBS nutzen


Grüße
eure
Foxi

 

[Falk R.]

Du kannst den PBS auch virtuell installieren und eine beliebige Disk oder einen Share anhängen.

 

[Dadido3]

Warum nicht den Windows PC auf den Proxmox Server migrieren und dann den Windows PC als PBS nutzen

Ich brauch halt den PC um dran zu arbeiten (und müsste dann auch PCIe- und USB-Geräte durchreichen, wenn ich den virtualisiere). Und der PC alleine wäre auch ein wenig überdimensioniert nur für PBS. ^^

Du kannst den PBS auch virtuell installieren und eine beliebige Disk oder einen Share anhängen.

Ok das wäre noch eine Option, aber langfristig wird es wohl auf einen zweiten Proxmox Server hinauslaufen, wo ich dann eine VM mit PBS laufen lasse. Das wäre dann meiner Meinung nach eine saubere Lösung...

Es ist kein Problem Alternativen zu SMB/CIFS zu finden und umzusetzen, aber ein in Proxmox eingebundenes CIFS-Share sollte nicht solche Probleme verursachen.

Ich starte den Server jetzt erstmal neu, mal sehen ob das Problem irgendwann wieder kommt. Je nachdem was passiert werde ich schauen wie ich das Problem umgehe, und mich dann melden.

Vielen Dank für die Tipps.

 

[mow]

• IO Delay hängt bei ca. 36 %, die Warteschlange wird anscheinend nicht abgearbeitet, siehe Screenshot.

Wieso eigentlich IO Delay? Das sollte eigentlich die Anzahl der wartenden Prozesse in der Warteschlange sein. Wenn Du jetzt aber Zombies hast, die auf ein SIGCHLD o.dgl. warten, sind die immer in der Warteschlange, tun aber eigentlich gar nichts.

 

[peterge]

Moin, was war hier die Lösung?
Habe vmtl exakt das gleiche Problem https://forum.proxmox.com/threads/smb-cifs-backup-job-stuck.142066/

 

[Dadido3]

Hallo,

meine Lösung war auf PBS umzusteigen. Der SMB/CIFS Client in Linux ist leider nicht zuverlässig. Je nach Kernelversion gibt es dann mal mehr oder weniger Probleme mit SMB.

PBS läuft hier jetzt auf verschiedenen Rechnern ohne Probleme. Alternativ könntest du auch noch versuchen dein Laufwerk über (S)FTP zu mounten, aber das geht nicht über die Proxmox-Benutzeroberfläche.

 

[peterge]

Hm ja PBS ist langfristig auch geplant. Vorher wäre meine idee noch NFS statt SMB zu testen, so backuppe ich seit jahren privat ohne probleme.