Manche VM Sicherungen extrem langsam

[Janko]

Hey zusammen,

ich betreibe hier einen Cluster mit 14 Nodes, rund 100 VMs und zwei Proxmox Backup Servern (PBS).
Bei drei VMs – alle mit Ubuntu 16 als Betriebssystem – läuft das Backup allerdings alles andere als rund.
Während des Backups sind diese drei VMs praktisch unbenutzbar.
Zwei davon sind nach dem Backup sogar komplett „platt“ und benötigen einen vollständigen Reboot, um wieder erreichbar zu sein.
Selbst wenn ich das Bandbreitenlimit auf 5 MB/s setze, laufen diese VMs während des Backups völlig am Limit.

Alle anderen VMs im Cluster haben hingegen keinerlei Probleme bei der Sicherung.

Ein exemplarischer Backup-Aufruf sieht so aus:

vzdump 134 --fleecing '1,storage=local' --compress zstd --storage pbs01 --node cluster07 --mode snapshot --bwlimit 25600

Habt ihr eine Idee, warum gerade diese drei VMs so empfindlich auf das Backup reagieren?

 

[Falk R.]

Hey zusammen,

ich betreibe hier einen Cluster mit 14 Nodes, rund 100 VMs und zwei Proxmox Backup Servern (PBS).
Bei drei VMs – alle mit Ubuntu 16 als Betriebssystem – läuft das Backup allerdings alles andere als rund.
Während des Backups sind diese drei VMs praktisch unbenutzbar.
Zwei davon sind nach dem Backup sogar komplett „platt“ und benötigen einen vollständigen Reboot, um wieder erreichbar zu sein.
Selbst wenn ich das Bandbreitenlimit auf 5 MB/s setze, laufen diese VMs während des Backups völlig am Limit.

Alle anderen VMs im Cluster haben hingegen keinerlei Probleme bei der Sicherung.

Ein exemplarischer Backup-Aufruf sieht so aus:

vzdump 134 --fleecing '1,storage=local' --compress zstd --storage pbs01 --node cluster07 --mode snapshot --bwlimit 25600

Habt ihr eine Idee, warum gerade diese drei VMs so empfindlich auf das Backup reagieren?

Wenn du die Bandbreite limitierst, muss es ja langsam werden. Du limitierst den Write der VM auch automatisch auf die eingestellte Bandbreite.
Wird in den viel zu alten VMs zufällig noch ext2 genutzt?

 

[Janko]

Wenn du die Bandbreite limitierst, muss es ja langsam werden. Du limitierst den Write der VM auch automatisch auf die eingestellte Bandbreite.
Wird in den viel zu alten VMs zufällig noch ext2 genutzt?

Hi Falk und danke für deine Rückmeldung.
Alle VMs nutzen ext4.

Wenn ich bei diesen drei VM "Feuer frei" sage, dann sind sie während des Backupvorgangs absolut nicht mehr nutzbar und im Anschluss auch "platt" also defekt.
Es hilft dann nur ein harter Stop und Start damit die Kisten wieder funktionieren.

Es sind exakt die gleichen NVMe Platten bzw. SAN Systeme wie bei allen anderen VM verbaut.

 

[Falk R.]

Du machst fleecing auf local. Ist deine local Disk eventuell ausgelastet?
Was passiert ohne Fleecing?

 

[Janko]

Du machst fleecing auf local. Ist deine local Disk eventuell ausgelastet?
Was passiert ohne Fleecing?

Die locale Disk hat noch reichlich Luft. Außer dem OS liegt Nichts auf der NVMe.
Ich habe es auch bereits ohne Fleecing Disk probiert aber da war es noch deutlich schlimmer.

 

[Falk R.]

Die locale Disk hat noch reichlich Luft. Außer dem OS liegt Nichts auf der NVMe.
Ich habe es auch bereits ohne Fleecing Disk probiert aber da war es noch deutlich schlimmer.

So wie du das schilderst, müssten die VMs während des Backups massiv Write I/Os machen. Check mal ob zu der Zeit tatsächlich viel I/O stattfindet.
Das Ubuntu auf etwas einigermaßen aktuelles hochzuziehen ist keine Option?

 

[Janko]

So wie du das schilderst, müssten die VMs während des Backups massiv Write I/Os machen. Check mal ob zu der Zeit tatsächlich viel I/O stattfindet.
Das Ubuntu auf etwas einigermaßen aktuelles hochzuziehen ist keine Option?

Es ist zumindest nicht mehr IO als bei den anderen VM.
Leider ist ein Upgrade hier keine wirklich Option obwohl das meine "Lieblingslösung" wäre.

Das ist ein ein selbst programmiertes MailInterface vom Kunden was zwingend PHP5 braucht.
Auch einige alten Libs werden benötigt. Wir hatten mal den Versuch einer Migration gestartet es aber ziemlich schnell verworfen.

Das Interface soll noch bis 2027 dort laufen.
Dann soll der große Heilsbringer Exchange kommen....

Leider sind die Admins vom Kunden auch absolut beratungsresistent in dieser Hinsicht.

Ich dachte bisher immer, dass der PBS Blockweise weg sichert.
Macht der Dateninhalt innerhalb der VM dennoch einen Unterschied?

 

[Falk R.]

Es ist zumindest nicht mehr IO als bei den anderen VM.
Leider ist ein Upgrade hier keine wirklich Option obwohl das meine "Lieblingslösung" wäre.

Das ist ein ein selbst programmiertes MailInterface vom Kunden was zwingend PHP5 braucht.
Auch einige alten Libs werden benötigt. Wir hatten mal den Versuch einer Migration gestartet es aber ziemlich schnell verworfen.

Das Interface soll noch bis 2027 dort laufen.
Dann soll der große Heilsbringer Exchange kommen....

Leider sind die Admins vom Kunden auch absolut beratungsresistent in dieser Hinsicht.

Ich dachte bisher immer, dass der PBS Blockweise weg sichert.
Macht der Dateninhalt innerhalb der VM dennoch einen Unterschied?

Der PBS sichert Blockbasiert, daher wundert mich auch, dass nur bestimmte VMs betroffen sind.
Kannst du mal eine Konfiguration von so einer VM posten? Eventuell fällt dann etwas auf.