[SOLVED] Backup friert VM's ein - rrd update failed

[MSP1978]

Guten Morgen Zusammen,

ich habe seit ein paar Tagen das Problem, dass unterschiedliche VMs bei mir über Nacht "einfrieren" und nur noch durch Neustart beheben kann.

Zuerst dachte ich, dass Problem läge auf Seiten des PVE. Die betroffenen VMs waren aber immer andere, mal meine pfSense, dann meine Univention, dann meine Docker-VM. Und alles über Nacht.
Heute Morgen hing mal wieder die Univention-VM, und ich habe mir einmal alle VMs angeschaut, auch meinen Backup Server, der als VM auf meiner PVE läuft.
Hier habe ich dann in den Logfiles das gesehen:

proxmox-backup-proxy[580]: rrd update failed: time in past (1705914619.9362552 < 1795029347.803425)

Zudem werden im Backup Server unter Administration die Grafiken für CPU-Auslastung usw. nicht angezeigt, diese sind komplett leer.

Daraufhin habe ich einmal im Forum geschaut und mir die verschiedenen Lösungen bzw. Anleitungen durchgelesen und umgesetzt.
Stand jetzt läuft bei mir der rrd-Dienst, aber die Meldungen im Logfile kommen weiterhin alle 10s.
Das Backup von dieser Nacht, welches die Univention-VM "abgeschossen" hat, steht im Backup Server mit folgendem Eintrag:

Start Time: 2024-01-21 02:01:13
End Time: 2026-11-22 13:33:50
Duration: 2y 306d 11h

Hier der Status des Backup-Jobs:

2024-01-21T02:01:13+01:00: starting new backup on datastore 'Backup-Data' from ::ffff:192.168.10.254: "vm/108/2024-01-21T01:01:10Z"
2024-01-21T02:01:13+01:00: download 'index.json.blob' from previous backup.
2024-01-21T02:01:13+01:00: register chunks in 'drive-scsi0.img.fidx' from previous backup.
2024-01-21T02:01:13+01:00: download 'drive-scsi0.img.fidx' from previous backup.
2024-01-21T02:01:13+01:00: created new fixed index 1 ("vm/108/2024-01-21T01:01:10Z/drive-scsi0.img.fidx")
2024-01-21T02:01:13+01:00: add blob "/mnt/datastore/Backup-Data/vm/108/2024-01-21T01:01:10Z/qemu-server.conf.blob" (363 bytes, comp: 363)
2026-11-22T13:33:50+01:00: backup failed: connection error: timed out
2026-11-22T13:33:50+01:00: removing failed backup
2026-11-22T13:33:50+01:00: TASK ERROR: connection error: timed out
2026-11-22T13:33:50+01:00: POST /fixed_chunk: 400 Bad Request: error reading a body from connection: timed out

Habt Ihr eine Idee wie ich den Zeitversatz wieder in Ordnung bekommen kann im Proxmox Backup Server?

root@pbs-int01:~# systemctl status rrdcached.service
● rrdcached.service - LSB: start or stop rrdcached
Loaded: loaded (/etc/init.d/rrdcached; generated)
Active: active (running) since Mon 2024-01-22 09:45:15 CET; 35min ago
Docs: man:systemd-sysv-generator(8)
Process: 993 ExecStart=/etc/init.d/rrdcached start (code=exited, status=0/SUCCESS)
Tasks: 7 (limit: 9442)
Memory: 1.4M
CPU: 166ms
CGroup: /system.slice/rrdcached.service
└─998 /usr/bin/rrdcached -B -b /var/lib/rrdcached/db/ -j /var/lib/rrdcached/journal/ -p /var/run/rrdcached.pid -l unix:/var/run/rrdcached.sock

Jan 22 09:45:15 pbs-int01 systemd[1]: Starting rrdcached.service - LSB: start or stop rrdcached...
Jan 22 09:45:15 pbs-int01 rrdcached[993]: rrdcached started.
Jan 22 09:45:15 pbs-int01 systemd[1]: Started rrdcached.service - LSB: start or stop rrdcached.

root@pbs-int01:~# timedatectl
Local time: Mon 2024-01-22 10:22:51 CET
Universal time: Mon 2024-01-22 09:22:51 UTC
RTC time: Mon 2024-01-22 09:22:51
Time zone: Europe/Berlin (CET, +0100)
System clock synchronized: yes
NTP service: active
RTC in local TZ: no

root@pbs-int01:~# date
Mon Jan 22 10:23:13 AM CET 2024

root@pbs-int01:~# hwclock
2024-01-22 10:23:36.169369+01:00

Gruss,
Michael

 

[Folke]

Hallo Michael,

ich würde mal sicherstellen, dass auf beiden Systemen Chrony installiert ist und läuft [0]. Mit Version 7 ist Proxmox zu Chrony gewechselt, aber die Umstellung wäre von einem Upgrade nicht automatisch vorgenommen worden.

Sollte bereits Chrony laufen, würde ich mal die Systemlogs checken, ob es vielleicht Problem beim Aktualisieren der Systemzeit gab sudo journalctl -eu chrony

[0] https://pve.proxmox.com/wiki/Time_Synchronization

 

[MSP1978]

Hallo Michael,

ich würde mal sicherstellen, dass auf beiden Systemen Chrony installiert ist und läuft [0]. Mit Version 7 ist Proxmox zu Chrony gewechselt, aber die Umstellung wäre von einem Upgrade nicht automatisch vorgenommen worden.

Sollte bereits Chrony laufen, würde ich mal die Systemlogs checken, ob es vielleicht Problem beim Aktualisieren der Systemzeit gab sudo journalctl -eu chrony

[0] https://pve.proxmox.com/wiki/Time_Synchronization

Hallo Folke,

Chrony habe ich bereits auf allen VMs laufen, das hatte ich bereits beim Upgrade auf PVE8 gemacht, da ich dort bereits schon Probleme hatte

Hier der Auszug aus dem Status von journalctl -eu chrony:

Jan 22 09:35:19 pbs-int01 systemd[1]: Starting chrony.service - chrony, an NTP client/server...
Jan 22 09:35:19 pbs-int01 chronyd[573]: chronyd version 4.3 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SIGND +ASYNCDNS +NTS +SECHASH +IPV6 -DEBUG)
Jan 22 09:35:19 pbs-int01 chronyd[573]: Frequency -18.401 +/- 0.443 ppm read from /var/lib/chrony/chrony.drift
Jan 22 09:35:19 pbs-int01 chronyd[573]: Using right/UTC timezone to obtain leap second data
Jan 22 09:35:19 pbs-int01 chronyd[573]: Loaded seccomp filter (level 1)
Jan 22 09:35:19 pbs-int01 systemd[1]: Started chrony.service - chrony, an NTP client/server.
Jan 22 09:35:24 pbs-int01 chronyd[573]: Selected source 162.159.200.123 (0.de.pool.ntp.org)
Jan 22 09:35:24 pbs-int01 chronyd[573]: System clock TAI offset set to 37 seconds
Jan 22 09:35:26 pbs-int01 chronyd[573]: Selected source 159.69.81.120 (0.de.pool.ntp.org)
Jan 22 09:36:30 pbs-int01 chronyd[573]: Selected source 142.132.210.78 (0.de.pool.ntp.org)
Jan 22 09:37:36 pbs-int01 chronyd[573]: Selected source 162.159.200.123 (0.de.pool.ntp.org)
Jan 22 13:53:31 pbs-int01 chronyd[573]: System clock was stepped by 0.000375 seconds
Jan 22 13:53:41 pbs-int01 chronyd[573]: System clock was stepped by 0.000000 seconds

Als Quellen ist der Debian Pool eingetragen:

root@pbs-int01:~# chronyc sources
MS Name/IP address Stratum Poll Reach LastRx Last sample
===============================================================================
^- mail.kpprs.de 2 10 377 853 -2496us[-2697us] +/- 35ms
^* time.cloudflare.com 3 10 377 751 -219us[ -422us] +/- 9524us
^+ mail.morbitzer.de 2 10 377 500 -6149us[-6149us] +/- 19ms
^- ntp1.sack.dev 2 10 377 11 -5488us[-5488us] +/- 50ms

Für mich sieht das alles soweit sauber aus, das System hat die aktuelle Zeit und auch Server die erreicht werden können.
Nur wieso der Backup Server in die Logfiles einen Versatz schreibt weis ich nicht :-(

Gruss,
Michael

 

[Folke]

Ah, verstehe.
RRD kann manchmal etwas pingelich sein, wenn der mal Daten aus der Zukunft bekommen hat und nimmt dann keine Daten mehr an, die älter als der neueste Eintrag sind. Sollten die historischen Auslastungsdaten für euch nicht kritisch sein, würde empfehlen den Ordner /var/lib/proxmox-backup/rrdb umzubenennen und den Service proxmox-backup-proxy neu zu starten.

mv /var/lib/proxmox-backup/rrdb /var/lib/proxmox-backup/rrdb.old \
    && systemctl restart proxmox-backup-proxy.service

 

[MSP1978]

Ah, verstehe.
RRD kann manchmal etwas pingelich sein, wenn der mal Daten aus der Zukunft bekommen hat und nimmt dann keine Daten mehr an, die älter als der neueste Eintrag sind. Sollten die historischen Auslastungsdaten für euch nicht kritisch sein, würde empfehlen den Ordner /var/lib/proxmox-backup/rrdb umzubenennen und den Service proxmox-backup-proxy neu zu starten.

mv /var/lib/proxmox-backup/rrdb /var/lib/proxmox-backup/rrdb.old \
    && systemctl restart proxmox-backup-proxy.service

Hallo Folke,

hab Deinen Tipp versucht, aber der Service startet nicht mehr wenn der Ordner verschoben wird. Die Ordner werden nicht neu angelegt, es scheinen keine Zugriffsrechte zu existieren.

2024-01-22T14:56:13.182455+01:00 pbs-int01 systemd[1]: proxmox-backup-proxy.service: Scheduled restart job, restart counter is at 2.
2024-01-22T14:56:13.182811+01:00 pbs-int01 systemd[1]: Stopped proxmox-backup-proxy.service - Proxmox Backup API Proxy Server.
2024-01-22T14:56:13.203421+01:00 pbs-int01 systemd[1]: Starting proxmox-backup-proxy.service - Proxmox Backup API Proxy Server...
2024-01-22T14:56:13.212945+01:00 pbs-int01 proxmox-backup-proxy[1053]: Error: unable to create rrdb stat dir - EACCES: Permission denied
2024-01-22T14:56:13.214028+01:00 pbs-int01 systemd[1]: proxmox-backup-proxy.service: Main process exited, code=exited, status=1/FAILURE
2024-01-22T14:56:13.214175+01:00 pbs-int01 systemd[1]: proxmox-backup-proxy.service: Failed with result 'exit-code'.
2024-01-22T14:56:13.214396+01:00 pbs-int01 systemd[1]: Failed to start proxmox-backup-proxy.service - Proxmox Backup API Proxy Server.

Gruss,
Michael

 

[Folke]

Hm, das ist seltsam, eigentlich sollte der Überordner auch dem Backupserver gehören und damit der Fehler nicht auftreten...
Wie dem auch sei, dann kann man den Ordner auch per Hand anlegen:

mkdir /var/lib/proxmox-backup/rrdb
chown backup:backup /var/lib/proxmox-backup/rrdb -R

 

[MSP1978]

Hm, das ist seltsam, eigentlich sollte der Überordner auch dem Backupserver gehören und damit der Fehler nicht auftreten...
Wie dem auch sei, dann kann man den Ordner auch per Hand anlegen:

mkdir /var/lib/proxmox-backup/rrdb
chown backup:backup /var/lib/proxmox-backup/rrdb -R

Hallo Folke,

das scheint es gewesen zu sein, die Unterordner werden wieder angelegt, die Graphen sind wieder da und im Logfile taucht keine Meldung mehr zum rrdb update auf.
Jetzt hießt es Beobachten und Daumen drücken für die Backup-Jobs

Vielen Dank für Deine schnelle und zielführende Hilfe

Grus,
Michael