Backup LXC nicht möglich - Read error at byte 0, while reading 3072 bytes: Input/output error

[Malz1902]

Hallo, ich vesuche gerade von meinem PiHole LXC ein Backup zu machen. Leider geht das nicht:

INFO: starting new backup job: vzdump 102 --compress zstd --node pve --storage local --mode snapshot --remove 0

INFO: Starting Backup of VM 102 (lxc)

INFO: Backup started at 2020-11-26 08:03:02

INFO: status = stopped

INFO: backup mode: stop

INFO: ionice priority: 7

INFO: CT Name: pihole

INFO: including mount point rootfs ('/') in backup

INFO: creating vzdump archive '/var/lib/vz/dump/vzdump-lxc-102-2020_11_26-08_03_02.tar.zst'

INFO: tar: ./var/log/syslog.1: Read error at byte 0, while reading 3072 bytes: Input/output error

INFO: Total bytes written: 1341224960 (1.3GiB, 48MiB/s)

INFO: tar: Exiting with failure status due to previous errors

ERROR: Backup of VM 102 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/var/lib/vz/dump/vzdump-lxc-102-2020_11_26-08_03_02.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/var/lib/vz/dump/vzdump-lxc-102-2020_11_26-08_03_02.tar.dat' failed: exit code 2

INFO: Failed at 2020-11-26 08:03:29

INFO: Backup job finished with errors

TASK ERROR: job errorsA

Wer kann mir helfen

 

[Dunuin]

Was mich etwas irritiert ist "... --mode snapshot ..." und "INFO: backup mode: stop".
Ich vermute mal dein LXC war ausgeschaltet zum Start des Backups und daher war kein snapshotting notwändig und es wurde stattdessen im mode "stop" ausgeführt weil das prinzipiell sicherer ist?

Hast du da "stop" oder "snapshot" beim Backup Job als Modus gewählt?
Hast du mal versucht die Datei "/var/log/syslog.1" manuell zu öffnen zum gucken ob die lesbar ist?
Hast du mal smartctl ausgeführt um die SMART-Werte deiner Laufwerke auszulesen? Sind da vielleicht irgendwelche Werte erhöht?

 

[Malz1902]

Ich habe alle 3 Varianten probiert und auch LXC an bzw aus, kommt immer die Meldung

INFO: tar: ./var/log/syslog.1: Read error at byte 0, while reading 3072 bytes: Input/output error

und dann Error

 

[Malz1902]

Gerade nochmal versucht LXC Stopped Backup Modus Stop

INFO: starting new backup job: vzdump 102 --mode stop --node pve --remove 0 --compress zstd --storage usb-sdb1
INFO: Starting Backup of VM 102 (lxc)
INFO: Backup started at 2020-11-26 09:46:48
INFO: status = stopped
INFO: backup mode: stop
INFO: ionice priority: 7
INFO: CT Name: pihole
INFO: including mount point rootfs ('/') in backup
INFO: creating vzdump archive '/media/sdb1/dump/vzdump-lxc-102-2020_11_26-09_46_48.tar.zst'
INFO: tar: ./var/log/syslog.1: Read error at byte 0, while reading 1024 bytes: Input/output error
INFO: Total bytes written: 1350164480 (1.3GiB, 32MiB/s)
INFO: tar: Exiting with failure status due to previous errors
ERROR: Backup of VM 102 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/media/sdb1/dump/vzdump-lxc-102-2020_11_26-09_46_48.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/media/sdb1/dump/vzdump-lxc-102-2020_11_26-09_46_48.tar.dat' failed: exit code 2
INFO: Failed at 2020-11-26 09:47:29
INFO: Backup job finished with errors
TASK ERROR: job errors

Immer noch Fehler

 

[fabian]

Hast du mal versucht die Datei "/var/log/syslog.1" manuell zu öffnen zum gucken ob die lesbar ist?
Hast du mal smartctl ausgeführt um die SMART-Werte deiner Laufwerke auszulesen? Sind da vielleicht irgendwelche Werte erhöht?

 

[Malz1902]

Datei kann ich öffnen, meine anderen 4 LXCs und eine VM konnt ich erfolgreich Backupen

 

[Malz1902]

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0032   100   100   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       5187
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       310
165 Block_Erase_Count       0x0032   100   100   000    Old_age   Always       -       6392
166 Minimum_PE_Cycles_TLC   0x0032   100   100   ---    Old_age   Always       -       16
167 Max_Bad_Blocks_per_Die  0x0032   100   100   ---    Old_age   Always       -       46
168 Maximum_PE_Cycles_TLC   0x0032   100   100   ---    Old_age   Always       -       40
169 Total_Bad_Blocks        0x0032   100   100   ---    Old_age   Always       -       130
170 Grown_Bad_Blocks        0x0032   100   100   ---    Old_age   Always       -       0
171 Program_Fail_Count      0x0032   100   100   000    Old_age   Always       -       0
172 Erase_Fail_Count        0x0032   100   100   000    Old_age   Always       -       0
173 Average_PE_Cycles_TLC   0x0032   100   100   000    Old_age   Always       -       16
174 Unexpected_Power_Loss   0x0032   100   100   000    Old_age   Always       -       290
184 End-to-End_Error        0x0032   100   100   ---    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   ---    Old_age   Always       -       0
194 Temperature_Celsius     0x0022   083   044   000    Old_age   Always       -       17 (Min/Max 8/44)
199 UDMA_CRC_Error_Count    0x0032   100   100   ---    Old_age   Always       -       0
230 Media_Wearout_Indicator 0x0032   100   100   000    Old_age   Always       -       0x121a0314121a
232 Available_Reservd_Space 0x0033   100   100   005    Pre-fail  Always       -       100
233 NAND_GB_Written_TLC     0x0032   100   100   ---    Old_age   Always       -       1953
234 NAND_GB_Written_SLC     0x0032   100   100   000    Old_age   Always       -       34758
241 Host_Writes_GiB         0x0030   100   100   000    Old_age   Offline      -       13488
242 Host_Reads_GiB          0x0030   100   100   000    Old_age   Offline      -       1853
244 Temp_Throttle_Status    0x0032   000   100   ---    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1

 

[fabian]

funktioniert das backup wenn du die datei löscht (eventuell vorher per hand außerhalb des containers sichern )?

 

[gustel]

Hallo zusammen,

ich habe ein ähnliches Problem und bin am Verzweifeln.
Ich will mein Netzwerk neu strukturieren, aktuell läuft ein PVE6 auf einem normalen Rechner.
Da ich immer mal wieder (selbstverschuldete) Probleme hatte will ich auf 2 HM90 mit gleicher Hardware + ein Raspi oder eine VM mit der dritten PVE im Cluster aufbauen, da auf dem PVE meine Hausautomation läuft.

Auf den HM90 ist 1x M2 PCIe 1TB für das komplette System mit LXC und VM.
1x Sata SSD 1TB für den PBS der in einem LXC läuft, die SSD wird durchgereicht
Der PBS-1 wird dann über einen dritten PBS-3 weggesichert.

Ich habe das aktuelle PVE7 (pve-manager/7.1-8/5b267f33 (running kernel: 5.15.7-1-pve)
mit ZFS (0) installiert. Der PBS-1 hat die 2.1-2.

Ich kann keine Snapshots erstellen, weil:
Aufgrund der aktuellen Gast-Konfiguration, kann kein neuer Snapshot erstellt werden
Und die Backups funktionieren nur im ausgeschalteten Zustand . Wenn ein LXC läuft kommt folgender Error….

INFO: starting new backup job: vzdump 1000 --node pve1 --storage PBS1 --remove 0 --mode snapshot
INFO: Starting Backup of VM 1000 (lxc)
INFO: Backup started at 2021-12-28 11:32:55
INFO: status = running
INFO: CT Name: TestSystem
INFO: including mount point rootfs ('/') in backup
INFO: mode failure - some volumes do not support snapshots
INFO: trying 'suspend' mode instead
INFO: backup mode: suspend
INFO: ionice priority: 7
INFO: CT Name: TestSystem
INFO: including mount point rootfs ('/') in backup
INFO: starting first sync /proc/4025/root/ to /var/tmp/vzdumptmp43709_1000
ERROR: Backup of VM 1000 failed - command 'rsync --stats -h -X -A --numeric-ids -aH --delete --no-whole-file --sparse --one-file-system --relative '--exclude=/tmp/?*' '--exclude=/var/tmp/?*' '--exclude=/var/run/?*.pid' /proc/4025/root//./ /var/tmp/vzdumptmp43709_1000' failed: exit code 23
INFO: Failed at 2021-12-28 11:33:03
INFO: Backup job finished with errors
TASK ERROR: job errors

root@pve1:/var/log/vzdump# tail lxc-1000.log
2021-12-28 11:32:55 INFO: CT Name: TestSystem
2021-12-28 11:32:55 INFO: including mount point rootfs ('/') in backup
2021-12-28 11:32:55 INFO: mode failure - some volumes do not support snapshots
2021-12-28 11:32:55 INFO: trying 'suspend' mode instead
2021-12-28 11:32:55 INFO: backup mode: suspend
2021-12-28 11:32:55 INFO: ionice priority: 7
2021-12-28 11:32:55 INFO: CT Name: TestSystem
2021-12-28 11:32:55 INFO: including mount point rootfs ('/') in backup
2021-12-28 11:32:55 INFO: starting first sync /proc/4025/root/ to /var/tmp/vzdumptmp43709_1000
2021-12-28 11:33:03 ERROR: Backup of VM 1000 failed - command 'rsync --stats -h -X -A --numeric-ids -aH --delete --no-whole-file --sparse --one-file-system --relative '--exclude=/tmp/?*' '--exclude=/var/tmp/?*' '--exclude=/var/run/?*.pid' /proc/4025/root//./ /var/tmp/vzdumptmp43709_1000' failed: exit code 23
root@pve1:/var/log/vzdump#

Ich denke, dass es an der ZFS installation liegt. Bei meinen anderen Installationen ohne ZFS für das BS habe ich die Probleme nicht.
Wie sollte man PVE installieren, wenn man für das komplette System nur 1 Datenträger nimmt?? (BTRFS?)

Gruß Frank

 

[Dunuin]

ZFS hat massiv Overhead und ohne Parität durch eine weitere Disk gibt es auch keinen Schutz vor schleichendem Dateiverfall. Dir kann dann zwar ZFS sagen, welche deiner Daten korrumpiert sind, es kann diese dann aber nicht reparieren und du hast trotzdem Datenverlust.

Ich würde da wohl wegen der Performance und Speichereffizienz zu LVM-Thin greifen, bin aber nicht sicher ob dann qcow2 als Format für die virtuellen Disks geht, falls da Snapshots benötigt werden.

Klingt aber so als wurdest du einen HA Cluster im Sinn haben mit 2 Nodes + Raspi als Q-Device. Dann musst du ja einen redundanten Shared Storage nehmen und da bleibt dir mit 2 Nodes ja eigentlich nur ZFS mit Replikation (oder vltl. noch Gluster).

 

[gustel]

Hallo,

HA Cluster im Sinn haben mit 2 Nodes + Raspi als Q-Device

So sind einmal meine Gedankenspiele.
Auf dem Rechner auf dem aktuell PVE läuft soll UNRAID oder TrueNAS drauf. Bei UNRAID könnte ich dann eine VM mit PVE-3 laufen lassen (denke ich) und hätte ein Shared Storage.
Was mir wichtig ist, wenn PVE-1 ausfällt ein anderer einspringt. Ohne das ich "etwas tun muss", im Sinne von PVE-2 starten > Backups zurückspielen > IP´s anpassen etc.... (wenn es nicht anderst geht aber trotzdem ok)
Auf dem PVE läuft Adguard, Nginx ProxyManager, InfluxDB, TVHeadend, Unifi-Video, Wireguard, ioBroker, mysql, Bitwarden, Share für meine Filme/Videos , Share für meine Daten, Nextcloud, Cups.... eventuell noch opnsense.
Wie ich zu diesem Ziel komme ist mir fast egal.
Ich hatte auch schon an ein tägliches spiegeln von PVE-1 zu PVE-2 gedacht, ich bin nur leider kein IT´ler und sitz schon fast den ganzen Urlaub am Rechner und der WAF sinkt täglich

Ich könnte auch noch eine 2. SSD mit 500GB einbauen, PVE auf EXT4 installieren und die M2 mit ZFS für LXC und VM. (so läuft mein aktueller PVE)
Backups mache ich täglich mit einem PBS(-3 auf einem Intel NUC), mein Daten-Share zusätzlich auf einen 4ten UbuntuServer mit rsnapshot.

Gruß Frank

PS: für weitere Ansätze bin ich natürlich offen, manchmal sieht man den Wald vor lauter Bäumen nicht mehr

 

[Dunuin]

Ein NFS als shared storage über ein unraid/TrueNAS in einer VM auf einem deiner beiden Server bringt halt nicht viel weil es nicht redundant ist (Single Point of Failure). Fällt dir der Server mlt dem virtuellen NAS aus ist auch dein Shared Storage weg und der andere Server kann auch nicht mehr benutzt werden. Mit ZFS Replikation könntest du die SSDs quasi über das Netzwerk spiegeln, beide Server wären recht flott da die Daten lokal liegen und nicht über das lahme Netzwerk gehen müssten und wenn ein Server ausfallen würde, dann hätte der andere wenigstens noch alle Daten, da ja beide Server lokal (fast) das gleiche gespeichert haben. Die beiden Storages sind aber im Gegensatz zu einem echten Shared Storage wie CEPH nie ganz synchron, da der Datenabgleich nur alle 5 oder 15 Minuten stattfindet (Intervall kann man selbst festlegen), also gehen da dann auch die letzten 5 oder 15 Minuten an Daten verloren.

 

[gustel]

Hallo Dunuin,

erst einmal danke für deine Hilfe.
Jetzt bin ich wieder am Rechner.

Jetzt weiß ich gar nicht mehr was ich machen soll.
Ich dachte, bei einem Cluster mit 2 PVE´s der 3. soll ja nur eingreifen, wenn ein PVE ausfällt, dass meine Daten synchron sind.
Jetzt muss ich mir einmal CHEP anschauen, hört sich auch gut an.

Snaphots sind schon nicht schlecht, da würde ich nur ungern drauf verzichten.
Ich verstehe nur nicht, wieso die Backups und Snapshots mit dieser Installation nicht funktioniert.

Gruß Frank

 

[Dunuin]

Jetzt weiß ich gar nicht mehr was ich machen soll.
Ich dachte, bei einem Cluster mit 2 PVE´s der 3. soll ja nur eingreifen, wenn ein PVE ausfällt, dass meine Daten synchron sind.
Jetzt muss ich mir einmal CHEP anschauen, hört sich auch gut an.

Ein Cluster selbst sorgt ja aber nicht für die Synchronisation der VM-Storages, es sorgt nur dafür das die VM/Node Konfigs synchronisiert werden. Da musst du dir schon selbst einen Storage einrichten der die Daten so bereitstellt, dass da alle Nodes auf die identischen virtuellen Disks zugreifen können.

Über NFS stellt ja nur ein NFS Server die Daten für alle anderen NFS Clients über das Netzwerk bereit. Da greifen dann ja alle Nodes auf ein und den selben NFS Server zu und alle VMs müssen ihre virtuellen Disks langsam mit viel Latenz und wenig Bandbreite über das Netzwerk lesen/schreiben. Da brauchst du dann natürlich keine Synchonisation weil alle Daten nur an einem Ort (dem NFS server) liegen. Aber weil alles ohne Kopien nur an einem Ort liegt funktioniert natürlich auch keiner der Nodes mehr, sobald da der eine Node ausfällt, der als NFS Server fungiert.

Bei ZFS hättest du auf jedem der beiden vollwertigen Nodes eine halbwegs aktuell gehaltene lokale (muss also nicht über das lahme Netzwerk gehen) Kopie aller Daten und daher Storage-Redundanz und ein beliebiger Node könnte ausfallen ohne das dein Storage versagt. Aber einer der beiden Nodes ist wie gesagt nie ganz synchron. VMs können dann zwar auf den anderen Node migriert werden und weiterlaufen, aber dann mit Datenverlust der letzen paar Minuten. Ob das für dich vertretbar ist hängt natürlich vom Anwendungsfall ab. Bei Heimautomatisierung vermutlich nicht ganz so wild, wenn dir da 15 Minuten an Graphen verloren gehen, Hauptsache Heizungssteuerung, Alarmanlage, Licht und Co fallen nicht komplett aus.

HA mit CEPH wird meines beschränkten Wissens nach schwierig, da du dafür wohl schon mindestens 3 oder 4 vollwertige Nodes bräuchtest, da CEPH wohl am liebsten immer 3 Kopien von allem auf verschiedenen Nodes verteilt haben möchte.

 

[gustel]

Hallo Dunuin,
ok, ich beginne noch einmal bei 0.
Ich habe noch einmal eine 500GB SSD für die Proxmox Installation eingebaut.
Die 500GB SSD mit ext4, 1TB M2 dann ZFS für VM & LXC und die 1TB SSD für den PBS in einer VM.
Dann schauen ich mir ZFS Replikation an. Ich denke auch, dass man die 5 min vernachlässigen kann.

Aktuell hänge ich an der Installation von Proxmox, da die Hardware laut Forum zu neu ist........

Gruß Frank

 

[Dunuin]

Aktuell hänge ich an der Installation von Proxmox, da die Hardware laut Forum zu neu ist........

Ja, gerade bei Consumer-Hardware kauft man für Linux lieber etwas das bereits seit mindestens einem Jahr auf dem Markt ist. Nicht vergessen das viele Hardware-Hersteller Linux sehr stiefmütterlich behandeln und die Treiber dann hinterherhängen oder es erst garkeine Treiber von offizieller Seite gibt und die dann von der Linux-Community über Reverse Engineering selbst entwickelt werden müssen.

 

[gustel]

kurzes Update, die Kiste läuft wieder.
apt install pve-kernel-5.15 pve-kernel-5.15.5-1-pve pve-headers-5.15 pve-headers-5.15.5-1-pve hat geholfen.
Wenn Proxmox auf ext4 installiert ist funktionieren die Snapshots + Backups im laufenden Betrieb.

keine Treiber von offizieller Seite gibt und die dann von der Linux-Community über Reverse Engineering selbst entwickelt werden müssen.

ok, das hätte ich nicht gedacht.

gerade bei Consumer-Hardware kauft man für Linux lieber etwas das bereits seit mindestens einem Jahr auf dem Markt ist

Ich habe auch lange überlegt. Mein aktueller PVE (i5-7400) im Rack braucht mir einfach zu viel Strom.
Deshalb will ich ihn zu einem UNRAID o.ä umbauen, als Datengrab mit den HDD´s. Der kann die Platten auch mal schlafen legen.
Und der HM90 mit seinen 32GB Ram und den jetzt 2,5TB Speicher läuft auch recht flott

Gruß Frank

 

[gustel]

So, die ersten Versuche mit einem Debian im LXC sind gemacht.

Da die Installation auf den HM90 doch etwas länger/komplizierter ist, habe ich mich dafür entschieden, die Tests noch einmal in einer VM zu machen.
Ich bin wie folgt vorgegangen.

PVE1 (HM90-1), PVE2 (HM90-2), PVE3 in einer VM (aktueller PVE Rechner)
Auf den zwei HM90 jeweils noch einmal PVE in einer VM installiert und ein zusätzliches Laufwerk eingefügt.
Ein Cluster mit den 3 PVE gebildet.
Dann auf allen 3 PVE´s den gleichen zpool gebildet.
zpool create -o ashift=12 zfs-pool /dev/sdb
zfs set compression=lz4 zfs-pool
Im Rechenzentrum den ZFS-Pool angelegt.
Auf dem PVE-T1 einen LXC mit Debian installiert.
Bei Replizierung einen Job für PVE-T2 und einen Job für PVE-T3, jeweils im 5min Takt angelegt.

Somit war schon einmal der Debian-LXC auf allen 3 PVE´s vorhanden.
Im Rechenzentrum HA eine Gruppe mit den PVE´s gebildet,
PVE-T1 = 3
PVE-T2 = 2
PVE-T3 = 1
Und unter den Ressourcen den Debian LXC eingefügt.

Wenn ich jetzt den PVE-T1 ausschalte, springt mir Debian auf den PVE-T2 und wenn T1 wieder eingeschaltet wird geht Debian wieder zurück.

So läuft es eigentlich nicht schlecht, oder habe ich etwas übersehen?
Ist es eigentlich möglich die komplette M2 auf die anderen 2 PVE´s zu schreiben?

Gruß Frank