print_req_error: I/O error, dev loop1

[chOzcA75vE0poCY0F6XC]

Moin,

Seit einer weile bekomme ich folgende Fehlermeldung auf meinem System: "print_req_error: I/O error, dev loop1".
Schon öfters habe ich in den letzen halben Jahr gegoogled nach einer Lösung, aber so wirklich Beiträge finde ich dazu nicht.
Darauf dachte ich, das ich wohl etwas warten könnte. Bis auf die Meldung auf dem Monitor und in den Logs schien sonst nichts davon beeinträchtigt zu werden.
Aber die Fehlermeldungen sollten dennoch nicht da sein.
Weiß wer wie ich dieses Problem beheben kann?
Den Auslöser habe ich dafür nicht heraus gefunden.
Die SSDs sind in Ordnung.

Ich habe mal im Syslog nachgeschaut was so unter "print_req_error: I/O error" auftaucht, das ist ordentlich was.
Hier sind die ersten 50 treffer von insgesamt 2010, mehr gibt's nicht da der Syslog nach 35 Tagen alte Einträge aufräumt.

Spoiler: Syslog: print_req_error: I/O error

Timestamp Level Hostname Program Message Priority
019-10-17 04:29:06 err hypervisor2 KERNEL [44516.855662] print_req_error: I/O error, dev loop1, sector 18525416 flags 809 err
2019-10-17 04:26:04 err hypervisor2 KERNEL [44335.102333] print_req_error: I/O error, dev loop1, sector 18525072 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.381998] print_req_error: I/O error, dev loop1, sector 18523936 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.381466] print_req_error: I/O error, dev loop1, sector 18523904 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.380943] print_req_error: I/O error, dev loop1, sector 18523872 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.380306] print_req_error: I/O error, dev loop1, sector 18523832 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.379820] print_req_error: I/O error, dev loop1, sector 18523800 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.379298] print_req_error: I/O error, dev loop1, sector 18523768 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.378862] print_req_error: I/O error, dev loop1, sector 18523736 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.378337] print_req_error: I/O error, dev loop1, sector 18523704 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.377776] print_req_error: I/O error, dev loop1, sector 18523672 flags 809 err
2019-10-17 04:16:17 err hypervisor2 KERNEL [43748.377236] print_req_error: I/O error, dev loop1, sector 18523640 flags 809 err
2019-10-17 04:15:17 err hypervisor2 KERNEL [43687.710221] print_req_error: I/O error, dev loop1, sector 18523560 flags 809 err
2019-10-17 04:15:17 err hypervisor2 KERNEL [43687.709636] print_req_error: I/O error, dev loop1, sector 18523520 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.658697] print_req_error: I/O error, dev loop1, sector 18523216 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.657913] print_req_error: I/O error, dev loop1, sector 18523176 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.657158] print_req_error: I/O error, dev loop1, sector 18523136 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.656331] print_req_error: I/O error, dev loop1, sector 18523096 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.655321] print_req_error: I/O error, dev loop1, sector 18523064 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.654611] print_req_error: I/O error, dev loop1, sector 18523032 flags 809 err
2019-10-17 04:13:17 err hypervisor2 KERNEL [43567.653846] print_req_error: I/O error, dev loop1, sector 18522992 flags 809 err
2019-10-17 04:06:17 err hypervisor2 KERNEL [43147.829175] print_req_error: I/O error, dev loop1, sector 18522064 flags 809 err
2019-10-17 04:06:17 err hypervisor2 KERNEL [43147.829037] print_req_error: I/O error, dev loop1, sector 18522032 flags 809 err
2019-10-17 04:05:16 err hypervisor2 KERNEL [43087.159921] print_req_error: I/O error, dev loop1, sector 18521832 flags 809 err
2019-10-17 04:05:16 err hypervisor2 KERNEL [43087.159797] print_req_error: I/O error, dev loop1, sector 18521808 flags 809 err
2019-10-17 03:42:16 err hypervisor2 KERNEL [41707.380496] print_req_error: I/O error, dev loop0, sector 259224 flags 809 err
2019-10-17 02:32:31 err hypervisor2 KERNEL [37522.738511] print_req_error: I/O error, dev loop0, sector 258552 flags 809 err
2019-10-17 02:14:47 err hypervisor2 KERNEL [36458.851610] print_req_error: I/O error, dev loop1, sector 18232256 flags 809 err
2019-10-17 02:14:47 err hypervisor2 KERNEL [36458.851412] print_req_error: I/O error, dev loop1, sector 18232216 flags 809 err
2019-10-17 02:14:47 err hypervisor2 KERNEL [36458.851204] print_req_error: I/O error, dev loop1, sector 18232184 flags 809 err
2019-10-17 02:14:47 err hypervisor2 KERNEL [36458.850860] print_req_error: I/O error, dev loop1, sector 18232152 flags 809 err
2019-10-17 02:11:48 err hypervisor2 KERNEL [36279.654668] print_req_error: I/O error, dev loop1, sector 18231824 flags 809 err
2019-10-17 02:04:07 err hypervisor2 KERNEL [35818.876793] print_req_error: I/O error, dev loop1, sector 18230920 flags 809 err
2019-10-17 02:04:07 err hypervisor2 KERNEL [35818.876675] print_req_error: I/O error, dev loop1, sector 18230888 flags 809 err
2019-10-17 01:09:15 err hypervisor2 KERNEL [32526.351421] print_req_error: I/O error, dev loop0, sector 258224 flags 809 err
2019-10-16 23:00:16 err hypervisor2 KERNEL [24787.817265] print_req_error: I/O error, dev loop1, sector 18071360 flags 809 err
2019-10-16 21:56:17 err hypervisor2 KERNEL [20948.760597] print_req_error: I/O error, dev loop1, sector 18062224 flags 809 err
2019-10-16 21:56:17 err hypervisor2 KERNEL [20948.760334] print_req_error: I/O error, dev loop1, sector 18062192 flags 809 err
2019-10-16 21:03:17 err hypervisor2 KERNEL [17768.869488] print_req_error: I/O error, dev loop1, sector 18001176 flags 809 err
2019-10-16 19:39:11 err hypervisor2 KERNEL [12723.333000] print_req_error: I/O error, dev loop0, sector 257408 flags 809 err
2019-10-16 19:39:11 err hypervisor2 KERNEL [12723.332641] print_req_error: I/O error, dev loop0, sector 257368 flags 809 err
2019-10-16 18:44:32 err hypervisor2 KERNEL [ 9444.376011] print_req_error: I/O error, dev loop0, sector 257216 flags 809 err
2019-10-16 18:42:12 err hypervisor2 KERNEL [ 9304.350636] print_req_error: I/O error, dev loop0, sector 257176 flags 809 err
2019-10-16 18:41:03 err hypervisor2 KERNEL [ 9235.660763] print_req_error: I/O error, dev loop0, sector 257144 flags 809 err
2019-10-16 18:41:03 err hypervisor2 KERNEL [ 9235.660589] print_req_error: I/O error, dev loop0, sector 257112 flags 809 err
2019-10-16 16:30:11 err hypervisor2 KERNEL [ 1383.811700] print_req_error: I/O error, dev loop1, sector 17957824 flags 809 err
2019-10-16 16:30:11 err hypervisor2 KERNEL [ 1383.811629] print_req_error: I/O error, dev loop1, sector 17957792 flags 809 err
2019-10-16 16:30:11 err hypervisor2 KERNEL [ 1383.811533] print_req_error: I/O error, dev loop1, sector 17957760 flags 809 err
2019-10-16 16:20:20 err hypervisor2 KERNEL [ 793.501729] print_req_error: I/O error, dev loop1, sector 17989464 flags 809 err
2019-10-08 04:08:47 err hypervisor2 KERNEL [18018.066574] print_req_error: I/O error, dev loop1, sector 703640 flags 809 err

Meine Hardware ist ein einzelner Dell R710, mit aktueller Firmware und folgender Ausstattung:

• 1x L5640
• 60GB RAM
• 2x250 GB SSD, verschiedene Hersteller
• H310 mit passthrough zum FreeNAS VM
• GT630 im passthrough, Windows 10 VM

Es laufen aktuell vier VMs und 15 LXC Container.

Spoiler: pveversion -v

proxmox-ve: 6.0-2 (running kernel: 5.0.21-2-pve)
pve-manager: 6.0-7 (running version: 6.0-7/28984024)
pve-kernel-5.0: 6.0-8
pve-kernel-helper: 6.0-8
pve-kernel-4.15: 5.4-7
pve-kernel-5.0.21-2-pve: 5.0.21-6
pve-kernel-5.0.18-1-pve: 5.0.18-3
pve-kernel-4.15.18-19-pve: 4.15.18-45
pve-kernel-4.15.17-1-pve: 4.15.17-9
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.0.2-pve2
criu: 3.11-3
glusterfs-client: 5.5-3
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.12-pve1
libpve-access-control: 6.0-2
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-5
libpve-guest-common-perl: 3.0-1
libpve-http-server-perl: 3.0-2
libpve-storage-perl: 6.0-9
libqb0: 1.0.5-1
lvm2: 2.03.02-pve3
lxc-pve: 3.1.0-65
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
openvswitch-switch: 2.10.0+2018.08.28+git.8ca7c82b7d+ds1-12
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.0-7
pve-cluster: 6.0-7
pve-container: 3.0-7
pve-docs: 6.0-4
pve-edk2-firmware: 2.20190614-1
pve-firewall: 4.0-7
pve-firmware: 3.0-2
pve-ha-manager: 3.0-2
pve-i18n: 2.0-3
pve-qemu-kvm: 4.0.0-5
pve-xtermjs: 3.13.2-1
qemu-server: 6.0-9
smartmontools: 7.0-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.1-pve2

Spoiler: uptime

04:45:33 up 12:38, 2 users, load average: 3.20, 3.46, 3.60

Für den nächsten Reboot ist ein FSCK eingestellt, aber ich warte bis Morgen bis ich den Server neustarten werde.

Wenn ihr mich ein schubser in die richtige Richtung geben könntet, dann wäre das super!

 

[Alwin]

Was ist den auf loop0 & loop1 verbunden (lsblk -a)?

 

[chOzcA75vE0poCY0F6XC]

Was ist den auf loop0 & loop1 verbunden (lsblk -a)?

Hier ist der output von dem Befehl, wo die 24G&64G auf verweisen konnte ich jetzt nicht heraus finden.

Spoiler: lsblk -a

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 24G 0 loop
loop1 7:1 0 64G 0 loop
loop2 7:2 0 0 loop
loop3 7:3 0 0 loop
loop4 7:4 0 0 loop
loop5 7:5 0 0 loop
loop6 7:6 0 0 loop
loop7 7:7 0 0 loop
sda 8:0 0 232.9G 0 disk
├─sda1 8:1 0 1007K 0 part
├─sda2 8:2 0 232.9G 0 part
└─sda9 8:9 0 8M 0 part
sdb 8:16 0 238.5G 0 disk
├─sdb1 8:17 0 1007K 0 part
├─sdb2 8:18 0 232.9G 0 part
└─sdb9 8:25 0 8M 0 part
zd0 230:0 0 8G 0 disk
├─zd0p1 230:1 0 512K 0 part
└─zd0p2 230:2 0 8G 0 part
zd16 230:16 0 102.4G 0 disk
└─zd16p1 230:17 0 102.4G 0 part
zd32 230:32 0 5.5G 0 disk
zd48 230:48 0 8G 0 disk
└─zd48p1 230:49 0 8G 0 part
zd64 230:64 0 5.5G 0 disk
zd80 230:80 0 8G 0 disk
├─zd80p1 230:81 0 8G 0 part
├─zd80p5 230:85 0 7.6G 0 part
└─zd80p6 230:86 0 410M 0 part
zd96 230:96 0 8G 0 disk
├─zd96p1 230:97 0 8G 0 part
├─zd96p5 230:101 0 7.6G 0 part
└─zd96p6 230:102 0 410M 0 part
zd112 230:112 0 8G 0 disk [SWAP]

 

[Alwin]

Hier ist der output von dem Befehl, wo die 24G&64G auf verweisen konnte ich jetzt nicht heraus finden.

losetup -l

 

[chOzcA75vE0poCY0F6XC]

losetup -l

Spoiler: losetup -l

NAME SIZELIMIT OFFSET AUTOCLEAR RO BACK-FILE DIO LOG-SEC
/dev/loop1 0 0 1 0 /mnt/pve/vm1-hdd/images/604/vm-604-disk-0.raw 0 512
/dev/loop0 0 0 1 0 /mnt/pve/vm1-hdd/images/618/vm-618-disk-0.raw 0 512

Das sind beide Container die über NFS auf FreeNAS laufen, würde es reichen wenn ich den Speicherort der CT's wechsel auf CIFS oder lokal?

 

[Alwin]

Beide Images zeigen I/O error, da scheint vielleicht etwas nicht mit dem NFS oder der Verbindung dahin nicht in Ordnung zu sein. Ein Wechsel auf ein anderes Storage (vorzugsweise Lokal) und ein fsck sind anzuraten.