[SOLVED] [sda] tag#x abort Meldungen während Backup

[HBO]

Guten Morgen,

nach einem der letzten Updates bekomme ich während der Backups auf allen Linux basierenden VMs folgende Meldungen:
[285305.917864] sd 2:0:0:0: [sda] tag#4 abort
[285741.874028] sd 2:0:0:0: [sda] tag#0 abort
[286579.739133] sd 2:0:0:0: [sda] tag#1 abort
[286822.420534] sd 2:0:0:0: [sda] tag#4 abort

Weder existiert eine hohe Systemlast, IO Wait oder Sonstiges während der Sicherungen. Über Google finde ich diverse Meldungen im Zusammenhang mit QEMU und virtio-scsi. Grund zur Sorge oder ignorieren?

Kernelversion
Linux 4.13.13-6-pve #1 SMP PVE 4.13.13-41 (Wed, 21 Feb 2018 10:07:54 +0100)

PVE Manager Version
pve-manager/5.1-46/ae8241d4

 

[dietmar]

G
nach einem der letzten Updates bekomme ich während der Backups auf allen Linux basierenden VMs folgende Meldungen:
[285305.917864] sd 2:0:0:0: [sda] tag#4 abort

Am host oder im gast?

 

[HBO]

Die Fehler gibt es nur im Gast.

 

[dietmar]

Welches Disk IO System wird am Host verwendet (fs-type, disk-type, controller, raid)?

 

[HBO]

Alle Installationen direkt durch Proxmox ISO durchgeführt, LVM Thin als Storage. VM Konfigurationen wie folgendes Beispiel eigentlich identisch:

bootdisk: scsi0
cores: 3
ide2: none,media=cdrom
memory: 40960
name: kopano
net0: virtio=92:06:34:A4:BB:7B,bridge=vmbr0,tag=2
net1: virtio=CE:52:D5:9F:DA:4F,bridge=vmbr0,tag=3
net2: virtio=86:5C:77:8F:33:B1,bridge=vmbr0,tag=7
net3: virtio=1A:DB:81:5D:71:12,bridge=vmbr0,tag=20
net4: virtio=76:09:66:B3:9D:61,bridge=vmbr0,tag=10
numa: 0
ostype: l26
scsi0: local-lvm:vm-102-disk-1,discard=on,size=100G
scsihw: virtio-scsi-pci
smbios1: uuid=516a8925-eaa1-4d49-92e9-6429c220c34b
sockets: 2

Die Meldung kommt auf allen VMs, eingesetzt wird Debian 8 oder 9. Im Gast existiert eine einfache Installation mit ext4 Filesystem.

Hostsysteme sind HP DL380G8 Systeme mit HP P420i Controller mit SAS Platten im Raid10 + Hotspare.

Spoiler: Beispielausgabe "lvs"

  LV                                 VG  Attr       LSize   Pool Origin                             Data%  Meta%  Move Log Cpy%Sync Convert
  data                               pve twi-aotz--   2.03t                                         16.42  8.31
  root                               pve -wi-ao----  50.00g
  snap_vm-109-disk-1_before_graphite pve Vri---tz-k 100.00g data
  swap                               pve -wi-ao----   8.00g
  vm-102-disk-1                      pve Vwi-aotz-- 100.00g data                                    59.53
  vm-103-disk-1                      pve Vwi-a-tz-- 100.00g data                                    1.44
  vm-106-disk-1                      pve Vwi-aotz--  25.00g data                                    41.35
  vm-108-disk-1                      pve Vwi-aotz-- 200.00g data                                    16.97
  vm-109-disk-1                      pve Vwi-a-tz-- 100.00g data snap_vm-109-disk-1_before_graphite 12.12
  vm-201-disk-1                      pve Vwi-a-tz--  80.00g data                                    22.27
  vm-202-disk-1                      pve Vwi-aotz-- 110.00g data                                    75.15
  vm-203-disk-1                      pve Vwi-aotz--  80.00g data                                    45.29
  vm-204-disk-1                      pve Vwi-aotz--  16.00g data                                    36.82
  vm-300-disk-1                      pve Vwi-aotz--  80.00g data                                    17.51
  vm-300-disk-2                      pve Vwi-aotz-- 120.00g data                                    0.07
  vm-300-disk-3                      pve Vwi-aotz-- 120.00g data                                    55.39

 

[dietmar]

What is the output of pveperf on the host:

# pveperf

 

[HBO]

Auf allen 3 Servern fast identische Werte (auch gleiche Hardware):

CPU BOGOMIPS:      127672.96
REGEX/SECOND:      1707620
HD SIZE:           48.97 GB (/dev/mapper/pve-root)
BUFFERED READS:    945.85 MB/sec
AVERAGE SEEK TIME: 4.35 ms
FSYNCS/SECOND:     5657.28
DNS EXT:           19.69 ms
DNS INT:           26.98 ms

 

[dietmar]

Und welcher backup storage wird verwendet?

 

[HBO]

NFS mit eigenem Netzwerk Interface per 1 Gbit und vzdump bwlimit auf 60000.

 

[dietmar]

Ich nehme mal an das das NFS einfach zu langsam ist und blockiert.

 

[HBO]

Also in dem NFS steckt ein HW Raid60, zwar nur mit SATA2 Enterprise Festplatten, aber ich bekomme hier eine Schreibperformance von weit über 300MB/s hin. Das NFS selbst hat eine 10Gbit Anbindung am Switch, das Bottelneck wäre also maximal die Verbindung Hostsystem 1Gbit LACP Bond zu Switch, alle Systeme hängen am gleichen Switch. Ich werde die Backups mal per vzdump auf ein bwlimit von 30000 setzen und testen.

 

[HBO]

Scheinbar war hier tatsächlich das NFS schuld, kam aber wohl nicht damit klar Backups von 3 Proxmox Nodes gleichzeitig zu empfangen. Die Backup Jobs habe ich nun zeitlich versetzt (da jeder Job nur 2 Stunden benötigt) und die Probleme sind weg. Ich kann die Backups nun sogar ohne bwlimit laufen lassen.