High IO-Delay/Load

[tomic]

Hallo Zusammen,

ab und an erhöht sich die Load eines meiner Server auf über 100. Soweit ich das feststellen kann, hat dies etwas mit dem IO-Delay zu tun, da dieses dann immer zwischen 30 - 80% liegt.

Hardware:
2 x Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz (2 Sockets)
64GB ECC RAM
2 x SSD ZFS mirror für Proxmox (Name: rpool)
1 x SSD für SLOG (10GB) und L2ARC (60GB)
3 x 2000GB HDD Raidz1 (Name: zfs-p1)
Angebunden sind alle über S-ATA 2 Onboard eines Supermicro-Mainboards.

pveversion:
pve-manager/4.3-12/6894c9d9 (running kernel: 4.4.21-1-pve)

pveperf /zfs-p1
CPU BOGOMIPS:  120019.80
REGEX/SECOND:  1481513
HD SIZE:  2558.94 GB (zfs-p1)
FSYNCS/SECOND:  2725.96
DNS EXT:  31.49 ms
DNS INT:  27.88 ms

Immer dann, wenn die Load dermaßen hochgegangen ist,, sehe ich in Munin auch ein eindeutiges Bild.....
die inode_usage ist in dann auf ca. 8M. Irgendwann fällt dann die Last rapide ab und auch die inode_usage ist dann wieder unten. (siehe Screenshot anbei). Auch der Arbeitsspeicher füllt sich im Laufe der Zeit und wird dann beim Knall, also sobald die Load wieder fällt, ebenfalls wieder weniger benutzt.

Auf dem Node sind einige MySQL-Server, Webserver usw..... jedoch nichts Spektaktuläres. Habe noch weitere Kisten dieser Art und habe dort keine vergleichbaren Probleme. Wie kann ich das Problem eingrenzen/finden?

 

[udo]

Hi,
load in der Größenordnung kommt definitiv vom Storage.

Wenn Du kein NFS oder iSCSI angebunden hast, das ggf. Probleme bereitet, tippe ich auf ene (oder mehrere) Deiner SSDs.
Sind das zufällig Consumer-Grade SSDs? Trim?

Udo

 

[tomic]

@udo: Danke für die schnelle Antwort

Es handelt sich um Intel S3500 mit 120 GB. Die Platten sind jedoch gerade mal ca. 3 Monate alt und sollten noch keine Verschleisserscheinungen haben, auch ohne TRIM, oder?

Zumal die identischen Platten in anderen Servern verbaut sind und dort die Problematik nicht auftaucht. die Smart-Werte der Platten sehen auch gut aus.

Andere Datenquellen sind nicht eingebunden. siehe hier:

#df -h
Filesystem                Size  Used Avail Use% Mounted on
udev                       10M     0   10M   0% /dev
tmpfs                      13G  154M   13G   2% /run
rpool/ROOT/pve-1           82G  4.4G   78G   6% /
tmpfs                      32G   51M   32G   1% /dev/shm
tmpfs                     5.0M     0  5.0M   0% /run/lock
tmpfs                      32G     0   32G   0% /sys/fs/cgroup
rpool                      78G  128K   78G   1% /rpool
rpool/ROOT                 78G  128K   78G   1% /rpool/ROOT
rpool/data                 78G  128K   78G   1% /rpool/data
zfs-p1                    2.5T  128K  2.5T   1% /zfs-p1
zfs-p1/subvol-103-disk-1  100G   43G   58G  43% /zfs-p1/subvol-103-disk-1
zfs-p1/subvol-106-disk-1  150G   11G  140G   7% /zfs-p1/subvol-106-disk-1
zfs-p1/subvol-109-disk-1  100G   44G   57G  44% /zfs-p1/subvol-109-disk-1
zfs-p1/subvol-117-disk-1   50G  8.7G   42G  18% /zfs-p1/subvol-117-disk-1
zfs-p1/subvol-118-disk-1   50G   15G   36G  29% /zfs-p1/subvol-118-disk-1
zfs-p1/subvol-123-disk-1   50G  1.3G   49G   3% /zfs-p1/subvol-123-disk-1
zfs-p1/subvol-134-disk-1  2.0T  711G  1.3T  36% /zfs-p1/subvol-134-disk-1
zfs-p1/subvol-158-disk-1  100G   67G   34G  67% /zfs-p1/subvol-158-disk-1
zfs-p1/subvol-172-disk-1  250G   91G  160G  37% /zfs-p1/subvol-172-disk-1
zfs-p1/subvol-180-disk-1  200G   19G  182G  10% /zfs-p1/subvol-180-disk-1
zfs-p1/subvol-181-disk-1   50G  3.3G   47G   7% /zfs-p1/subvol-181-disk-1
zfs-p1/subvol-187-disk-1  100G  3.9G   97G   4% /zfs-p1/subvol-187-disk-1
cgmfs                     100K     0  100K   0% /run/cgmanager/fs
/dev/fuse                  30M   80K   30M   1% /etc/pve
zfs-p1/subvol-101-disk-1   50G  3.2G   47G   7% /zfs-p1/subvol-101-disk-1

#zpool status
  pool: rpool
state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        rpool       ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sdb2    ONLINE       0     0     0
            sdc2    ONLINE       0     0     0

errors: No known data errors

  pool: zfs-p1
state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zfs-p1      ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            sda     ONLINE       0     0     0
            sdd     ONLINE       0     0     0
            sde     ONLINE       0     0     0
        logs
          sdf1      ONLINE       0     0     0
        cache
          sdf2      ONLINE       0     0     0

errors: No known data errors

 

[tomic]

Das Ausführen von pveperf /zfs-p1 hat ein Abfall der Inodes zur Folge - siehe screenshot anbei.

 

[udo]

@udo: Danke für die schnelle Antwort

Es handelt sich um Intel S3500 mit 120 GB. Die Platten sind jedoch gerade mal ca. 3 Monate alt und sollten noch keine Verschleisserscheinungen haben, auch ohne TRIM, oder?
...

Hi,
die DC S3500er sollten voll ok sein.

Sieht ja nach zfs aus... da bin ich kein Experte... Du könntest es im englisch-sprachigen Forum versuchen, mir kennt sich auf jeden Fall mit zfs gut aus (und noch so einige mehr).

Udo

 

[wolfgang]

Sind alle deine SSD Intel S3500 oder verwendest du bein rpool andere?

 

[tomic]

danke für die Antworten

die beiden OS SSD's sind 2 x Intel S3500 mit 120GB und bilden den rpool. Die SSD mit SLOG und Cache ist eine Intel s3700 mit 100GB - also was Haltbarkeit angeht noch hochwertiger als die Intel S3500.

Update:
Wenn ich den folgenden Befehl eingebe, dann geht der Speicherverbrauch und auch der inode Verbrauch rapide runter:
sync; echo 3 > /proc/sys/vm/drop_caches

 

[udo]

Hi,
eine Idee habe ich noch - wo Du schriebst SuperMicro...
Ich hatte schon sehr seltsame Erfahrungen mit Mainboards von denen. Ist da das aktuelle BIOS drauf? OK, Supermircro sagt ja nicht, was sie gefixt haben - von daher für eine Fehlersuche nicht zu gebrauchen das Zeug...
Die Bios-Einstellungen (AHCI und so) solltest Du auch noch mal kontrollieren.

Udo

 

[tomic]

Das aktuelle Bios ist aufgespielt. Was mich doch stark irritiert ist, dass nach einem Neustart der Kiste für einige Tage keine Probleme da sind.... als ob sich innerhalb einiger Tage etwas an Cache oder so ansammelt, aber nicht mehr freigeräumt wird oder so. Irgendwann ist der Speicher und die inode Table Geschichte voll und dann ist ein IO-Delay von 50% und mehr zu beobachten - bisland nur durch einen Neustartf in den Griff zu bekommen - was natürlich sehr unbefriedigend ist.

 

[wolfgang]

Mal was ganz anderes verwendest du für die Vm/CT das ZFSPoolPlugin oder das Dir Plugin?

 

[tomic]

@wolfgang - danke für die schnelle Antwort.
ZFSPoolPlugin oder Dir Plugin..... wo schaue ich das nach? An einer derartigen Einstellung habe ich bislang nichts verändert - also müsste es die Default-Einstellung für Proxmox 4.3 sein.

 

[wolfgang]

In der
/etc/pve/storage.cfg
siehst du das.

 

[tomic]

hinzugefügt wurde zfs-p1 über die Weboberfläche.

Spoiler: /etc/pve/storage.cfg

dir: local
path /var/lib/vz
maxfiles 5
content vztmpl,iso,backup

zfspool: zfs-p1
pool zfs-p1
content images,rootdir

 

[wolfgang]

Ok das ist mal gut.

Wie viele CT und VM hast du den auf dem System.
Kannst du bitte auch den Output von

zfs get "all"

senden

 

[tomic]

Ich nutze ausschließlich CT's und habe keine VM's im Einsatz. Auf dem besagten Node hat es aktuell 12 laufende CT's.

zfs get "all" habe ich in einer LOG angehängt - ist etwas mehr als 1MB groß und musste daher gezippt werden.

 

[Deleted member 34654]

Hi,

lass mich raten die Container liegen auf den SATA 2 Festplatten?

Wenn ja ist das dein Problem da die einfach zu langsam sind.

Gruß

Markus

 

[tomic]

@Markus - danke für deine Einschätzung
Daran glaube ich aktuell noch nicht, da weitere Server in der gleichen HW-Konstellation im Einsatz sind. Kann ich das irgendwie durchleuchten? Denn zpool iostat gibt mir werte um die 10-20MB / sekunde je Platte aus - das ist weit weg vom Max von S-ATA 2.

 

[SyntaxError]

@tomic hast du das Problem lösen können. Habe bei mir genau das gleiche Dabei sind es nur eine Hand voll VMs.