IO Delay Probleme

Dec 3, 2018
29
0
1
29
Germany
squote.de
Guten Morgen Zusammen,

folgende Probleme treten aktuell bei mir auf:
IO Delay auf 2-3% Server Reagieren manchmal sehr träge.

Meine Hardware:
CPU(s)
32 x AMD Ryzen Threadripper 1950X 16-Core Processor (1 Socket)

Kernel Version
Linux 4.15.18-9-pve #1 SMP PVE 4.15.18-30 (Thu, 15 Nov 2018 13:32:46 +0100)

PVE Manager Version
pve-manager/5.2-12/ba196e4b

RAM
128GB DDR4

Festplatten:
2x4TB HDD Raid1
2x480 GB NVME ohne Raid

es ist kein HardwareRaid Controller verbaut.

Der IO Delay ist dauerhaft. Wenn ich die VM und LXC Stoppe geht er fast auf 0% aber eben nur fast. Ich habe die Festplatten schon geprüft. Leider ohne Erfolg.

Ausgabe:
root@vps-01:~# pveperf
CPU BOGOMIPS: 217574.40

REGEX/SECOND: 2548149
HD SIZE: 186.74 GB (/dev/mapper/pve-root)
BUFFERED READS: 89.92 MB/sec
AVERAGE SEEK TIME: 33.28 ms
FSYNCS/SECOND: 11.94
DNS EXT: 23.68 ms

Ich hoffe Ihr könnt mir helfen.

Vielen Dank
Thorsten
 

Deleted member 34654

Guest
Kein Hardware raid? Zfs? Oder mit Linux Board Mitteln? Ggf. Ssd für Cache nachrüsten. Wie viele Maschinen laufen auf dem raid 1?
 
Dec 3, 2018
29
0
1
29
Germany
squote.de
Aktuell sind folgende Platten verbaut:

Model Family: Western Digital Red
Device Model: WDC WD40EFRX-68WT0N0

md1 : active raid1 sda3[0] sdb3[1]
3904884736 blocks super 1.2 [2/2] [UU]
bitmap: 10/30 pages [40KB], 65536KB chunk

md0 : active raid1 sda2[0] sdb2[1]
1998848 blocks super 1.2 [2/2] [UU]
 
Last edited:

Alwin

Proxmox Staff Member
Staff member
Aug 1, 2017
2,859
251
83
Device Model: WDC WD40EFRX-68WT0N0
Die Platten sind einfach langsam.

Code:
fio --ioengine=libaio --filename=/dev/sdx --direct=1 --sync=1 --rw=write --bs=4K
--numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=fio
--output-format=terse,json,normal --output=fio.log --bandwidth-log
Teste eine der Disks mit fio (Achtung, Daten gehen verloren), mit der obigen Kommandozeile. Zum Vergleich kannst du auch mal mit 'bs=4M' testen (Ceph schreibt 4 MB Objekte, abgesehen von der Bluestore DB/WAL).
 

MrPurple

Member
Sep 12, 2018
32
1
8
27
Die RED sind faik aufgrund ihrer niedrigen Drehzahl (5400rpm) nicht so schnell, da sie ja auch als sparsame platten verkauft werden.
Übrigens: ich weis nicht ob es noch immer so ist, aber früher hatten die REDs das problem, dass sie einen kurzen timeout für den parking head ab werk konfiguriert hatten was die lebensdauer teils auf unter 1 Jahr reduziert hat.

EDIT: Alwin war schneller :(
 
  • Like
Reactions: Alwin
Dec 3, 2018
29
0
1
29
Germany
squote.de
Hallo Zusammen,

vielen Dank, macht es denn sinn, auf die HGST Deskstar 7K4000 zu wechseln und diese im SWRaid1 laufen zu lassen?

Macht es dann auch noch sinn, eine SSD für den Cache einbauen zu lassen?

Grüße
Thorsten

PS. Habt ihr eine Bessere Idee auf die ich momentan nicht komme?
 

Alwin

Proxmox Staff Member
Staff member
Aug 1, 2017
2,859
251
83
Da gibt's nicht wirklich etwas hinzuzufügen, mag sein das die Deskstar schneller als die RED ist, aber glücklich wirst wahrscheinlich damit nicht werden. Lieber alle VMs auf ein SSD raid (ZFS, hardware RAID) packen und die HDDs für Backups uns Templates verwenden.
 

Alwin

Proxmox Staff Member
Staff member
Aug 1, 2017
2,859
251
83
Das musst du ausprobieren. Bei mir liegt PVE auf einer kleinen SSD, die VM/CT auf einer NVMe und die HDD nutze ich fuer Backup oder Ablage.
 

MrPurple

Member
Sep 12, 2018
32
1
8
27
Das musst du ausprobieren. Bei mir liegt PVE auf einer kleinen SSD, die VM/CT auf einer NVMe und die HDD nutze ich fuer Backup oder Ablage.
Ich habe mich dies auch schon in einem anderen Thread gefragt, scheint aber niemand gewusst zu haben: PVE auf HDD oder SSD? Was wird IO intensives von PVE geschrieben? PVE selbst dürfte ja kaum IO haben, damit bringt eine SSD doch keine Vorteile, oder?
 

tschanness

Member
Oct 30, 2016
291
21
18
29
PVE auf Enterprise SSD oder HDD. Es wird relativ viel geschrieben, aber das meiste ist nicht performancekritisch. Bei mir 3 Server mit 2.5" HDDs für PVE; keine Probleme.
 

MrPurple

Member
Sep 12, 2018
32
1
8
27
Enterprise ist eh klar. Was wird denn geschrieben? Logs? Welche Größe ist dann für eine SSD/HDD einzuplanen? ich würden nämlich sonst das kleinste nehmen was ich bekommen kann. 64GB oä.
 

tschanness

Member
Oct 30, 2016
291
21
18
29
64GB sollten reichen.
IIRC ne ganze menge logs. Findet man hier iwo im Forum. Glaube es ging (mal wieder) um die Installation auf nem USB Stick.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!