Ein Restore dauert sehr lange und bremst alle VMs aus

B

Bytechanger

Member
Jan 19, 2022
41
1
13
46
Hallo,

ich habe ein Problem mit Proxmox. Wenn ich eine VM über Restore zurücksetze, dauert dies bis zu 30 Minuten. In dieser Zeit sind alle laufenden VMs kaum ansprechbar und sehr langsam.
Allerdings, wenn ich in dieser Zeit über ssh auf den Host gehe und mit "top" schaue, scheint das system nicht übermäßig beschäftigt.
Die obersten Tasks haben da 2.7 % CPU und 6% Mem.

Da ich zunächst an ein Bandbreitenproblem dachte, habe ich die Bandbreite im Restore Dialog auf 20MB/s beschränkt.
Aber auch das führt zu einer vollkommenen Auslastung der VMs ?!
Zudem ist der HOST über SSH normal zugreifbar. Alle VMs über ssh aber sehr langsam bis kaum erreichbar. Die WebIF der VMs ist down.

Im WebIF von Proxmox steht das IO-Delay des Servers bei Summary bei ca. 50%.

Code: 
top - 13:57:35 up  5:04,  2 users,  load average: 34.71, 34.74, 34.99
Tasks: 362 total,   1 running, 361 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.8 us,  1.6 sy,  0.0 ni, 69.2 id, 28.4 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :  64138.2 total,    472.1 free,  46059.1 used,  17607.1 buff/cache
MiB Swap:   7168.0 total,   7133.7 free,     34.2 used.  17292.3 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
   3086 root      20   0 5581044   4.0g  11940 S   2.3   6.4  66:56.91 kvm
 759364 root      20   0  480004  28120  20252 S   1.3   0.0   1:14.42 vma
   2340 root      20   0  273760  86684   5232 S   1.0   0.1   0:44.94 pve-firewall
   3791 root      20   0 5299020   4.0g  12536 S   0.7   6.4  12:45.26 kvm
 172838 100111    20   0 1161848 152868  19000 S   0.7   0.2   1:01.84 mongod
 759363 root      20   0    6564   4424   1776 S   0.7   0.0   1:00.24 zstd
1152185 root      20   0   10684   4240   3456 R   0.7   0.0   0:01.09 top
     14 root      20   0       0      0      0 I   0.3   0.0   0:09.89 rcu_sched
     39 root      rt   0       0      0      0 S   0.3   0.0   0:00.39 migration/4
    660 root       1 -19       0      0      0 S   0.3   0.0   1:03.35 z_wr_iss
   1855 root      20   0  298712   2500   1876 S   0.3   0.0   0:33.43 lxcfs
Greets
 
Last edited:
Wie gesagt, der Host scheint sich zu langweilen....
CPU(s)

6 x Intel(R) Core(TM) i5-8500T CPU @ 2.10GHz (1 Socket)
Kernel Version

Linux 5.15.83-1-pve #1 SMP PVE 5.15.83-1 (2022-12-15T00:00Z

I-O-Verzögerung?
Ich kenne nur den Wert, den ich bereits geschrieben hatte..

"Im WebIF von Proxmox steht das IO-Delay des Servers bei Summary bei ca. 50%."

Greets
 
OK, kann ich mir aber eigentlich nicht erklären, da SSD und NVME ja schnell sein sollten...


Eine SSD und eine NVME.
Wie eingebunden? Wie sehe ich das??

RAM 64GB.

Unter proxmox steht bei Disks
LVM -> pve -> /dev/sdb3
LVM-Thin -> data
ZFS-> SSD_BigStore -> 996.43 GB

Greets
 
Bytechanger said:
OK, kann ich mir aber eigentlich nicht erklären, da SSD und NVME ja schnell sein sollten...


Eine SSD und eine NVME.
Wie eingebunden? Wie sehe ich das??

RAM 64GB.

Unter proxmox steht bei Disks
LVM -> pve -> /dev/sdb3
LVM-Thin -> data
ZFS-> SSD_BigStore -> 996.43 GB

Greets
Click to expand...
Ah OK.
Welche Disk-Modelle?
 
/dev/sda -> 1TB SanDisk_SSD_PLUS_1000GB
hat ZFS partitionen

/dev/sdb -> 256GB Toshiba_KSG60ZMV356G_M.2_2280_256GB

SpeedTest over SSH

/dev/sda "higher blocksize"
Code: 
fio --ioengine=libaio --direct=1 --sync=1 --rw=read --bs=4K --numjobs=1 --iodepth=1 --runtime=60 --time_based --name seq_read --filename=/dev/sda
seq_read: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.25
Starting 1 process
Jobs: 1 (f=1): [R(1)][100.0%][r=5781KiB/s][r=1445 IOPS][eta 00m:00s]
seq_read: (groupid=0, jobs=1): err= 0: pid=1535180: Wed Dec 28 16:00:30 2022
  read: IOPS=1983, BW=7934KiB/s (8124kB/s)(465MiB/60003msec)
    slat (nsec): min=2957, max=76827, avg=6627.32, stdev=3072.77
    clat (usec): min=103, max=13908, avg=496.42, stdev=807.08
     lat (usec): min=107, max=13918, avg=503.17, stdev=807.86
    clat percentiles (usec):
     |  1.00th=[  180],  5.00th=[  225], 10.00th=[  237], 20.00th=[  245],
     | 30.00th=[  255], 40.00th=[  265], 50.00th=[  273], 60.00th=[  277],
     | 70.00th=[  285], 80.00th=[  293], 90.00th=[  355], 95.00th=[ 3064],
     | 99.00th=[ 4015], 99.50th=[ 4146], 99.90th=[ 4424], 99.95th=[ 4555],
     | 99.99th=[ 8717]
   bw (  KiB/s): min= 3328, max=15616, per=100.00%, avg=7949.04, stdev=3387.80, samples=119
   iops        : min=  832, max= 3904, avg=1987.26, stdev=846.95, samples=119
  lat (usec)   : 250=25.63%, 500=65.15%, 750=0.70%, 1000=0.21%
  lat (msec)   : 2=2.24%, 4=5.07%, 10=0.99%, 20=0.01%
  cpu          : usr=0.73%, sys=1.76%, ctx=119027, majf=0, minf=15
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=119017,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=7934KiB/s (8124kB/s), 7934KiB/s-7934KiB/s (8124kB/s-8124kB/s), io=465MiB (487MB), run=60003-60003msec

Disk stats (read/write):
  sda: ios=118988/1230, merge=0/4, ticks=56406/1468, in_queue=57975, util=100.00%

/dev/sda "normal"
Code: 
fio --ioengine=libaio --direct=1 --sync=1 --rw=read --bs=1M --numjobs=1 --iodepth=1 --runtime=60 --time_based --name seq_read --filename=/dev/sda
seq_read: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.25
Starting 1 process
Jobs: 1 (f=1): [R(1)][100.0%][r=267MiB/s][r=267 IOPS][eta 00m:00s]
seq_read: (groupid=0, jobs=1): err= 0: pid=1537381: Wed Dec 28 16:02:18 2022
  read: IOPS=252, BW=252MiB/s (265MB/s)(14.8GiB/60005msec)
    slat (usec): min=29, max=249, avg=44.28, stdev= 8.63
    clat (usec): min=2439, max=98163, avg=3916.18, stdev=1701.43
     lat (usec): min=2483, max=98193, avg=3960.70, stdev=1701.90
    clat percentiles (usec):
     |  1.00th=[ 2769],  5.00th=[ 2868], 10.00th=[ 2933], 20.00th=[ 3064],
     | 30.00th=[ 3195], 40.00th=[ 3359], 50.00th=[ 3589], 60.00th=[ 3884],
     | 70.00th=[ 4228], 80.00th=[ 4686], 90.00th=[ 5145], 95.00th=[ 5604],
     | 99.00th=[ 6980], 99.50th=[ 7832], 99.90th=[26084], 99.95th=[36439],
     | 99.99th=[61604]
   bw (  KiB/s): min=53248, max=339968, per=100.00%, avg=258650.35, stdev=47927.14, samples=119
   iops        : min=   52, max=  332, avg=252.59, stdev=46.80, samples=119
  lat (msec)   : 4=63.82%, 10=35.94%, 20=0.09%, 50=0.13%, 100=0.02%
  cpu          : usr=0.15%, sys=1.21%, ctx=15145, majf=0, minf=268
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=15143,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=252MiB/s (265MB/s), 252MiB/s-252MiB/s (265MB/s-265MB/s), io=14.8GiB (15.9GB), run=60005-60005msec

Disk stats (read/write):
  sda: ios=30365/1225, merge=0/4, ticks=99380/6326, in_queue=106292, util=100.00%

/dev/sdb "normal"
Code: 
fio --ioengine=libaio --direct=1 --sync=1 --rw=read --bs=1M --numjobs=1 --iodepth=1 --runtime=60 --time_based --name seq_read --filename=/dev/sdb
seq_read: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.25
Starting 1 process
Jobs: 1 (f=1): [R(1)][100.0%][r=10.0MiB/s][r=10 IOPS][eta 00m:00s]
seq_read: (groupid=0, jobs=1): err= 0: pid=1539011: Wed Dec 28 16:03:40 2022
  read: IOPS=184, BW=185MiB/s (193MB/s)(10.8GiB/60013msec)
    slat (usec): min=31, max=267, avg=41.67, stdev= 8.44
    clat (usec): min=1905, max=169905, avg=5375.54, stdev=16288.72
     lat (msec): min=2, max=169, avg= 5.42, stdev=16.29
    clat percentiles (msec):
     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
     | 30.00th=[    3], 40.00th=[    3], 50.00th=[    3], 60.00th=[    3],
     | 70.00th=[    3], 80.00th=[    3], 90.00th=[    3], 95.00th=[    5],
     | 99.00th=[  102], 99.50th=[  117], 99.90th=[  140], 99.95th=[  146],
     | 99.99th=[  157]
   bw (  KiB/s): min= 8192, max=485376, per=100.00%, avg=190515.63, stdev=202420.12, samples=119
   iops        : min=    8, max=  474, avg=186.05, stdev=197.68, samples=119
  lat (msec)   : 2=0.15%, 4=93.89%, 10=1.90%, 20=0.23%, 50=0.61%
  lat (msec)   : 100=2.21%, 250=1.02%
  cpu          : usr=0.10%, sys=0.84%, ctx=11085, majf=0, minf=270
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=11074,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=185MiB/s (193MB/s), 185MiB/s-185MiB/s (193MB/s-193MB/s), io=10.8GiB (11.6GB), run=60013-60013msec

Disk stats (read/write):
  sdb: ios=22213/427, merge=2/201, ticks=100535/5877, in_queue=107390, util=99.07%

/dev/sdb "higher blocksize
Code: 
 fio --ioengine=libaio --direct=1 --sync=1 --rw=read --bs=4K --numjobs=1 --iodepth=1 --runtime=60 --time_based --name seq_read --filename=/dev/sdb
seq_read: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.25
Starting 1 process
Jobs: 1 (f=1): [R(1)][100.0%][r=104MiB/s][r=26.5k IOPS][eta 00m:00s]
seq_read: (groupid=0, jobs=1): err= 0: pid=1541098: Wed Dec 28 16:05:10 2022
  read: IOPS=26.6k, BW=104MiB/s (109MB/s)(6229MiB/60001msec)
    slat (usec): min=3, max=348, avg= 3.52, stdev= 1.51
    clat (nsec): min=970, max=8833.0k, avg=33607.41, stdev=17921.68
     lat (usec): min=23, max=8837, avg=37.20, stdev=18.19
    clat percentiles (usec):
     |  1.00th=[   28],  5.00th=[   30], 10.00th=[   31], 20.00th=[   32],
     | 30.00th=[   32], 40.00th=[   32], 50.00th=[   33], 60.00th=[   33],
     | 70.00th=[   34], 80.00th=[   34], 90.00th=[   35], 95.00th=[   43],
     | 99.00th=[   69], 99.50th=[   75], 99.90th=[  117], 99.95th=[  137],
     | 99.99th=[  277]
   bw (  KiB/s): min=101248, max=110016, per=100.00%, avg=106361.14, stdev=1874.20, samples=119
   iops        : min=25312, max=27504, avg=26590.29, stdev=468.55, samples=119
  lat (nsec)   : 1000=0.01%
  lat (usec)   : 2=0.01%, 10=0.01%, 20=0.02%, 50=97.20%, 100=2.64%
  lat (usec)   : 250=0.12%, 500=0.01%, 750=0.01%, 1000=0.01%
  lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%
  cpu          : usr=5.15%, sys=12.25%, ctx=1594892, majf=0, minf=15
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=1594717,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=104MiB/s (109MB/s), 104MiB/s-104MiB/s (109MB/s-109MB/s), io=6229MiB (6532MB), run=60001-60001msec

Disk stats (read/write):
  sdb: ios=1591995/379, merge=1/143, ticks=52131/116, in_queue=52327, util=99.87%

Greets
 
Das sind alles "Desptop-Benchmarks", sagen nichts über Serverperformance aus.
SanDisk_SSD_PLUS -> günstigste SSD für den PC-Markt. Dann noch ZFS drauf legen, da kann es nur langsam sein...
Auch die Toshiba ist eine TLC-SSD....

Du könntest auf dem Gebrauchtmarkt Enterprise-SSDs suchen/kaufen, die halten zig/hundertfach mehr Schreibzyklen aus, haben Powerloss-Protection UND sind schnell ;)

EDIT: Für mich wäre im Home-Bereich Kingston Data Centre DC500M adäquat.
Günstig, schnell, halten ewig und haben ansonsten auch alle Enterprise-Features.
Alles andere Consumergeraffel gehört keinesfalls in einen Server....
 
Last edited:
ITT said:
Das sind alles "Desptop-Benchmarks", sagen nichts über Serverperformance aus.
SanDisk_SSD_PLUS -> günstigste SSD für den PC-Markt. Dann noch ZFS drauf legen, da kann es nur langsam sein...
Auch die Toshiba ist eine TLC-SSD....

Du könntest auf dem Gebrauchtmarkt Enterprise-SSDs suchen/kaufen, die halten zig/hundertfach mehr Schreibzyklen aus, haben Powerloss-Protection UND sind schnell ;)
Click to expand...

Ich verstehe "Desktop-Benchmark" nicht?
Die Test habe ich eben aktuell und real auf dem Server in der bash durchgeführt.

ich sollte also die SSD und die NVME tauschen gegen "Profi" Varianten? Was bedeutet TLC-SSD??

Was wäre denn der Tipp, der eine spürbare Performance-Steigerung bringt??

Greets
 
Bytechanger said:
Ich verstehe "Desktop-Benchmark" nicht?
Die Test habe ich eben aktuell und real auf dem Server in der bash durchgeführt.

ich sollte also die SSD und die NVME tauschen gegen "Profi" Varianten? Was bedeutet TLC-SSD??

Was wäre denn der Tipp, der eine spürbare Performance-Steigerung bringt??

Greets
Click to expand...
Deine Benchmarks sagen nichts aus, was Serverperformance anbelangt (gleichzeitige Zugriffe, kleinste Dateien schreiben/lesen etc..)
Ein fundamentaler Unterschied.
Lies mein EDIT oben, da wäre was kostengünstiges.
Achja, willst du Performance, dann verabschiede dich von ZFS, sorge für ein gutes Backup und gute Disken.
 
Last edited:
Kingston Data Centre DC500M als SSD,
was für eine NVME ?

Wenn ich das richtig sehe, ist das Betriebssystem auf NVME und nicht ZfS ?!
Die große SSD ist ZFS. Kann ich dort die Partition wieder in eine ext4 (oder welche soll es sein) ändern?!

Kann ich irgendwo sehen, welche der Disks für das IO-Delay sorgt?


Greets
 
Last edited:
Deine Benchmarks zeigen außerdem nur Leseperformance. Die ist bei SSDs immer gut. Das Problem ist meist die Schreibperformance, gerade wenn die Caches vollgelaufen sind. Da kann so eine SSD mit QLC NAND z.B. schnell mal langsamer sein als eine olle alte HDD.

Außerdem solltest du gucken wie SATA controller und M.2 slot angebunden sind. Eine schnelle M.2 SSD muss nicht schnell laufen, wenn der M.2 Slot z.B. nicht mit der CPU sondern nur mit dem Chipsatz verbunden ist und dann der Link zwischen CPU und Chipsatz zum Flaschenhals wird.

Aber dein hoher IO Delay bestätigt zumindestens, dass da die SSDs alles ausbremsen. Müsstest du nur mal gucken welche von deinen das ist.
 
Last edited:
  • Like
Reactions: ITT
Dunuin said:
Außerdem solltest du gucken wie SATA controller und M.2 slot angebunden sind. Eine schnelle M.2 SSD muss nicht schnell laufen, wenn der M.2 Slot z.B. nicht mit der CPU sondern nur mit dem Chipsatz verbunden ist und dann der Link zwischen CPU und Chipsatz zum Flaschenhals wird.
Click to expand...
Auf den Punkt gebracht.
Weiterführend wäre zu klären, mit wie vielen PCIe-Lanes die Disken angebunden sind.
Dann kann man schon rein rechnerisch die Performance bestimmen.
Das macht man bevor man die Hardware anschafft ;)
 
Ich habe den Dell OptiPlex 7060 Micro - Core i5-8500T.
Macht es hier Sinn auf "Profi" Drives zu setzen oder liegt es an der PCIe - Anbindung?!

Speicher Tabelle 5. Speicherspezifikationen Typ Bauweise Schnittstelle Kapazität Solid-State Drive (SSD) M.2 2280

● SATA AHCI, bis zu 6 Gbit/s
● PCIe 3 (x4-Anschluss), NVMe, bis zu 32 Gbit/s

Steht in der Anleitung....


Und diese als NVME ??

Kingston Data Center DC1000B (SEDC1000BM8/480G) Enterprise NVMe SSD 480GB M.2 2280​



Greets
 
Last edited:
Code: 
TYPE

FORM FACTOR

INTERFACE

CAPACITY

Solid-State Drive (SSD)    M.2 2280  
SATA AHCI, Up to 6 Gbps
PCIe 3 x4 NVME, Up to 32 Gbps

Up to 2 TB

Schaut gut aus.
984 MB/s per lane mal 4 = Bruttodatenrate.
 
Last edited:
Sehe ich das richtig, dass die SSD

Kingston Data Centre DC500M (SEDC500M/960G) Enterprise Solid-State-Laufwerkes -SSD 2.5” 960GB​

mit 6GB/s schneller ist als die NVME mit 2,6 GB/s ??

Ich werde auf jeden Fall erstmal das ZFS in ext ändern...

Greets
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom