ZFS Absturz bei Backup

2morpheus · Mar 13, 2018

Hallo,
ich habe zwei Server im Testbetrieb (16 Kerne / 64GB / 2*sata und cache SSD /// 32 Kerne /256 GB / 2*ssd) mit der Standard Installation Proxmox, Auswahl ZFS Raid1.
Auf beiden laufen mehrere WIN7 + WIN10 + Debian CT und VM.
Wenn ich ein Backup über alle Maschinen laufen lasse oder zwei WIN VM aus dem Backup wiederherstelle steigt erst die Loadaverage langsam aber kontinuierlich auf über 100, irgendwann wird es mehr als langsam, dann folgt ein Neustart. Tritt auf beifen Servern auf.
Im Detail habe ich mir die Logs noch nicht angeschaut und in der Konfig lediglich den ZFS Speicherbedarf auf 24 GB gedeckelt, sowie swappines 10 eingestellt. Beides ohne Verbesserung.

Kennt das jemand und wie kann ich ZFS an dieser Stelle in den Griff bekommen.
BTW auf beiden Servern lief vorher ein SoftwareRAID1 ohne Probleme.

Herzlichen Dank für jeden Gedanken dazu.

wolfgang · Mar 14, 2018

Hi,

nach meiner Erfahrung passiert das wenn die Controller was komisches machen.
Was für Kontroller verwendest du?
Hast du auf dem cache device noch andere Partitionen?

2morpheus · Mar 15, 2018

Hallo Wolfgang,
ja, eine Log Partition, da der andere Server ohne ssd cache aber das gleiche Problem hat, liegt es aus meiner Sicht an etwas anderem.
Auffällig an drei unterschiedlichen System (ein weiterer DesktopPC macht das auch) ist das ZFS die LoadA. durch die Decke gehen läst.
Wie kann ich Dir die Frage nach den Kontrollern beantworten?
Server1 MB Supermicro H11DSi-NT
Server2 MB ASUS KCMA-D8

Viele Grüße

wolfgang · Mar 16, 2018

2morpheus said:
Wie kann ich Dir die Frage nach den Kontrollern beantworten?

Dann hast du wohl keine extra SAS/SATA Kontroller Karten und alle Disk direkt am MB angeschlossen sind.

Was hast du für Festplatten verbaut?
Kannst du mir mal bitte den Output von den folgenden Kommandos schicken?
Iostat bitte ausführen wenn der Server unter hoher IO load ist

Code:

zpool status
zpool iostat -r 1 4
zpool iostat -w 1 4

2morpheus · Apr 19, 2018

Hallo Wolfgang,

folgend der Outputt:

viele Grüße

Code:

root@lise25:~# zpool status
  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 0h31m with 0 errors on Sun Apr  8 00:55:26 2018
config:

        NAME        STATE     READ WRITE CKSUM
        rpool       ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sda2    ONLINE       0     0     0
            sdb2    ONLINE       0     0     0

errors: No known data errors

Code:

root@lise25:~# zpool iostat -r 1 4

rpool         sync_read    sync_write    async_read    async_write      scrub
req_size      ind    agg    ind    agg    ind    agg    ind    agg    ind    agg
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
512             0      0      0      0      0      0      0      0      0      0
1K              0      0      0      0      0      0      0      0      0      0
2K              0      0      0      0      0      0      0      0      0      0
4K          17.8M      0  12.0M      0  14.7M      0  50.1M      0  7.60M      0
8K          5.63M  52.9K  29.0M  3.53K  25.2M  1.12M  6.98M  28.2M  5.98M  1.84M
16K         32.2K  45.7K  11.0M  4.97K  22.3K  1.88M  1.53M  16.1M  36.1K  3.87M
32K          109K  19.3K  9.67M  4.11K   216K   497K  3.95M  10.4M   347K  4.42M
64K         19.3K  4.47K  6.87M  12.9K  49.7K   137K   504K  23.3M  72.5K  5.60M
128K        2.99K    171  6.67M  4.77K  7.76K  77.4K   720K  11.5M  96.6K  2.42M
256K            0      0      0      0      0      0      0      0      0      0
512K            0      0      0      0      0      0      0      0      0      0
1M              0      0      0      0      0      0      0      0      0      0
2M              0      0      0      0      0      0      0      0      0      0
4M              0      0      0      0      0      0      0      0      0      0
8M              0      0      0      0      0      0      0      0      0      0
16M             0      0      0      0      0      0      0      0      0      0
--------------------------------------------------------------------------------

rpool         sync_read    sync_write    async_read    async_write      scrub
req_size      ind    agg    ind    agg    ind    agg    ind    agg    ind    agg
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
512             0      0      0      0      0      0      0      0      0      0
1K              0      0      0      0      0      0      0      0      0      0
2K              0      0      0      0      0      0      0      0      0      0
4K              0      0    184      0      0      0    136      0      0      0
8K              0      0      0      0      0      0      0     40      0      0
16K             0      0      0      0      0      0      0     68      0      0
32K             0      0      0      0      7      0      0     74      0      0
64K             0      0      0      0      0      0      0    109      0      0
128K            0      0      0      0      0      0      0    202      0      0
256K            0      0      0      0      0      0      0      0      0      0
512K            0      0      0      0      0      0      0      0      0      0
1M              0      0      0      0      0      0      0      0      0      0
2M              0      0      0      0      0      0      0      0      0      0
4M              0      0      0      0      0      0      0      0      0      0
8M              0      0      0      0      0      0      0      0      0      0
16M             0      0      0      0      0      0      0      0      0      0
--------------------------------------------------------------------------------

rpool         sync_read    sync_write    async_read    async_write      scrub
req_size      ind    agg    ind    agg    ind    agg    ind    agg    ind    agg
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
512             0      0      0      0      0      0      0      0      0      0
1K              0      0      0      0      0      0      0      0      0      0
2K              0      0      0      0      0      0      0      0      0      0
4K              0      0    180      0      0      0    150      0      0      0
8K              0      0      0      0      0      0      0     28      0      0
16K             0      0      0      0      0      0      0     61      0      0
32K             0      0      0      0      0      0      0     75      0      0
64K             0      0      0      0      0      0      0     88      0      0
128K            0      0      0      0      0      0      0    192      0      0
256K            0      0      0      0      0      0      0      0      0      0
512K            0      0      0      0      0      0      0      0      0      0
1M              0      0      0      0      0      0      0      0      0      0
2M              0      0      0      0      0      0      0      0      0      0
4M              0      0      0      0      0      0      0      0      0      0
8M              0      0      0      0      0      0      0      0      0      0
16M             0      0      0      0      0      0      0      0      0      0
--------------------------------------------------------------------------------

rpool         sync_read    sync_write    async_read    async_write      scrub
req_size      ind    agg    ind    agg    ind    agg    ind    agg    ind    agg
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
512             0      0      0      0      0      0      0      0      0      0
1K              0      0      0      0      0      0      0      0      0      0
2K              0      0      0      0      0      0      0      0      0      0
4K              0      0    170      0      0      0    126      0      0      0
8K              0      0      0      0      0      0      0     24      0      0
16K             0      0      0      0      0      0      0     67      0      0
32K             0      0      0      0      2      0      0     41      0      0
64K             0      0      0      0      0      0      0     80      0      0
128K            0      0      0      0      0      0      0    207      0      0
256K            0      0      0      0      0      0      0      0      0      0
512K            0      0      0      0      0      0      0      0      0      0
1M              0      0      0      0      0      0      0      0      0      0
2M              0      0      0      0      0      0      0      0      0      0
4M              0      0      0      0      0      0      0      0      0      0
8M              0      0      0      0      0      0      0      0      0      0
16M             0      0      0      0      0      0      0      0      0      0
--------------------------------------------------------------------------------

2morpheus · Apr 19, 2018

und den zweiten, der psste nicht mehr in den anderen Beitrag...

Code:

[CODE]root@lise25:~# zpool iostat -w 1 4

rpool        total_wait     disk_wait    sync_queue    async_queue
latency      read  write   read  write   read  write   read  write  scrub
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----
1ns             0      0      0      0      0      0      0      0      0
3ns             0      0      0      0      0      0      0      0      0
7ns             0      0      0      0      0      0      0      0      0
15ns            0      0      0      0      0      0      0      0      0
31ns            0      0      0      0      0      0      0      0      0
63ns            0      0      0      0      0      0      0      0      0
127ns           0      0      0      0      0      0      0      0      0
255ns           0      0      0      0      0      0      0      0      0
511ns           0      0      0      0      0      0      0      0      0
1us             0      0      0      0  12.6K  98.6K  4.80K    230    257
2us             0      0      0      0  2.25M  33.7M  27.7M  4.01M  2.54M
4us             0      0      0      0  17.8M  29.5M  6.17M  8.62M  4.17M
8us             0      0      0      0  2.56M  4.83M   553K  3.29M   775K
16us            0      0      0      0   451K   592K   733K  3.19M   816K
32us            0      0      0      0   254K   128K  1.65M  5.95M  1.56M
65us        2.54M  7.73M  3.04M  21.5M   194K  66.6K  3.54M  10.8M  2.15M
131us       9.32M  51.3M  11.8M  87.9M   109K  70.7K  2.79M  13.8M  3.31M
262us       51.4M  38.2M  58.2M  42.6M  27.7K  55.8K   457K  13.4M  4.79M
524us       17.1M  33.1M  18.0M  24.2M  12.8K  51.8K   117K  24.8M  6.45M
1ms         11.7M  36.9M  6.77M  36.6M  6.83K  76.0K  57.6K  28.4M  2.52M
2ms         5.58M  22.0M  1.31M  6.05M  4.82K   146K  56.1K  12.3M  2.12M
4ms         1.49M  14.1M   378K  1.90M  2.60K   275K  59.3K  9.25M   803K
8ms          516K  12.9M   226K  6.02M  1.21K   490K  37.8K  10.5M   208K
16ms         168K  5.07M  23.9K   387K    248   851K  16.5K  3.10M   102K
33ms        37.7K  2.30M  14.0K   334K    257  1.03M  10.6K   849K  10.7K
67ms        31.9K  1.78M  14.6K   601K    205  1.03M  14.3K   504K  2.54K
134ms       24.2K  1.10M  7.84K   270K    113   729K  15.4K   231K    470
268ms       5.69K   603K  3.46K  35.8K     51   440K  1.76K   101K    261
536ms       2.59K   540K  2.31K  14.9K     51   456K    212  50.7K     15
1s            770   455K    712  4.97K     16   404K     33  26.4K      8
2s             31   236K      8     33      0   217K     20  5.96K      0
4s              0   114K      0      0      0   110K      0    879      0
8s              0  27.8K      0      0      0  27.1K      0    130      0
17s             0     27      0      0      0      0      0     27      0
34s             0      0      0      0      0      0      0      0      0
68s             0      0      0      0      0      0      0      0      0
137s            0      0      0      0      0      0      0      0      0
-------------------------------------------------------------------------

rpool        total_wait     disk_wait    sync_queue    async_queue
latency      read  write   read  write   read  write   read  write  scrub
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----
1ns             0      0      0      0      0      0      0      0      0
3ns             0      0      0      0      0      0      0      0      0
7ns             0      0      0      0      0      0      0      0      0
15ns            0      0      0      0      0      0      0      0      0
31ns            0      0      0      0      0      0      0      0      0
63ns            0      0      0      0      0      0      0      0      0
127ns           0      0      0      0      0      0      0      0      0
255ns           0      0      0      0      0      0      0      0      0
511ns           0      0      0      0      0      0      0      0      0
1us             0      0      0      0      0      0      0      0      0
2us             0      0      0      0      0     14      0      5      0
4us             0      0      0      0      0     45      0     40      0
8us             0      0      0      0      0      9      0      5      0
16us            0      0      0      0      0      0      0      0      0
32us            0      0      0      0      0      0      0      2      0
65us            0     18      0     24      0      2      0     16      0
131us           0     69      0     75      0     23      0     26      0
262us           0     25      0     33      0     25      0     26      0
524us           0     30      0     39      0      5      0     29      0
1ms             0     68      0    322      0      0      0     22      0
2ms             0     23      0     23      0      0      0     21      0
4ms             0     52      0      1      0      0      0     42      0
8ms             0     29      0      9      0      0      0     21      0
16ms            0    137      0     79      0      0      0    143      0
33ms            0    131      0     42      0      1      0     84      0
67ms            0     59      0     10      0      7      0     19      0
134ms           0     20      0      5      0      2      0     10      0
268ms           0      0      0      0      0      0      0      0      0
536ms           0      0      0      0      0      0      0      0      0
1s              0      0      0      0      0      0      0      0      0
2s              0      0      0      0      0      0      0      0      0
4s              0      0      0      0      0      0      0      0      0
8s              0      0      0      0      0      0      0      0      0
17s             0      0      0      0      0      0      0      0      0
34s             0      0      0      0      0      0      0      0      0
68s             0      0      0      0      0      0      0      0      0
137s            0      0      0      0      0      0      0      0      0
-------------------------------------------------------------------------

rpool        total_wait     disk_wait    sync_queue    async_queue
latency      read  write   read  write   read  write   read  write  scrub
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----
1ns             0      0      0      0      0      0      0      0      0
3ns             0      0      0      0      0      0      0      0      0
7ns             0      0      0      0      0      0      0      0      0
15ns            0      0      0      0      0      0      0      0      0
31ns            0      0      0      0      0      0      0      0      0
63ns            0      0      0      0      0      0      0      0      0
127ns           0      0      0      0      0      0      0      0      0
255ns           0      0      0      0      0      0      0      0      0
511ns           0      0      0      0      0      0      0      0      0
1us             0      0      0      0      0      0      0      0      0
2us             0      0      0      0      0     29      0      8      0
4us             0      0      0      0      0     32      0     34      0
8us             0      0      0      0      0     10      0      9      0
16us            0      0      0      0      0      0      0      2      0
32us            0      0      0      0      0      0      0      0      0
65us            0     30      0     34      0      0      0      7      0
131us           0     54      0     63      0     24      0     29      0
262us           0     28      0     32      0     26      0     27      0
524us           0     25      0     45      0      2      0     28      0
1ms             0     65      0    278      0      0      0     17      0
2ms             0     27      0     23      0      0      0     34      0
4ms             0     35      0      1      0      0      0     22      0
8ms             0     44      0     19      0      0      0     29      0
16ms            0    155      0     89      0      0      0    150      0
33ms            0     80      0     15      0      3      0     36      0
67ms            0     28      0      3      0      2      0     11      0
134ms           0     41      0     11      0      4      0     23      0
268ms           0      1      0      0      0      0      0      1      0
536ms           0      0      0      0      0      0      0      0      0
1s              0      0      0      0      0      0      0      0      0
2s              0      0      0      0      0      0      0      0      0
4s              0      0      0      0      0      0      0      0      0
8s              0      0      0      0      0      0      0      0      0
17s             0      0      0      0      0      0      0      0      0
34s             0      0      0      0      0      0      0      0      0
68s             0      0      0      0      0      0      0      0      0
137s            0      0      0      0      0      0      0      0      0
-------------------------------------------------------------------------

rpool        total_wait     disk_wait    sync_queue    async_queue
latency      read  write   read  write   read  write   read  write  scrub
----------  -----  -----  -----  -----  -----  -----  -----  -----  -----
1ns             0      0      0      0      0      0      0      0      0
3ns             0      0      0      0      0      0      0      0      0
7ns             0      0      0      0      0      0      0      0      0
15ns            0      0      0      0      0      0      0      0      0
31ns            0      0      0      0      0      0      0      0      0
63ns            0      0      0      0      0      0      0      0      0
127ns           0      0      0      0      0      0      0      0      0
255ns           0      0      0      0      0      0      0      0      0
511ns           0      0      0      0      0      0      0      0      0
1us             0      0      0      0      0      0      0      0      0
2us             0      0      0      0      0     18      0      3      0
4us             0      0      0      0      0     42      0     38      0
8us             0      0      0      0      0      4      0      3      0
16us            0      0      0      0      0      2      0      1      0
32us            0      0      0      0      0      1      0      4      0
65us            0     12      0     16      0      5      0     13      0
131us           0     61      0     70      0     21      0     39      0
262us           0     32      0     37      0     24      0     23      0
524us           0     35      0     36      0      2      0     27      0
1ms             0     69      0    298      0      0      0     17      0
2ms             0     28      0     31      0      0      0     18      0
4ms             0     37      0      0      0      0      0     31      0
8ms             0     18      0     19      0      0      0     22      0
16ms            0    186      0     88      0      0      0    172      0
33ms            0     81      0     12      0      4      0     30      0
67ms            0     23      0      5      0      1      0     19      0
134ms           0     42      0     11      0      3      0     19      0
268ms           0      0      0      0      0      0      0      0      0
536ms           0      0      0      0      0      0      0      0      0
1s              0      0      0      0      0      0      0      0      0
2s              0      0      0      0      0      0      0      0      0
4s              0      0      0      0      0      0      0      0      0
8s              0      0      0      0      0      0      0      0      0
17s             0      0      0      0      0      0      0      0      0
34s             0      0      0      0      0      0      0      0      0
68s             0      0      0      0      0      0      0      0      0
137s            0      0      0      0      0      0      0      0      0
-------------------------------------------------------------------------

[/CODE]

wolfgang · Apr 19, 2018

Das ist interesant es wird nichts mehr geschrieben oder gelesen.
Welche PVE Version hast du momentan (pveversion -v)?
Auf alle fälle bitte auf letzten Version upgraden.

2morpheus · Apr 19, 2018

Hallo,

habe mit renice und ionice versucht den GZIP Prozess direkt zu verlangsamen, erstmal ohne Erfolg. erst nachdem das Backup über das webimterface gestoppt war beruhigte sich die LA.

hier mal ein top kurz nach dem Start zurückspielen eines Bachups von einem nfs Share:

2864 root 20 0 4588 708 636 S 88.1 0.0 0:11.85 gzip
4155 root 20 0 0 0 0 S 25.4 0.0 0:00.90 kworker/u33:0
2865 root 20 0 553820 14592 8084 S 17.8 0.0 0:02.56 vma
3597 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3598 root 0 -20 0 0 0 R 12.9 0.0 0:00.42 zvol
3603 root 0 -20 0 0 0 R 12.9 0.0 0:00.42 zvol
3605 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3606 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3608 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3609 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3610 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3612 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3614 root 0 -20 0 0 0 R 12.9 0.0 0:00.42 zvol
3615 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3617 root 0 -20 0 0 0 R 12.9 0.0 0:00.42 zvol
3618 root 0 -20 0 0 0 R 12.9 0.0 0:00.42 zvol
3619 root 0 -20 0 0 0 D 12.9 0.0 0:00.41 zvol
3622 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3624 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
3625 root 0 -20 0 0 0 D 12.9 0.0 0:00.41 zvol
3627 root 0 -20 0 0 0 D 12.9 0.0 0:00.42 zvol
4567 root 0 -20 0 0 0 D 12.9 0.0 0:00.39 zvol
4569 root 0 -20 0 0 0 D 12.9 0.0 0:00.39 zvol
4570 root 0 -20 0 0 0 D 12.9 0.0 0:00.39 zvol
4571 root 0 -20 0 0 0 R 12.9 0.0 0:00.39 zvol
341 root 0 -20 0 0 0 R 12.5 0.0 94:58.53 zvol
3600 root 0 -20 0 0 0 R 12.5 0.0 0:00.41 zvol
3601 root 0 -20 0 0 0 D 12.5 0.0 0:00.41 zvol
3604 root 0 -20 0 0 0 D 12.5 0.0 0:00.41 zvol
3607 root 0 -20 0 0 0 D 12.5 0.0 0:00.41 zvol
3621 root 0 -20 0 0 0 R 12.5 0.0 0:00.41 zvol
3623 root 0 -20 0 0 0 D 12.5 0.0 0:00.41 zvol
3626 root 0 -20 0 0 0 D 12.5 0.0 0:00.41 zvol
4568 root 0 -20 0 0 0 D 12.5 0.0 0:00.38 zvol
4572 root 0 -20 0 0 0 D 12.5 0.0 0:00.38 zvol
23476 root 20 0 7746260 6.082g 5912 S 9.2 9.7 20392:15 kvm
525 root 39 19 0 0 0 S 6.6 0.0 4:42.84 dp_sync_taskq
480 root 1 -19 0 0 0 S 4.3 0.0 47:50.67 z_wr_iss
479 root 1 -19 0 0 0 S 3.6 0.0 47:51.11 z_wr_iss
485 root 1 -19 0 0 0 S 3.6 0.0 47:52.29 z_wr_iss
488 root 1 -19 0 0 0 S 3.6 0.0 47:50.19 z_wr_iss
490 root 1 -19 0 0 0 S 3.6 0.0 47:53.39 z_wr_iss
2 root 20 0 0 0 0 S 3.3 0.0 115:15.29 kthreadd
481 root 1 -19 0 0 0 S 3.3 0.0 47:50.31 z_wr_iss
482 root 1 -19 0 0 0 S 3.3 0.0 47:49.62 z_wr_iss
487 root 1 -19 0 0 0 S 3.3 0.0 47:51.04 z_wr_iss
489 root 1 -19 0 0 0 S 3.3 0.0 47:53.72 z_wr_iss
484 root 1 -19 0 0 0 S 3.0 0.0 47:52.66 z_wr_iss
483 root 1 -19 0 0 0 S 2.6 0.0 47:56.21 z_wr_iss

Die zfs Prozesse schaukeln sich dann aus meiner Sicht hoch bis nichts mehr geht.

Neuste Versionen spiele ich nacher mal ein, derzeit

root@lise25:~# pveversion -v
proxmox-ve: 5.1-41 (running kernel: 4.13.13-6-pve)
pve-manager: 5.1-46 (running version: 5.1-46/ae8241d4)
pve-kernel-4.13.13-6-pve: 4.13.13-41
pve-kernel-4.13.13-5-pve: 4.13.13-38
pve-kernel-4.13.13-2-pve: 4.13.13-33
corosync: 2.4.2-pve3
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: 1.2-2
libjs-extjs: 6.0.1-2
libpve-access-control: 5.0-8
libpve-common-perl: 5.0-28
libpve-guest-common-perl: 2.0-14
libpve-http-server-perl: 2.0-8
libpve-storage-perl: 5.0-17
libqb0: 1.0.1-1
lvm2: 2.02.168-pve6
lxc-pve: 2.1.1-3
lxcfs: 2.0.8-2
novnc-pve: 0.6-4
proxmox-widget-toolkit: 1.0-11
pve-cluster: 5.0-20
pve-container: 2.0-19
pve-docs: 5.1-16
pve-firewall: 3.0-5
pve-firmware: 2.0-3
pve-ha-manager: 2.0-5
pve-i18n: 1.0-4
pve-libspice-server1: 0.12.8-3
pve-qemu-kvm: 2.9.1-9
pve-xtermjs: 1.0-2
qemu-server: 5.0-22
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3
zfsutils-linux: 0.7.6-pve1~bpo9

Auf dem zweiten Server ist alles aktuell, sieht vom ersten Anschein aber genauso aus.

VG Christian

2morpheus · Apr 19, 2018

Im nächsten Schritt habe ich für ein restore die compression mit

zfs get compression

geprüft.
dann mit

zfs set compression=gzip-7 rpool/data

auf die höchste Kompression gesetzt.
das hat etwas entspannt, weil dadurch die zu schreibenden daten offenbar geringer wurden.
In diesem Sinne hat das Ausschalten der compression dann nichts gebracht,

zfs set compression=off rpool/data[

Geholfen hat auch der Schritt nicht.

Praktisch ist ein Restore im Moment bei laufendem Server nicht möglich

VG christian

HBO · Apr 19, 2018

Das Restore Problem ist doch schon verhälltnismäßig alt und bekannt. Die Probleme auf ZFS und auch LVM Thin habe ich vor Monaten schonmal angesprochen. Hier fehlt nicht nur ein bwlimit (workaround mit cstream hilft da auch nicht viel) sondern auch ein IO Limiter. Bei sämtlichen Restores schießt auf unseren ZFS und LVM Thin Systemen die Load und IO Wait dermaßen in die höhe, dass laufende VMs umbrauchbar werden.
Lustigerweiße ist eine Migration ohne Probleme machbar, kein IO Wait, keine hohe Load. Nur beim Abschließen (also nach erreichen der 100% gibt es einen kurzen IO Peak).

2morpheus · Apr 19, 2018

Danke Heiko,

https://forum.proxmox.com/threads/backup-restore-on-zfs-produces-high-load.39166/
auch für den Hinweiss auf die Bugzilla Einträge:
https://bugzilla.proxmox.com/show_bug.cgi?id=460
https://bugzilla.proxmox.com/show_bug.cgi?id=1642

Ansonsten stimme ich Dir und deinen Beiträgen leider zu, ein Restore ist so im laufenden Betrieb offenbar nicht möglich.

Dieses sind meine ersten Schritte mit ZFS Raid1.
Die vorherigen System laufen in kleinen Firmen seit Jahren auf Software Raid1 ohne nenneswerte Probleme, daher habe ich es erstmal für ein reines ZFS Problem gehalten und bin tatsächlich erstaunt, das es bei einfachen Backupszenarien zu diesen Spitzen kommt.
Ich bin auf eine Lösung gespannt.

fabian · Apr 20, 2018

the ZFS restore and move disk situation should be improved a lot in pve-qemu-kvm 2.11.1-5 and qemu-server 5.0-25, especially in combination with the bwlimit option.

HBO · Apr 20, 2018

qmrestore mit bwlimit klappt zumindest auf meinem ZFS Testsystem wunderbar mit obigen Versionen (weder hohe Load noch IO Wait), auf LVM Thin werde ich das nach Updaten der produktiven Nodes dann noch testen.

2morpheus · May 12, 2018

habe eben nochmal getestet ob die vzdump.conf im restore Einfluss hat, offenbar nicht.
für restore habe ich kein conf file gefunden.
Wie HBO schreibt macht das restore weniger Probleme bei Beschränkung der bw.
Dies kann im GUI erfolgen direkt im Restore Fenster, " Read Limit (MB/s) "
In meinem System gibt es z.B. beim Wert " Read Limit 10 " keine Probleme mehr bis 2 gleichzeitigen Restore Vorgängen.

fabian · May 14, 2018

2morpheus said:
habe eben nochmal getestet ob die vzdump.conf im restore Einfluss hat, offenbar nicht.
für restore habe ich kein conf file gefunden.
Wie HBO schreibt macht das restore weniger Probleme bei Beschränkung der bw.
Dies kann im GUI erfolgen direkt im Restore Fenster, " Read Limit (MB/s) "
In meinem System gibt es z.B. beim Wert " Read Limit 10 " keine Probleme mehr bis 2 gleichzeitigen Restore Vorgängen.

die (neuen) bwlimits sind cluster-weit in der datacenter.cfg setzbar ("man datacenter.cfg"), für einzelne storages in der storage.cfg (sh. "man pvesm"). die anderen aktionen neben restore werden sukzessive in den nächsten wochen folgen.

Search

Search

ZFS Absturz bei Backup

2morpheus

Renowned Member

wolfgang

Proxmox Retired Staff

2morpheus

Renowned Member

wolfgang

Proxmox Retired Staff

2morpheus

Renowned Member

2morpheus

Renowned Member

wolfgang

Proxmox Retired Staff

2morpheus

Renowned Member

2morpheus

Renowned Member

HBO

Active Member

2morpheus

Renowned Member

fabian

Proxmox Staff Member

HBO

Active Member

2morpheus

Renowned Member

fabian

Proxmox Staff Member