Proxmox laggt

[chrigiboy]

Die SMART Werte sind 100%.
Habe das Problem nun auch auf weiteren Server von Dell PowerEdge, HP Server. Die frieren teilweise beim Backup ein, das Backup hängt, oder die VM bleiben hängen. Echt mühsam. Scheint wohl etwas Faul an Proxmox zu sein.


Hier mal ein Screenshot von einem Dell PowerEdge Server, obwohl ich alle VM heruntergefahren habe und nun das hängende System neustarten möchte.
Watchdog hängt, SD-Sync hängt und proxmox-backup reagiert gar nicht mehr.


Ich versuche jetzt mal das System neu zu starten und mit einem anderen Kernel zu verwenden.

 

[Falk R.]

Du kannst ja mal auf den 6.2.16-4 updaten, aber so ähnliche Fehlermeldungen kenne ich von defekten Disks, kann aber auch die Disk Anbindung sein (Treiber, Firmware, Kabel)

 

[abader]

Ich hake hier mal mit ein:

check mal mit "iostat -x" in der Shell die BusyWerte deiner Disks. Ggf mit "apt install sysstat" installieren.

Generelle Erfahrung: Consumer SSD + ZFS = Problem, durch das COW Dateisystem und permanenten Microtransaktionen kommen die SSD nie in den Garbage Collection Modus und fangen früher oder später an, die willkürlichsten Probleme zu verursachen.

Immerhin hat die SSD TLC Nand und einen DRAM Cache.

2 Vorschläge:

- wenn das System ein Just-4-Fun System ist (non-Productive) dann kannst du versuchen mit ZFS Autotrim einen Trim der SSDs zu erreichen und die Performance auf einem bestimmten Niveau zu halten > Befehl "zpool set autotrim=on poolname"

- wenn das System Produktiv im Firmeneinsatz läuft -> raus mit den Corsair und bau Enterprise SSD ein -> Günstig sind derzeit die Micron 7400 NVME

 

[Falk R.]

D

Ich hake hier mal mit ein:

check mal mit "iostat -x" in der Shell die BusyWerte deiner Disks. Ggf mit "apt install sysstat" installieren.

Generelle Erfahrung: Consumer SSD + ZFS = Problem, durch das COW Dateisystem und permanenten Microtransaktionen kommen die SSD nie in den Garbage Collection Modus und fangen früher oder später an, die willkürlichsten Probleme zu verursachen.

Immerhin hat die SSD TLC Nand und einen DRAM Cache.

2 Vorschläge:

- wenn das System ein Just-4-Fun System ist (non-Productive) dann kannst du versuchen mit ZFS Autotrim einen Trim der SSDs zu erreichen und die Performance auf einem bestimmten Niveau zu halten > Befehl "zpool set autotrim=on poolname"

- wenn das System Produktiv im Firmeneinsatz läuft -> raus mit den Corsair und bau Enterprise SSD ein -> Günstig sind derzeit die Micron 7400 NVME

Die Samsung PM9A3 (OEM NVMe) sind derzeit auch sehr günstig.
Habe die bei einem Kunden für 260€ pro 3,84TB NVMe verbaut.

​

 

[chrigiboy]

Ich hake hier mal mit ein:

check mal mit "iostat -x" in der Shell die BusyWerte deiner Disks. Ggf mit "apt install sysstat" installieren.

Generelle Erfahrung: Consumer SSD + ZFS = Problem, durch das COW Dateisystem und permanenten Microtransaktionen kommen die SSD nie in den Garbage Collection Modus und fangen früher oder später an, die willkürlichsten Probleme zu verursachen.

Immerhin hat die SSD TLC Nand und einen DRAM Cache.

2 Vorschläge:

- wenn das System ein Just-4-Fun System ist (non-Productive) dann kannst du versuchen mit ZFS Autotrim einen Trim der SSDs zu erreichen und die Performance auf einem bestimmten Niveau zu halten > Befehl "zpool set autotrim=on poolname"

- wenn das System Produktiv im Firmeneinsatz läuft -> raus mit den Corsair und bau Enterprise SSD ein -> Günstig sind derzeit die Micron 7400 NVME

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          22.27    0.00    0.99    0.72    0.00   76.02

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
nvme0n1        159.50  13685.34     0.00   0.00    2.14    85.80  237.84  10415.08     0.00   0.00    0.59    43.79    0.00      0.00     0.00   0.00    0.00     0.00   27.19    3.46    0.58  40.56
nvme1n1        149.77  13275.93     0.00   0.00    3.14    88.64  237.34  10415.08     0.00   0.00    0.62    43.88    0.00      0.00     0.00   0.00    0.00     0.00   27.19    3.80    0.72  43.41
nvme2n1        167.42  14827.60     0.00   0.00    0.45    88.57  269.23  12100.41     0.00   0.00    0.28    44.94    0.00      0.00     0.00   0.00    0.00     0.00   25.95    2.20    0.21  28.65
nvme3n1        167.60  14860.24     0.00   0.00    0.47    88.67  269.06  12100.41     0.00   0.00    0.28    44.97    0.00      0.00     0.00   0.00    0.00     0.00   25.95    2.20    0.21  28.69

Hier mal meine Werte. Ich kann damit nicht viel Anfangen.

 

[Falk R.]

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          22.27    0.00    0.99    0.72    0.00   76.02

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
nvme0n1        159.50  13685.34     0.00   0.00    2.14    85.80  237.84  10415.08     0.00   0.00    0.59    43.79    0.00      0.00     0.00   0.00    0.00     0.00   27.19    3.46    0.58  40.56
nvme1n1        149.77  13275.93     0.00   0.00    3.14    88.64  237.34  10415.08     0.00   0.00    0.62    43.88    0.00      0.00     0.00   0.00    0.00     0.00   27.19    3.80    0.72  43.41
nvme2n1        167.42  14827.60     0.00   0.00    0.45    88.57  269.23  12100.41     0.00   0.00    0.28    44.94    0.00      0.00     0.00   0.00    0.00     0.00   25.95    2.20    0.21  28.65
nvme3n1        167.60  14860.24     0.00   0.00    0.47    88.67  269.06  12100.41     0.00   0.00    0.28    44.97    0.00      0.00     0.00   0.00    0.00     0.00   25.95    2.20    0.21  28.69

Hier mal meine Werte. Ich kann damit nicht viel Anfangen.

Was läuft denn da gerade auf den Disks?
Die sind ja ca 40% ausgelastet, wenn da noch ein paar VMs dazu kommen, könnte es extrem langsam werden.

 

[Falk R.]

Hast du schon mal geschrieben, wie voll dein Pool ist?
ZFS wird ja ab 80% Befüllung extrem langsam.

 

[abader]

entscheidend ist der io-wait

lege mal etwas last an und schau ob sich der Wert verändert.

das %util ist die Auslastung - bei SSD - spezielle NVME- ist das aber extrem ábhängig von den Lanes.

also Last auf die Kiste und IOWait anschauen; kannst auch mit "iostat -x 5" eine auto aktulaisierung alle 5sekunden durchführen

 

[chrigiboy]

Falls die NVME so langsam geworden sind, warum können dann die anderen Server auf dem gleichen System, auf der gleichen NVME mit 8 Gbyte/s Dateien öffnen und schreiben? Wenn die NVME langsam geworden wäre, würde das doch für alle Server zutreffen und nicht für einen einzelnen oder? Ich werde trotzdem mal die NVME austauschen. Also es wird noch etwas dauern, bis ich die NVME ausgetauscht habe.

Mir ist aufgefallen, dass ich den Backupspeicher nicht öffnen konnte. Es gab immer eine Timeout Meldung. Ich habe aber gesehen, dass der Backupserver beim GC war. Ich habe das abgebrochen, jetzt funktionieren die Backups wieder, ich kann also die Server sichern ohne das es zu einem Unterbruch kommt. Ich konnte auch noch im VZDUMP.conf die Bandbreite wieder auf unlimitiert stellen. Ich hatte vorher 10 Mbyte/s eingestellt gehabt, und die Systeme sind eingefroren. Jetzt sichert Proxmox mit etwa 200- 600 Mb/s und es gibt keine Probleme! Scheint also ein Backup Problem zu sein?!?
Jemand eine Idee, welche Festplatten ich für den Backupserver nutzen soll? Er hat 120 TByte Speicher und ist zu 60% belegt. Oder andere Vorschläge?

INFO: scsi1: dirty-bitmap status: created new
INFO:   0% (1.5 GiB of 2.0 TiB) in 3s, read: 506.7 MiB/s, write: 181.3 MiB/s
INFO:   1% (20.3 GiB of 2.0 TiB) in 1m 11s, read: 283.7 MiB/s, write: 79.5 MiB/s
INFO:   2% (40.3 GiB of 2.0 TiB) in 2m 42s, read: 225.2 MiB/s, write: 68.1 MiB/s
INFO:   3% (60.1 GiB of 2.0 TiB) in 5m 50s, read: 107.7 MiB/s, write: 37.2 MiB/s
INFO:   4% (80.1 GiB of 2.0 TiB) in 8m 10s, read: 146.6 MiB/s, write: 35.1 MiB/s
INFO:   5% (100.1 GiB of 2.0 TiB) in 11m 28s, read: 103.0 MiB/s, write: 28.8 MiB/s
INFO:   6% (120.2 GiB of 2.0 TiB) in 13m 36s, read: 161.5 MiB/s, write: 38.9 MiB/s
INFO:   7% (140.2 GiB of 2.0 TiB) in 15m 9s, read: 219.8 MiB/s, write: 52.7 MiB/s
INFO:   8% (160.3 GiB of 2.0 TiB) in 17m 41s, read: 135.7 MiB/s, write: 42.9 MiB/s
INFO:   9% (180.0 GiB of 2.0 TiB) in 19m 55s, read: 150.5 MiB/s, write: 53.3 MiB/s
INFO:  10% (200.1 GiB of 2.0 TiB) in 24m 21s, read: 77.3 MiB/s, write: 40.7 MiB/s
INFO:  11% (220.1 GiB of 2.0 TiB) in 27m 53s, read: 96.2 MiB/s, write: 42.3 MiB/s
INFO:  12% (240.1 GiB of 2.0 TiB) in 30m 52s, read: 114.7 MiB/s, write: 41.4 MiB/s
INFO:  13% (260.1 GiB of 2.0 TiB) in 32m 28s, read: 213.3 MiB/s, write: 77.2 MiB/s
INFO:  14% (280.0 GiB of 2.0 TiB) in 34m 26s, read: 173.1 MiB/s, write: 68.4 MiB/s
INFO:  15% (300.1 GiB of 2.0 TiB) in 36m 18s, read: 183.2 MiB/s, write: 64.8 MiB/s
INFO:  16% (320.1 GiB of 2.0 TiB) in 38m 18s, read: 170.9 MiB/s, write: 57.8 MiB/s
INFO:  17% (340.2 GiB of 2.0 TiB) in 41m 30s, read: 106.9 MiB/s, write: 34.2 MiB/s
INFO:  18% (360.0 GiB of 2.0 TiB) in 45m 56s, read: 76.5 MiB/s, write: 27.0 MiB/s
INFO:  19% (380.0 GiB of 2.0 TiB) in 49m 26s, read: 97.4 MiB/s, write: 30.2 MiB/s
INFO:  20% (400.2 GiB of 2.0 TiB) in 52m 32s, read: 111.0 MiB/s, write: 29.0 MiB/s
INFO:  21% (420.0 GiB of 2.0 TiB) in 56m 11s, read: 92.9 MiB/s, write: 32.1 MiB/s
INFO:  22% (440.0 GiB of 2.0 TiB) in 59m 30s, read: 102.8 MiB/s, write: 34.2 MiB/s
INFO:  23% (460.0 GiB of 2.0 TiB) in 1h 4m 55s, read: 63.0 MiB/s, write: 29.3 MiB/s
INFO:  24% (480.1 GiB of 2.0 TiB) in 1h 9m 18s, read: 78.3 MiB/s, write: 28.5 MiB/s
INFO:  25% (500.0 GiB of 2.0 TiB) in 1h 13m 31s, read: 80.6 MiB/s, write: 37.5 MiB/s
INFO:  26% (520.2 GiB of 2.0 TiB) in 1h 16m 49s, read: 104.1 MiB/s, write: 33.6 MiB/s
INFO:  27% (540.1 GiB of 2.0 TiB) in 1h 18m 53s, read: 164.3 MiB/s, write: 50.2 MiB/s
INFO:  28% (560.0 GiB of 2.0 TiB) in 1h 23m 1s, read: 82.4 MiB/s, write: 35.8 MiB/s
INFO:  29% (580.0 GiB of 2.0 TiB) in 1h 26m 33s, read: 96.6 MiB/s, write: 26.3 MiB/s
INFO:  30% (600.0 GiB of 2.0 TiB) in 1h 31m 18s, read: 72.0 MiB/s, write: 30.7 MiB/s
INFO:  31% (620.1 GiB of 2.0 TiB) in 1h 36m 42s, read: 63.3 MiB/s, write: 28.0 MiB/s
INFO:  32% (640.0 GiB of 2.0 TiB) in 1h 43m 40s, read: 48.9 MiB/s, write: 23.8 MiB/s
INFO:  33% (660.0 GiB of 2.0 TiB) in 1h 50m 3s, read: 53.5 MiB/s, write: 24.4 MiB/s
INFO:  34% (680.0 GiB of 2.0 TiB) in 1h 54m 43s, read: 73.1 MiB/s, write: 24.8 MiB/s
INFO:  35% (700.0 GiB of 2.0 TiB) in 1h 58m 41s, read: 86.0 MiB/s, write: 28.6 MiB/s
INFO:  36% (720.2 GiB of 2.0 TiB) in 2h 2m 23s, read: 93.2 MiB/s, write: 28.5 MiB/s
INFO:  37% (740.0 GiB of 2.0 TiB) in 2h 5m 33s, read: 106.8 MiB/s, write: 23.4 MiB/s
INFO:  38% (760.0 GiB of 2.0 TiB) in 2h 10m 4s, read: 75.6 MiB/s, write: 31.1 MiB/s
INFO:  39% (780.1 GiB of 2.0 TiB) in 2h 14m 45s, read: 73.0 MiB/s, write: 26.3 MiB/s
INFO:  40% (800.1 GiB of 2.0 TiB) in 2h 21m 26s, read: 51.3 MiB/s, write: 19.1 MiB/s
INFO:  41% (820.1 GiB of 2.0 TiB) in 2h 24m 23s, read: 115.3 MiB/s, write: 53.5 MiB/s
INFO:  42% (840.0 GiB of 2.0 TiB) in 2h 27m 7s, read: 124.6 MiB/s, write: 62.2 MiB/s
INFO:  43% (861.5 GiB of 2.0 TiB) in 2h 28m 40s, read: 236.8 MiB/s, write: 81.1 MiB/s
INFO:  44% (880.3 GiB of 2.0 TiB) in 2h 30m 10s, read: 213.3 MiB/s, write: 72.2 MiB/s
INFO:  45% (900.0 GiB of 2.0 TiB) in 2h 31m 54s, read: 194.4 MiB/s, write: 71.9 MiB/s
INFO:  46% (920.0 GiB of 2.0 TiB) in 2h 33m 59s, read: 163.7 MiB/s, write: 58.7 MiB/s
INFO:  47% (940.1 GiB of 2.0 TiB) in 2h 35m 58s, read: 172.5 MiB/s, write: 46.4 MiB/s
INFO:  48% (960.2 GiB of 2.0 TiB) in 2h 38m 20s, read: 145.0 MiB/s, write: 32.3 MiB/s
INFO:  49% (980.7 GiB of 2.0 TiB) in 2h 41m 50s, read: 100.0 MiB/s, write: 26.2 MiB/s
INFO:  50% (1000.3 GiB of 2.0 TiB) in 2h 42m 30s, read: 501.7 MiB/s, write: 56.8 MiB/s
INFO:  51% (1020.1 GiB of 2.0 TiB) in 2h 44m 10s, read: 202.6 MiB/s, write: 89.0 MiB/s
INFO:  52% (1.0 TiB of 2.0 TiB) in 2h 46m 32s, read: 144.0 MiB/s, write: 52.3 MiB/s
INFO:  53% (1.0 TiB of 2.0 TiB) in 2h 48m 10s, read: 213.3 MiB/s, write: 44.8 MiB/s
INFO:  54% (1.1 TiB of 2.0 TiB) in 2h 49m 25s, read: 267.1 MiB/s, write: 89.8 MiB/s
INFO:  55% (1.1 TiB of 2.0 TiB) in 2h 50m 43s, read: 264.2 MiB/s, write: 88.4 MiB/s
INFO:  56% (1.1 TiB of 2.0 TiB) in 2h 51m 46s, read: 323.4 MiB/s, write: 91.7 MiB/s
INFO:  57% (1.1 TiB of 2.0 TiB) in 2h 53m 1s, read: 273.7 MiB/s, write: 72.2 MiB/s
INFO:  58% (1.1 TiB of 2.0 TiB) in 2h 55m 5s, read: 165.0 MiB/s, write: 78.9 MiB/s
INFO:  59% (1.2 TiB of 2.0 TiB) in 2h 56m 46s, read: 203.2 MiB/s, write: 68.3 MiB/s
INFO:  60% (1.2 TiB of 2.0 TiB) in 2h 58m 25s, read: 210.2 MiB/s, write: 63.2 MiB/s
INFO:  61% (1.2 TiB of 2.0 TiB) in 3h 11s, read: 190.5 MiB/s, write: 73.6 MiB/s
INFO:  62% (1.2 TiB of 2.0 TiB) in 3h 1m 24s, read: 279.7 MiB/s, write: 78.7 MiB/s
INFO:  63% (1.2 TiB of 2.0 TiB) in 3h 2m 54s, read: 230.9 MiB/s, write: 72.9 MiB/s
INFO:  64% (1.3 TiB of 2.0 TiB) in 3h 4m 50s, read: 175.0 MiB/s, write: 64.2 MiB/s
INFO:  65% (1.3 TiB of 2.0 TiB) in 3h 6m 27s, read: 210.1 MiB/s, write: 64.8 MiB/s
INFO:  66% (1.3 TiB of 2.0 TiB) in 3h 7m 57s, read: 230.1 MiB/s, write: 70.2 MiB/s
INFO:  67% (1.3 TiB of 2.0 TiB) in 3h 9m 32s, read: 216.8 MiB/s, write: 67.4 MiB/s
INFO:  68% (1.3 TiB of 2.0 TiB) in 3h 11m 23s, read: 180.7 MiB/s, write: 62.8 MiB/s
INFO:  69% (1.3 TiB of 2.0 TiB) in 3h 13m 55s, read: 135.0 MiB/s, write: 60.9 MiB/s
INFO:  70% (1.4 TiB of 2.0 TiB) in 3h 15m 6s, read: 290.4 MiB/s, write: 71.5 MiB/s
INFO:  71% (1.4 TiB of 2.0 TiB) in 3h 16m 31s, read: 240.7 MiB/s, write: 70.2 MiB/s
INFO:  72% (1.4 TiB of 2.0 TiB) in 3h 17m 59s, read: 233.8 MiB/s, write: 66.9 MiB/s
INFO:  73% (1.4 TiB of 2.0 TiB) in 3h 18m 59s, read: 338.3 MiB/s, write: 73.1 MiB/s
INFO:  74% (1.4 TiB of 2.0 TiB) in 3h 20m 50s, read: 185.8 MiB/s, write: 60.9 MiB/s
INFO:  75% (1.5 TiB of 2.0 TiB) in 3h 23m 8s, read: 146.8 MiB/s, write: 66.0 MiB/s
INFO:  76% (1.5 TiB of 2.0 TiB) in 3h 24m 41s, read: 221.7 MiB/s, write: 67.4 MiB/s
INFO:  77% (1.5 TiB of 2.0 TiB) in 3h 26m 38s, read: 174.3 MiB/s, write: 72.8 MiB/s
INFO:  78% (1.5 TiB of 2.0 TiB) in 3h 28m 44s, read: 162.7 MiB/s, write: 61.5 MiB/s
INFO:  79% (1.5 TiB of 2.0 TiB) in 3h 31m 2s, read: 148.5 MiB/s, write: 68.8 MiB/s
INFO:  80% (1.6 TiB of 2.0 TiB) in 3h 33m 4s, read: 167.7 MiB/s, write: 72.1 MiB/s
INFO:  81% (1.6 TiB of 2.0 TiB) in 3h 36m 35s, read: 97.0 MiB/s, write: 53.1 MiB/s
INFO:  82% (1.6 TiB of 2.0 TiB) in 3h 39m 37s, read: 114.7 MiB/s, write: 58.9 MiB/s
INFO:  83% (1.6 TiB of 2.0 TiB) in 3h 41m 57s, read: 144.1 MiB/s, write: 76.5 MiB/s
INFO:  84% (1.6 TiB of 2.0 TiB) in 3h 44m 3s, read: 161.5 MiB/s, write: 68.2 MiB/s
INFO:  85% (1.7 TiB of 2.0 TiB) in 3h 45m 45s, read: 203.7 MiB/s, write: 77.2 MiB/s
INFO:  86% (1.7 TiB of 2.0 TiB) in 3h 48m 12s, read: 139.2 MiB/s, write: 54.5 MiB/s
INFO:  87% (1.7 TiB of 2.0 TiB) in 3h 50m 7s, read: 179.5 MiB/s, write: 55.9 MiB/s
INFO:  88% (1.7 TiB of 2.0 TiB) in 3h 51m 58s, read: 184.8 MiB/s, write: 69.4 MiB/s
INFO:  89% (1.7 TiB of 2.0 TiB) in 3h 53m 47s, read: 183.3 MiB/s, write: 60.9 MiB/s
INFO:  90% (1.8 TiB of 2.0 TiB) in 3h 55m 18s, read: 225.5 MiB/s, write: 67.9 MiB/s
INFO:  91% (1.8 TiB of 2.0 TiB) in 3h 57m 6s, read: 192.9 MiB/s, write: 62.1 MiB/s
INFO:  92% (1.8 TiB of 2.0 TiB) in 3h 58m 53s, read: 188.3 MiB/s, write: 67.9 MiB/s
INFO:  93% (1.8 TiB of 2.0 TiB) in 4h 1m 24s, read: 135.5 MiB/s, write: 65.7 MiB/s
INFO:  94% (1.8 TiB of 2.0 TiB) in 4h 3m 15s, read: 185.7 MiB/s, write: 67.9 MiB/s
INFO:  95% (1.9 TiB of 2.0 TiB) in 4h 5m 16s, read: 169.0 MiB/s, write: 61.5 MiB/s
INFO:  96% (1.9 TiB of 2.0 TiB) in 4h 7m 26s, read: 156.6 MiB/s, write: 71.6 MiB/s
INFO:  97% (1.9 TiB of 2.0 TiB) in 4h 9m 19s, read: 181.8 MiB/s, write: 67.6 MiB/s
INFO:  98% (1.9 TiB of 2.0 TiB) in 4h 11m 34s, read: 152.1 MiB/s, write: 77.3 MiB/s
INFO:  99% (1.9 TiB of 2.0 TiB) in 4h 14m 3s, read: 138.6 MiB/s, write: 44.3 MiB/s
INFO: 100% (2.0 TiB of 2.0 TiB) in 4h 16m 5s, read: 165.3 MiB/s, write: 0 B/s
INFO: backup is sparse: 46.80 GiB (2%) total zero data
INFO: backup was done incrementally, reused 1.27 TiB (64%)
INFO: transferred 1.95 TiB in 15365 seconds (133.3 MiB/s)
INFO: adding notes to backup
INFO: prune older backups with retention: keep-daily=25
INFO: running 'proxmox-backup-client prune' for 'vm/219'
INFO: pruned 1 backup(s) not covered by keep-retention policy
INFO: Finished Backup of VM 219 (04:16:10)
INFO: Backup finished at 2023-07-24 09:38:49
INFO: Starting Backup of VM 238 (qemu)
INFO: Backup started at 2023-07-24 09:38:49
INFO: status = running
INFO: VM Name: puffer
INFO: include disk 'virtio0' 'local:238/vm-238-disk-0.qcow2' 250G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/238/2023-07-24T07:38:49Z'
INFO: started backup task '476312dd-317a-4245-9392-4dff081bd67c'
INFO: resuming VM again
INFO: virtio0: dirty-bitmap status: created new
INFO:   0% (2.0 GiB of 250.0 GiB) in 3s, read: 677.3 MiB/s, write: 80.0 MiB/s
INFO:   1% (3.2 GiB of 250.0 GiB) in 6s, read: 414.7 MiB/s, write: 224.0 MiB/s
INFO:   2% (5.2 GiB of 250.0 GiB) in 12s, read: 335.3 MiB/s, write: 142.7 MiB/s
INFO:   3% (7.6 GiB of 250.0 GiB) in 17s, read: 500.0 MiB/s, write: 24.0 MiB/s
INFO:   4% (10.5 GiB of 250.0 GiB) in 22s, read: 591.2 MiB/s, write: 18.4 MiB/s
INFO:   5% (12.8 GiB of 250.0 GiB) in 26s, read: 597.0 MiB/s, write: 8.0 MiB/s
INFO:   8% (21.2 GiB of 250.0 GiB) in 29s, read: 2.8 GiB/s, write: 1.3 MiB/s
INFO:  10% (27.3 GiB of 250.0 GiB) in 32s, read: 2.0 GiB/s, write: 0 B/s
INFO:  14% (36.1 GiB of 250.0 GiB) in 35s, read: 2.9 GiB/s, write: 2.7 MiB/s
INFO:  18% (46.1 GiB of 250.0 GiB) in 39s, read: 2.5 GiB/s, write: 0 B/s
INFO:  22% (55.0 GiB of 250.0 GiB) in 42s, read: 3.0 GiB/s, write: 2.7 MiB/s
INFO:  25% (64.1 GiB of 250.0 GiB) in 45s, read: 3.0 GiB/s, write: 14.7 MiB/s
INFO:  28% (70.1 GiB of 250.0 GiB) in 48s, read: 2.0 GiB/s, write: 8.0 MiB/s
INFO:  31% (78.1 GiB of 250.0 GiB) in 51s, read: 2.7 GiB/s, write: 12.0 MiB/s
INFO:  34% (87.3 GiB of 250.0 GiB) in 55s, read: 2.3 GiB/s, write: 15.0 MiB/s
INFO:  38% (95.9 GiB of 250.0 GiB) in 58s, read: 2.9 GiB/s, write: 16.0 MiB/s
INFO:  41% (104.7 GiB of 250.0 GiB) in 1m 1s, read: 3.0 GiB/s, write: 10.7 MiB/s
INFO:  44% (110.9 GiB of 250.0 GiB) in 1m 4s, read: 2.1 GiB/s, write: 0 B/s
INFO:  48% (120.7 GiB of 250.0 GiB) in 1m 7s, read: 3.3 GiB/s, write: 2.7 MiB/s
INFO:  52% (130.7 GiB of 250.0 GiB) in 1m 11s, read: 2.5 GiB/s, write: 0 B/s
INFO:  56% (140.1 GiB of 250.0 GiB) in 1m 14s, read: 3.1 GiB/s, write: 0 B/s
INFO:  58% (146.5 GiB of 250.0 GiB) in 1m 17s, read: 2.1 GiB/s, write: 1.3 MiB/s
INFO:  62% (156.1 GiB of 250.0 GiB) in 1m 20s, read: 3.2 GiB/s, write: 0 B/s
INFO:  64% (162.3 GiB of 250.0 GiB) in 1m 23s, read: 2.1 GiB/s, write: 1.3 MiB/s
INFO:  68% (172.1 GiB of 250.0 GiB) in 1m 26s, read: 3.3 GiB/s, write: 0 B/s
INFO:  72% (181.4 GiB of 250.0 GiB) in 1m 30s, read: 2.3 GiB/s, write: 1.0 MiB/s
INFO:  76% (191.9 GiB of 250.0 GiB) in 1m 33s, read: 3.5 GiB/s, write: 0 B/s
INFO:  79% (198.1 GiB of 250.0 GiB) in 1m 36s, read: 2.1 GiB/s, write: 1.3 MiB/s
INFO:  82% (207.3 GiB of 250.0 GiB) in 1m 39s, read: 3.1 GiB/s, write: 1.3 MiB/s
INFO:  86% (217.2 GiB of 250.0 GiB) in 1m 43s, read: 2.5 GiB/s, write: 0 B/s
INFO:  90% (226.8 GiB of 250.0 GiB) in 1m 46s, read: 3.2 GiB/s, write: 2.7 MiB/s
INFO:  94% (236.1 GiB of 250.0 GiB) in 1m 49s, read: 3.1 GiB/s, write: 0 B/s
INFO:  96% (242.1 GiB of 250.0 GiB) in 1m 52s, read: 2.0 GiB/s, write: 2.7 MiB/s
INFO:  98% (246.8 GiB of 250.0 GiB) in 1m 55s, read: 1.6 GiB/s, write: 0 B/s
INFO: 100% (250.0 GiB of 250.0 GiB) in 1m 57s, read: 1.6 GiB/s, write: 0 B/s
INFO: backup is sparse: 235.23 GiB (94%) total zero data

Und so sah das aus, als es auf 20 Mbyte/s eingeschränkt war, und GC lief:

NFO:  72% (1.8 TiB of 2.5 TiB) in 1d 2h 8m 29s, read: 17.8 MiB/s, write: 503.9 KiB/s
INFO:  73% (1.8 TiB of 2.5 TiB) in 1d 2h 30m 46s, read: 19.3 MiB/s, write: 42.9 KiB/s
INFO:  74% (1.8 TiB of 2.5 TiB) in 1d 2h 53m 2s, read: 19.3 MiB/s, write: 24.5 KiB/s
INFO:  75% (1.8 TiB of 2.5 TiB) in 1d 3h 15m 22s, read: 19.3 MiB/s, write: 1.0 MiB/s
INFO:  76% (1.9 TiB of 2.5 TiB) in 1d 3h 37m 35s, read: 19.4 MiB/s, write: 519.3 KiB/s
INFO:  77% (1.9 TiB of 2.5 TiB) in 1d 3h 59m 51s, read: 19.3 MiB/s, write: 981.1 KiB/s
INFO:  78% (1.9 TiB of 2.5 TiB) in 1d 4h 22m 10s, read: 19.3 MiB/s, write: 1.8 MiB/s
INFO:  79% (1.9 TiB of 2.5 TiB) in 1d 4h 50m, read: 15.5 MiB/s, write: 480.7 KiB/s
INFO:  80% (2.0 TiB of 2.5 TiB) in 1d 5h 12m 31s, read: 19.1 MiB/s, write: 667.0 KiB/s
INFO:  81% (2.0 TiB of 2.5 TiB) in 1d 5h 43m 41s, read: 13.8 MiB/s, write: 2.6 MiB/s
INFO:  82% (2.0 TiB of 2.5 TiB) in 1d 6h 9m 43s, read: 16.5 MiB/s, write: 0 B/s
INFO:  83% (2.0 TiB of 2.5 TiB) in 1d 6h 35m 46s, read: 16.5 MiB/s, write: 0 B/s
INFO:  84% (2.1 TiB of 2.5 TiB) in 1d 6h 59m 43s, read: 18.0 MiB/s, write: 0 B/s
INFO:  85% (2.1 TiB of 2.5 TiB) in 1d 7h 23m 37s, read: 18.0 MiB/s, write: 0 B/s
INFO:  86% (2.1 TiB of 2.5 TiB) in 1d 7h 47m 37s, read: 17.9 MiB/s, write: 0 B/s
INFO:  87% (2.1 TiB of 2.5 TiB) in 1d 8h 11m 43s, read: 17.9 MiB/s, write: 0 B/s
INFO:  88% (2.2 TiB of 2.5 TiB) in 1d 8h 35m 58s, read: 17.8 MiB/s, write: 0 B/s
INFO:  89% (2.2 TiB of 2.5 TiB) in 1d 9h 3s, read: 17.9 MiB/s, write: 0 B/s
INFO:  90% (2.2 TiB of 2.5 TiB) in 1d 9h 23m 56s, read: 18.0 MiB/s, write: 0 B/s
INFO:  91% (2.2 TiB of 2.5 TiB) in 1d 9h 47m 51s, read: 18.0 MiB/s, write: 0 B/s
INFO:  92% (2.3 TiB of 2.5 TiB) in 1d 10h 18m 3s, read: 14.3 MiB/s, write: 0 B/s
INFO:  93% (2.3 TiB of 2.5 TiB) in 1d 10h 42m 40s, read: 17.5 MiB/s, write: 0 B/s
INFO:  94% (2.3 TiB of 2.5 TiB) in 1d 11h 9m 43s, read: 15.9 MiB/s, write: 0 B/s
INFO:  95% (2.3 TiB of 2.5 TiB) in 1d 11h 40m 46s, read: 13.9 MiB/s, write: 0 B/s
INFO:  96% (2.4 TiB of 2.5 TiB) in 1d 12h 6m 10s, read: 17.0 MiB/s, write: 0 B/s
INFO:  97% (2.4 TiB of 2.5 TiB) in 1d 12h 33m 42s, read: 15.6 MiB/s, write: 0 B/s
INFO:  98% (2.4 TiB of 2.5 TiB) in 1d 12h 59m 1s, read: 17.0 MiB/s, write: 0 B/s
INFO:  99% (2.4 TiB of 2.5 TiB) in 1d 13h 27m 13s, read: 15.3 MiB/s, write: 0 B/s
INFO: 100% (2.5 TiB of 2.5 TiB) in 1d 13h 53m 14s, read: 16.5 MiB/s, write: 0 B/s
INFO: Waiting for server to finish backup validation...
INFO: backup is sparse: 775.69 GiB (30%) total zero data
INFO: backup was done incrementally, reused 2.25 TiB (91%)
INFO: transferred 2.46 TiB in 136401 seconds (18.9 MiB/s)
INFO: adding notes to backup
INFO: Finished Backup of VM 159 (37:53:23)
INFO: Backup finished at 2023-07-22 01:29:37
INFO: Backup job finished successfully
TASK OK

 

[Falk R.]

Jemand eine Idee, welche Festplatten ich für den Backupserver nutzen soll? Er hat 120 TByte Speicher und ist zu 60% belegt. Oder andere Vorschläge?

Hi, ich baue meine PBS in der Regel auch nur noch mit SSD.
Derzeit kostet z.B. die Solidigm 15.36 TB D5-P5430 SSD nur 1000€, damit hast du einen super Performanten PBS.
Ich würde 10 von den NVMe nehmen im RaidZ2 und dann läuft das.

 

[chrigiboy]

Hast du schon mal geschrieben, wie voll dein Pool ist?
ZFS wird ja ab 80% Befüllung extrem langsam.

Ich habe die nvme zu 90% gefüllt. Ich habe jetzt bei ZFS die Kompression ausgeschaltet. Irgendwie habe ich das Gefühl, dass es zum Datenverlust kommt, sobald die CPU kurz 100% Last hat und noch viele Dateien geschrieben / gelesen werden müssen. Oder wird lz4 Kompression empfohlen und ist viel besser?

Ich habe nun die neuen NVME zusätzlich eingebaut. Jetzt sind die Consumer und Enterprise nvme je zu 50% belegt. Zudem habe ich discard aktiviert und begonnen zu trimmen. Ich beobachte mal weiter.

 

[chrigiboy]

Ok, habe nun die Änderungen durchgeführt und die Enterprise SSD verwendet. Habe zudem 1 Proxmox Server hinzugefügt und 1 Backupserver ergänzt. Jetzt läuft es etwas stabiler.
Leider habe ich nun einzelne Abstürze von Maschinen. Mir ist aufgefallen, dass die CPU Last auf 100% hochgeht. Bei windows Systemen ist der Bildschirm schwarz, bei Linux friert er ein.

Hier sieht mann, dass z.B der Server SRC 3x abgestürzt ist:

PX1 SRA 04.10.2023 00:45
PX2 SRB 03.10.2023 07:24
PX1 SRA 03.10.2023 00:36
PX3 SRC 29.09.2023 19:09
PX3 SRD 08.10.2023 10:35
PX3 SRE 11.10.2023 17:35
PX3 SRC 13.10.2023 23:21
PX2 SRF 16.10.2023 15:10
PX3 SRD 19.10.2023 05:28
PX2 SRE 19.10.2023 23:45
PX3 SRC 20.10.2023 11:25

Habe schon das Display auf VMWAre geändert, das hat nicht geholfen. Habe jetzt mal die CPU von Host auf KVM umgestellt. Sonst noch jemand einen Tipp?
Bei einem Linux Server habe ich orphaned inodes Meldungen auf dem Display gesehen. Die anderen hatten nur das Login prompt.

 

[Falk R.]

Wenn die CPU bei 100% ist, siehst du i/o Delay? CPU würde ich immer auf Host lassen.

 

[chrigiboy]

Hallo,
nein kein wirkliches IO Delay. Die Host CPU war bei 65%, das IO Delay bei 0.88. Memory war bei 220 Gbyte von 256 Gbyte. Andere Server auf dem gleichen Host funktionieren ohne Probleme.