Datenbank VM wird während dem Backup sehr langsam

[tommytom]

Ich benutze den Backup Server seit er rausgekommen ist und bin recht zufrieden. Allerdings habe ich seit neusten ein Problem. Immer wenn das Backup von meinem Datenbank Server läuft, scheint es die VM so sehr zu drosseln, dass ich während es andauert eine kaum nutzbare Webseite habe. Tägliche Backups sind so schwierig, da meine Webseite eine Stunde kaum nutzbar ist.

Hat sich da irgendwas geändert? oder kann ich vielleicht irgendwo die Prioritäten ändern?

 

[mira]

Bitte poste die Ausgabe von pveversion -v und von proxmox-backup-manager version --verbose

 

[tommytom]

von der Proxmox Node wo ich das bakckup starte:
pveversion -v

proxmox-ve: 7.0-2 (running kernel: 5.11.22-4-pve)
pve-manager: 7.0-11 (running version: 7.0-11/63d82f4e)
pve-kernel-helper: 7.1-2
pve-kernel-5.11: 7.0-8
pve-kernel-5.4: 6.4-5
pve-kernel-5.11.22-5-pve: 5.11.22-10
pve-kernel-5.11.22-4-pve: 5.11.22-9
pve-kernel-5.4.128-1-pve: 5.4.128-2
ceph-fuse: 16.2.6-pve2
corosync: 3.1.5-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: 0.8.36+pve1
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve1
libproxmox-acme-perl: 1.4.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.0-5
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-10
libpve-guest-common-perl: 4.0-2
libpve-http-server-perl: 4.0-3
libpve-storage-perl: 7.0-12
libqb0: 1.0.5-1
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.9-4
lxcfs: 4.0.8-pve2
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.0.11-1
proxmox-backup-file-restore: 2.0.11-1
proxmox-mini-journalreader: 1.2-1
proxmox-widget-toolkit: 3.3-6
pve-cluster: 7.0-3
pve-container: 4.1-1
pve-docs: 7.0-5
pve-edk2-firmware: 3.20200531-1
pve-firewall: 4.2-4
pve-firmware: 3.3-2
pve-ha-manager: 3.3-1
pve-i18n: 2.5-1
pve-qemu-kvm: 6.0.0-4
pve-xtermjs: 4.12.0-1
qemu-server: 7.0-14
smartmontools: 7.2-pve2
spiceterm: 3.2-2
vncterm: 1.7-1
zfsutils-linux: 2.0.5-pve1

und vom backupserver:
root@pbs:~# proxmox-backup-manager version --verbose

proxmox-backup             2.0-1        running kernel: 5.11.22-7-pve
proxmox-backup-server      2.0.14-1     running version: 2.0.14     
pve-kernel-helper          7.1-4                                     
pve-kernel-5.11            7.0-10                                   
pve-kernel-5.4             6.4-6                                     
pve-kernel-5.11.22-7-pve   5.11.22-12                               
pve-kernel-5.11.22-5-pve   5.11.22-10                               
pve-kernel-5.4.140-1-pve   5.4.140-1                                 
pve-kernel-5.4.128-1-pve   5.4.128-2                                 
pve-kernel-5.4.65-1-pve    5.4.65-1                                 
ifupdown2                  3.1.0-1+pmx3                             
libjs-extjs                7.0.0-1                                   
proxmox-backup-docs        2.0.14-1                                 
proxmox-backup-client      2.0.14-1                                 
proxmox-mini-journalreader 1.2-1                                     
proxmox-widget-toolkit     3.4-1                                     
pve-xtermjs                4.12.0-1                                 
smartmontools              7.2-pve2                                 
zfsutils-linux             2.1.1-pve3

 

[mira]

Wie groß ist denn die Datenbank, und wird viel geschrieben?
Beim Backup im Betrieb sind die Blöcke meistens out of order, da hier die Blöcke bevorzugt werden, auf denen der Gast gerade schreiben will und die noch nicht kopiert wurden. Das heißt je nach Last und Verteilung der Schreibvorgänge auf die Blöcke, kann alles recht langsam werden.

Wie sieht der Storage aus auf dem die Datenbank liegt? Greifen auch andere Gäste gleichzeitig auf diesen Storage zu?

 

[tommytom]

Da die Webseite hoch frequentiert ist, reicht hier die Geschwindigkeit von einem Storage über Netzwerk nicht aus. Deswegen habe ich die Datenbank Disk auf einem lokalen NVME Laufwerk für maximale performance.
Normalerweise sind es so 50-60GB dirty die er pro tag im Backup hat. wegen der Probleme habe ich es die letzte Woche nicht laufen lassen.. hier der Log von heute:

INFO: starting new backup job: vzdump 176 --node srvxxxx --mode snapshot --remove 0 --storage BackupServer
INFO: Starting Backup of VM 176 (qemu)
INFO: Backup started at 2021-11-17 17:09:01
INFO: status = running
INFO: VM Name: xxxxxxx
INFO: include disk 'virtio0' 'local-nvme:vm-176-disk-1' 128G
INFO: include disk 'virtio1' 'local-nvme:vm-176-disk-2' 256G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating Proxmox Backup Server archive 'vm/176/2021-11-17T16:09:01Z'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task 'd74d6a76-75b3-4f05-b9bd-xxxxxxxxxx'
INFO: resuming VM again
INFO: virtio0: dirty-bitmap status: OK (11.0 GiB of 128.0 GiB dirty)
INFO: virtio1: dirty-bitmap status: OK (99.7 GiB of 256.0 GiB dirty)
INFO: using fast incremental mode (dirty-bitmap), 110.7 GiB dirty of 384.0 GiB total
INFO:   0% (204.0 MiB of 110.7 GiB) in 3s, read: 68.0 MiB/s, write: 68.0 MiB/s
INFO:   1% (1.1 GiB of 110.7 GiB) in 18s, read: 64.3 MiB/s, write: 64.3 MiB/s
INFO:   2% (2.2 GiB of 110.7 GiB) in 35s, read: 66.4 MiB/s, write: 66.4 MiB/s
INFO:   3% (3.4 GiB of 110.7 GiB) in 53s, read: 64.7 MiB/s, write: 64.7 MiB/s
INFO:   4% (4.5 GiB of 110.7 GiB) in 1m 10s, read: 66.8 MiB/s, write: 66.8 MiB/s
INFO:   5% (5.5 GiB of 110.7 GiB) in 1m 26s, read: 67.5 MiB/s, write: 67.5 MiB/s
INFO:   6% (6.7 GiB of 110.7 GiB) in 1m 42s, read: 71.0 MiB/s, write: 71.0 MiB/s
INFO:   7% (7.8 GiB of 110.7 GiB) in 1m 57s, read: 78.7 MiB/s, write: 78.7 MiB/s
INFO:   8% (8.9 GiB of 110.7 GiB) in 2m 10s, read: 86.2 MiB/s, write: 86.2 MiB/s
INFO:   9% (10.0 GiB of 110.7 GiB) in 2m 27s, read: 66.8 MiB/s, write: 66.8 MiB/s
INFO:  10% (11.1 GiB of 110.7 GiB) in 2m 44s, read: 68.2 MiB/s, write: 68.2 MiB/s
INFO:  11% (12.2 GiB of 110.7 GiB) in 3m, read: 69.8 MiB/s, write: 69.8 MiB/s
INFO:  12% (13.3 GiB of 110.7 GiB) in 3m 18s, read: 61.6 MiB/s, write: 61.6 MiB/s
INFO:  13% (14.4 GiB of 110.7 GiB) in 3m 38s, read: 57.6 MiB/s, write: 57.6 MiB/s
INFO:  14% (15.5 GiB of 110.7 GiB) in 3m 57s, read: 59.8 MiB/s, write: 59.8 MiB/s
INFO:  15% (16.6 GiB of 110.7 GiB) in 4m 16s, read: 57.7 MiB/s, write: 57.7 MiB/s
INFO:  16% (17.7 GiB of 110.7 GiB) in 4m 37s, read: 55.0 MiB/s, write: 55.0 MiB/s
INFO:  17% (18.9 GiB of 110.7 GiB) in 4m 57s, read: 56.8 MiB/s, write: 56.8 MiB/s
INFO:  18% (20.0 GiB of 110.7 GiB) in 5m 17s, read: 58.4 MiB/s, write: 58.4 MiB/s
INFO:  19% (21.1 GiB of 110.7 GiB) in 5m 36s, read: 58.1 MiB/s, write: 58.1 MiB/s
INFO:  20% (22.1 GiB of 110.7 GiB) in 5m 55s, read: 57.9 MiB/s, write: 57.9 MiB/s
INFO:  21% (23.3 GiB of 110.7 GiB) in 6m 15s, read: 58.0 MiB/s, write: 58.0 MiB/s
INFO:  22% (24.4 GiB of 110.7 GiB) in 6m 36s, read: 53.3 MiB/s, write: 53.3 MiB/s
INFO:  23% (25.5 GiB of 110.7 GiB) in 6m 56s, read: 58.6 MiB/s, write: 58.6 MiB/s
INFO:  24% (26.6 GiB of 110.7 GiB) in 7m 15s, read: 57.5 MiB/s, write: 57.5 MiB/s
INFO:  25% (27.7 GiB of 110.7 GiB) in 7m 35s, read: 57.8 MiB/s, write: 57.8 MiB/s
INFO:  26% (28.8 GiB of 110.7 GiB) in 7m 54s, read: 58.9 MiB/s, write: 58.9 MiB/s
INFO:  27% (30.0 GiB of 110.7 GiB) in 8m 14s, read: 58.8 MiB/s, write: 58.8 MiB/s
INFO:  28% (31.0 GiB of 110.7 GiB) in 8m 34s, read: 53.8 MiB/s, write: 53.8 MiB/s
INFO:  29% (32.1 GiB of 110.7 GiB) in 8m 53s, read: 59.6 MiB/s, write: 59.6 MiB/s
INFO:  30% (33.2 GiB of 110.7 GiB) in 9m 12s, read: 60.2 MiB/s, write: 60.2 MiB/s
INFO:  31% (34.4 GiB of 110.7 GiB) in 9m 30s, read: 65.6 MiB/s, write: 65.3 MiB/s
INFO:  32% (35.4 GiB of 110.7 GiB) in 9m 47s, read: 64.2 MiB/s, write: 64.2 MiB/s
INFO:  33% (36.6 GiB of 110.7 GiB) in 10m 4s, read: 68.0 MiB/s, write: 68.0 MiB/s
INFO:  34% (37.7 GiB of 110.7 GiB) in 10m 24s, read: 55.2 MiB/s, write: 55.2 MiB/s
INFO:  35% (38.8 GiB of 110.7 GiB) in 10m 42s, read: 64.0 MiB/s, write: 64.0 MiB/s
INFO:  36% (39.9 GiB of 110.7 GiB) in 11m, read: 62.4 MiB/s, write: 62.4 MiB/s
INFO:  37% (41.0 GiB of 110.7 GiB) in 11m 19s, read: 61.7 MiB/s, write: 61.7 MiB/s
INFO:  38% (42.1 GiB of 110.7 GiB) in 11m 36s, read: 66.6 MiB/s, write: 66.6 MiB/s
INFO:  39% (43.2 GiB of 110.7 GiB) in 11m 52s, read: 70.0 MiB/s, write: 70.0 MiB/s
INFO:  40% (44.3 GiB of 110.7 GiB) in 12m 9s, read: 65.6 MiB/s, write: 65.4 MiB/s
INFO:  41% (45.5 GiB of 110.7 GiB) in 12m 26s, read: 68.9 MiB/s, write: 68.9 MiB/s
INFO:  42% (46.6 GiB of 110.7 GiB) in 12m 44s, read: 62.4 MiB/s, write: 62.4 MiB/s
INFO:  43% (47.7 GiB of 110.7 GiB) in 13m 2s, read: 63.3 MiB/s, write: 63.3 MiB/s
INFO:  44% (48.8 GiB of 110.7 GiB) in 13m 20s, read: 62.4 MiB/s, write: 62.4 MiB/s
INFO:  45% (49.9 GiB of 110.7 GiB) in 13m 38s, read: 63.3 MiB/s, write: 63.3 MiB/s
INFO:  46% (50.9 GiB of 110.7 GiB) in 13m 56s, read: 60.9 MiB/s, write: 60.9 MiB/s
INFO:  47% (52.1 GiB of 110.7 GiB) in 14m 14s, read: 63.8 MiB/s, write: 63.8 MiB/s
INFO:  48% (53.2 GiB of 110.7 GiB) in 14m 32s, read: 63.8 MiB/s, write: 63.8 MiB/s
INFO:  49% (54.3 GiB of 110.7 GiB) in 14m 49s, read: 65.9 MiB/s, write: 65.9 MiB/s
INFO:  50% (55.4 GiB of 110.7 GiB) in 15m 6s, read: 67.3 MiB/s, write: 67.3 MiB/s
INFO:  51% (56.5 GiB of 110.7 GiB) in 15m 23s, read: 64.7 MiB/s, write: 64.7 MiB/s
INFO:  52% (57.6 GiB of 110.7 GiB) in 15m 44s, read: 54.3 MiB/s, write: 54.3 MiB/s
INFO:  53% (58.7 GiB of 110.7 GiB) in 16m 4s, read: 56.6 MiB/s, write: 56.6 MiB/s
INFO:  54% (59.8 GiB of 110.7 GiB) in 16m 24s, read: 57.6 MiB/s, write: 57.6 MiB/s
INFO:  55% (60.9 GiB of 110.7 GiB) in 16m 43s, read: 59.6 MiB/s, write: 59.6 MiB/s
INFO:  56% (62.1 GiB of 110.7 GiB) in 17m 2s, read: 61.7 MiB/s, write: 61.7 MiB/s
INFO:  57% (63.2 GiB of 110.7 GiB) in 17m 13s, read: 101.1 MiB/s, write: 101.1 MiB/s
INFO:  58% (64.3 GiB of 110.7 GiB) in 17m 28s, read: 76.5 MiB/s, write: 76.5 MiB/s
INFO:  59% (65.4 GiB of 110.7 GiB) in 17m 43s, read: 75.7 MiB/s, write: 67.7 MiB/s
INFO:  60% (66.5 GiB of 110.7 GiB) in 18m 3s, read: 56.2 MiB/s, write: 56.2 MiB/s
INFO:  61% (67.6 GiB of 110.7 GiB) in 18m 20s, read: 64.2 MiB/s, write: 64.2 MiB/s
INFO:  62% (68.7 GiB of 110.7 GiB) in 18m 36s, read: 71.5 MiB/s, write: 71.0 MiB/s
INFO:  63% (69.9 GiB of 110.7 GiB) in 18m 51s, read: 81.6 MiB/s, write: 81.3 MiB/s
INFO:  64% (70.9 GiB of 110.7 GiB) in 19m 1s, read: 104.0 MiB/s, write: 100.0 MiB/s
INFO:  65% (72.0 GiB of 110.7 GiB) in 19m 10s, read: 128.9 MiB/s, write: 79.1 MiB/s
INFO:  66% (73.1 GiB of 110.7 GiB) in 19m 29s, read: 58.3 MiB/s, write: 58.3 MiB/s
INFO:  67% (74.2 GiB of 110.7 GiB) in 19m 50s, read: 55.8 MiB/s, write: 55.8 MiB/s
INFO:  68% (75.3 GiB of 110.7 GiB) in 20m 9s, read: 58.5 MiB/s, write: 58.5 MiB/s
INFO:  69% (76.4 GiB of 110.7 GiB) in 20m 28s, read: 60.4 MiB/s, write: 60.4 MiB/s
INFO:  70% (77.6 GiB of 110.7 GiB) in 20m 47s, read: 59.8 MiB/s, write: 59.8 MiB/s
INFO:  71% (78.6 GiB of 110.7 GiB) in 21m 3s, read: 68.8 MiB/s, write: 68.8 MiB/s
INFO:  72% (79.8 GiB of 110.7 GiB) in 21m 24s, read: 55.0 MiB/s, write: 55.0 MiB/s
INFO:  73% (80.9 GiB of 110.7 GiB) in 21m 46s, read: 52.2 MiB/s, write: 52.2 MiB/s
INFO:  74% (82.0 GiB of 110.7 GiB) in 22m 6s, read: 55.0 MiB/s, write: 54.8 MiB/s
INFO:  75% (83.1 GiB of 110.7 GiB) in 22m 21s, read: 78.9 MiB/s, write: 78.9 MiB/s
INFO:  76% (84.2 GiB of 110.7 GiB) in 22m 37s, read: 71.8 MiB/s, write: 71.8 MiB/s
INFO:  77% (85.3 GiB of 110.7 GiB) in 22m 50s, read: 83.4 MiB/s, write: 83.4 MiB/s
INFO:  78% (86.4 GiB of 110.7 GiB) in 23m 6s, read: 72.5 MiB/s, write: 72.5 MiB/s
INFO:  79% (87.5 GiB of 110.7 GiB) in 23m 21s, read: 76.5 MiB/s, write: 76.5 MiB/s
INFO:  80% (88.6 GiB of 110.7 GiB) in 23m 36s, read: 73.9 MiB/s, write: 73.9 MiB/s
INFO:  81% (89.7 GiB of 110.7 GiB) in 23m 51s, read: 73.9 MiB/s, write: 73.9 MiB/s
INFO:  82% (90.8 GiB of 110.7 GiB) in 24m 4s, read: 87.4 MiB/s, write: 87.4 MiB/s
INFO:  83% (91.9 GiB of 110.7 GiB) in 24m 17s, read: 87.1 MiB/s, write: 87.1 MiB/s
INFO:  84% (93.1 GiB of 110.7 GiB) in 24m 30s, read: 89.8 MiB/s, write: 89.8 MiB/s
INFO:  85% (94.1 GiB of 110.7 GiB) in 24m 46s, read: 67.8 MiB/s, write: 67.8 MiB/s
INFO:  86% (95.3 GiB of 110.7 GiB) in 25m 6s, read: 60.0 MiB/s, write: 59.0 MiB/s
INFO:  87% (96.4 GiB of 110.7 GiB) in 25m 22s, read: 71.0 MiB/s, write: 71.0 MiB/s
INFO:  88% (97.4 GiB of 110.7 GiB) in 25m 37s, read: 71.2 MiB/s, write: 71.2 MiB/s
INFO:  89% (98.6 GiB of 110.7 GiB) in 25m 52s, read: 78.9 MiB/s, write: 78.9 MiB/s
INFO:  90% (99.7 GiB of 110.7 GiB) in 26m 6s, read: 78.9 MiB/s, write: 78.9 MiB/s
INFO:  91% (100.8 GiB of 110.7 GiB) in 26m 14s, read: 146.0 MiB/s, write: 39.0 MiB/s
INFO:  92% (101.9 GiB of 110.7 GiB) in 26m 34s, read: 55.4 MiB/s, write: 55.2 MiB/s
INFO:  93% (103.0 GiB of 110.7 GiB) in 26m 55s, read: 52.6 MiB/s, write: 50.1 MiB/s
INFO:  94% (104.1 GiB of 110.7 GiB) in 27m 18s, read: 51.5 MiB/s, write: 51.1 MiB/s
INFO:  95% (105.2 GiB of 110.7 GiB) in 27m 41s, read: 48.3 MiB/s, write: 48.3 MiB/s
INFO:  96% (106.3 GiB of 110.7 GiB) in 28m 3s, read: 51.1 MiB/s, write: 51.1 MiB/s
INFO:  97% (107.4 GiB of 110.7 GiB) in 28m 23s, read: 57.2 MiB/s, write: 53.8 MiB/s
INFO:  98% (108.5 GiB of 110.7 GiB) in 28m 45s, read: 51.3 MiB/s, write: 50.9 MiB/s
INFO:  99% (109.6 GiB of 110.7 GiB) in 29m 7s, read: 51.3 MiB/s, write: 50.4 MiB/s
INFO: 100% (110.7 GiB of 110.7 GiB) in 29m 29s, read: 50.7 MiB/s, write: 50.0 MiB/s
INFO: backup is sparse: 648.00 MiB (0%) total zero data
INFO: backup was done incrementally, reused 274.91 GiB (71%)
INFO: transferred 110.73 GiB in 1769 seconds (64.1 MiB/s)
INFO: Finished Backup of VM 176 (00:29:31)
INFO: Backup finished at 2021-11-17 17:38:32
Result: {
  "data": null
}
INFO: Backup job finished successfully
TASK OK

Das ganze hat ja eine ganze Weile gut funktioniert. Bis vor kurzem die Meldungen über Ausfälle in der Nacht sich häuften.

 

[mira]

Da heute PVE 7.1 veröffentlicht wurde, und diese unter anderem QEMU 6.1 beinhaltet, würde ich vorschlagen erstmal auf die aktuellste Version upzugraden. Eventuell lösen sich diese Probleme dadurch.

Wenn dies nicht der Fall sein sollte, bitte noch das Modell der NVMe mitteilen und ob andere Gäste oder sonst ein Prozess darauf zugreifen. Um welche Art von Storage handelt es sich hier? LVM thin, ZFS, sonst etwas?

Wir empfehlen auch `VirtIO SCSI` zu verwenden statt `VirtIO Block`. Dies könnte ebenfalls helfen.
Könntest du auch noch die VM Config posten? qm config 176 auf der Command Line ausführen.

 

[tommytom]

hier die config von meinem db server
habe aber schon alles auf virtScsi geändert. server geupdatet.. Es läuft auch alles soweit wieder.

agent: 1
boot: order=scsi0;ide2;net0;net1
cores: 28
description: mysql server
ide2: none,media=cdrom
memory: 196608
name: xx.db
net0: virtio=BE:F1:E5:xx,bridge=vmbr0
net1: virtio=86:23:7F:xx,bridge=vmbr1
numa: 0
onboot: 1
ostype: l26
scsi0: local-nvme:vm-176-disk-1,format=raw,size=128G
scsi1: local-nvme:vm-176-disk-2,size=256G
scsihw: virtio-scsi-pci
smbios1: uuid=4f17ab72-195b-xx
sockets: 2

ich melde mich sobald ich weiss wie sich die Änderungen auswirken. Danke schon mal im Voraus fürs schnelle Feedback

 

[tommytom]

Das hat leider alles nicht geholfen. Das NVME Laufwerk istr LVM-Thin

Sobald ich das Backup starte ist meine webseite quasi Offline. Somit ist ein Backup im Hintergrund nicht mehr möglich.

 

[mira]

Du könntest noch `Writeback` Cache versuchen, eventuell hilft dieser ein wenig.

Welche NVMe ist verbaut? In welcher Größe?
Wie viele VM Disken liegen drauf, und was läuft in den anderen VMs drauf?

 

[tommytom]

Mittlerweile habe ich das Problem eingrenzen können. Wenn ich meinen Datenbankserver auf ein NFS Store backuppe funktioniert alles wunderbar und ohne freezes. Aber der Backup Server ist eine sehr alte in die Jahre gekommene Maschine. Noch dazu benutzt sie die Festplatten auf der gleichen Maschine über NFS. Ich habe jetzt eine neue moderne Maschine bestellt. HP Gen10 mit u2 nvme's als Speicher. Ich gehe davon aus, dass die Probleme dann behoben sein sollten.

Trotzdem danke @mira .. habe deine tips alle umgesetzt.

 

[tommytom]

Ich habe meinen Service auf 2 neue Server umgezogen:

1 x PBS :
HPE 360 GEN10 - 80 x Intel(R) Xeon(R) Gold 6242R CPU @ 3.10GHz (2 Sockets) 396GB
Als Storage ZFS 10x Samsung 4tb nvme's

1 x Datenbankserver
HPE 360 GEN10 - 80 x Intel(R) Xeon(R) Gold 6242R CPU @ 3.10GHz (2 Sockets) 396GB

Mein Service ist mehr als doppelt so schnell. Das Datenbank Backup dauert nur noch 1/3 der Zeit. ca. 10-15 Minuten.
Nur leider ist dann mein MYSQL server immernoch am HAKEN und in der backup zeit bekomme ich in meinem Web Service timeouts.

Also egal ob vorher mein BackupServer der Flaschenhals war: Es hat sich auf der Datenbankserver Seite bis auf die Dauer nichts am Ausfall geändert.

Der Datenbankserver ist auch nichtmal wirklich unter load. Irgendwie scheinen Schreibzugriffe unterbrochen zu werden...

Über mehr Tips würde ich mich freuen.

 

[Dunuin]

Was hast du denn für Laufwerke als VM Storage gewählt und wie sind die angebunden (ZFS oder HW raid)?

 

[mira]

Womöglich läuft das Backup nicht schnell genug und Blöcke werden zu lange blockiert.
Beim Backup (`snapshot` Mode) werden Blöcke bevorzugt, auf die das System schreiben will, damit diese möglichst kurz blockieren.
Dies führt jedoch zu viel Random I/O, wobei das auf SSDs weniger dramatisch sein sollte. Wenn die Datenbank also viele verschiedene Blöcke beschreiben will, muss das Backup diese zuerst abarbeiten damit diese wieder freigegeben werden können zum Schreiben.

Um welche NVMes handelt es sich beim PBS?
Welche Disken sind bei der Datenbankmaschine im Einsatz? Wie sind diese Eingebunden (Siehe den Post von @Dunuin)?

Der Datenbank Server ist ein PVE mit einer einzelnen VM für die Datenbank?

 

[tommytom]

Die Laufwerke auf dem die VM's sind: 3,2TB Samsung PM1735 als LVM-thin
Die 10 nvme's im PBS per ZFS: 3,84TB Samsung PM9A3 U.2

Es gibt noch eine VM mit der gleichen Forum Software drauf wie hier. Kaum load und schon gar keine Schreibload.

Ich finde es nur verwunderlich, dass es ein paar Monate gut funktioniert hat mit deutlich schlechterer Hardware. Einem alten Gen7 Server für PBS wo das Storage per NFS eingebunden war.

Ich hoffe, dass man das irgendwie lösen kann....

 

[Dunuin]

Klingt eigentlich ok. Wie sieht denn dein PBS ZFS Pool aus? Wäre das ein raidz1/2/3 hättest du ja z.B. nur eine IOPS Performance die langsamer wäre als eine einzelne PM9A3, weil IOPS nur im Striped Mirror mit der Anzahl der Laufwerke skalieren. Bin aber nicht sicher wie wichtig da die IOPS sind. Die meisten Chunks sind ja wohl eher im 1-2 MB Bereich und auch eine einzelne NVMe wäre da ja schon recht flott.

 

[tommytom]

Klingt eigentlich ok. Wie sieht denn dein PBS ZFS Pool aus? Wäre das ein raidz1/2/3 hättest du ja z.B. nur eine IOPS Performance die langsamer wäre als eine einzelne PM9A3, weil IOPS nur im Striped Mirror mit der Anzahl der Laufwerke skalieren. Bin aber nicht sicher wie wichtig da die IOPS sind. Die meisten Chunks sind ja wohl eher im 1-2 MB Bereich und auch eine einzelne NVMe wäre da ja schon recht flott.

hab's mit raidz 2 aufgesetz...
ist das eher nicht zu empfehlen?

 

[mira]

Hast du Logs von den Backups?
Wie sieht es mit Monitoring auf dem PVE und PBS aus?

 

[tommytom]

Wenn ich das Backup auf einen NFS Server erzeuge, läuft alles reibungslos. Das ist zwar keine Lösung aber funktioniert für mich erst einmal.
Es ist halt komisch, dass es mit der 6er Version anfangs auch reibungslos funktionierte.

Monitoring? was genau meinst du damit ?

 

[Dunuin]

Monitoring? was genau meinst du damit ?

Ich denke mal es sind Monitoring-Programme wie Zabbix, Graphana, CheckMK etc gemeint, dass man da über einen längeren Zeitraum gucken könnte, was die Hardware so genau treibt.