Backupspeed RAID 50

[informant]

Hallo, ich habe am HP Server eine HP Storage mit 12 HDDs im RAID 50 und via LSI MegaRAID SAS 9280-8E mit 1GB Cache und BBU und 6Gb/s SAS zum Server Raid verbunden. Ich nutze bei dem Backups Snapshoot. Aber die gehen nur ca. bei 60 Mbit/s an Speed zur Backupstorage. Kompression ZSTD.
Im Test der Storage habe ich aber bessere Werte....

hdparm -tT /dev/sdb

/dev/sdb:
Timing cached reads: 14064 MB in 1.99 seconds = 7050.96 MB/sec
Timing buffered disk reads: 232 MB in 3.01 seconds = 76.95 MB/sec
root@prometheus:~# hdparm -tT --direct /dev/sdb

/dev/sdb:
Timing O_DIRECT cached reads: 902 MB in 2.02 seconds = 447.39 MB/sec
Timing O_DIRECT disk reads: 300 MB in 3.02 seconds = 99.44 MB/sec

Was muss ich tun, damit ich auch das Backup schneller bekomme, da die Backupstorage um eingies schneller ist. Verbunden Server - Backupstorage 10G SFP+ LWL.
Jmd. eine Idee?
Danke vorab.

 

[news]

Das Problem sind bei Dir evtl. die vielen gleichzeitigen IO. Bei meinem Proxmox BS wurde es erst besser, nachdem ich ihm noch eine Special Device als ZFS Mirror mit SSD spendierte und den ZFS Poll um weitere drei Festplatten, zum ZFS Pool RaidZ1 2x 3 HDDs erweiterte. Denn jetzt liegen alle Metadaten auf dem Special Device. So kann ich jetzt das 2.5 GBit/s Backbone auslasen.

 

[informant]

Hallo, dachte ich auch, aber IO sind meiner Meinung nach in Ordnung, sdb ist die HDD (Storage) mit dem Verzeichnis der VMs:

04.09.2023 09:38:57

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          15,98    0,00    1,73    0,11    0,00   82,18

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
dm-0             0,00      0,00     0,00   0,00    0,47     4,23    0,01      0,05     0,00   0,00   11,73     4,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,00
dm-1             0,02      0,35     0,00   0,00    0,47    20,64    2,54     35,39     0,00   0,00    1,11    13,91    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,21
dm-2             0,00      0,00     0,00   0,00    0,17    21,75    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,00
sda              0,02      0,40     0,00   5,76    0,45    23,60    1,55     35,44     1,00  39,25    1,66    22,82    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,21
sdb            692,23  39038,67     2,25   0,32    0,02    56,40  375,32   5886,83    11,63   3,01    0,03    15,68    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,03   6,88
sr0              0,00      0,00     0,00   0,00   15,86     0,14    0,00      0,00     0,00   0,00    0,00     0,00    0,00      0,00     0,00   0,00    0,00     0,00    0,00    0,00    0,00   0,00

PS: Bzgl. ZFS, das Proxmoxsystem liegt bei mir auf Raid1 SSD 120GB. Das hat nen iO von 0.00 - 0.06%, könnte man das nicht für die Meta Daten nutzen? Oder lieber eine weitere SSD rein, nen ZFS daraus machen und wie machst du das dann mit den Metadaten im Nachgang?

 

[Dunuin]

PS: Bzgl. ZFS, das Proxmoxsystem liegt bei mir auf Raid1 SSD 120GB. Das hat nen iO von 0.00 - 0.06%, könnte man das nicht für die Meta Daten nutzen?

Wenn du Platz hast eine neue Partition zu erstellen, die etw 0,4% der Größe deines kompletten ZFS Pools hat, dann ja.

Oder lieber eine weitere SSD rein, nen ZFS daraus machen

Stirbt die Special Device SSD ist auch alles andere weg. Da will man wenigstens die gleiche Redundanz wie für die anderen Vdevs im Pool.

und wie machst du das dann mit den Metadaten im Nachgang?

Da hilft nur alle Daten neu schreiben. Also z.B. mit "zfs send | zfs recv" einmal alles vom Pool bringen und später wieder zurück schreiben. Oder auf dem selben Pool eine Kopie aller Zvols/Datasets erstellen und die Ursprünglichen löschen.

 

[informant]

Hallo, ich hab kein ZFS, ich hab normal die Storage als ext4 im System.

 

[Dunuin]

Ja dann ist da auch nichts mit Metadaten auslagern.

 

[informant]

Und wie bekomm ich den Speed ins Backup? Irgendwo muss er ja verloren gehen.

 

[cwt]

Grundsätzliche Fragen zum Controller:

- ist die Firmware halbwegs aktuell? Bei älteren LSIs kann es Gezicke geben, wenn Firmware und Treiber zu weit auseinander sind.
- sind alle HDDs vom gleichen Typ/Modell? Wenn diese gemischt sind, orientiert sich der speed am langsamsten Modell.
- da der Controller schon recht alt ist: ggf. mal den Kühlkörper abmontieren und das wahrscheinlich bröselige WL-Pad durch anständige WLP ersetzen. Die Dinger werden richtig heiß (ein kleiner zusätzlicher Lüfter schadet nicht) und wenn die Temp unter Last zu hoch wird, geht die CPU darauf in die Knie

 

[informant]

Hallo, ja LSI ist aktuell,
HDDs alle die selben/typen usw
Drunter ist alles iO schon geprüft. 70 grad max hat er, sollte normal sein und passen

 

[Falk R.]

Erst einmal generell ist Raid50 nicht so doll für Backups. Dann lieber Raid6. Da hast du deutlich mehr Datensicherheit.
Machst du Backups mit einem PBS oder direkt von PVE als vzdump?
Da ist das Schreibverhalten sehr unterschiedlich.

 

[informant]

Sorry du hast das falsch verstanden...
RAID 50 ist die Storage von proxmox mit den VMS, Als backupstorage habe ich eine mit RAID10 via 10GBit SFP+ Verbindung.
Backups werden von Proxmox per Plan auf die Storage geschoben als Snapshot.
Hoffe das hilft weiter?

 

[JensF]

Füge mal noch ein zstd: 0 in die /etc/vzdump.conf ein. Dann rennt es.

 

[informant]

Füge mal noch ein zstd: 0 in die /etc/vzdump.conf ein. Dann rennt es.

Hallo, Speed blieb unverändert.

 

[Falk R.]

Was für ein Backupstorage ist es denn?
Am besten während eines Backups gucken ob an einer Stelle die Latenz hoch geht.
Source Disk, Destination Disk, Network Ports.

 

[informant]

Hallo, also ich hab nen HP DL580 G7 mit ner HP Storage über SAS 6G am LSI Controller mit BBU und Cache. Last sehe ich keine und auch kein IO. Als Backupstorage habe ich eine Synology RS1221+ mit SFP+ Karte 32 GB RAM und RAID 10 (Seagate Enterprise HDDs für Storage= 100% kompatibel als nfs4.1 gemounted im Proxmox Im Proxmox habe ich Standard beim nfs mount ausgewählt. Synology habe ich nfs 4.1 aktiviert. Normal bekomme ich auf die Storge weit über 500mb/s drauf wenn ich von einem ssd server direkt per sfp+ sende.
Daher die Frage wo ich bei Proxmox noch irgendwas einstellen bzw. testen könnte. Danke vorab.

 

[Falk R.]

Also wenn du VZDump Backups machst kann die Synology schon einiges Wegschreiben. Ist dann halt kein inkrementelles Backup möglich.
Der DL580G7 sollte jetzt schon ca. 12 Jahre auf dem Buckel haben. Hast du da eine MSA60 oder 70 dran? Die waren damals gleiche Generation, können aber nur 3GBit SAS und da habe ich nie mehr als 360 MB/s raus geholt (MSA70 mit 25x 146GB SAS 10k).
Falls du da was neueres dran hast, kann da eventuell mehr gehen.

Du schreibst was von 12 HDDs, sind das 3,5"? Wenn ja, sind das SAS oder SATA Platten? Die alten 3G SATA Disk können kein richtigen NCQ (native command queue) und sind daher noch langsamer als die 6G SAS HDDs.
Gerade wenn da random Reads entstehen beim Backup, gehen die Disks schnell in die Knie.

Meine Persönliche Meinung, mit der dicken Kiste verbrätst du so viel Strom, da rechnet sich neuere Hardware locker nach 1-2 Jahren.

 

[informant]

Hallo, ich habe ne StorageWorks D2600 dran die kann 6G SAS und ist auch mit 6 G via SFF-8088 verbunden.
Ja habe 12x 3.5" Seagate Enterprise HDDs in der Storage. Alle 6 G im Raid 50. Sieht man irgendwo, ob die random Reads runter gehn beim backup? iotop iostats oder so? Wenn es die Storage sein sollte, würde ich die natürlich austauschen, brauch tman ja nur die HDDs 1:1 wechseln, wa das schöne ist. Aber dazu muss ich das erst mal herausfinden, ob es die wirklich ist. Daher die Frage, ob man es sehen kann per command oä..?

 

[Falk R.]

Sind das Enterprise SATA oder SAS? 6G SAS = 3G SATA. Auch wenn die SATA Disks 6G SATA können, läuft das dann nur auf 3G SATA.
Ich nutze entweder iotop oder nmon um mir die Auslastung anzuschauen. nmon finde ich persönlich etwas schöner, ist aber Geschmackssache.

 

[informant]

Hallo, habe folgende drin: SEAGATE ST4000NM0023 sind ja direkt für HP Storages gemacht.
lt. Controller:
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s

ps iotop, welchen command nutzt du hier genau, da es ja eingie verschiedene gibt, dann poste ich es gern nochmal.

 

[Falk R.]

OK, das sind SAS Disks, drehen zwar auch nur mit 7,2k aber haben wenigstens NCQ.

Ich nutze nmon und nach dem Start drückst du d für Disk. Da bekommst du schön übersichtlich die Auslastung aller Disks.