Raid mit 6 HDDs

[Marcy20]

Hallo
ich habe folgende Hardware:
AMD Epcy 7401P
Asrock Rack EPYC d8 2t
8x32gb 2133 mhz RAM
LSI 9361 8i 1GB
6x6tb Dell Sas 12G 7200rpm HDD

Leider erziehen die Konfigs nicht die werte die ich gern hätte.

1: JBOD und ZFS Raid 5 -> 2GB Read 270MB Write
2: JBOD und ZFS Raid 10 -> 2GB Read 38MB Write
3: HW Raid 5 und LVM Thin -> 2GB Read 280MB Write -> Write Back -> Write Though bringt keine Besserung
4: HW Raid 10 und LVM Thin -> 2GB Read 250MB Write -> Write Back -> Write Though bringt keine Besserung
5: HW Raid 10 und BTRFS -> 2GB Read 900MB Write

(Alle Werte /sec)

1 Platte macht ca 280MB R/W

Wie bekomme ich nun die Bessere Performance?
Ich muss ca 10TB Daten übertragen was mit 250/38MB/Sec ewig dauert.

 

[Dunuin]

Die 38MB/s im ZFS Striped Mirror sehen definitiv sehr falsch aus.

Wie misst du die Performance? Am besten mit fio benchmarken um Probleme mit dem Netzwerk oder anderer Software auszuschließen.

 

[Marcy20]

Ich hatte die Tests in einer VM und auf dem Host gemacht. Kommt ca aufs gleiche raus. Wenn ich ca 500mb read und write erreiche wäre es ja in Ordnung. Leider unterstützt der Controller kein hba Mode. Selbst mit 4x 16tb toshiba mg08 habe ich mehr Performance

 

[Falk R.]

Hast du einen Batteriecache auf dem Controller? Das bringt extrem viel.

 

[Marcy20]

Nein aktuell nicht

 

[Falk R.]

Dann werden die HDDs im RAID nie gute Werte liefern, egal ob Software oder Hardware.

 

[Dunuin]

Naja, bei sequentiellen großen Writes sollte das trotzdem vernünftig performen. Mit 4x 8TB SATA CMR HDDs im Raidz1 über SAS2008 IT-Mode komme ich im Dataset auf stabile ~300MB/s über viele hundert GBs. IOPS oder sync write Performance ist ohne BBU+cache halt das Problem bei HDDs. Aber wenn man das für die Workload braucht, sollte man halt auch nicht zu HDDs greifen sondern du NVMe Enterprise SSDs.

 

[Marcy20]

Ich habe nun den Cache auf dem Controller entfernt. Und die Platten via JBOD durchgereicht. Anschließend ein ZFS Raid 10 erstellt. Und siehe da 2gb read und 1,2gb write. Mit Virtio sind es sogar bis zu 4,5Gbit. Nun dauert die Übertragung auch nicht mehr so lange.