ceph: HP 326M1 mit SAS Disks mit SSD Journal, magere Performance?

[fips]

Hi Leute,

habe jetzt mein Ceph Cluster (Proxmox 4.4) fertig:
3x HP 326M1:
Jeweils:
2x SAS 146GB ZFS für OS
1x SSD 256GB für Journal
5x SAS 146GB als OSDs

2 Pools für VM und LXC jeweils 512 PG

Hab jetzt als Test eine debian VM installiert und einen Leistungstest durchgeführt, meine Schreibwerte sind aber mit 55MB/s mehr als bescheiden, auch die mittlere Zugriffszeit ist nur bei 0,61ms (Vergleich: Raid 1 ZFS: 59MB/s write, 0,28ms Zugriffszeit).

Ich dachte immer die Journal Disks sollten SSDs sein, damit Daten die geschrieben werden schnell auf diesen SSDs zwischengespeichert werden, dem VM OS dann der Schreibzugriff bestätigt wird, und erst nach und nach die Daten wirklich auf die OSDs wandern.
Dafür sollten doch die SAS 146GB Disk reichen.

Bitte sagt mir das ich nur einen blöden Fehler gemacht oder etwas vergessen habe.

 

[tom]

sieht nach nur einem 1-Gbit netzwerk aus? ohne 10-gbit wird wohl mehr nicht möglich sein.

welche SSD wird denn verwendet (genaues modell)?

 

[fips]

ok zugegeben, es handelt sich dabei noch um ein 1Gb Netz, ich hab nur einen 10Gb Switch und der ist in der Produktivinfra eingebaut.

Aber der Schreibwert ist doch viel zu niedrig als, dass 1Gb der limitierende Faktor ist.
Wenn so um die 100-110 MB/s rausgekommen wären, ja dann würde es auf der Hand liegen, aber bei 55MB/s.

SSDs sind aus meinem Fundus, keine Super DC aber auch keine EVO Modelle, ist ja noch eine Testinfrastruktur.

 

[tom]

Da bei Ceph alles übers Netzwerk geht, ist dass hier wohl der limitierende Faktor. Mehr Details zur Architektur von Ceph finden sie hier:
http://docs.ceph.com/docs/master/

Und bitte um die Info, welche SSD verwendet wird - da wir ihren "Fundus" nicht kennen, bitte um die Produktnummer.

Hier ein informatives Blog zum Thema:
https://www.sebastien-han.fr/blog/2...-if-your-ssd-is-suitable-as-a-journal-device/

 

[tom]

Hier ein kurzer Benchmark eines Testsystems mit 3 Servern, mit jeweils 2 Samsung SM863 (240 GB) OSDs (kein extra Journal)

Mein Pool (test3) repliziert auf alle 3 Server, hier die Ergebnisse mit 10 Gbit Netzwerk:

rados -p test3 bench 30 write --no-cleanup

Total time run:         30.098572
Total writes made:      5180
Write size:             4194304
Object size:            4194304
Bandwidth (MB/sec):     688.405
Stddev Bandwidth:       26.644
Max bandwidth (MB/sec): 728
Min bandwidth (MB/sec): 592
Average IOPS:           172
Stddev IOPS:            6
Max IOPS:               182
Min IOPS:               148
Average Latency(s):     0.0929518
Stddev Latency(s):      0.0324418
Max latency(s):         0.241414
Min latency(s):         0.0209389

Wenn ich nun das Netzwerk auf 1 Gbit umstelle, kommt folgendes raus:

rados -p test3 bench 30 write --no-cleanup

Total time run:         30.824512
Total writes made:      675
Write size:             4194304
Object size:            4194304
Bandwidth (MB/sec):     87.5926
Stddev Bandwidth:       11.1136
Max bandwidth (MB/sec): 112
Min bandwidth (MB/sec): 64
Average IOPS:           21
Stddev IOPS:            2
Max IOPS:               28
Min IOPS:               16
Average Latency(s):     0.728788
Stddev Latency(s):      0.470723
Max latency(s):         2.50753
Min latency(s):         0.1479

=> Schreibgeschwindigkeit mit 10 Gbit Netzwerk: Bandwidth (MB/sec): 688.405
=> Schreibgeschwindigkeit mit 1 Gbit Netzwerk: Bandwidth (MB/sec): 87.5926

 

[fips]

Hi,
danke für deine Werte!
Nun, ich habe jetzt aus dem 3er Cluster eine Node entfernt und die beiden verbleibenden Nodes direkt verbunden damit habe ich 10Gb.
Die Schreibwerte waren immer noch mies, dann habe ich mit fio (numjobs:4) die Disk überprüft:
SSD1: write: io=383208KB, bw=6386.5KB/s, iops=1596, runt= 60003msec
SSD2: write: io=419892KB, bw=6997.1KB/s, iops=1749, runt= 60002msec
SSD3: write: io=118516KB, bw=1975.7KB/s, iops=493, runt= 60006msec

Na gut ich werde dann deinen Rat befolgen und gleich SM863 bestellen.
Das meine HP Hosts 326M1 schon etwas älter sind macht nichts?

 

[tom]

Zur Info, Proxmox VE 5.0 kommt sehr bald, da gibts auch bluestore als neues OSD format.

Proxmox VE 5.0 kommt bald mit Ceph 12 rc, Ceph 12 wird wohl frühesten in einem Monat production ready sein, aber zum testen reicht der rc.

 

[fips]

Zur Info, Proxmox VE 5.0 kommt sehr bald, da gibts auch bluestore als neues OSD format.

Proxmox VE 5.0 kommt bald mit Ceph 12 rc, Ceph 12 wird wohl frühesten in einem Monat production ready sein, aber zum testen reicht der rc.

Ok, aber das ändert ja nichts daran das die von mir getesteten SSDs langsam und schlecht sind und ich in meinem Setup SM863 nehmen soll oder?

 

[tom]

Ja, langsame SSD sind langsam. Und ja, die SM863 ist eine gute Wahl, wobei es je nach Voraussetzungen auch anderes gibt.

Zb: hier wird ein Highperformance Setup beschrieben:
https://www.openstack.org/videos/bo...-leveraging-intel-optane-and-3d-nand-tlc-ssds

 

[fips]

Ich habe nun endlich Samsung SM863a 240GB bekommen und in 2 (test) Ceph Hosts eingebaut und diese direkt via 10Gbit verbunden.

Das ist das Ergebnis:

root@ceph1:~# rados -p test3 bench 10 write --no-cleanup
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16        59        43   171.968       172    0.346022    0.309248
    2      16       103        87   173.969       176    0.354918    0.335445
    3      16       141       125   166.639       152    0.474001    0.346894
    4      16       146       130   129.978        20    0.638023    0.357052
    5      16       152       136   108.782        24     1.61646    0.416159
    6      16       155       139   92.6516        12     3.23101    0.466287
    7      16       171       155   88.5573        64     1.59377    0.658081
    8      16       208       192   95.9847       148    0.351199    0.652366
    9      16       253       237   105.316       180    0.354332    0.596551
   10      16       263       247   98.7841        40     1.11158    0.601092
Total time run:         10.432002
Total writes made:      264
Write size:             4194304
Object size:            4194304
Bandwidth (MB/sec):     101.227
Stddev Bandwidth:       72.3952
Max bandwidth (MB/sec): 180
Min bandwidth (MB/sec): 12
Average IOPS:           25
Stddev IOPS:            18
Max IOPS:               45
Min IOPS:               3
Average Latency(s):     0.626034
Stddev Latency(s):      0.622608
Max latency(s):         3.26802
Min latency(s):         0.0662261

Müsste das nicht besser sein?