Ceph SAS mit SSD Journal -> Performancegewinn durch zusätzliche SSD?

[fips]

Hi,

habe einen 3er Ceph Cluster mit jeweils 8 SAS Disks und zwei SSDs fürs Journal (also pro SSD 4 OSDs).
Schreibleistung liegt so bei 200-220 MB/s.

Ich habe noch freie Slots im Server, würde es etwas bringen wenn ich jetzt noch zusätzliche SSDs einbauen die als OSDs arbeiten?

Würde es die Gesamtleistung steigern oder würden es nichts bringen?

 

[Alwin]

Das kommt ganz auf dein Setup darauf an. Eine einfache Rechnung ist, SSD Schreibgeschwindigkeit dividiert durch die Schreibleistung einer OSD, dann weißt du wie viele OSDs du an eine SSD (Journal device) anhängen kannst. Hängst Du jetzt noch eine SSD als OSD an die selbe Journal SSD, dann wird sich die OSD (SSD) langweilen. Besser ist es, mehr SAS Platten anzuhängen oder einen eigenen Pool mit SSD disks zu haben. Hierbei gilt die selbe Formel wie zuvor, nur das alle OSDs aus SSDs bestehen.

 

[fips]

Sorry hab mich falsch ausgedrückt.
Die zusätzliche SSD wird nicht an die selbe Journal SSD angebunden sondern hängt direkt mit sich selbst als Journal im Pool.
Möchte eigentlich keinen extra SSD Pool haben, sondern einfach den bestehenden mit SSDs pimpen ;-)

 

[Alwin]

OSDs auf mehrere Journal devices aufgeteilt, ist sicherlich besser, aber den riesigen Performance Gewinn wird es nicht machen. Besser das Geld in schnelle SSDs, wie PCIe NVME SSDs investieren. Auch ist es sicherlich von Vorteil freie Disks Slots in den Servern zu haben, um weitere OSDs einzubauen, wenn der freie Plattenplatz zu klein wird (eg. ceph -> near OSD full).

 

[tschanness]

Hi,
ich denke fips will einfach eine SSD als OSD nutzen und fragt ob das einen Performancegewinn bringt. Nachdem bei Ceph jedes OSD performance bringt: Ja wird einen kleinen Performanceschub bringen, wie groß der ist kann ich aber nicht sagen.

LG Jonas

 

[fireon]

Ich finde es seltsam das du eine solch schlechte Leistung hast. Wir haben nur die hälfte der Platten und nur einem Host eine Cache SSD und schaufeln mit über knapp 1000MB/s.
Was hast du denn für Server? Was ist den der I/O wait beim kopieren? Was sagt "pveperf" auf dein Ceph? Benutzt du Enterprise SSD's?

 

[fips]

Nun der Ceph Cluster besteht aus 3x HP SE326M1, pro Node sind jeweils 3 Journal SSDs.
Es sind Samsung SM863a und Kingston V300 (die mit "fio" gemessen, den Samsung ebenbürtig sind).

I/O delay auf den Nodes liegt immer so zwischen 1-3%

PVEPERF:

CPU BOGOMIPS:      57599.28
REGEX/SECOND:      1080712
HD SIZE:           123.22 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND:     151.37
DNS EXT:           63.70 ms
DNS INT:           4.22 ms

 

[Alwin]

Für Ceph Performance Tests, hilft rados bench & fio.
http://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance