ceph - schlechte performance

[udo]

So, ich habe mir mal die Liste von @LnxBil angesehen:

Die SSD welche original verbaut ist (intel ssd sc2k960g) ist wohl genauso ungeeignet wie meine blind nachgematschten SamsungSSD, da ist das "unterirdisch" von @Alwin noch nett gemeint. Vorher lesen hätte geholfen.

Nun lese ich mir eben die Tabelle durch, in der ist von "Jobs" die Rede. Damit sind wohl die OSDs gemeint?

https://www.mindfactory.de/product_...4cm--SFF-8639-32Gb-s-MLC-HET--SSD_980713.html
Diese hier zum Bleistift hat 32gbit/s, das bringt mir beim 12er HBA wohl eher weniger.

Hi,
12er HBA?? ohne nvme-anschluss dürfte es unmöglich sein, die anzuschliessen.

Die Intel P3600 800GB sieht wieder nett aus: https://www.servershop24.de/kompone...5-festplatte-hard-disk-ssdsc2bb800g4/a-119388

dass die 3500er nur 40MB/s schafft (laut dem Blog von Sebastien Han) ist dir klar?

Bei meinen 24Slot Servern schiebe ich mir also 2 pro Node rein und klemme 20 Platten drauf. Ist die kleine Nebenfrage: 2 als Spareplatten drinlassen oder beide SSDs mit einer Platte "überladen"?

10 OSDs auf eine SSD ist schon sportlich... hab sowas wie 4-6 OSDs pro SSD im Hinterkopf.

So müsste ich über den ganzen Cluster dann 800MB/s zusammenbekommen.

Richtig oder falsch verstanden?

Tja, glaub ich ja nicht... und gute Werte gibt's auch nur bei vielen gleichzeitigen Zugriffen. Wenn Du nur eine VM hast, die IO macht, sind die Werte meist deutlich kleiner.
Vergleiche dazu "rados bench" mit einem Thread (-t 1) und mit 16.

Udo

 

[AST]

In der Maschine ist ein SAS9300-8i Controller.
Wenn ich das richtig gelesen habe, gibt es NVM darauf.

In des Sevastien Blogs stand: Intel P3600 800GB 5cd2e4 (1job) 328 MB/s (5jobs)800 MB/s (10jobs)801 MB/s
Was zum Henker kapiere ich nicht?

Wenn ich besser einen 5er Stapel pro SSD zusammenpacken soll ist mir das auch recht. Die Endkapazität hat noch dicke Luft.

EDIT:
Ich habe das Benchmark mit 1 und 16 Threads hinzugefügt.

EDIT2:
Es geht führt nur ein 12gbit Anschluss zu den Platten, der andere ist für die zwei zusätzlichen BootSSDs. Das Backplane hat insg. 4 Anschlüsse auf Lager.

EDIT3:
Die Bilder zur Handware beigefügt.
Macht es nicht eher Sinn, die Backplane voll zu bestücken?

 

[sb-jw]

Wenn ich das richtig gelesen habe, gibt es NVM darauf.

Steht vermutlich eher für "Non-Volatile Memory", denn auch im Spec Sheet finde ich bei dem Controller nichts zu NVMe. Auch kann ich dir aus Erfahrung heraus sagen, dass bei den LSI Controllern bisher die Mischung von SATA und NVMe am selben Controller nicht funktioniert. Das hatte unser Lieferant in Zusammenarbeit mit LSI selbst dann irgendwann herausgefunden und auch LSI konnte da Ad-hoc keine Lösung bereitstellen. Das ist jetzt auch schon 2 - 3 Monate her, mag heute funktionieren.

Was zum Henker kapiere ich nicht?

Ihr redet aneinander vorbei
Es war ursprünglich die Rede von der 3500er nicht von der 3600er.

Das Backplane hat insg. 4 Anschlüsse auf Lager.

Welche Backplane ist das? Expander ist in der Regel immer eher blöd.

Upgrade mal die FW der HBA auf die 19er Version, die soll wohl ziemlich gut laufen und wenig Probleme machen.

Wenn du schon so viel Geld für irgendwelche Platten ausgeben willst, dann kauf doch direkt z. B. PM883 und mach einfach Flash Only. Ich kann dir ansonsten auch die WD Blue empfehlen, damit betreibe ich derzeit zwei CEPH Cluster, einen mit 16 OSD und den anderen mit über 350. Die Performance für den Preis ist voll in Ordnung.
Ich muss aber dazu sagen, dass die PM883 dir Latenz sicherlich deutlich reduzieren wird, daher wird diese nach und nach auch demnächst im großen Cluster verbaut.

 

[AST]

Zuviel Geld möchte ich auch nicht mehr ausgeben. Flashonly wäre auch dezent übertrieben.
Mir würde es reichen, wenn man mit dem Array von 24 Platten was vernünftiges rauspressen kann.
Beim Setup 4x SSD + 5OSDs benötige ich zwingend NVMe? Vier PCIe Ports wären ja noch frei.
Es reicht, wenn die VMs angemessene Plattengeschwindigkeiten haben (Terminalserver)

 

[udo]

In der Maschine ist ein SAS9300-8i Controller.
Wenn ich das richtig gelesen habe, gibt es NVM darauf.

Hi,
für eine NVMe-SSD wie in deinem zweiten Link, brauchst Du ein U.2 Anschluss: https://de.wikipedia.org/wiki/U.2
Oder halt PCIe-Karten.

In des Sevastien Blogs stand: Intel P3600 800GB 5cd2e4 (1job) 328 MB/s (5jobs)800 MB/s (10jobs)801 MB/s
Was zum Henker kapiere ich nicht?

Ja, stimmt - aber Dein Link vom Servershop zeigte keine 3600er sondern 3500er, die nur 39,1MB/s laut http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/ bringen.

EDIT:
Ich habe das Benchmark mit 1 und 16 Threads hinzugefügt.

das sieht doch gar nicht so schlecht aus - wie ist es beim schreiben? Und vor allem länger - 60 sec!

Udo

 

[AST]

Ups, da hatte ich mit der Verlinkerei daneben gegriffen.

Jawohl, anbei die Auswertung:

 

[Alwin]

@LachCraft, wo soll den die Reise hingehen? Die Werte im Benchmark schauen mal gut aus. Zum Vergleich hätte ich doch noch interessiert, wie die Werte beim Bluestore auf HDD (ohne extra DB/WAL) sind.

 

[AST]

Nachdem ich mal großartig mit 1/4 Wissen geglänzt habe bin ich ein wenig vorsichtig mit Vorstellungen ^^

Das Ziel ist es, mit der zu Grunde liegender Hardware die bestmögliche Performance rauszuholen.
Womit ich noch gar nicht klarkomme, trotz doch guter Zahlen von Ceph, ist das krasse Einbrechen in der VM. Hier habe ich lediglich eine ISO von A nach B kopiert.

Nevermind, mit 8GB wird auch nicht viel passieren. Bleibt nur die Optimierung des Storages als Frage -.-

 

[Alwin]

Nevermind, mit 8GB wird auch nicht viel passieren. Bleibt nur die Optimierung des Storages als Frage -.-

Na so, tests mit kopier Datei von A nach B, sind leider meist nicht so aussagekräftig. Da passiert vieles im Hintergrund auf den kein Einfluss genommen werden kann und ein nicht-reproduzierbares Ergebnis erzeugt. Am besten immer mit dezidierten Benchmark Tools a la FIO, iometer, atto, ... etc.

Auch machen die Cache Modi (VM config) einen großen Unterschied (zB. writeback, writethrough).

EDIT: Und ob virtio verwendet wird oder nicht.

 

[AST]

Der Sprung von 8GB RAM auf 64MB RAM brachte schon einiges.

Wenn ich nun die Intel P3600 800GB einsetze die für 10 Jobs (also OSDs) gute Zahlen hat, dann sollten die Mühlen dann ausreichend dimensioniert sein, oder doch nicht? Ach Quatsch, NVMe ist ja auch ein Thema.

 

[Alwin]

Wenn ich nun die Intel P3600 800GB einsetze die für 10 Jobs (also OSDs) gute Zahlen hat, dann sollten die Mühlen dann ausreichend dimensioniert sein, oder doch nicht?

Es sollte schneller als mit den jetzigen SSDs sein, aber das zeigt nur ein Test.

 

[AST]

Inzwischen knabbern auch die Österreicher an dem Problem.
Es hat sich herausgestellt:
- ceph: performance ok
- ceph VM-Laufwerk in Host mounten: performance ok
- Linux VM mit virtio-Laufwerk: performance ok
- Windows VM mit SATA, SCSI oder virtio: performance "stabil" bei 50MB schreibend.

Es ist zum Mäuse melken.
Hat von euch jemand einen Anhaltspunkt?

 

[Romsch]

Nur mal so eine Frage, dein Ceph Netzwerk (10.10.10.0/24) ist aber schon physisch vom PVE Cluster Netz getrennt, oder?

 

[AST]

Korrekt, die CEPH-Nics laufen auf zwei gestackte Switche. Diese hängen nur mit dem Consolenport im Systemnetz.