ceph SSD für bluestore

[snoopy]

Hallo,

ich möchte gerne als Storage für unsere VMs ein 3 Node Ceph-Cluster aufsetzen. Ich bräuchte aber ein paar Tipps zum Thema SSD Auswahl und Größe für bluestore.

Ich hatte folgendes Setup geplant:

3 Nodes mit jeweils:
CPU: Xeon Silver 4110
RAM: 64GB
Netzwerk: 4 x 10 GBit (kupfer)
Disk: 8 x SAS 4 TB SAS 7,2k

Nun bräuchte Tipps für die Wahl der SSDs. Ich würde auf die SSDs gerne:

block.db
block.wal

auslagern.

Ich hatte mir eine SSD von 400 GB für 4 SAS Platten vorgestellt.Welche SSDs könnt Ihr empfehlen? Wie groß ist die Standardpartitionnierung für WAL und DB? Gibt es weitere Tipps von Eurer Seite?

Vielen Dank!

 

[tom]

Bei kleinen Ceph setups (wie hier 3 nodes) bringen nur SSDs als OSD ansprechende Leistung.

Das Auslagern von db und wal bringt recht wenig Performancegewinn bzw. mehr Nachteile wie Vorteile.

Wenn SSD only zu teuer ist, machen auch 2 Pools Sinn. Ein schneller mit NVMe oder SSD, ein langsamer mit spinning disks.

Nächste Woche veröffentlichen wir Ceph Benchmarks (z.b. auch 3 node setup mit SSDs).

 

[snoopy]

Hallo Tom,

vielen Dank! Wo werden die Benchmarks veröffentlicht?

Hat jemand noch Tipps zu SSD oder NVMe Modellen die geeignet sind?

Besten Dank und schönes Wochenende

 

[tom]

Hallo Tom,

vielen Dank! Wo werden die Benchmarks veröffentlicht?

Hat jemand noch Tipps zu SSD oder NVMe Modellen die geeignet sind?

Besten Dank und schönes Wochenende

Die Benchmarks kommen ins Forum.

SATA SSD sind preisleistungsmässig eine gute Wahl, wenn nur die Performance zählt und das Budget passt, dann natürlich NVMe.

Intel:
https://www.intel.com/content/www/u...rage/solid-state-drives/data-center-ssds.html

Samsung:
http://www.samsung.com/semiconductor/minisite/ssd/product/enterprise/overview/

Alle diese Produkte sind für ZFS und auch Ceph workloads geeignet. (natürlich auch für LVM oder ext4).

Ein Blick auf die Liste im Blog von Sebastien Han bringt Klarheit, was man braucht (und was nicht).
https://www.sebastien-han.fr/blog/2...-if-your-ssd-is-suitable-as-a-journal-device/

Selbst testen sollte man natürlich, mit fio.