Ceph Bluestore Migration sinnvoll?

HFE

Member
Mar 3, 2017
5
1
23
43
Hallo zusammen,

ich würde gerne bei unserem Ceph-Cluster auf BlueStore migrieren. Nun habe ich einige Forenbeiträge gelesen, die mich etwas verunsichert haben, da scheinbar nicht immer ein Performance-Gewinn zu erwarten ist. Nun würde mich interessieren, ob dies bei unserem Setup eher ein Vorteil oder eher ein Nachteil wäre:

Cluster-Setup:
  • 3 Nodes
  • 5 OSDs pro Node (SATA HDD â 4 TB, FileStore)
  • 3 SSDs (SM863) pro Node (Eine für System; eine für Ceph-Journal (OSD 1+2); eine für Ceph-Journal (OSD 3+4+5))
  • Front-Side Netzwerk 10Gb/s LACP Bond
  • Back-Side Netzwerk 10Gb/s LACP Bond
Vielen Dank im Voraus.

Gruß
HFE
 
Last edited:
Hi
Nun habe ich einige Forenbeiträge gelesen, die mich etwas verunsichert haben, da scheinbar nicht immer ein Performance-Gewinn zu erwarten ist.
Das ist richtig aber wie lange Filestore noch unterstützt wird ist fraglich da es auf deprecated gesetzt ist.

Zu deiner Anfrage wegen was zu nehmen ist kann dir das keiner im vorhinein sagen.
Das musst du ausprobieren.
 
Hi

Das ist richtig aber wie lange Filestore noch unterstützt wird ist fraglich da es auf deprecated gesetzt ist.

Zu deiner Anfrage wegen was zu nehmen ist kann dir das keiner im vorhinein sagen.
Das musst du ausprobieren.

Hallo,

was mich mittlerweile zusätzlich noch stutzig macht, ist, dass Proxmox über die GUI bei Bluestore eine Block.db von NUR 1GB anlegt. Laut Ceph-Doku sollte die doch sehr viel größer gewählt werden:

"It is recommended that the block.db size isn’t smaller than 4% of block. For example, if the block size is 1TB, then block.db shouldn’t be less than 40GB." [Link]

Das wären in unserem Fall ja 160GB SSD-Speicher pro OSD nur für die Block.db. Oder verstehe ich das hier falsch?

Gruß
HFE
 
was mich mittlerweile zusätzlich noch stutzig macht, ist, dass Proxmox über die GUI bei Bluestore eine Block.db von NUR 1GB anlegt. Laut Ceph-Doku sollte die doch sehr viel größer gewählt werden:

"It is recommended that the block.db size isn’t smaller than 4% of block. For example, if the block size is 1TB, then block.db shouldn’t be less than 40GB." [Link]
Ceph's standard ist 1GB, die 4% sind eine Empfehlung von Ceph und war eine lange Zeit nicht klar. Aber das ist sicherlich etwas, über das man nachdecken kann einzubauen. Die Größen der DB/WAL können in der 'ceph.conf' eingetragen werden, damit gelten sie dann beim erstellen der OSD.

Abseits davon, bitte immer auf die Version der Ceph Doku achten, die kann von der installierten Version abweichen. ;)
http://docs.ceph.com/docs/luminous/rados/configuration/bluestore-config-ref/#sizing
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!