Ceph Bluestore Migration sinnvoll?

[HFE]

Hallo zusammen,

ich würde gerne bei unserem Ceph-Cluster auf BlueStore migrieren. Nun habe ich einige Forenbeiträge gelesen, die mich etwas verunsichert haben, da scheinbar nicht immer ein Performance-Gewinn zu erwarten ist. Nun würde mich interessieren, ob dies bei unserem Setup eher ein Vorteil oder eher ein Nachteil wäre:

Cluster-Setup:

• 3 Nodes
• 5 OSDs pro Node (SATA HDD â 4 TB, FileStore)
• 3 SSDs (SM863) pro Node (Eine für System; eine für Ceph-Journal (OSD 1+2); eine für Ceph-Journal (OSD 3+4+5))
• Front-Side Netzwerk 10Gb/s LACP Bond
• Back-Side Netzwerk 10Gb/s LACP Bond

Vielen Dank im Voraus.

Gruß
HFE

 

[wolfgang]

Hi

Nun habe ich einige Forenbeiträge gelesen, die mich etwas verunsichert haben, da scheinbar nicht immer ein Performance-Gewinn zu erwarten ist.

Das ist richtig aber wie lange Filestore noch unterstützt wird ist fraglich da es auf deprecated gesetzt ist.

Zu deiner Anfrage wegen was zu nehmen ist kann dir das keiner im vorhinein sagen.
Das musst du ausprobieren.

 

[HFE]

Hi

Das ist richtig aber wie lange Filestore noch unterstützt wird ist fraglich da es auf deprecated gesetzt ist.

Zu deiner Anfrage wegen was zu nehmen ist kann dir das keiner im vorhinein sagen.
Das musst du ausprobieren.

Hallo,

was mich mittlerweile zusätzlich noch stutzig macht, ist, dass Proxmox über die GUI bei Bluestore eine Block.db von NUR 1GB anlegt. Laut Ceph-Doku sollte die doch sehr viel größer gewählt werden:

"It is recommended that the block.db size isn’t smaller than 4% of block. For example, if the block size is 1TB, then block.db shouldn’t be less than 40GB." [Link]

Das wären in unserem Fall ja 160GB SSD-Speicher pro OSD nur für die Block.db. Oder verstehe ich das hier falsch?

Gruß
HFE

 

[Alwin]

was mich mittlerweile zusätzlich noch stutzig macht, ist, dass Proxmox über die GUI bei Bluestore eine Block.db von NUR 1GB anlegt. Laut Ceph-Doku sollte die doch sehr viel größer gewählt werden:

"It is recommended that the block.db size isn’t smaller than 4% of block. For example, if the block size is 1TB, then block.db shouldn’t be less than 40GB." [Link]

Ceph's standard ist 1GB, die 4% sind eine Empfehlung von Ceph und war eine lange Zeit nicht klar. Aber das ist sicherlich etwas, über das man nachdecken kann einzubauen. Die Größen der DB/WAL können in der 'ceph.conf' eingetragen werden, damit gelten sie dann beim erstellen der OSD.

Abseits davon, bitte immer auf die Version der Ceph Doku achten, die kann von der installierten Version abweichen.
http://docs.ceph.com/docs/luminous/rados/configuration/bluestore-config-ref/#sizing