Erasure coded Data-Pool mit mehreren CephFS auf Pacific um weitere, neue OSD's erweitern

[PVEfan]

Hi Leute,

habt ihr Erfahrungen mit mehreren Ceph-Filesystemen unter Pacific und der Kapazizätserweiterung eines bestehenden erasure coded Pools mit weiteren, neuen OSD's im Cluster?

Gruß, PVEFan

 

[gurubert]

Die Kapazitätserweiterung eines Ceph-Clusters durch Hinzufügen von OSDs ist grundsätzlich problemlos möglich.

Es wird dann backfilling Traffic auftreten, da die vorhandenen Daten auch auf die neuen OSDs verteilt werden.

Dabei ist es egal, ob replicated oder erasure coded Pools auf den OSDs liegen.

 

[PVEfan]

Hi Gurubert,

leider nicht ganz, muss aber zugeben, ich habe es noch nicht auf einem PVE-Cluster getestet, habe nur alles nativ aufgesetzt.

Die genauere Beschreibung findest Du / ihr hier;

https://serversupportforum.de/threa...-osds-bei-mehreren-filesystemen-cephfs.60401/

VG!
PVEfan

 

[gurubert]

Das Problem wird als Ursache wohl eher die CRUSH-Rule haben, mit der der erste Pool seine PGs verteilt.

EC-Pools in so kleinen Clustern sind auch nicht wirklich sinnvoll einsetzbar.

 

[PVEfan]

Das Problem wird als Ursache wohl eher die CRUSH-Rule haben, mit der der erste Pool seine PGs verteilt.

nur welcher Parameter eben...

ceph osd crush rule dump
[
{
"rule_id": 0,
"rule_name": "replicated_rule",
"ruleset": 0,
"type": 1,
"min_size": 1,
"max_size": 10,
"steps": [
{
"op": "take",
"item": -1,
"item_name": "default"
},
{
"op": "chooseleaf_firstn",
"num": 0,
"type": "host"
},
{
"op": "emit"
}
]
},
{
"rule_id": 1,
"rule_name": "cephfs-data",
"ruleset": 1,
"type": 3,
"min_size": 3,
"max_size": 4,
"steps": [
{
"op": "set_chooseleaf_tries",
"num": 5
},
{
"op": "set_choose_tries",
"num": 100
},
{
"op": "take",
"item": -2,
"item_name": "default~hdd"
},
{
"op": "chooseleaf_indep",
"num": 0,
"type": "host"
},
{
"op": "emit"
}
]
},
{
"rule_id": 2,
"rule_name": "cephfs-data2",
"ruleset": 2,
"type": 3,
"min_size": 3,
"max_size": 4,
"steps": [
{
"op": "set_chooseleaf_tries",
"num": 5
},
{
"op": "set_choose_tries",
"num": 100
},
{
"op": "take",
"item": -2,
"item_name": "default~hdd"
},
{
"op": "chooseleaf_indep",
"num": 0,
"type": "host"
},
{
"op": "emit"
}
]
}
]

EC-Pools in so kleinen Clustern sind auch nicht wirklich sinnvoll einsetzbar.

Ja, ist auch eher zur Test- und Übungszwecken gedacht, wie sich ein Cluster verhält u.Ä., bevor es auf einem Produktivsystem eingesetzt wird.

VG & Danke!
PVEfan

 

[gurubert]

Die CRUSH-Regeln sehen nach dem Standard aus, der automatisch angelegt wird. Da fällt mir grad auch nicht mehr ein.