Ceph Filesystem sehr langsam

[Niclas Boxberg]

Unser drei Node Cephcluster lief bisher ohne Probleme.
Über Cephfs haben wir die Daten (ca 1TB) eines Mysql-Servers eingebunden, dieser läuft schneller als mit der lokalen Festplatte.
Jetzt haben wir Cephfs als shared Storage verwendet um Webseiten für Webservices abzulegen. Die Webseiten laufen super langsam und stürzen auch zwischendurch ab. Über NFS-Ganesha-Ceph laufen die Seiten zwar etwas schneller, werfen aber weiterhin Fehler aus.

 

[sb-jw]

Du darfst du gerne ein bisschen sehr viel mehr über dein Setup erzählen. Meine Glaskugel ist derzeit leider in der Werkstatt, die Temperatur bekam ihr wohl nicht

 

[Niclas Boxberg]

Wir haben gedacht es wäre vielleicht ein bekanntes Problem aber ich kann gerne mehr Informationen geben.
3 Ceph-Nodes mit Ceph Nautilus 14.2.1 dienen als mons mds und haben vier osds (jeweils 10TB) die mit bluestore auf einer Nvme (jeder osd 50GB) arbeiten.

Ceph.conf:
[global]
fsid = 2a53dc49-4a00-4ce6-a261-e7796b53d9ff
mon_initial_members = ceph01, ceph02, ceph03
mon_host = 192.168.8.10,192.168.8.11,192.168.8.12
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.8.0/24
cluster network = 10.10.22.0/24
osd journal size = 20000
osd pool default size = 2
osd pool default min size = 1
rbd default features = 3

[mon]
mgr initial modules = balancer dashboard
mon allow pool delete = True
mon health preluminous compat = True
mon osd down out interval = 300

[mgr]
mgr_modules = dashboard balancer

[mds.1]
host = ceph01

[mds.2]
host = ceph02

[mds.3]
host = ceph03

[osd]
bluestore cache autotune = 0
bluestore cache kv ratio = 0.2
bluestore cache meta ratio = 0.8
bluestore cache size ssd = 8G
bluestore csum type = none
bluestore extent map shard max size = 200
bluestore extent map shard min size = 50
bluestore extent map shard target size = 100
bluestore rocksdb options = compression=kNoCompression,max_write_buffer_number=32,min_write_buffer_number_to_merge=2,recycle_log_file_num=32,compaction_style=kCompactionStyleLevel,write_buffer_size=67108864,target_file_size_base=67108864,max_background_compactions=31,level0_file_num_compaction_trigger=8,level0_slowdown_writes_trigger=32,level0_stop_writes_trigger=64,max_bytes_for_level_base=536870912,compaction_threads=32,max_bytes_for_level_multiplier=8,flusher_threads=8,compaction_readahead_size=2MB
osd map share max epochs = 100
osd max backfills = 5
osd memory target = 4294967296
osd op num shards = 8
osd op num threads per shard = 2
osd min pg log entries = 10
osd max pg log entries = 10
osd pg log dups tracked = 10
osd pg log trim min = 10


Falls noch Informationen fehlen sollten bitte nachfragen.

 

[sb-jw]

Ceph Nautilus 14.2.1

Dass CEPH Nautilus ein Debian Buster benötigt und PVE6, was noch nicht released ist, ist dir vermutlich bekannt? Ist daher grundsätzlich schon mal nicht zwangsweise supported, mag zwar laufen.

Du hast nun nur deine CEPH Config gepostet. Was ist mit den Pools, PGs, Crush Rules, Crush Map, die Hardware, das Netzwerk, etc. pp. CEPH braucht nicht nur die Config, damit CEPH korrekt arbeiten kann, spielen auch die anderen Faktoren eine wichtige Rolle.

 

[Niclas Boxberg]

Was heißt Ceph Nautilus benötigt einen Debian Buster?

Ceph fs pools
cephfs_data 256PGs, cephfs_metadata 8PGs,

Crush Map

# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable chooseleaf_vary_r 1
tunable chooseleaf_stable 1
tunable straw_calc_version 1
tunable allowed_bucket_algs 54

# devices
device 0 osd.0 class hdd
device 1 osd.1 class hdd
device 2 osd.2 class hdd
device 3 osd.3 class hdd
device 4 osd.4 class hdd
device 5 osd.5 class hdd
device 6 osd.6 class hdd
device 7 osd.7 class hdd
device 8 osd.8 class hdd
device 9 osd.9 class hdd
device 10 osd.10 class hdd
device 11 osd.11 class hdd

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 zone
type 10 region
type 11 root

# buckets
host svuwceph01 {
        id -3           # do not change unnecessarily
        id -4 class hdd         # do not change unnecessarily
        # weight 36.574
        alg straw2
        hash 0  # rjenkins1
        item osd.0 weight 9.144
        item osd.1 weight 9.144
        item osd.2 weight 9.144
        item osd.3 weight 9.144
}
host svuwceph02 {
        id -5           # do not change unnecessarily
        id -6 class hdd         # do not change unnecessarily
        # weight 36.574
        alg straw2
        hash 0  # rjenkins1
        item osd.4 weight 9.144
        item osd.5 weight 9.144
        item osd.6 weight 9.144
        item osd.7 weight 9.144
}
host svuwceph03 {
        id -7           # do not change unnecessarily
        id -8 class hdd         # do not change unnecessarily
        # weight 36.574
        alg straw2
        hash 0  # rjenkins1
        item osd.8 weight 9.144
        item osd.9 weight 9.144
        item osd.10 weight 9.144
        item osd.11 weight 9.144
}
root default {
        id -1           # do not change unnecessarily
        id -2 class hdd         # do not change unnecessarily
        # weight 109.723
        alg straw2
        hash 0  # rjenkins1
        item svuwceph01 weight 36.574
        item svuwceph02 weight 36.574
        item svuwceph03 weight 36.574
}

# rules
rule replicated_rule {
        id 0
        type replicated
        min_size 1
        max_size 10
        step take default
        step chooseleaf firstn 0 type host
        step emit
}

# end crush map

Hardware:
2HE Intel Dual-CPU RI2208 Scalable
960GB Intel SSD (Systemplatte)
4* 10TB WD Red SATA
500GB WD Black High-Performance NVMe M.2
2* 10GBit/s Lan
128GB RAM
2*Intel Xeon Silver

Netzwerk:
Jeder Ceph-Node ist mit 10GBit/s an das public Netzwerk angeschlossen und auch über 10GBit/s an das interne ceph-cluster angebunden.

 

[Alwin]

Und welcher Teil des Setups hat mit Proxmox zu tun?

Was heißt Ceph Nautilus benötigt einen Debian Buster?

Proxmox VE basiert auf Debian und da gibt's kein Nautilus für Debian Stretch. Ich nehme an, das dein Setup mit Proxmox VE nichts zu tun hat, oder?

Für eine breitere Streuung, empfehle ich das Problem auch noch auf die Ceph-users Mailingliste zu stellen.
https://ceph.com/irc/