Write Performance auf Ceph Pool verbessern

G

GJ_

New Member
Sep 17, 2025
8
0
1
Hallo zusammen,

derzeit betreibe ich ein Proxmox Cluster mit Ceph als Shared Storage.

Hardware pro Node:
i5-12500
64GB DDR5 RAM
3x 1,92TB PM883 SSD
LACP 2x 10Gbit für Cluster Network
LACP 2x 10Gbit für VM Network

Bei Benchmarks des Storages bekomme ich maximale Schreibwerte von rund 450-490MB/s.

Da ich oft auch größere Daten auf meinen Cluster kopiere, würde ich das gerne optimieren, dass ich auch die 10G zwischen Workstation und Server ausschöpfen könnte.

Was müsste ich optimieren/tauschen, um auf 10Gbit Schreibgeschwindigkeit zu kommen?
Mehr OSDs, andere OSDs?

Danke im Voraus :)
 
Die PM883 schaffen maximal ~530MB/s sequentiell, sind SATA-SSDs. Deine 450-490MB/s sind also quasi schon am Anschlag von SATA. Um 10Gbit Write-Durchsatz zu erreichen brauchst du NVMe-OSDs.

Wie viele Nodes hast du im Cluster, und welche Replication Size (ceph osd pool get <poolname> size) ist konfiguriert? Bei size=3 wird jeder Write 3x geschrieben, da brauchst du dann auch wieder mehr Bandbreite.
 
  • Like
Reactions: Johannes S
Kommt drauf an, was dein Chassis hergibt. Hast du U.2-Backplane oder nur M.2-Slots? Bei nur M.2 wird's mit 3 Stück pro Node eng. Die meisten Boards haben max 2-3 Slots. Wieviele NVMe-Slots hat dein Board?
 
@Bu66as Aus anderen Gründen plane ich aktuell auch die Mainboards zu wechseln.
Das neue Board hat 4 M.2 Slots. 2x direkt an der CPU, 2x via Chipset
 
Last edited:
You must log in or register to reply here.
Top Bottom
Back