Ceph Hilfestellung

[nooke]

Hi zusammen,

ich betreibe aktuell einen 3-node ceph cluster den ich nun mit enterprise SSDs aufrüsten möchte um ggfs journal (db/wal) drauf zu parken.

erstmal die specs der 3 nodes.

node1:
Xeon E5-2630L v3
3x6TB HDD (folgt noch eine 6TB sowie 3TB HDD)
1xM.2 256GB (ceph pool für VMs)
1x120GB SSD SATA (OS Platte)

node2:
Xeon E5-2630L v4
3x6TB HDD
1x8TB HDD
1xM.2 512GB (ceph pool für VMs)
1x120GB SSD SATA (OS Platte)

node3:
Xeon E5-2630L V4
6x6TB HDD
1xM.2 512GB (ceph pool für VMs)
1x120GB SSD SATA (OS Platte)

Networking:
10G für Ceph (full mesh)
2G für Corosync
3x4G für VMs und co.

Ceph Config:
Nutze Ceph Pacific mit BlueStore
2 Ceph Pools bestehend aus 1xNVMe Pool (M.2 consumer SSDs) und ein CEPHFS Pool (aus den HDDs).

Ich plane jetzt Intel P4510 1TB in jedem Node zu verbauen.
Nun zu meinen eigentlichen Fragen.

1) Macht es überhaupt Sinn die Intel P4510 nur für db/wal zu nutzen?
2) Hat von Hand partitionieren irgendwelche Vorteile gegenüber die Devices einfach in der Proxmox GUI als DB/WAL auszuwählen?
3) Einfachste Weg vorhandene OSDs mit DB/WAL auf jeweiligen OSD nun auf die Intel P4510 zu schubsen?
4) Performancegewinn? Was kann ich tatsächlich dadurch erwarten? Würde es ggfs mehr Sinn machen die M.2 SSDs (consumer, ohne power loss protection) rauszuwerfen und stattdessen die Intel P4510 im Ceph Pool für die VMs zu nutzen und die DB/WAL der OSDs (HDDs) weiter auf den Spinning Drives zu belassen?

grüße
Nooke

 

[aaron]

Grundsätzlich sind DB/WAL SSDs ein bisschen ein Pflaster, all zu viel würde ich mir nicht erwarten. Die Daten selbst liegen ja noch auf den Spinnern.

Falls du doch eine DB/WAL SSD erstellen willst, musst du nicht manuell partitionieren, du kannst eine Größe in der GUI vorgeben oder sie leer lassen, dann wird die Größe automatisch bestimmt ( https://192.168.26.51:8006/pve-docs/chapter-pveceph.html#pve_ceph_osd_create )

Ich kenne deinen Usecase nicht genau, würde aber eher dazu tendieren, die SSDs als eigenen Pool zu verwenden mit entsprechender Crush Rule. Ich nehme an, auf den HDD OSDs hast du viele Daten liegen die nicht so schnell verfügbar sein müssen?
Hast du hier dann in den VMs eine zweite Disk hinzugefügt die den HDD Pool als Storage verwendet?

 

[nooke]

genau, habe aktuell 2 unterschiedliche crush rules (einmal für die nvme's einmal für die hdds).
richtig ist auch das auf den HDD OSDs hauptsächlich Daten liegen die nicht sonderlich schnell verfügbar sein müssen, da landen backups drauf oder auch daten die ich vorher auf einem NAS gesichert hatte.
für die VMs die ich habe (in summe aktuell 15) nutze ich den NVMe ceph pool (auch nicht für alle, da es dort ebenfalls VMs gibt die keinen schnellen Storage benötigen).

Ceph hat bei mir aktuell 63TB zur Verfügung und für recovery/rebalance von 19% brauch er aktuell laut Anzeige im GUI 24 Tage. da fließen nur um die 8MB/s.
Hatte gehofft das ggfs auch recovery/rebalance vom Auslagern der DB/WAL profitiert.


Also wäre es sinnvoller die neuen SSDs als eigenen Ceph Pool zu nutzen für IOPS + Speed (VMs/LXC) und die Spinning Drives weiter ihren lahmarschigen Storage Job machen zu lassen

 

[aaron]

Ceph hat bei mir aktuell 63TB zur Verfügung und für recovery/rebalance von 19% brauch er aktuell laut Anzeige im GUI 24 Tage. da fließen nur um die 8MB/s.
Hatte gehofft das ggfs auch recovery/rebalance vom Auslagern der DB/WAL profitiert.

Könnte ein bisschen was bringen, aber trotzdem müssen die Daten herum geschaufelt werden, und da sind HDDs vor allem bei random IO nicht gut. Es gibt in dem Fall aber ein paar Parameter, an denen du schrauben kannst da diese Default sehr konservativ gewählt sind. Mitunter leidet aber die Performance für VMs ein bisschen.

Hier gibts einen Blog Eintrag der das ganz gut zu erklären scheint.