Proxmox cluster mit Ceph

[seeby]

Hallo zusammen,

da wir bei uns das DRBD langsam ablösen möchten, suche ich nach einer praktischen Alternative für unser Setup.
Aktuell:
- zwei identische Dell Server (Proxmox mit drbd)
- ein etwas kleiner dimensionierter Server (im Proxmox mit drin)

Die beiden identischen Server haben 2x die gleiche Speicherkapazität, synct sich bislang übers drbd.

Mit der neuen Lösung benötigen wir kein HA. Online oder sogar auch offline Migration reicht uns aus.

Bzgl. Ceph gefällt uns die direkte Integration in Proxmox, hören allerdings dass immer drei Nodes benötigt werden. Würde der kleine Server "reichen" als Monitor Node ohne entsprechender Leistung und Storage?

Vielen Dank,
Sebastian

 

[fabian]

3 nodes mit (mehreren) OSDs ist minimalvorraussetzung um ceph produktiv einzusetzen, mehr ist besser. wenn ihr kein HA benötigt, ist asynchrone replikation mit ZFS eventuell auch eine option? ist ein noch recht neues feature und derzeit (noch) nicht (wirklich) kompatibel mit HA und live migration, aber die offline migration wird dadurch deutlich schneller weil nur der unterschied zum letzten replizierten state migriert werden muss.

 

[foxpalace]

Hi - naja, bei ZFS würde ich schon durchweg SSDs empfehlen - ZFS ist für schnelle Platten ausgelegt.
Bei Ceph kann ich dir sagen, ja, dass passt mit dem dritten Rechner, aber auch hier den CEPH-Cache (bei allen Rechnern) auf einer SSD ablegen.

 

[Alwin]

Hi - naja, bei ZFS würde ich schon durchweg SSDs empfehlen - ZFS ist für schnelle Platten ausgelegt.

ZFS kann mit jeglichen Platten betrieben werden. Je schneller, desto besser.

CEPH-Cache

Von was für einem Cache sprichst du? Filestore hat ein Journal, Bluestore hat eine Datenbank und ein Write-allocation-log, das auf einer separaten Platte abgelegt werden kann. Deren Caches selbst liegen im RAM. librbd, besitzt einen Cache Mechanismus, der es erlaubt die RBD schreib/lese Operationen für jedes RBD image zu cachen (RAM).

 

[foxpalace]

ZFS: txg_sync kann bei SATAs schon sehr die IO ausbremsen - das habe ich mal getestet um überhaupt zu erfahren, was es damit auf sich hat. Der Sync hat das System schon mehrere Sekunden lahm gelegt.
Bei Ceph bin ich noch komplett mit der 0.94.10 unterwegs und rede daher vom Journal.