Kaufempfehlung für CEPH-Cluster - Samsung SSD's

[Ronny]

Hallo zusammen,

für einen Proxmox-CEPH Cluster bestehend aus 7 Nodes habe ich vor, 42x 960GB SSDs zu verbauen, um auf meine benötigte Brutto Kapazität von ca. 57TB zu kommen.
Hierzu hatte ich mir die Samsung PM883 aufgrund Preis/Leistung ausgesucht.
Im Gegensatz zur SM883 ist sie ca. 100€ günstiger, hat aber "nur" 1,3 TBW.

https://www.compuram.de/documents/datasheet/SM883_SAMSUNG.pdf
https://www.compuram.de/documents/datasheet/pm883_SAMSUNG.pdf


Auf den Cluster kommen ca. 200VMs mit größtenteils Diensten (Webserver, DC's, Firewalls, Gitlabs usw.) - also eigentlich nichts schreib intensives.

Sollte ich dennoch die SM883 wählen?
Wenn ich das TBW monitore, sollte ich ja auf der sicheren Seite sein mit dem PM883...
Hat jemand mit der PM883 Erfahrung?


Vielen Dank


mfg
Ronny

 

[dcsapak]

kann leider nichts konkretes zu den disken sagen aber schon das paper gesehen: https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/

abgesehen davon:

42x 960GB SSDs zu verbauen, um auf meine benötigte Brutto Kapazität von ca. 57TB

irgendwie komm ich nicht auf die 57 TB: 42*960 = 40320; 40320/3 = 13440 = 13,4 TB

 

[Ronny]

Sorry, da habe ich ein paar Details unterschlagen - es kommen noch ein paar vorhandene Disks dazu (separate OSD-Klassen, separate Disk-Pools) und es wird einen store-pool mit nur 2er Replika geben (unkritische Daten).

Ja, an dem Paper hatte ich mich anfangs orientiert, bin dann aber eben durch Konfiguration der Hardware auf die PM883's gestoßen.
CEPH verursacht wohl schon viel Platten-IO - nur weis ich nicht, ob das für meine Konfig nicht oversized ist?

 

[scaa]

Wir setzen das Vorgängermodell "SM863 960 GB" (also das mit mehr Schreibkapazitä) in ca- 25 Servern ein. Jeweils 4 Platten im Raid 10 und Raid-Controllern Adaptec 8805 und haben bislnag nur gute Erfahrungen gemacht.

 

[wolfgang]

Hi,

Zur PM ist zu sagen das sie die langsame ist und nicht so hohe IOPS hat.
Die SM ist für Datenbanken gemacht sie viele IOPS haben.

Die Frage ist eher kannst du den Geschwindigkeit unterschied verkraften ;-)
Ich glaube bei 42 SSD wahrscheinlich schon.
Der unterschied liegt laut Spec bei 4K IOPS was sehr glaubwürdig ist.

Wir haben hier leider noch keine zum testen du und können deswegen nichts sagen.
Auf der Ceph liste ist einer enttäuscht von der Platte obwohl er nur einen fio bench gemacht hat.

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2019-February/033308.html

PS die 883 DCT ist nicht zu empfehlen auch wenn der schreibt das sie gut ist.
Problem ist das sie SLC cache verwendet und die Leistung nicht lange halten kann.

 

[Ronny]

danke für die Rückmeldungen - habe mich nun doch für die SM883 entschieden.
Konnten preislich noch was drehen; haben ein projektpreis bekommen und dann ist der unterschied nicht mehr ganz so groß gewesen.

bin gespannt auf die dinger und wie es abgeht