Fragen zu einem Ceph Cluster Setup

[Gandalf123]

Hallo zusammen,

ich trage mich mit dem Gedanken einen 3 Node Proxmox Cluster mit Ceph als VMWare Ersatz aufzubauen.

Als Hardware habe ich an 3x Dell PowerEdge R750 Server mit je 16 Core Xeon Gold und 192 GB Ram sowie HBA Controller gedacht.

Hier gibt es ja diverse Controller von DELL welche HBA unterstützen, gibt es hier Unterschiede bei der Perfomance oder muss ich da auf was bestimmtes achten?

Für das Ceph Storage hätte ich je 2 Karten mit 2x 40 Gbit verbaut und diese jeweiles zu 2 LCAP Bonds zusammengefasst und mittels direkt Verbindung und Routing die 3 Nodes verbunden. Dann hätte ich ja die Ausfallsicherheit von je einem Link von Server zu Server. Wäre das ein gutes Setup?

Für Ceph hätte ich dann je Server zum Start 4 OSDs a 1,92 TB Samsung PM9A3 NVMEs verbaut.

Da mir leider die Erfahrung mit der Performance von Ceph fehlt, würde mich einmal interessieren was hier so für eine Perfomance mit den Komponenten zu erwarten wäre oder ob ich noch etwas optimieren könnte/ sollte. Es sollen einige Datenbanken Linux VMs auf dem Cluster betrieben werden.

Vielen Dank schon einmal für euren Rat und Vorschläge.

Grüße
Marco

 

[gurubert]

2x 25G sind aufgrund der geringeren Latenzen besser als 2x 40G.
Für NVMe braucht es keinen HBA-Controller, da diese ja direkt am PCI-Bus hängen.

 

[Gandalf123]

Hallo Gurubert,

danke für den Hinweis mit dem 25G. Reichen denn 25G bei NVMe aus und wie sehr macht sich denn die Latenz bemerkbar?

Hast du Erfahrungen mit der Performance von so einem Setup?

Viele Grüße
Marco

 

[Falk R.]

Es gibt einen offiztiellen Benchmark hier im Forum angepinnt.
Da die Anforderungen je nach Umgebung sehr unterschiedlich sind, könne wir keine Aussage treffen ob das eine gute Performance für dich ist.
Mit 4xNVMe und 2x25 erhällst du schon ganz gute Werte, wenn du die NVMe voll ausreizen willst müsstes du auf mindestens 100GBit gehen, aber das brauchst du vermutlich in diesem kleinen Setup nicht. Außerdem wären die kleinen CPUs dann auch schon vom Ceph ausgelastet.

Mal ganz paschal ohne Garantie, würde ich sagen, das reicht dann locker für dich.