Fragen bzgl. erster Proxmox / CEPH Installation

[FrankyT]

Hallo,

ich bin gerade damit beschäftigt unseren ersten Cluster mit Proxmox zu installieren und hätte noch die ein oder
andere Frage.

Hardware Daten:

6 Server mit je

2x AMD Epyc 9124
768GB RAM
6x 3,84TB NVME SSD
2x 2Port 25G NIC


Workload:

~100-120 Windows/Linux VMS



Auf den Servern habe ich jetzt mal Proxmox installiert und mit der Storage Einrichtung angefangen.
Für den Storage Pool habe ich testweise einen Ceph Pool mit 3/2 erstellt somit sollte ich Nutzbar ~40TB Speicherplatz haben oder?

Zusätzlich habe ich einen Test durchgeführt mit einem EC Pool mit k=3 und m=2.

Relevant wäre für mich das der Cluster im Ausfall Fall von 2 Servern weiterhin funktioniert.


Mich würde jetzt interessieren wäre die EC Konfiguration mit k=3 und m=2 für einen Cluster mit 6 Knoten korrekt und gibt es Gründe wieso
ich doch lieber auf die Ceph Replikation setzten sollte anstatt EC.

Ebenfalls hätte ich noch weitere 4 Server mit einer ähnlichen Konfiguration jedoch ohne Internen Speicher (wurden in der Vergangenheit mit einer
externen Storage betrieben via FC) wäre es möglich diese Knoten in den Cluster aufzunehmen und nur als "compute nodes" einzusetzen.


Würde mich über Tipps freuen.

Danke euch!

 

[aaron]

Für den Storage Pool habe ich testweise einen Ceph Pool mit 3/2 erstellt somit sollte ich Nutzbar ~40TB Speicherplatz haben oder?

Wenn die OSDs sehr gleichmäßig voll sind, sollte der Nutzbare Speicher bei 3/2 sich in dem Rahmen abspielen.

Zusätzlich habe ich einen Test durchgeführt mit einem EC Pool mit k=3 und m=2.

Relevant wäre für mich das der Cluster im Ausfall Fall von 2 Servern weiterhin funktioniert.


Mich würde jetzt interessieren wäre die EC Konfiguration mit k=3 und m=2 für einen Cluster mit 6 Knoten korrekt und gibt es Gründe wieso
ich doch lieber auf die Ceph Replikation setzten sollte anstatt EC.

Je nach Workload ist die Performance evlt. nicht ganz so gut. Aber dafür ist mehr Netto vom Bruttospeicher verfügbar.
EC Pools sind generell weniger flexibel as replicated. D.h., bei einem Replicated Pool kann man z.B. die Anzahl der Replicas "schnell" ändern. Bei einem EC Pool geht das gar nicht -> neuer Pool.

Ebenfalls hätte ich noch weitere 4 Server mit einer ähnlichen Konfiguration jedoch ohne Internen Speicher (wurden in der Vergangenheit mit einer
externen Storage betrieben via FC) wäre es möglich diese Knoten in den Cluster aufzunehmen und nur als "compute nodes" einzusetzen.

Wenn sie ähnlich schnell auf das Ceph (Public) Netzwerk zugreifen können spricht nichts dagegen. Sie können entweder direkt im gleichen Proxmox VE Cluster verwendet werden, oder als eigener Cluster Ceph als externes RBD Storage einbinden.

Im ersten Fall (im gleichen Cluster), bietet es sich an, trotzdem die Ceph Pakete zu installieren. Dann könnte man z.B. Ceph Dienste die keine OSD sind, auf diese Nodes legen (MON, MGR, MDS) und so die Grundlast besser verteilen.

Im zweiten Fall (extra Cluster), bieten sich RBD Namespaces an, um im gleichen Pool die Proxmox VE cluster logisch zu trennen.
rbd namespace create {pool}/{namespace}
https://docs.ceph.com/en/latest/man/8/rbd/

 

[FrankyT]

Danke für deine Tipps bzgl. dem Einbinden der "alten" Hardware dann werde ich das wohl im Selben Cluster machen die Server haben ebenfalls jeweils 4x 25G auf 2 Nics aufgeteilt.

Je nach Workload ist die Performance evlt. nicht ganz so gut.

ich habe das jetzt mal mit rados bench auf beiden Pools nachgestellt ist das hierfür ein geeigneter benchmark oder würdest du hier etwas anderes empfehlen?

der replicated pool ist bei einem Test auf 1200 Sekunden ~5-10% schneller gewesen und die Latenzen waren auch besser jedoch nicht um viel

 

[aaron]

Du könntest dir noch rbd bench anschauen. Da benchmarkt man dann nicht nur den Object-Layer, sondern den RBD layer.
Aber wenn die Performance ausreichend ist und der verfügbare Speicherplatz wichtiger ist, dann nehmt mal einen EC pool. Falls man dann merkt, dass das in der Praxis doch zu langsam ist, kann man parallel auch einen replicated Pool anlegen. Die Disk Images können dann mit Disk Action -> Move Storage auf den anderen Storage, der für den neuen Pool angelegt wurde, verschieben.