Fragen bzgl. erster Proxmox / CEPH Installation

[FrankyT]

Hallo,

ich bin gerade damit beschäftigt unseren ersten Cluster mit Proxmox zu installieren und hätte noch die ein oder
andere Frage.

Hardware Daten:

6 Server mit je

2x AMD Epyc 9124
768GB RAM
6x 3,84TB NVME SSD
2x 2Port 25G NIC


Workload:

~100-120 Windows/Linux VMS



Auf den Servern habe ich jetzt mal Proxmox installiert und mit der Storage Einrichtung angefangen.
Für den Storage Pool habe ich testweise einen Ceph Pool mit 3/2 erstellt somit sollte ich Nutzbar ~40TB Speicherplatz haben oder?

Zusätzlich habe ich einen Test durchgeführt mit einem EC Pool mit k=3 und m=2.

Relevant wäre für mich das der Cluster im Ausfall Fall von 2 Servern weiterhin funktioniert.


Mich würde jetzt interessieren wäre die EC Konfiguration mit k=3 und m=2 für einen Cluster mit 6 Knoten korrekt und gibt es Gründe wieso
ich doch lieber auf die Ceph Replikation setzten sollte anstatt EC.

Ebenfalls hätte ich noch weitere 4 Server mit einer ähnlichen Konfiguration jedoch ohne Internen Speicher (wurden in der Vergangenheit mit einer
externen Storage betrieben via FC) wäre es möglich diese Knoten in den Cluster aufzunehmen und nur als "compute nodes" einzusetzen.


Würde mich über Tipps freuen.

Danke euch!

 

[aaron]

Für den Storage Pool habe ich testweise einen Ceph Pool mit 3/2 erstellt somit sollte ich Nutzbar ~40TB Speicherplatz haben oder?

Wenn die OSDs sehr gleichmäßig voll sind, sollte der Nutzbare Speicher bei 3/2 sich in dem Rahmen abspielen.

Zusätzlich habe ich einen Test durchgeführt mit einem EC Pool mit k=3 und m=2.

Relevant wäre für mich das der Cluster im Ausfall Fall von 2 Servern weiterhin funktioniert.


Mich würde jetzt interessieren wäre die EC Konfiguration mit k=3 und m=2 für einen Cluster mit 6 Knoten korrekt und gibt es Gründe wieso
ich doch lieber auf die Ceph Replikation setzten sollte anstatt EC.

Je nach Workload ist die Performance evlt. nicht ganz so gut. Aber dafür ist mehr Netto vom Bruttospeicher verfügbar.
EC Pools sind generell weniger flexibel as replicated. D.h., bei einem Replicated Pool kann man z.B. die Anzahl der Replicas "schnell" ändern. Bei einem EC Pool geht das gar nicht -> neuer Pool.

Ebenfalls hätte ich noch weitere 4 Server mit einer ähnlichen Konfiguration jedoch ohne Internen Speicher (wurden in der Vergangenheit mit einer
externen Storage betrieben via FC) wäre es möglich diese Knoten in den Cluster aufzunehmen und nur als "compute nodes" einzusetzen.

Wenn sie ähnlich schnell auf das Ceph (Public) Netzwerk zugreifen können spricht nichts dagegen. Sie können entweder direkt im gleichen Proxmox VE Cluster verwendet werden, oder als eigener Cluster Ceph als externes RBD Storage einbinden.

Im ersten Fall (im gleichen Cluster), bietet es sich an, trotzdem die Ceph Pakete zu installieren. Dann könnte man z.B. Ceph Dienste die keine OSD sind, auf diese Nodes legen (MON, MGR, MDS) und so die Grundlast besser verteilen.

Im zweiten Fall (extra Cluster), bieten sich RBD Namespaces an, um im gleichen Pool die Proxmox VE cluster logisch zu trennen.
rbd namespace create {pool}/{namespace}
https://docs.ceph.com/en/latest/man/8/rbd/

 

[FrankyT]

Danke für deine Tipps bzgl. dem Einbinden der "alten" Hardware dann werde ich das wohl im Selben Cluster machen die Server haben ebenfalls jeweils 4x 25G auf 2 Nics aufgeteilt.

Je nach Workload ist die Performance evlt. nicht ganz so gut.

ich habe das jetzt mal mit rados bench auf beiden Pools nachgestellt ist das hierfür ein geeigneter benchmark oder würdest du hier etwas anderes empfehlen?

der replicated pool ist bei einem Test auf 1200 Sekunden ~5-10% schneller gewesen und die Latenzen waren auch besser jedoch nicht um viel

 

[aaron]

Du könntest dir noch rbd bench anschauen. Da benchmarkt man dann nicht nur den Object-Layer, sondern den RBD layer.
Aber wenn die Performance ausreichend ist und der verfügbare Speicherplatz wichtiger ist, dann nehmt mal einen EC pool. Falls man dann merkt, dass das in der Praxis doch zu langsam ist, kann man parallel auch einen replicated Pool anlegen. Die Disk Images können dann mit Disk Action -> Move Storage auf den anderen Storage, der für den neuen Pool angelegt wurde, verschieben.

 

[FrankyT]

Hallo nochmal,

mittlerweile haben wir den Cluster im Produktiven Einsatz und schon einen Teil des alten HCI Clusters migriert.
Nun stellt sich mir noch die Frage wie ich die alten HCI Knoten in den bestehenden Proxmox / Ceph Cluster einbinden kann.

Wenn ich auf die alten Server Proxmox installiere und diese aufnehme in den Cluster muss ich danach nur die Ceph Pakete installieren und sie bekommen die Pools automatisch oder muss ich diese irgendwie mounten?


SG
THomas

 

[aaron]

Die alten Server haben keine OSDs oder?

Dann sollten diese Nodes mit dem Netzwerk auch entsprechend konfiguriert sein, dass sie schnell am Ceph Public Netzwerk hängen. Ansonsten ja, installieren, dem Proxmox VE Cluster beitreten und idealerweise die Ceph Pakete installieren. Dann können diese Nodes auch mal einen MGR oder MON beherbergen, falls es nötig ist.

 

[FrankyT]

Die alten Server haben keine OSDs oder?

Dann sollten diese Nodes mit dem Netzwerk auch entsprechend konfiguriert sein, dass sie schnell am Ceph Public Netzwerk hängen. Ansonsten ja, installieren, dem Proxmox VE Cluster beitreten und idealerweise die Ceph Pakete installieren. Dann können diese Nodes auch mal einen MGR oder MON beherbergen, falls es nötig ist.

Genau die Server haben nur ein M.2 Mirror Kit für die OS Installation und keine weiteren Platten verbaut Netzwerktechnisch würde ich jeweils einen LACP mit 2x25G für die Anbindung nutzen

2x 25G Cluster Netzwerk
2x 25G Ceph Netzwerk

War mir eben unsicher ob die Ceph Pakete darauf trotzdem installiert werden "dürfen" bzw. sollten aber in diesem Fall werde ich die Ceph Pakete mit installieren und teste das sobald der erste Server komplett leer ist.

SG
Thomas

 

[Falk R.]

Genau die Server haben nur ein M.2 Mirror Kit für die OS Installation und keine weiteren Platten verbaut Netzwerktechnisch würde ich jeweils einen LACP mit 2x25G für die Anbindung nutzen

2x 25G Cluster Netzwerk

Damit meinst du vermutlich das VM Netzwerk?

2x 25G Ceph Netzwerk

Das ist dann das Ceoh Public.

War mir eben unsicher ob die Ceph Pakete darauf trotzdem installiert werden "dürfen" bzw. sollten aber in diesem Fall werde ich die Ceph Pakete mit installieren und teste das sobald der erste Server komplett leer ist.

Ja die kommen drauf, damit bekommen die Hosts auch automatisch über die Clusterkonfiguration zugriff auf den/die pools.

SG
Thomas

 

[FrankyT]

Damit meinst du vermutlich das VM Netzwerk?

Ja genau das VM Netzwerk und den 2. LACP Bond für das Ceph Public.

Ja die kommen drauf, damit bekommen die Hosts auch automatisch über die Clusterkonfiguration zugriff auf den/die pools.

Danke nochmal für die Bestätigung dann werd ich das Thema jetzt bald mal angehen