VMWare -> Proxmox + Ceph

[fidschitown]

Hallo in die Runde!

Auch wir überlegen, einen Übergang von VMWare zu Proxmox zu realisieren.
Stand bisher:
VMWare Cluster 5 Nodes, 2 Storages mit SAS Anbindung

Nun zu unseren Überlegungen:

Unter Beibehaltung der bestehenden 5 Nodes wollen wir die bestehenden Storages gegen ein Ceph-Cluster tauschen.

3 bzw. 4 Ceph Nodes (512 GB, 32C - 3,85 Ghz, 6 NVMe ~7,68 TB)

Ceph private Net 100G geplant für Storage Sync;
public Net 25 bzw. 100G zur Kommunikation zwischen Virt-Node und Ceph-Node
VM Net 25G Kommunikation VM und "extern", sowie PBE
CoroSync 2x
alles getrennt; LACP/ Bond usw.

Da wir ja einerseits die 5 Virt-Nodes behalten wollen und die Ceph-Nodes integrieren wollen, stellen sich einige Fragen:

Kann alles sinnvoll im Sinne von Einheitlichkeit, Support usw. mit Proxmox VE umgesetzt werden, sprich auch die Ceph-Nodes mit PVE und dann keine Virtualisierung? Oder it es sinnvoll dies vollständig von Proxmox abzulösen (Integration RBD)? Wie stellt man dann ggf. den Support sicher?

Besteht die Möglichkeit bzw. ist es sinnvoll ein weiteres Netz VM - > "öffentliches Netz VLAN´s" einzuplanen, sodass die Kommunikation der VM untereinander und mit den CLients usw. dediziert läuft?

In welches Netz integriert man sinnvollerweise PBE, um ggf. kein Bottleneck zu verursachen?

Ist es bei Ceph sinnvoll, eher 6 NVMe ~7,68 TB oder 12 NVMe ~ 3,84 TB zu nutzen?


Viele Fragen und ich hoffe ihr könnt etwas Licht ins Dunkeln bringen?
Vielen Dank dafür schon einmal.
vg Fidschitown

---

Hello everyone!


We are also considering implementing a transition from VMWare to Proxmox.

Status so far:

VMWare Cluster 5 nodes, 2 storages with SAS connection


Now to our considerations:


While retaining the existing 5 nodes, we want to swap the existing storage for a Ceph cluster.


3 or 4 Ceph nodes (512 GB, 32C - 3.85 Ghz, 6 NVMe ~7.68 TB)


Ceph private Net 100G planned for Storage Sync;

public Net 25 or 100G for communication between Virt node and Ceph node

VM Net 25G communication VM and "external", as well as PBE

CoroSync 2x

everything separate; LACP/Bond etc.


Since on the one hand we want to keep the 5 Virt nodes and integrate the Ceph nodes, a few questions arise:


Can everything be implemented sensibly in terms of uniformity, support, etc. with Proxmox VE, i.e. also the Ceph nodes with PVE and then no virtualization? Or does it make sense to completely replace this from Proxmox (integration RBD)? How do you ensure support if necessary?


Is it possible or does it make sense to plan an additional network VM -> "public network VLANs" so that the communication between the VMs and with the clients etc. is dedicated?


In which network does it make sense to integrate PBE so as not to cause a bottleneck?


With Ceph, does it make sense to use 6 NVMe ~7.68 TB or 12 NVMe ~ 3.84 TB?



Lots of questions and I hope you can shed some light on them?

Thank you very much for that.

best regards Fidschitown

 

[Falk R.]

Unter Beibehaltung der bestehenden 5 Nodes wollen wir die bestehenden Storages gegen ein Ceph-Cluster tauschen.
3 bzw. 4 Ceph Nodes (512 GB, 32C - 3,85 Ghz, 6 NVMe ~7,68 TB)

Warum getrennte Ceph Nodes? Spricht etwas bestimmtes gegen HCI?
Eventuell kann man in die 5 Nodes Disks nachstecken und braucht dann eventuell nur 1-2 neue Server, falls die Menge nicht reicht.

Ceph private Net 100G geplant für Storage Sync;
public Net 25 bzw. 100G zur Kommunikation zwischen Virt-Node und Ceph-Node
VM Net 25G Kommunikation VM und "extern", sowie PBE
CoroSync 2x
alles getrennt; LACP/ Bond usw.

Klingt alles gut. Wenn ihr LACP fahrt, habt ihr überall Switches im Stack? Eventuell mal über MLAG oder seine Ableger nachdenken.

Da wir ja einerseits die 5 Virt-Nodes behalten wollen und die Ceph-Nodes integrieren wollen, stellen sich einige Fragen:

Kann alles sinnvoll im Sinne von Einheitlichkeit, Support usw. mit Proxmox VE umgesetzt werden, sprich auch die Ceph-Nodes mit PVE und dann keine Virtualisierung? Oder it es sinnvoll dies vollständig von Proxmox abzulösen (Integration RBD)? Wie stellt man dann ggf. den Support sicher?

Du kannst HCI machen oder Ceph getrennt fahren, es funktioniert beides gleich gut wenn man das Netz vernünftig konfiguriert.
Natürlich hat man bei dedizierten Nodes eventuell mehr Performance, als bei HCI, weil die CPU nicht geshared wird.

Besteht die Möglichkeit bzw. ist es sinnvoll ein weiteres Netz VM - > "öffentliches Netz VLAN´s" einzuplanen, sodass die Kommunikation der VM untereinander und mit den CLients usw. dediziert läuft?

Ja macht aus Securitysicht immer sinn, aber auch nur wenn da eine Firewall dazwischen konfiguriert ist. VLAN Routing auf dem Coreswitch bringt im Normalfall keine Verbesserung außer Broadcast Trennung.

In welches Netz integriert man sinnvollerweise PBE, um ggf. kein Bottleneck zu verursachen?

Bottleneck sehe ich weniger als Problem. Ich würde aus Securitysicht besser ein VLAN für die Hosts und den PBS machen, mit eingeschränktem Zugriff nur für die Admins. Da dürfte bei 2x25G LAN kein echtes Bottleneck entstehen.

Ist es bei Ceph sinnvoll, eher 6 NVMe ~7,68 TB oder 12 NVMe ~ 3,84 TB zu nutzen?

Das kann man nicht pauschal beantworten.
Normalerweise ist bei Ceph, Mehr = Besser.
Wenn du viele Ceph Nodes hast und viele Disks, kannst du den Workload wunderbar verteilen und das Scaleout bringt dann seine Vorteile.
Bei mehr Disks musst du aber auch mehr Ressourcen einplanen. Ich plane (ganz Pauschal) immer 1 Core und 5GB RAM pro OSD extra ein. Bei dedizierten Nodes sollte das weniger ein Problem sein. Nicht Vergessen, für jede Netzwerkverbindung auch genügend CPU einplanen, damit der Traffic auch transportiert werden kann. Bei NVME musst du auch aufpassen, dass du noch genügend PCI Lanes frei hast um später mal ein paar Disks nachrüsten zu können. Außerdem den Pool nie über 80% befüllen.

 

[fidschitown]

Die 5 VirtNodes haben keine Backplane, sodass sie nur zur Virtualisierung eingesetzt werden können.

Die angedachten CephNodes sind mit 32c/64T, 3,85, 512 GB RAM usw. wohl ausreichend dimensioniert. Bin halt mit den Platten unsicher 6 große oder eher 12 kleinere?
In der Backplane wäre in beiden Varianten noch "Luft" zum nachschieben.

Mit dem "Pool" ist klar...da muss man ja etwas rechnen, je nach Ausstattung mit 3 oder4 Nodes bzw. Plattengröße und Ausfallvarianten 3/2 oder 4/2....viele Empfehlungen laufen ja eher in Richtung 4. Wie ist hier eure Erfahrung?

Mir ist dies mit den getrennten Netzen noch nicht so klar. Für Ceph -> interne Kommunikation private ist klar. Aber wie funktioniert es bei getrennten VirtNodes und CephNodes die Kommunikation, nur im public? Bzw. wie lässt sich definitiv dies vom Datenverkehr Server untereinander, Clients, Firewall usw. trennen?

Und Ceph dann trotzdem Proxmox installieren oder lieber ein Linux only?

vg

 

[Falk R.]

Die 5 VirtNodes haben keine Backplane, sodass sie nur zur Virtualisierung eingesetzt werden können.

Klingt nach DELL, wenn du keine Disks mitkaufen willst, lassen die einfach die Backplane weg.

Die angedachten CephNodes sind mit 32c/64T, 3,85, 512 GB RAM usw. wohl ausreichend dimensioniert. Bin halt mit den Platten unsicher 6 große oder eher 12 kleinere?
In der Backplane wäre in beiden Varianten noch "Luft" zum nachschieben.

Die CPUs sind dezent overzized für die paar OSDs. Die Backplane ist ja nur eine Komponente, die CPU braucht auch genügend PCI Lanes um alle NVMEs anzusprechen, außer du hast einen PCI Switch verbaut, aber die habe ich immer wieder mal Zickig erlebt.

Mit dem "Pool" ist klar...da muss man ja etwas rechnen, je nach Ausstattung mit 3 oder4 Nodes bzw. Plattengröße und Ausfallvarianten 3/2 oder 4/2....viele Empfehlungen laufen ja eher in Richtung 4. Wie ist hier eure Erfahrung?

Bei den meisten kleinen Clustern in einem Raum mache ich 3/2, bei 2 Raum Setups in der Regel 4/2.

Mir ist dies mit den getrennten Netzen noch nicht so klar. Für Ceph -> interne Kommunikation private ist klar. Aber wie funktioniert es bei getrennten VirtNodes und CephNodes die Kommunikation, nur im public? Bzw. wie lässt sich definitiv dies vom Datenverkehr Server untereinander, Clients, Firewall usw. trennen?

Oft habe ich Ceph Cluster und Ceph Client gemischt. Sonst benötigst du Ceph Cluster nur zwischen den Ceph Nodes und das Ceph Client zwischen allen Nodes die als Host oder Ceph Client agieren. Public Netze (für VMs) bitte immer schön fern halten.

Und Ceph dann trotzdem Proxmox installieren oder lieber ein Linux only?

Ich installiere auch PVE für Ceph als Backup Target für Veeam. Ich persönlich finde die auf das wesentliche reduzierte GUI von Proxmox am besten.
Das ist aber wie immer Geschmackssache.