Proxmox Ceph Cluster sizing

[MLOrion]

Moin Zusammen

wir planen einen Proxmox Cluster mit 4 Nodes

Konfig per Node
AMD EPYC 9334 32 Core 2,7 GHz 128MB Cache
768 GB Ram DDR5 5600
10 x Micron 7500 PRO 3,8 TB OSD disks
2x Micron M.2 960GB ZFS boot
1x 2 Ports, 100GbE, QSFP56, Broadcom 57508
1x 4 Ports, 25GbE, SFP+ / SFP28, Broadcom 57504

Mikrotik CRS520-4XS-16XQ-RM Switch für Ceph Netzwerk.

Nun die Frage: reicht das Verhältnis Hauptspeicher zu Ceph OSD Speicher? Macht die gesamte Konfig so Sinn ?

 

[UselessWolf]

Ähm… Hi?
Ich bin nur der nutzlose Wolf hier im Clusterwald, also bitte nicht hauen, wenn ich daneben liege… aber:


Ihr habt da 'ne Konfiguration, die klingt, als hättet ihr beim Setup +5 auf Netzwerk gewürfelt… und vielleicht eine kritische 1 bei „CPU-Verhandlung“?
Der EPYC 9334 – 32 Cores, klingt edel, klingt klug. Aber wenn das 100GbE-Netz loslegt, Ceph anfängt seine wilden Rebalancing-Rituale zu tanzen…
Könnte es sein, dass die CPU dann anfängt, mit sich selbst zu diskutieren? In einer Sprache, die nicht mal ZFS versteht?


RAM?
Da sag ich nix gegen. 768 GB klingt für mich nach „göttliche Intervention“. Vielleicht sogar overkillig schön? Die OSDs werden da sicher in goldenen Hallen tanzen.


Aber Netzwerk…
100GbE und 25GbE?
Ist das vielleicht… ein bisschen viel? Ich meine, das ist ja quasi, als hättet ihr einem Goblin eine Railgun gegeben. Sieht krass aus – aber… was, wenn der CPU beim nächsten Ceph-Bosskampf anfängt zu schreien?


Ich frag nur, weil…
– Kann der 9334 das überhaupt alles stemmen, wenn's heiß wird?
– Oder braucht man da eher einen EPYC mit mehr Takt und mehr… „Ceph-Widerstand“?
– Oder ist alles fein und ich sabbel hier Unsinn, während das Ding fliegt wie ein Datendrache auf Koffein?


Ich beobachte still vom Waldrand aus – deren.
Bin halt nur der nutzlose Wolf. Zwinker.


Möge eure Latenz niedrig sein
und eure Snapshots nie in Vergessenheit geraten.

 

[Falk R.]

Moin Zusammen

wir planen einen Proxmox Cluster mit 4 Nodes

Konfig per Node
AMD EPYC 9334 32 Core 2,7 GHz 128MB Cache
768 GB Ram DDR5 5600
10 x Micron 7500 PRO 3,8 TB OSD disks
2x Micron M.2 960GB ZFS boot
1x 2 Ports, 100GbE, QSFP56, Broadcom 57508
1x 4 Ports, 25GbE, SFP+ / SFP28, Broadcom 57504

Mikrotik CRS520-4XS-16XQ-RM Switch für Ceph Netzwerk.

Nun die Frage: reicht das Verhältnis Hauptspeicher zu Ceph OSD Speicher? Macht die gesamte Konfig so Sinn ?

Hi,
soweit kann die Konfiguration schon passen, aber ich hätte lieber die im pro GB Preis günstigeren 7,68 TB NVMe genommen.
So ganz pauschal kannst du 1 Core + 5GB RAM pro OSD einplanen. Andere Dienste wie Monitor und Manager brauchen aber auch ein klein wenig.

Ähm… Hi?
Ich bin nur der nutzlose Wolf hier im Clusterwald, also bitte nicht hauen, wenn ich daneben liege… aber:

Aber Netzwerk…
100GbE und 25GbE?
Ist das vielleicht… ein bisschen viel? Ich meine, das ist ja quasi, als hättet ihr einem Goblin eine Railgun gegeben. Sieht krass aus – aber… was, wenn der CPU beim nächsten Ceph-Bosskampf anfängt zu schreien?

25G ist inzwischen quasi Standard bei neuen Netzwerken und Ceph mache ich nur unter Wiederstand mit unter 100G. Ich habe auch Kleinkunden mit 3 kleinen NVMe und 100G Netzwerk für Ceph. Sogar bei den drei kleinen NVMe (PCIe3) auf 3 Nodes habe ich im Peak bereits 60GBit gemessen.

 

[s.meier77]

Ja, die meisten vergessen dass CEPH ordentlich CPU und RAM Ressourcen benötigt. Pro OSD lässt sich durchaus ein Kern ausnutzen. Wenn es NVME sind, auch mehr. Ich mag der einzige hier sein, aber CEPH AUF dem Host, welcher auch virtualisieren soll, schränkt aus meiner Sicht die Kapazitätzen für die Virtualisierung zu sehr ein.
Grundsätzlich gilt mindestens 1GB Ram für ein TB Storage: Also mindestens 40GB RAM pro Host für CEPH und bei 10 NMVE mindestens 10 Kerne für die OSDs (um die NVMe aber auszureizen können es durch aus 3 oder mehr pro NVME sein) und jweils 1 weitere für MDS und MON und MGR (ein MDS pro Cluster, 3 oder 5 MON pro Cluster, 1 MGR pro Cluster)

https://docs.ceph.com/en/quincy/start/hardware-recommendations/
https://pve.proxmox.com/wiki/Deploy_Hyper-Converged_Ceph_Cluster

 

[Falk R.]

Ja, die meisten vergessen dass CEPH ordentlich CPU und RAM Ressourcen benötigt. Pro OSD lässt sich durchaus ein Kern ausnutzen. Wenn es NVME sind, auch mehr. Ich mag der einzige hier sein, aber CEPH AUF dem Host, welcher auch virtualisieren soll, schränkt aus meiner Sicht die Kapazitätzen für die Virtualisierung zu sehr ein.
Grundsätzlich gilt mindestens 1GB Ram für ein TB Storage: Also mindestens 40GB RAM pro Host für CEPH und bei 10 NMVE mindestens 10 Kerne für die OSDs (um die NVMe aber auszureizen können es durch aus 3 oder mehr pro NVME sein) und jweils 1 weitere für MDS und MON und MGR (ein MDS pro Cluster, 3 oder 5 MON pro Cluster, 1 MGR pro Cluster)

Wenn das ein Cluster ist, der nur Ceph macht, bin ich bei dir, aber im HCI Setup sehe ich nie so hohe Last. Im Regelfall langweilen sich die OSD und wenn mal Peaklast auftritt, dann wird es halt kurz mal etwas kuschelig auf den Hosts.

Was ein echtes Argument ist, wenn ich trotzdem nur 10 Cores plane für Ceph, aber die Hosts mit Microsoft Lizenzen, durchlizensieren will, dann sollte man das mal neu durchrechnen.

 

[s.meier77]

Wenn das ein Cluster ist, der nur Ceph macht, bin ich bei dir, aber im HCI Setup sehe ich nie so hohe Last

Ja, das stimmt. Dann sollte aber der produktive Storage der VM's (SMB, ausgelastete DBs) nicht auch über das Cliuster laufen, richtig?

 

[Falk R.]

Ja, das stimmt. Dann sollte aber der produktive Storage der VM's (SMB, ausgelastete DBs) nicht auch über das Cliuster laufen, richtig?

So ein Fileserver macht schon etwas Last, aber da bekommt Ceph in der Regel keinen Stress. DB Server machen oft viel weniger I/O als viele Denken, außer man hat den Server gerade neu gestartet und SQL muss den RAM erst einmal wieder füllen. So ein Mittelständler in der größenordnung hat aber mit einem solchen HCI Setup eine gut funktionierende Lösung. Im High End Bereich, wenn ich mehrere Tausend VMs habe, ist das Sizing deutlich komplexer.

 

[Falk R.]

Moin Zusammen

wir planen einen Proxmox Cluster mit 4 Nodes

P.S. wenn möglich eventuell einen 5. kleinen Node ohne OSDs, nur mit einer Corosync Stimme und einem Monitor Deamon laufen lassen.