Hyperconvered Public/Cluster Network Verständnis Frage

[lucavornheder]

Hi,
habe vor ein paar Wochen meine PVE-Advanced Schulung abgeschlossen und habe daraus entnommen, das, dass public Network im Ceph in erster Linie dafür da ist, dass VM's auf Ihre primären OSD's zugreifen können. Das Cluster-Network ist dann für die Replizierung auf die sekundären und teritären OSD's zuständig.

Ein Standard Setup meiner Kunden sind 3 Nodes im Ring/Mesh. Pro Node haben wir dann eine dual-Port 100G Karte und Onboard 1G interfaces.
Die 100G im Ring konfigurieren wir dann als Cluster Network und die Onboard 1G interfaces dann als public network. ggf. haben wir noch weitere 1G interfaces für redundantes corosync. Meistens sind die Kisten voll mit nvme's bestückt.

Sehe ich es richtig, dass ein großes Bottleneck des Setups das Public network ist? Wenn auf eine primäre OSD zugreifen wird, kann man Glück haben und diese liegt auf dem selben Node. Oder man hat Pech, dann muss der Zugriff auf die primäre OSD über die 1G Verbindung laufen. Nur für die replizierung werden ja die 100G genutzt.

Macht es ggf. Sinn das Cluster-network nicht zu konfigurieren und als Public Network gleich die 100G zu nehmen? Als corosync könnte man dann weiterhin die 1G interfaces nutzen.

Gruß
Luca

 

[Neobin]

Vorweg: Ich bin kein Experte, daher auch nur, wie ich es verstehe; aber das Thema hatten wir gerade letztens im englischen Bereich des Forums: [1] [2] [3]

Die 100G im Ring konfigurieren wir dann als Cluster Network und die Onboard 1G interfaces dann als public network.

Sehe ich es richtig, dass ein großes Bottleneck des Setups das Public network ist?

Korrekt.

Macht es ggf. Sinn das Cluster-network nicht zu konfigurieren und als Public Network gleich die 100G zu nehmen? Als corosync könnte man dann weiterhin die 1G interfaces nutzen.

Korrekt.

Unterm Strich: Haben das Public- und das Cluster-Netzwerk unterschiedliche Geschwindigkeiten, beschränkt das langsamere Netzwerk die Geschwindigkeit des kompletten Ceph-Clusters (auf die des langsameren Netzwerks).

Oder anders gesagt: Wenn man für beide Netzwerke (Public und Cluster) keine zwei separaten Links mit der gleichen (schnellen) Geschwindigkeit zur Verfügung stellen kann/will, einfach beide Netzwerke über den selben (schnellen) Link laufen lassen / kein Cluster-Netzwerk konfigurieren.

Jemand mit mehr Ahnung, möge mich bitte korrigieren, falls nötig!

[0] https://docs.ceph.com/en/latest/rad...k-config-ref/#network-configuration-reference
[1] https://forum.proxmox.com/threads/performance-ceph-vs-linu-vm.115238/#post-503491
[2] https://forum.proxmox.com/threads/p...d-of-900mb-6-times-slower.116333/#post-504028
[3] https://forum.proxmox.com/threads/p...00mb-6-times-slower.116333/page-2#post-504257

 

[ITT]

Oder anders gesagt: Wenn man für beide Netzwerke (Public und Cluster) keine zwei separaten Links mit der gleichen (schnellen) Geschwindigkeit zur Verfügung stellen kann/will, einfach beide Netzwerke über den selben (schnellen) Link laufen lassen / kein Cluster-Netzwerk konfigurieren.

So machen wir das auch für "kleinere" Setups -> 100GB ist da ausreichend.