Kann Ceph Flaschenhals nicht finden

[illumina7]

Also du meinst MIkroTik Switche funktionieren vernünftig mit Ceph?
Hab den hier schon im Warenkorb: https://www.omg.de/mikrotik/cloud-r...loud-router-switch-crs518-16xs-2xq_26449_5294

Außer ein paar alte Beiträge habe ich sonst kaum aussagekräftigen Input zu MikroTik+Ceph finden können.

 

[waltar]

Würde gebrauchte Omnipath Switche (~350€, 48ports 100Gb), Karten und Kabel empfehlen, läßt sich preislich damit auch redundant beschaffen

 

[Falk R.]

Den CRS518 habe ich am häufigsten als iSCSI Switch bei Kunden. Die 100G Ports nutzen wir da für das Speichersystem und die 25G für die Hosts, aber wenn du dir 0,5m qsfp28 DAC Kabel dazu kaufst, kannst du die beiden Switches dann mit MLAG fahren und die Hosts dann mit 2x - 4x 25G.
Ich persönlich nutze gern 100G für Ceph. Bei kleinen 3 Node Clustern mit zwei CRS504 sonst ist der neue CRS520 (https://mikrotik.com/product/crs520_4xs_16xq_rm) auch ganz gut.

@waltar
Bei den Onmipath würde ich vorsichtig sein, da gibt es unmanaged Modelle und Managed. Die ganz günstigen sind oft die unmanaged und somit nicht so Praktisch wenn man echte Redundanz möchte.
Außerdem ist der Stomverbrauch von den Dingern auch deutlich höher und sollte mit einkalkuliert werden, bei USV und Klimaplanung.

 

[waltar]

Die managed OPA switche braucht man nur bei Switch fabric, meist sind aber die 48x 100Gb ausreichend. Redundanz kann auch ein eth fallback Netz sein.
PS: Im HPC Bereich haben die Racks idR keine USV, noch fällt der Strom und Wärme zur Anzahl der Nodes irgendwo in's Gewicht.
Performance ist halt auch nicht umsonst.

 

[Falk R.]

Aber wenn du zwei Switches für Redundanz zusammenschalten willst, entweder per Stack oder MLAG.
Bei unmanaged Switches kannst du als einzig 100% zuverlässiges active/backup nutzen.

 

[waltar]

Bei 100G in einem privaten pve und oder ceph Netzwerk nur zur Migration oder Storagezugriff braucht man nun wirklich nichts zusammenschalten, da kommen die vm's und lxc's mit 10GB/s garnicht mit der Datenverarbeitung nach.

 

[waltar]

Mit Privat-Netz meine ich natürlich Netz nur untereinander unter den pve und/oder Ceph Nodes - und nicht ein privaten PVE Nutzer !

 

[illumina7]

Mit OPA habe ich mich bisher noch überhaupt nicht auseinandergesetzt. Obwohl es grundsätzlich schon interessant klingt weiß ich nicht wie gut IPoOPA funktioniert vor allem in Verbindung mit Ceph. Hast du damit Erfahrungen?

 

[waltar]

Grob gesagt ist opa ein intel Nachbau von Mellanox Infiniband und wird idR für rdma MPI Rechnen über mehrere Nodes benutzt. Eigentlich braucht man nur die standard ib und paar opa Pakete und einen Dienst. Für IPoIB (=IPoOPA) brauchst du nur noch IP's auf die ib0 Interfaces setzen, fertig. Günstiger kommt man nicht an 100Gb Netz ran, betreiben sowas für HPC und beegfs Filesysteme.

 

[illumina7]

Hm ohne konkrete Ceph Erfahrungen ist mir das als Experiment bei begrenztem Budget zu riskant.

 

[waltar]

Guck mal hier https://forum.level1techs.com/t/proxmox-with-intel-omni-path-fabric-how-to-cautionary-tale/198762

 

[illumina7]

Das hatte ich auch schon überflogen, viel mehr habe ich aber auch nicht gefunden. Ist mir trotzdem bisschen zu wenig um mit der Grundlage zu experimentieren. Wenn es nämlich bescheiden läuft dann wirds noch viel teurer. Für die OPA HW bin ich ja trotzdem mit 1000-1500€ rum dabei. (4 Nodes + Backup Server, Dual NIC Cards) und dass es nur alte Treiber gibt finde ich jetzt auch nicht gut, wer weiß ob die mit den neuen und kommenden Kernel Versionen überhaupt noch vernünftig funktionieren.

Edit: typo

 

[waltar]

Läuft mit orig. RHEL/Rocky alle 8/9 Paketen, nichts von Intel oder Cornelis an Treibern zu holen. Karten haben alle nur 1port !

 

[illumina7]

Achso dann ist das sowieso keine Option, kann maximal eine OPA Karte pro Server einbauen, alle anderen PCIe Slots sind schon belegt (HBA, VM/Frontend 10G NICs). Könnte also Ceph Public und Cluster Traffic nur über eine einzige 100G Verbindung schicken.

Edit: das wäre natürlich trotzdem ein massives Upgrade bezüglich Bandbreite und Latenz, aber Redundanz ist nicht drin und ich weiß auch nicht wie gut das klappt den kompletten Ceph Traffic über eine Verbindung zu schicken.