Netzwerk Hardware für CEPH Cluster mit 7 Nodes

[Alexander Marek]

Hallo Alvin,

ich weiß nicht ob Du dich noch an uns erinnern kannst, wir hatten im Dezember eine (wirklich sehr gute) Proxmox advanced Schulung, bei welcher Du der Trainer warst.
Wir befinden uns mittlerweile kurz vor Beginn der Installation der Systeme (CEPH Cluster mit 7 Nodes, welche alle lizenziert werden für 2 Cores ), sind aber noch etwas verunsichert was die 2 Switches (2 wegen Redundanz, Stichwort bonding) bezüglich CEPH Cluster angeht.
Wir wollen natürlich mit 10 GBIT RJ45 arbeiten (die Server befinden sich alle im selben Rack) und haben von unseren Händlern folgende (teilweise schon recht teure) Angebote bekommen:

HPE FlexFabric 5700 32XGT 8XG 2QSFP+ Switch
HPE Aruba 3810M-40G-8SR-PoE+ Switch
DELL EMC Networking S4112T
Netgear XS728T

Da hier die Preise recht unterschiedlich ausfallen ca. 2.200 Euro bis zu 6.500 Euro, sind verunsichert ob hier nicht die billige Variante von Netgear oder Dell ausreichen würde.
Grundsätzlich werden auf diesem Cluster hauptsächlich Webapplikationen laufen.

Könntest Du uns hierzu eventuell ein Feedback geben?

Danke im Vorhinein

LG, Alex

 

[Alwin]

Schwer dazu etwas zu sagen, da ich zwar von allen Herstellern schon Switches in der Hand hatte, aber genau von der Liste nur den Netgear XS728T. Und von dem Rate ich aus eigener Erfahrung ab.

Grob gesprochen, der Preis hat auch seinen Grund. Man muss zwar nicht gleich zum teuersten greifen, aber, "wer billig kauft, kauft zweimal", stimmt durchaus.

Bei Ceph (oder anderen) ist Latenz ein wichtiger Faktor, unabhängig von der Bandbreite. So ist zB. ein Switch der SFP(+) (DAC/LWL) Module aufnehmen kann, einem RJ45 vorzuziehen (überlegen). Je höher ein Switch takten kann, desto geringer die Latenz (meist mit mehr Bandbreite verbunden). Nicht zu unterschätzen ist auch der mögliche Support eines Switches, gibt es einen kompetenten Ansprechpartner und werden für längere Zeit auch Firmware Updates angeboten, sollten Fehler auftauchen.

Am besten mal einen Blick in unser Ceph Benchmark Paper werfen, damit man mal sieht was den so möglich ist.
https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/

 

[Alexander Marek]

Vielen herzlichen Dank

LG, Alex