PVE Cluster + CEPH = LAN???

Quickly

Renowned Member
Sep 16, 2012
107
8
83
Hallo.
Ich habe mal wieder ein spezielles Projekt... und bevor ich da was mache wollte ich die Spezialisten fragen.
# Generelle Info
  • Ich möchte einen Cluster bauen.
  • 3x PVE mit jeweils 4x Samsung PM9A1 2TB M.2 NVMe = 7000 MBps (lesen)/ 5100 MBps (Schreiben)
  • Also ein CEPH-Verbund mit insgesamt 12x Samsung PM9A1 2TB M.2 NVMe = 7000 MBps (lesen)/ 5100 MBps (Schreiben)
  • NVMe werden über PCIe 4.0 laufen.
  • Das CEPH soll/wird komplett über LAN laufen, klar.
Aber was nehme ich nun für ein LAN Speed????

  • 100Gbe, die günstigen HP Switche > ca. 2.500 EUR > machen angeblich, pro QSFP 100Gbe "nur" 4x 25Gbe... keine Ahnung wie das gehen soll. Jedenfalls soll die Performance bei Benchmark dann schlecht sein... jedenfalls wenn man das Geld für die Switche + Netzwerkkarten ausgibt.
  • 100Gbe, die echt teuren > kommen für mich nicht in Frage wegen Budget. ;) Aber ich vermute mal, dass die dann können...
  • 40Gbe > habe einen Link gefunden und nun bin ich total verwirrt...!!! Die Preise bei Netzwerkkarte und Switch sind natürlich total genial! :cool: Aber reicht das dann auch um die Samsung PM9A1 (7.000 MBps) zu beglücken? (https://www.home.uni-osnabrueck.de/gskalla/durchsatz.html)
# Frage
  • Hier würde ich mich über einen fundierten Rat freuen! Bevor ich was kaufe was ich mir in die Haare schmieren kann.
  • Evtl. auch mit einer Hardwareempfehlung?!?! Nur wenn es geht. (Bei den Netzwerkkarten habe ich gute Erfahrungen mit den Mellanox gemacht.)
Vielen Dank für Eure Zeit und Hilfe.
Lars
 
Hi, ich baue meine 3Node Ceph Cluster meistens mit 2x MikroTik CRS504 für Ceph.
Bei 3x Kioxia NVMe mit ähnlicher Performance wie deine Samsung, bekomme ich bei einem Fullsync (crash und neuinstallation eines kompletten Nodes) bis zu 60GBit ausgelastet.