PVE Cluster + CEPH = LAN???

Quickly

Well-Known Member
Sep 16, 2012
97
4
48
Hallo.
Ich habe mal wieder ein spezielles Projekt... und bevor ich da was mache wollte ich die Spezialisten fragen.
# Generelle Info
  • Ich möchte einen Cluster bauen.
  • 3x PVE mit jeweils 4x Samsung PM9A1 2TB M.2 NVMe = 7000 MBps (lesen)/ 5100 MBps (Schreiben)
  • Also ein CEPH-Verbund mit insgesamt 12x Samsung PM9A1 2TB M.2 NVMe = 7000 MBps (lesen)/ 5100 MBps (Schreiben)
  • NVMe werden über PCIe 4.0 laufen.
  • Das CEPH soll/wird komplett über LAN laufen, klar.
Aber was nehme ich nun für ein LAN Speed????

  • 100Gbe, die günstigen HP Switche > ca. 2.500 EUR > machen angeblich, pro QSFP 100Gbe "nur" 4x 25Gbe... keine Ahnung wie das gehen soll. Jedenfalls soll die Performance bei Benchmark dann schlecht sein... jedenfalls wenn man das Geld für die Switche + Netzwerkkarten ausgibt.
  • 100Gbe, die echt teuren > kommen für mich nicht in Frage wegen Budget. ;) Aber ich vermute mal, dass die dann können...
  • 40Gbe > habe einen Link gefunden und nun bin ich total verwirrt...!!! Die Preise bei Netzwerkkarte und Switch sind natürlich total genial! :cool: Aber reicht das dann auch um die Samsung PM9A1 (7.000 MBps) zu beglücken? (https://www.home.uni-osnabrueck.de/gskalla/durchsatz.html)
# Frage
  • Hier würde ich mich über einen fundierten Rat freuen! Bevor ich was kaufe was ich mir in die Haare schmieren kann.
  • Evtl. auch mit einer Hardwareempfehlung?!?! Nur wenn es geht. (Bei den Netzwerkkarten habe ich gute Erfahrungen mit den Mellanox gemacht.)
Vielen Dank für Eure Zeit und Hilfe.
Lars
 
Hi, ich baue meine 3Node Ceph Cluster meistens mit 2x MikroTik CRS504 für Ceph.
Bei 3x Kioxia NVMe mit ähnlicher Performance wie deine Samsung, bekomme ich bei einem Fullsync (crash und neuinstallation eines kompletten Nodes) bis zu 60GBit ausgelastet.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!