Hallo zusammen,
ich möchte ein PVE Ceph-Cluster mit 3 Nodes konfigurieren und aufsetzen.
Habe folgende Konfiguration gewählt und bin unschlüssig ob das so passen würde, oder ob ein Konstruktionsfehler oder gar Flaschenhals aufgebaut ist.
Je Node folgende Hardware
Gehäuse:
Supermicro 2HE CSE-213AC-R1K23LPB
https://www.supermicro.com/en/products/chassis/2U/213/SC213AC-R1K23LPB#opc
Backplane inklusive
HBA
2x HBA Microsemi 1100-8i
SSD
4x Samsung 1,92TB PM1643a SAS 12 gb/s SSD (sequentiell 2000 / 2100mbs w/r)
(Startsetup - wird kontinuierlich erweitert Ziel ist es alle 16 Ports zu belegen)
Hier bin ich mir unschlüssig bzgl der obigen Frage auf den Flaschenhals.
Wenn ich richtig liege ist bei PCI-E 3.0 8x ein maximaler Durchsatz von ca. 63 gbit/s.
Die Frage ist wenn ich 8 SSD dieser SSD betreibe über den einen PCI 3.0 8x Slot ob hier die Platten ausbremse und ich die Konstruktion anders aufbauen muss.
Die SSD schafft sequentiell theoretisch 16gbit/s schreiben der SAS schafft 12gb/s analog des Ports am HBA.
Somit wäre die Frage was ist eine realistische Einschätzung im Bezug auf lese und schreibwert in einem balanced workload bei dieser SSD?
Hier werde ich die obigen angegebenen Werte sehr warscheinlich nicht erreichen.
Gibts hier Erfahrungen?
Ist diese SSD empfehlenswert?
Auch hier wäre ich für ein Feedback dankbar.
Netzwerk:
2x Intel X710-DA4. Nodes per Full Mesh Network verbunden um Latenz möglichst gering zu halten.
1xIntel I350-T4 Netzwerkkarte - 4x 1GbE RJ45
2x corosync. VLAN oder eventuel ebenfalls im full mesh network?
Motherboard:
Supermicro H11DSi-rev2
https://www.supermicro.com/en/products/motherboard/H11DSi-NT?locale=en
Speicher
4x DDR4 3200MHZ 32GB ECC - Kingston Server Premier
Prozessor
2x AMD EPYC 7402 2.8GHZ
Vielen Dank für Ihre Zeit und vor allem Meinung im voraus.
MFG
Thomas
ich möchte ein PVE Ceph-Cluster mit 3 Nodes konfigurieren und aufsetzen.
Habe folgende Konfiguration gewählt und bin unschlüssig ob das so passen würde, oder ob ein Konstruktionsfehler oder gar Flaschenhals aufgebaut ist.
Je Node folgende Hardware
Gehäuse:
Supermicro 2HE CSE-213AC-R1K23LPB
https://www.supermicro.com/en/products/chassis/2U/213/SC213AC-R1K23LPB#opc
Backplane inklusive
HBA
2x HBA Microsemi 1100-8i
SSD
4x Samsung 1,92TB PM1643a SAS 12 gb/s SSD (sequentiell 2000 / 2100mbs w/r)
(Startsetup - wird kontinuierlich erweitert Ziel ist es alle 16 Ports zu belegen)
Hier bin ich mir unschlüssig bzgl der obigen Frage auf den Flaschenhals.
Wenn ich richtig liege ist bei PCI-E 3.0 8x ein maximaler Durchsatz von ca. 63 gbit/s.
Die Frage ist wenn ich 8 SSD dieser SSD betreibe über den einen PCI 3.0 8x Slot ob hier die Platten ausbremse und ich die Konstruktion anders aufbauen muss.
Die SSD schafft sequentiell theoretisch 16gbit/s schreiben der SAS schafft 12gb/s analog des Ports am HBA.
Somit wäre die Frage was ist eine realistische Einschätzung im Bezug auf lese und schreibwert in einem balanced workload bei dieser SSD?
Hier werde ich die obigen angegebenen Werte sehr warscheinlich nicht erreichen.
Gibts hier Erfahrungen?
Ist diese SSD empfehlenswert?
Auch hier wäre ich für ein Feedback dankbar.
Netzwerk:
2x Intel X710-DA4. Nodes per Full Mesh Network verbunden um Latenz möglichst gering zu halten.
1xIntel I350-T4 Netzwerkkarte - 4x 1GbE RJ45
2x corosync. VLAN oder eventuel ebenfalls im full mesh network?
Motherboard:
Supermicro H11DSi-rev2
https://www.supermicro.com/en/products/motherboard/H11DSi-NT?locale=en
Speicher
4x DDR4 3200MHZ 32GB ECC - Kingston Server Premier
Prozessor
2x AMD EPYC 7402 2.8GHZ
Vielen Dank für Ihre Zeit und vor allem Meinung im voraus.
MFG
Thomas
Last edited: