Proxmox 3 Node Cluster 40GB Ceph Full Mesh Network

[timmen]

zu Punkt 1.

Ja die sollen als reine Storage Switche dienen und nichts weiteres. Ich komme zwar aus der HPE/Aruba Welt, aber wenn man da 100GB Switche haben will wird dies zur unmenschlichen Preislichen Auflage .

zu Punkt 2.

Hmm da hast du Recht. Ich könnte die vorhandenen Nodes ja auch auf z.B. 512GB Aufstocken und dann die anderen bei 768 GB lassen?

zu Punkt 3.
Im aktuellen Storage sind ja 3,84TB Samsung SSD PM9A3 u.2 NMVe MZQL23T8HCLS-00A07 verbaut, diese wollte ich dann ggf. über das gesamte Cluster verbauen. würden die Aktuellen CPU so extrem das System bremsen? Wenn man die mischen würde?

Ich habe noch kein Chasis im Blick von SuperMicro, aber hatte gelesen das Single CPU besser für Ceph sein soll als Dual.

 

[Falk R.]

Klingt bisher alles fein. Je nachdem ob die alten Server überhaupt NVMe können, kann man auch ältere Server als reine Computing Hosts ohne Disks betreiben. Bei den Storagenodes empfiehlt es sich schon CPUs mit vernünftiger Taktrate und ausreichend Cores zu nutzen.

Supermicro hat im Moment gar nicht so dolle Server im Angebot. Ich habe auch oft ASUS Server in der Hand, welche ein gutes Layout und gute Preise haben.

 

[timmen]

Also unsere alten Server können keine NVMe nur SATA, und man könnte die umbauen, aber das steht nicht im verhätnis.

Die server aus den ersten Posts haben ja die Samsung NVMe's verbaut deswegen wollte ich einfach die gleichen nehmen.
Kenne leider bisher nur HPE oder Supermicro, ist da ein großer Unterschied zu ASUS? Gibt es da ein Chasis welches man empfehlen könnte?

 

[Falk R.]

Ich nehme gern die RS501A (1HE) oder RS521A (2HE). Natürlich immer die mit 2,5“ Schächten.
Dann die Server mit den SATA lieber nur als Compute Node nutzen.
P.S. Die Huawei NVMe sind extrem performant und etwas günstiger als Kioxia und Samsung.

 

[timmen]

Okay danke ich halte mal ausschau, gibt ja auch von Gigabyte welche. Aber damit hatte ich noch nie zu tun.

meinst du diese Fesplatten?

HUAWEI 3.84 TB eKitStor Xtreme 300P NVMe SSD​

Das wären die 3,84TB Platten welche auch "günstig" sind meiner Meinung nach.

 

[Falk R.]

Okay danke ich halte mal ausschau, gibt ja auch von Gigabyte welche. Aber damit hatte ich noch nie zu tun.

meinst du diese Fesplatten?

HUAWEI 3.84 TB eKitStor Xtreme 300P NVMe SSD​

Das wären die 3,84TB Platten welche auch "günstig" sind meiner Meinung nach.

Ich habe nur noch ganz selten so kleine NVMe in der Hand in der Regel nur noch ab 7,6 TB und oft die 15,3 TB.
Hier hole ich die gern: Link

 

[Bu66as]

@timmen,

hier noch meine Einschätzung zur Hardware-Auswahl, speziell zu den SSDs und den Servern:

1. SSD-Wahl & "Mischbetrieb" (Kritisch für Ceph) Bei der Huawei eKitStor Xtreme 300P ist Vorsicht geboten. Zwar listen die Datenblätter für die 300P-Serie "Power Failure Protection" (PLP), aber das "eKit"-Label zielt primär auf den SMB/Distribution-Markt ab.

• Firmware & Support: Im Enterprise-Segment (wie bei den Samsung PM9A3) sind Firmware-Updates oft leichter verfügbar. Bei "eKit"-Hardware ist der Support-Kanal manchmal eingeschränkter.
• Misch-Risiko: Das Wichtigste bei Ceph ist Konsistenz. Wenn du die Huawei-Drives mit den bestehenden Samsung PM9A3 in denselben Pool mischst, bestimmt die langsamste SSD die Schreiblatenz für alle (da Ceph die Daten synchron auf alle Replicas schreibt). Wenn der Controller der Huawei sich bei Sync-Writes anders verhält als der Samsung-Controller, ziehst du die Performance der PM9A3 eventuell unnötig herunter.
• Empfehlung: Bleib idealerweise sortenrein bei den Samsung PM9A3. Das spart dir späteres Debugging bei "Mysterious Latency Spikes". Wenn es unbedingt Huawei sein muss, dann nimm lieber die dedizierten Enterprise-Serien (ES3000-Reihe), wie von @Falk R. angedeutet, statt der eKit-Variante.

1. Gigabyte Server: Die Hardware von Gigabyte ist rein technisch absolut solide und oft preislich attraktiv.

• Management (BMC/IPMI): Das ist der größte Unterschied. Gigabyte nutzt oft eine AMI-MegaRAC-basierte Oberfläche. Die ist funktional, fühlt sich aber für viele (die Supermicro oder iDRAC gewohnt sind) etwas "kantiger" an.
• Lüftersteuerung: Achte darauf, dass die Lüfterkurven im BIOS korrekt für NVMe-Bestückung eingestellt sind, da Gigabyte-Boards hier manchmal ab Werk konservativ (laut) oder zu optimistisch (heiß) eingestellt sind.

1. RAM-Erinnerung: Denk an meinen Hinweis aus Post #20 bezüglich der 768 GB vs. 1 TB. Wenn du eh neue Server kaufst, ist RAM das billigste Upgrade für die Stabilität des Clusters.