3 Node Cluster 25g Setup Check

[TomTomTom]

Guten Morgen!

Wir planen eine Anschaffung eines 3 Node Clusters mit folgender Ausstattung

1xEpyc7302
8x32GB DDR4 3200
8x PM883 480GB
SM 2133S Barebone.
mit 2x10G Onboard, und einem Mellanox CX5 2x25g Adapter.

Geplant wäre folgendes Setup je Server:
2xPM883 im ZFS Raid 1
6xPM883 als OSD für Ceph Cluster

Das 25g Netzwerk für Ceph im Ring, und 10G als Backup, bzw. die zweite 10G als "uplink" bzw corosync Netzwerk.

Gibts da irgendwas daran auszusetzen als Einsteiger Setup?
Wie sieht es mit 25G aus? 100G ist uns momentan zu teuer (und voraussichtlich noch nicht benötigt), und 25G wäre halbwegs leistbar zu realisieren.
Bitte um Input!


Danke, LG

 

[fireon]

Sehr schönes Setup, da kann ich jetzt nix dagegen aussetzen Wichtig ist wie du schon richtig erkannt hast das CePH die 25Gbit bekommt. 25 aber mind 10Gbit das Proxmox Mangementnetz, sprich das wo du dich per Webinterface einloggst, da darüber die VM's per HA verschoben werden und auch der RAM der laufenden VM's transferiert wird, muss das Netz Gas geben. Corosync erfreut sich mit 2x1Gbit im Ring.

Wir bauen das auch immer so das wir die Netze in den physikalsichen Karten mischen. Also wenn z.B. eine dual 25Ggabit Karte ausfällt, ist das egal weil ein NIC für Ceph ist und das andere für VM Management. So hat man auch gutes HA für Netzwerkkarten.

 

[TomTomTom]

Hallo! Danke für deine Antwort, der Cluster rennt jetzt schon im LAB. Ansich super zufrieden, diverse Tests hat der Cluster auch schon bestanden.

Ich hab nur ein Problem, das Ceph Netzwerk wurde nach Methode 1 https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server errichtet.

Bond mit den 2x25G NICs + Broadcast.

Konfiguriert -> Funktioniert. Zum testen habe ich ein 25G Kabel entfernt, und hätte erwartet, das Broadcast bzw der Bond auch als Failover funktioniert, scheint jedoch bei den Tests nicht so zu sein. (Ping Timeout von den anderen Nodes) Hab ich da einen Denkfehler?


Für die Nachwelt unser CEPH test mit dem obigen Setup:

rados bench -p SSD-Pool 20 write -b 4M -t 16 --no-cleanup

Total time run:         20.0222
Total writes made:      6801
Write size:             4194304
Object size:            4194304
Bandwidth (MB/sec):     1358.69
Stddev Bandwidth:       40.9487
Max bandwidth (MB/sec): 1428
Min bandwidth (MB/sec): 1276
Average IOPS:           339
Stddev IOPS:            10.2372
Max IOPS:               357
Min IOPS:               319
Average Latency(s):     0.0470944
Stddev Latency(s):      0.0213273
Max latency(s):         0.312772
Min latency(s):         0.0152254

rados -p SSD-Pool bench 20 seq -t 16

Total time run:       9.69136
Total reads made:     6801
Read size:            4194304
Object size:          4194304
Bandwidth (MB/sec):   2807.04
Average IOPS:         701
Stddev IOPS:          6.5192
Max IOPS:             721
Min IOPS:             699
Average Latency(s):   0.022247
Max latency(s):       0.0725887
Min latency(s):       0.011517

 

[fireon]

Zeig mal deine Netzwerkkonfig.

 

[TomTomTom]

bond0 = 2x25g
Node1 = 10.255.1.1/24
Node2 = 10.255.1.2/24
Node3 = 10.255.1.3/24

auto lo
iface lo inet loopback

iface eno1np0 inet manual

iface eno2np1 inet manual

auto enp67s0f0
iface enp67s0f0 inet manual

auto enp67s0f1
iface enp67s0f1 inet manual

auto bond0
iface bond0 inet static
        address 10.255.1.1/24
        bond-slaves enp67s0f0 enp67s0f1
        bond-miimon 100
        bond-mode broadcast
        mtu 9000

auto vmbr0
iface vmbr0 inet static
        address 10.13.1.11/24
        gateway 10.13.1.1
        bridge-ports eno1np0
        bridge-stp off
        bridge-fd 0