Ein Ceph-Netzwerk ohne Redundanz zu betreiben, ist für mich inakzeptabel. Daher empfehle ich entweder den Einsatz von Netzwerkkarten mit zwei 100 GBit Ports oder, falls das Budget begrenzt ist, mit zwei 25 GBit Ports zu arbeiten.
Mellanox gilt als der De-facto-Standard in puncto Zuverlässigkeit...