Ceph slow mit schnellen SSDs und 10G

[fips]

Hi,

Setup: 3 node (HP SE326M1) Ceph Cluster, mit 10G Storage Netzwerk und 20 OSDs.
Hab jetzt alle SAS Disks gegen SSDs getauscht, erhalte beim rados Benchmark allerdings immer noch nur 240-250 MB/s.

Controller Cache habe ich deaktiviert, hat keine Änderungen gebracht.
Der Controller arbeitet noch im RAID Mode.
Wäre es denkbar wenn ich den Controller auf HBA Mode ändere, die Performance deutlich gesteigert wird?

Problem ist halt das die Änderung ein komplette Neuinstallation erfordert...
Wenn das ganze dann ohnehin nichts bringt, verschieb ich das mal auf die Zukunft bzw. wenn ich nodes tauschen muss.

Ideen?

 

[fireon]

Das Teil ist der Tod für Ceph und ZFS. Nix für ungut. Kauf dir lieber was vom Thomas. Die Dinger sind richtig genial.

 

[wolfgang]

Wäre es denkbar wenn ich den Controller auf HBA Mode ändere, die Performance deutlich gesteigert wird?

Ja.
Das Problem ist bei Ceph (ZFS auch) das die Controller den Festplatten zugriff maskieren.
Dadurch wird die Performance erheblich beeinträchtigt.

Wichtig ist auch, das du in der Backplane/System keine multiplexer hast.
Das hat auch einen negativen effect.