CEPH Storage :: Schlechte Schreibperformance / hohe Latenz || Ceph Storage - Bad Writeperformance / throughput.

[Falk R.]

Für die, die hier mal über das Thema stolpern;
Ich habe ein Benchmark von 3QVOs im RAIDZ mit ZFS - vs. einer einzelnen SAS-SSD unter der Ubuntu-Disk-Gui gemacht.
Warum RaidZ? Wurde uns alt alternative zu Ceph nahegelegt - nur Blind umbauen ohne größere Tests wollte ich nicht

Da hast du die armen QVO aber richtig nieder gemacht. RaidZ ist durch die write Amplification eh schon I/O hungriger und das dann mit den QLC SSDs, das kann ja gar nicht funktionieren.
Aber selbst wenn du einen ZFS Mirror oder Single DIsk gemacht hättest, sollte der Unterschied auch sehr deutlich sein.

 

[proxmrmomba]

Hallo,

ich will das Thema noch mal aus der Versenkung holen. ZFS hat zwar die Probleme nach vorne zu den Mitarbeitern gelöst, aber ZFS löst nicht wirklich die Probleme für mich. Ich will wieder das Gefühl eines "Storages" haben - sprich zurück auf CEPH.

Zur Erinnerung: ich habe nicht viele SLOTs für Festplatten frei, darum muss ich recht große Speichermedien nutzen.
Spricht etwas dagegenen auf 16 TB SAS SSDs zu gehen - außer das Rebuild / Restores extra lange dauern?

 

[Falk R.]

Ich habe bei vielen aktuellen Projekten inzwischen 15,36TB NVMe im Einsatz.
Mit SATA würde ich nicht so große SSDs nehmen. Wenn du 500MB Peak Leistung annimmst und 14TiB Netto rebuilden willst, kannst du dir das Elend allein ausrechnen.
Auch das Netzwerk ausreichend sizen, dann klappt das schon.

 

[proxmrmomba]

Danke für deine Rückmeldung.
Es handelt sich dabei um 12G SAS-SSDs.
Netzwerkseitig über 2x10Gbit Netzwerk-Anbindung.

Starten würde ich bei 3 Server á 3 SAS SSDs. Sind 9 ausreichend? Oder sollte ich auf 12 SAS SSDs aufstocken?

 

[Falk R.]

Bei 15TB SAS Disks dauert der Rebuild aber auch eine ganze Weile. Da ist dann das 10 GBit Netzwerk schnell dein Bottleneck.
4 OSDs sind natürlich besser, weil beim Ausfall einer Disk nur 25% recovert werden müssen.

 

[proxmrmomba]

Hallo Falk,
vielen Dank für deine Rückmeldungen (und das noch um diese Uhrzeit)
Dann werde ich hoffentlich auf 12 aufstocken dürfen.

 

[Falk R.]

Ich würde zuerst das Netzwerk aufstocken.
Mein tip, Broadcom Netzwerkkarten 25/100G sind ganz gut im preis und derzeit gibts immer wieder Mellanox 25G karten im Angebot.
Wenn du kein Full Mesh machen möchtest, ich nehme gern die Mikrotik CRS5XX Switches. Zuhause habe ich einen kleinen CRS504 mit 4x 100G.

Dann lohnt sich auch das Disk aufstocken. Außerdem kannst du bei Ceph jederzeit einzelne Disks hinzufügen, was bei ZFS nicht so möglich ist.