CEPH Storage :: Schlechte Schreibperformance / hohe Latenz || Ceph Storage - Bad Writeperformance / throughput.

[Falk R.]

Für die, die hier mal über das Thema stolpern;
Ich habe ein Benchmark von 3QVOs im RAIDZ mit ZFS - vs. einer einzelnen SAS-SSD unter der Ubuntu-Disk-Gui gemacht.
Warum RaidZ? Wurde uns alt alternative zu Ceph nahegelegt - nur Blind umbauen ohne größere Tests wollte ich nicht

Da hast du die armen QVO aber richtig nieder gemacht. RaidZ ist durch die write Amplification eh schon I/O hungriger und das dann mit den QLC SSDs, das kann ja gar nicht funktionieren.
Aber selbst wenn du einen ZFS Mirror oder Single DIsk gemacht hättest, sollte der Unterschied auch sehr deutlich sein.

 

[proxmrmomba]

Hallo,

ich will das Thema noch mal aus der Versenkung holen. ZFS hat zwar die Probleme nach vorne zu den Mitarbeitern gelöst, aber ZFS löst nicht wirklich die Probleme für mich. Ich will wieder das Gefühl eines "Storages" haben - sprich zurück auf CEPH.

Zur Erinnerung: ich habe nicht viele SLOTs für Festplatten frei, darum muss ich recht große Speichermedien nutzen.
Spricht etwas dagegenen auf 16 TB SAS SSDs zu gehen - außer das Rebuild / Restores extra lange dauern?

 

[Falk R.]

Ich habe bei vielen aktuellen Projekten inzwischen 15,36TB NVMe im Einsatz.
Mit SATA würde ich nicht so große SSDs nehmen. Wenn du 500MB Peak Leistung annimmst und 14TiB Netto rebuilden willst, kannst du dir das Elend allein ausrechnen.
Auch das Netzwerk ausreichend sizen, dann klappt das schon.

 

[proxmrmomba]

Danke für deine Rückmeldung.
Es handelt sich dabei um 12G SAS-SSDs.
Netzwerkseitig über 2x10Gbit Netzwerk-Anbindung.

Starten würde ich bei 3 Server á 3 SAS SSDs. Sind 9 ausreichend? Oder sollte ich auf 12 SAS SSDs aufstocken?

 

[Falk R.]

Bei 15TB SAS Disks dauert der Rebuild aber auch eine ganze Weile. Da ist dann das 10 GBit Netzwerk schnell dein Bottleneck.
4 OSDs sind natürlich besser, weil beim Ausfall einer Disk nur 25% recovert werden müssen.

 

[proxmrmomba]

Hallo Falk,
vielen Dank für deine Rückmeldungen (und das noch um diese Uhrzeit)
Dann werde ich hoffentlich auf 12 aufstocken dürfen.

 

[Falk R.]

Ich würde zuerst das Netzwerk aufstocken.
Mein tip, Broadcom Netzwerkkarten 25/100G sind ganz gut im preis und derzeit gibts immer wieder Mellanox 25G karten im Angebot.
Wenn du kein Full Mesh machen möchtest, ich nehme gern die Mikrotik CRS5XX Switches. Zuhause habe ich einen kleinen CRS504 mit 4x 100G.

Dann lohnt sich auch das Disk aufstocken. Außerdem kannst du bei Ceph jederzeit einzelne Disks hinzufügen, was bei ZFS nicht so möglich ist.

 

[proxmrmomba]

Ich habe von Mikrotik ein CRS305 liegen. Seit dem ich den hier habe, nehme ich pers. Abstand davon Mikrotik einsetzen zu wollen. Urpsprünglich war es sogar der Plan u.A. gibt es hier eine Inkompatiblität mit den FS SFPs.
Ticket bei Mikrotik war im Ausgang auch weit weg, von meiner Zufreidenheit.

 

[Falk R.]

Das habe ich beides noch nie gehört. Ich habe schon sehr viele MikroTik verbaut. Meistens 500er und ein paar CRS309. Da funktionieren bei mir alle FS SFPs und DAC Kabel. Ich habe Zuhause HPE Fanout DAC welche noch rumlagen. Die einzigen Probleme welche ich mal hatte war ein Problem 25 GBit auf Huawei Switches hin zu bekommen. 10G hat immer funktioniert. Das Problem haben die Huawei aber auch bei der Firewall gehabt, daher vermute ich, lag es nicht an MikroTik.
Kannst mir ja mal die SFP Modelle schreiben und ich teste das mal.

 

[proxmrmomba]

Hallo Frank,

wenn es kein Problem für dich wäre, würde ich das Mikrotik-Thema gerne über PN besprechen.
Ich sehe auch gerade, ich könnte das / die SFP-Modul vermutlich mit einer Zwille frei-Haus liefern.

 

[Falk R.]

Hallo Frank,

wenn es kein Problem für dich wäre, würde ich das Mikrotik-Thema gerne über PN besprechen.
Ich sehe auch gerade, ich könnte das / die SFP-Modul vermutlich mit einer Zwille frei-Haus liefern.

Sehr gerne

 

[floh8]

Hast du denn gar kein Platz für Disk Shelfs, dann könntest du günstige SSDs einsetzen z.B. gebrauchte von servershop24.

 

[Falk R.]

Hast du denn gar kein Platz für Disk Shelfs, dann könntest du günstige SSDs einsetzen z.B. gebrauchte von servershop24.

Aber wenn man NVMe verbauen will, ist vor allem bei älteren Servern schnell schluß. Ganz viele Server die 2-3 Jahre alt sind haben nur 4 NVMe Slots.

 

[floh8]

Das ist mir klar, deshalb ja auch SSDs.