Alternative für GlusterFS?

von blockbridge gibts auch einen interessanten vergleich. die sind ja nun spezialisiert auf NVMe. ich bin enttäuscht. nvme over tcp schneidet da nicht besonders herausragend ab. Scheint als hätten sie auch keine offloading functions aktiviert. Das wäre noch interessant gewesen. Die CPU-Auslastung haben sie auch nicht gemessen. https://kb.blockbridge.com/technote/proxmox-iscsi-vs-nvmetcp/

Ein weiterer Vergleich zu iscsi bietet DELL. Dort sieht man auch die CPU-Last. Überraschend ist der kleine Unterschied bei mtu 1500 und 9000.
https://www.delltechnologies.com/as...892-nvme-transport-performance-comparison.pdf

Hier ist noch ein Vergleich von NVMe over RoCE vs DAS - SAS SSD. Hier vergleicht man zwar NVMe mit SSD im Backround, aber allemal beeindruckend. 1690541879385.png
 
Last edited:
Wenn man RDMA Protokolle von iWARP und RoCE vergleicht, reitet ja Chelsio auf RoCE rum und MEllanox auf iWARP. Klar die sind ja auch Konkurrenten. In der Vergangenheit sprach alles mehr für iWARP, obwohl nicht so viele Anbieter auf diesen Zug aufgesprungen sind. Hier mal von einem Dritten eine Zusammenfassung von 11/2022:
1690546430305.png Mittlerweile fährt man mit RoCE definitiv besser, denn entgegen Falks Argument der komplexen Einrichtung mit QoS Funktionen, was natürlich schon mal zu Inkompatibilitäten oder fehlerhafter Konfig führen kann, bietet Mellanox ja mittlerweile Lossy RoCE ab der Connect 4 Karte aufwärts an. Hier muss auf dem Switch nur ECN aktiviert werden und nix weiter. Die Hauptargumente sind für mich aber die absurden Preise von Chelsio und die noch ein etwas teureren Preise von Intel gegenüber Mellanox. Eine Intel PCIe 3 KArte habe ich gar nicht gefunden. Und in Bereichen wie Performance schlägt RoCE iWARP doch sehr deutlich. https://network.nvidia.com/pdf/whitepapers/WP_RoCE_vs_iWARP.pdf
Wie das bei aktuellen Karten aussieht, weiß man natürlich nicht. Chelsio entwicklet sich ja auch weiter und es muss ja auch Ursachen für deren Preise geben. Außerdem weiß man nicht ob bei den iWarp Karten TOE aktiviert war.
 
Last edited:
floh8 said:
von blockbridge gibts auch einen interessanten vergleich. die sind ja nun spezialisiert auf NVMe. ich bin enttäuscht. nvme over tcp schneidet da nicht besonders herausragend ab. Scheint als hätten sie auch keine offloading functions aktiviert. Das wäre noch interessant gewesen. Die CPU-Auslastung haben sie auch nicht gemessen. https://kb.blockbridge.com/technote/proxmox-iscsi-vs-nvmetcp/

Ein weiterer Vergleich zu iscsi bietet DELL. Dort sieht man auch die CPU-Last. Überraschend ist der kleine Unterschied bei mtu 1500 und 9000.
https://www.delltechnologies.com/as...892-nvme-transport-performance-comparison.pdf

Hier ist noch ein Vergleich von NVMe over RoCE vs DAS - SAS SSD. Hier vergleicht man zwar NVMe mit SSD im Backround, aber allemal beeindruckend. View attachment 53582
Click to expand...
Bei MTU 1500 bekommst du bessere Latenzen hin, deshalb ist der Unterschied am Ende so gering.
 
floh8 said:
Wenn man RDMA Protokolle von iWARP und RoCE vergleicht, reitet ja Chelsio auf RoCE rum und MEllanox auf iWARP. Klar die sind ja auch Konkurrenten. In der Vergangenheit sprach alles mehr für iWARP, obwohl nicht so viele Anbieter auf diesen Zug aufgesprungen sind. Hier mal von einem Dritten eine Zusammenfassung von 11/2022:
View attachment 53586 Mittlerweile fährt man mit RoCE definitiv besser, denn entgegen Falks Argument der komplexen Einrichtung mit QoS Funktionen, was natürlich schon mal zu Inkompatibilitäten oder fehlerhafter Konfig führen kann, bietet Mellanox ja mittlerweile Lossy RoCE ab der Connect 4 Karte aufwärts an. Hier muss auf dem Switch nur ECN aktiviert werden und nix weiter. Die Hauptargumente sind für mich aber die absurden Preise von Chelsio und die noch ein etwas teureren Preise von Intel gegenüber Mellanox. Eine Intel PCIe 3 KArte habe ich gar nicht gefunden. Und in Bereichen wie Performance schlägt RoCE iWARP doch sehr deutlich. https://network.nvidia.com/pdf/whitepapers/WP_RoCE_vs_iWARP.pdf
Wie das bei aktuellen Karten aussieht, weiß man natürlich nicht. Chelsio entwicklet sich ja auch weiter und es muss ja auch Ursachen für deren Preise geben. Außerdem weiß man nicht ob bei den iWarp Karten TOE aktiviert war.
Click to expand...
Du hast da ein paar dreher drin. RoCE kommt von Mellanox und ECN ist auch nur mit Mellanox Karten und Mellanox (NVIDIA) Switches Supportet.
Bei Huawei ist das noch einfacher, die haben in ihren Switches eine AI Engine, die sich um den RoCE Traffic kümmert. Aber Huawei hat derzeit ein schweres Standing.
 
Falk R. said:
Du hast da ein paar dreher drin.
Click to expand...
Nein, ich drehe mich, aber dafür kann ich ja nichts, wenn ich nun mal auf ihr lebe.
Falk R. said:
RoCE kommt von Mellanox und ECN ist auch nur mit Mellanox Karten und Mellanox (NVIDIA) Switches Supportet.
Click to expand...
Soso...so ist das also....dann ist die Tabelle oben ein Betrug. Danke für den Hinweis. Ich rufe auch HP an und lass die ECN Funktion wieder löschen. Einfach so Funktionen klauen...das vertößt gegen Patentrecht. Dreckskerle.
Falk R. said:
Bei MTU 1500 bekommst du bessere Latenzen hin, deshalb ist der Unterschied am Ende so gering.
Click to expand...
Ja, das erläutert es auf jeden Fall. Die 1500 Frames sind auch viel leichter, deshalb sind die auch schneller. Ist eben wie auf der Autobahn. Gewicht ist alles. Guter Mann.....

Ich habe 'ne Idee.
Bevor ich so 'nen gequirlten Scheiß poste, würde ich dir gerne den Text zum Gegenlesen senden. Wäre das ok für dich? WEnn es zu viel für dich ist, kannst du ja die AI von Huwai nutzen.
 
floh8 said:
Soso...so ist das also....dann ist die Tabelle oben ein Betrug. Danke für den Hinweis. Ich rufe auch HP an und lass die ECN Funktion wieder löschen. Einfach so Funktionen klauen...das vertößt gegen Patentrecht. Dreckskerle.
Click to expand...
OK, HP hat keine Switches, aber HPE hat das bei den extrem teuren Switches drin. Wer da was an wen bezahlt ist mir auch egal, die sind mir einfach zu teuer und für bezahlbares Geld bekommst du die Features bei dem Hersteller, die es entwickelt haben.
floh8 said:
Ja, das erläutert es auf jeden Fall. Die 1500 Frames sind auch viel leichter, deshalb sind die auch schneller. Ist eben wie auf der Autobahn. Gewicht ist alles. Guter Mann.....
Click to expand...
Also ich weiß nicht was dein Problem damit ist, schon vor Jahrzehnten hat man iSCSI Tuning betrieben, Latenz besser bei MTU 1500-4096, Durchsatz besser bei MTU 9000.
Das ist nix neues sondern Basiswissen.
floh8 said:
Ich habe 'ne Idee.
Bevor ich so 'nen gequirlten Scheiß poste, würde ich dir gerne den Text zum Gegenlesen senden. Wäre das ok für dich? WEnn es zu viel für dich ist, kannst du ja die AI von Huwai nutzen.
Click to expand...
Du liest doch alles gegen. Passt doch.
P.S. guck dir mal die CloudEngine Switches an, da stecken einige technische Leckerbissen drin. Die Chinesen können kein Marketing, aber haben gute Techniker.
 
Falk R. said:
aber HPE hat das bei den extrem teuren Switches drin.
Click to expand...
jetzt zurückrudern...
Falk R. said:
Latenz besser bei MTU 1500-4096, Durchsatz besser bei MTU 9000.
Click to expand...
Das ist wohl so ,aber in der Übersicht ging es um IOPS. Mitentscheidend ist vermutlich, das der Test ja mit 4K Blöcken erfolgte. Das Thema ist wohl eher was für Netzwerkprofis.
 
Ich habe mal explizit danach bei HPE Switches gesucht. Normalerweise interessieren die mich nicht, da eh zu teuer.
Ich kenne nicht alle Features, von jedem Hersteller, nur die Komponenten die im Preisrange meiner Kunden liegen.
 
Infos gibts bei Huawei und bei vielen deutschen Systemhäusern. Leider ist mein Partnerzugang abgelaufen, sonst hätte ich auch technische Whitepaper zur Verfügung stellen können.
 
You must log in or register to reply here.
Top Bottom