Langsame Read Performance ME5024->PVE

[rebru]

Ich habe MLAG Setups schon mehrfach installiert und noch nie solche Fehler gesehen. Daher vermute ich ein Fehler irgendwo in der Konfiguration. Wo genau ist schwer zu sagen, da es viele Stellen gibt wo sich kleine Fehler einschleichen können.
VMware wäre nur vergleichbar, wenn man da Distributed Switches mit LACP genutzt hat. Sonst sieht das bei VMware im Backend ganz anders aus.

Antwort vom FS Support - DAC Kabel als Fehlerquelle - sie schicken mir jetzt Module (explizit für Mellanox und FS) und LWL Kabel um es zu testen. Sie meinten, das Problem liegt da. Kann ich zwar noch nicht richtig glauben, aber ja, einen Versuch ist es wert

Für iSCSI umd Multipath musst du zwei getrennte Netze mit verscheidenen IP Kreisen nutzen, aber das Konzept von 2 getrennten Fabrics sollte ja bekannt sein.

Aber das würde gleichzeitig bedeuten, falls ich einen Wechsel machen würde auf direkte Hostanbindung, dass dann natürlich jeweils ein Port an A und B Controller getrennte Netze haben müssten und das pro Port.
Sprich
ME A P0 -> Netz 1 > PX1 P0
ME B P0 -> Netz 2 > PX1 P1
ME A P1 -> Netz 3 > PX2 P0
ME B P1 -> Netz 4 > PX2 P1
.....

Der LACP für VM traffic kann auch mal gecheckt werden in dem du dir mal die bond Infos auf dem Host anschaust:
cat /proc/net/bonding/bond0

Kein LACP mehr konfiguriert ist jetzt ja nur noch ein normaler Bond (auch auf den Switches kein LACP mehr aktiv) - bei den VM's gehts mir nur um fault tolerance nicht aber um load balancing so dass ich nicht zwei Bridges habe und entsprechend jede VM in beide Bridges stellen muss.

 

[Falk R.]

Antwort vom FS Support - DAC Kabel als Fehlerquelle - sie schicken mir jetzt Module (explizit für Mellanox und FS) und LWL Kabel um es zu testen. Sie meinten, das Problem liegt da. Kann ich zwar noch nicht richtig glauben, aber ja, einen Versuch ist es wert

Glaube ich auch nicht wirklich, aber nichts ist unmöglich.

Aber das würde gleichzeitig bedeuten, falls ich einen Wechsel machen würde auf direkte Hostanbindung, dass dann natürlich jeweils ein Port an A und B Controller getrennte Netze haben müssten und das pro Port.
Sprich
ME A P0 -> Netz 1 > PX1 P0
ME B P0 -> Netz 2 > PX1 P1
ME A P1 -> Netz 3 > PX2 P0
ME B P1 -> Netz 4 > PX2 P1

Genau so MUSS ein Multipath Setup aussehen. Wird auch in den Hersteller Dokus so beschrieben. Einzige Ausnahme war die DELl Equalogic, aber die ist schon lange EOL.

Kein LACP mehr konfiguriert ist jetzt ja nur noch ein normaler Bond (auch auf den Switches kein LACP mehr aktiv) - bei den VM's gehts mir nur um fault tolerance nicht aber um load balancing so dass ich nicht zwei Bridges habe und entsprechend jede VM in beide Bridges stellen muss.

Ich glauibe hier gibt es ein paar Missverständnisse.
bond = zusammenfassen von Links
Die bond Settings sagen erst welches Protokoll genutzt wird, natürlich nutzt man da auch oft LACP. Kommt immer auf den Anwendungsfall an. Das simpelste Setup ist Active-Backup.

Zwei Bridges macht man eh nicht, außer man will Netze trennen. Für Fehlertolleranz oder Lastausgleich gibt es ja den bond welcher als Interface in der Bridge hinterlegt ist.

 

[rebru]

Genau so MUSS ein Multipath Setup aussehen. Wird auch in den Hersteller Dokus so beschrieben. Einzige Ausnahme war die DELl Equalogic, aber die ist schon lange EOL.

Ok - ja dann überlege ich mir das mal so zu lösen (hab ja noch freie SFP+ Ports und auch noch genügend Kabel). Weil ja, mit dem QSFP Bond würde das ja bedeuten, dass ich 8 IP's definieren müsste auf dem Bond, wenn ich alle Lanes des ME5024 ansprechen wollte?

Weil ich kann ja schon wechseln auf direkte Anbindung, aber dann kastriere ich ja die Geschwindigkeit auf die Hälfte bzw. sogar einen Viertel, wenn der Bond und die Lastverteilung sauber laufen würde.

Ich glauibe hier gibt es ein paar Missverständnisse.
bond = zusammenfassen von Links
Die bond Settings sagen erst welches Protokoll genutzt wird, natürlich nutzt man da auch oft LACP. Kommt immer auf den Anwendungsfall an. Das simpelste Setup ist Active-Backup.

Zwei Bridges macht man eh nicht, außer man will Netze trennen. Für Fehlertolleranz oder Lastausgleich gibt es ja den bond welcher als Interface in der Bridge hinterlegt ist.

Jein - sorry, zu unklar ausgdrückt - Bond kann ich ja mit LACP oder ohne machen - und ich will ihn eigentlich mit XOR laufen lassen - Im MOment ist er active/backup - aber ich hab gesehen, dass er diese Nacht schon wieder angefangen hat LinkUp/LinkUp zu melden - nur dieses Mal auf einem anderen Host (PXHV3).

Aber ja ich gucke jetzt mal was die neuen Module und Kabel bringen - nehme aber gleichzeitig noch die anderen Kabel mit (Für Direct Attach) und teste es dann gleich vor Ort, weil sonst kann ich danach nochmals 200km fahren.


Aber ich danke Dir schon mal bis hierhin für die vielen wertvollen Tipps!