Hallo zusammen,
ich hätte da mal eine Verständnis Frage, in der Hoffnung, das jemand von euch mich "erhellen" kann. Irgendwie ist bei uns der Datendurchsatz der VMs auf einen Ceph-Storage abhängig von der Kernelversion - aber auch irgendwie nicht. Verwirrend, ja, daher mal ein Beispiel:
CentOS6 KVM mit Kernel 4.4 >>> Schreibt mit max 10 MB/s
CentOS6 KVM mit Kernel 3.10 >>> Schreibt mit 7-8 MB/s
CentOS6 KVM mit Kernel 2.6 >>> Schreibt mit 7-8 MB/s
CentOS7 KVM mit Kernel 4.4 >>> Schreibt mit 7-8 MB/s
CentOS7 KVM mit Kernel 3.10 >>> Schreibt mit über 40 MB/s (!!!)
Setup
* 6x ProxMox VE 5.4-2 ( 5.4-10 )
* pro Node 4-6 SSDs (via HBA angebunden) als einzelne OSDs für ceph, zusammen in einem großen Pool
* Nodes sind mit 10GBit (geswitched) verbunden
* Versuche wurden jeweils mit DD ( if=/dev/urandom ) gemacht, mehrfach hintereinander ausgeführt, außer dem Kernel wurde nichts verändert an den VMs ( Auswahl des Kernels nach Reboot ).
* Performance-Unterschied kann auch "optisch" in atop bestätigt werden (höherer Durchsatz bzw mehr IO bzw. weniger "wait")
* Es existieren keine Durchsatzbeschränkungen in der Config.
* Die gemessenen Durchsätze schwanken etwas, aber CentOS7 + Kernel 3.10 ist immer mindestens um den Faktor 10 schneller als alle anderen Kombinationen
Kann sich (mir) das jemand, der hier mit liest, erklären? Meine suchen hier im Forum und bei google bezüglich einer Kompatibilität von QEMU und Client-Kernel haben keine Erkenntnisse gebracht. Gibt es eine Erklärung, warum die eine Kernel+OS-Kombination CentOS7+Kernel3.10 so viel schneller Schreiben kann? Vielleicht eine Voreinstellung im Kernel?
Ich gehe mal davon aus, das euch bestimmt noch Angaben fehlen. Da ich keinen Anhaltspunkt habe, in welcher Richtung ich suchen kann/soll, habe ich den Post extra "einfach" gehalten. Wenn Ihr mir sagt, was noch an Infos fehlt, liefere ich diese gerne nach.
Danke schon mal fürs lesen und Gedanken machen
Viele Grüße
Frank
ich hätte da mal eine Verständnis Frage, in der Hoffnung, das jemand von euch mich "erhellen" kann. Irgendwie ist bei uns der Datendurchsatz der VMs auf einen Ceph-Storage abhängig von der Kernelversion - aber auch irgendwie nicht. Verwirrend, ja, daher mal ein Beispiel:
CentOS6 KVM mit Kernel 4.4 >>> Schreibt mit max 10 MB/s
CentOS6 KVM mit Kernel 3.10 >>> Schreibt mit 7-8 MB/s
CentOS6 KVM mit Kernel 2.6 >>> Schreibt mit 7-8 MB/s
CentOS7 KVM mit Kernel 4.4 >>> Schreibt mit 7-8 MB/s
CentOS7 KVM mit Kernel 3.10 >>> Schreibt mit über 40 MB/s (!!!)
Setup
* 6x ProxMox VE 5.4-2 ( 5.4-10 )
* pro Node 4-6 SSDs (via HBA angebunden) als einzelne OSDs für ceph, zusammen in einem großen Pool
* Nodes sind mit 10GBit (geswitched) verbunden
* Versuche wurden jeweils mit DD ( if=/dev/urandom ) gemacht, mehrfach hintereinander ausgeführt, außer dem Kernel wurde nichts verändert an den VMs ( Auswahl des Kernels nach Reboot ).
* Performance-Unterschied kann auch "optisch" in atop bestätigt werden (höherer Durchsatz bzw mehr IO bzw. weniger "wait")
* Es existieren keine Durchsatzbeschränkungen in der Config.
* Die gemessenen Durchsätze schwanken etwas, aber CentOS7 + Kernel 3.10 ist immer mindestens um den Faktor 10 schneller als alle anderen Kombinationen
Kann sich (mir) das jemand, der hier mit liest, erklären? Meine suchen hier im Forum und bei google bezüglich einer Kompatibilität von QEMU und Client-Kernel haben keine Erkenntnisse gebracht. Gibt es eine Erklärung, warum die eine Kernel+OS-Kombination CentOS7+Kernel3.10 so viel schneller Schreiben kann? Vielleicht eine Voreinstellung im Kernel?
Ich gehe mal davon aus, das euch bestimmt noch Angaben fehlen. Da ich keinen Anhaltspunkt habe, in welcher Richtung ich suchen kann/soll, habe ich den Post extra "einfach" gehalten. Wenn Ihr mir sagt, was noch an Infos fehlt, liefere ich diese gerne nach.
Danke schon mal fürs lesen und Gedanken machen
Viele Grüße
Frank
