Performanceproblem SSD

[TErxleben]

Hallo liebe Mitstreiter,

folgendes Equipment:

- Fujitsu Server
- 2 CPUs Xeon(R) CPU E5-2660 v3 @ 2.60GHz
- 40 Kerne
-128GB RAM
- 2 Samsung SSD 860
- 6GB SATA
- Intel Corporation C610/X99 series chipset 6-Port SATA Controller [AHCI mode] (rev 05)
- Proxmox 6.2-10
- LVM, kein ZFS

Bei internen Dateioperationen (vzdump, kopieren etc.) auf den SSDs liegt die maximale Performance bei ca. 125-140Mbit/s. Die gleiche Performance erreiche ich per Netzwerk auf externen Speicherorten. Das ganze auch, wenn der Server bei 2% Last rumbummelt.

Das kann doch eigentlich nicht sein. Hat jemand eine Idee, woran das liegen kann?

Würde mich über Anregungen freuen.

 

[wolfgang]

Hi,

die Frage ist was läuft sonst noch auf den 2 consumer SSD?
So einfach kann man deine Frage nicht beantworten.

Sei dir auf alle Fälle bewusst, dass du hier eine Consumer SSD hat, die für Desktop Anwendungen konzipiert worden ist.

 

[schroederdennis.de]

Sehe ich ähnlich, anhand der vorliegenden Informationen kann man nur raten.

Deine 2% CPU Auslastung haben soweit nichts zu sagen? Liegt die Auslastung evtl. nur auf einen Kern ?
Wird irgendwas irgendwo verschlüssel oder entschlüsselt?

 

[TErxleben]

Danke für eure Rückmeldung.

Es handelt sich um 860 PRO Platten. Also nicht unbedingt Consumerprodukte.
Die Messungen resultieren aus Messungen des per crontab aktivierten Sicherungsscripts. Da läuft sonst nichts.
Verschlüsselt wird auf Systemebene nichts.
Mittels htop kann man wunderbar sehen, dass alle 40 Kerne gleichmässig rumbummeln.

vzdump 102 110 111 --mode snapshot --compress zstd --maxfiles 5 --mailto edv@mustermann.de --dumpdir /mnt/backup/dump liefert ca. 80MB/s

 

[tom]

Es handelt sich um 860 PRO Platten. Also nicht unbedingt Consumerprodukte.

Leider doch. Samsung nennt das PRO, ändert aber nichts daran.

Samsung SSD für Server findet man hier:

https://www.samsung.com/semiconductor/ssd/datacenter-ssd/

 

[TErxleben]

Danke Tom.

Kannst du mir sagen, welchen Geschwindigkeitszuwachs eine PM883 oder SM883 liefern würde?

 

[ph0x]

In der Theorie keinen, da die DC-SSDs nicht auf Geschwindigkeit optimiert sind sondern auf Langlebigkeit und weil alle SSDs den SATA-Port ohnehin saturieren.
In deinem Fall? Gute Frage, da ja nicht so ganz klar ist, wo das Problem liegt.

 

[TErxleben]

Was ich vergessen habe, ist das die SSDs als Einzelplatten (ext4) an einer SAS-Backplane betrieben werden.

LSI Logic / Symbios Logic MegaRAID SAS-3 3108 [Invader] (rev 02)

Komisch ist auch, dass die Übertragungsraten ziemlich exakt den Werten entsprechen, die ich übers Netzwerk (1GB) erreiche.

 

[tom]

Danke Tom.

Kannst du mir sagen, welchen Geschwindigkeitszuwachs eine PM883 oder SM883 liefern würde?

Hier 2 interessante links:

https://www.sebastien-han.fr/blog/2...-if-your-ssd-is-suitable-as-a-journal-device/

https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/
(PDF auf Seite 3)

 

[H4R0]

Hast du TRIM auf dem Host aktiviert ? Wenn nicht ist die Performance nach längerer Zeit üblich.

Lass mal fstrim drüber laufen und dann teste nochmal, bei SSD's ist Optimierung eben wichtig.

Anschließend trim wöchentlich per cron laufen lassen.

 

[TErxleben]

@H4R0,
m.E wird ein TRIM unter Debian seit 2015 per default regelmäßig ausgeführt.

@tom
Der Artikel von Herrn Han verspricht seit 2014 für die Interpretierung seiner Messungen: Coming soon…

Irgendwie habe ich inzwischen das miese Gefühl, das man über reale 160MB/s froh sein muss, wenn bis zu 550MB/s versprochen werden.
Das nervt mich und alt werde ich auch.

 

[JohnD]

Irgendwas an deinem Setup ist falsch. Ein bisschen Verlust ist immer aber 160 zu 550 kann nicht sein.

Nimm die Platten mal von der Megariad Backplane weg. Die sind für ZFS nicht gemacht und es entstehen komische Effekte.
Für Sata Controller bei ZFS gilt: Je dümmer desto besser, keine Caches und vor allem auf gar keinen Fall eigene Raid Funktionalität.

 

[wolfgang]

Festplatten haben 2 Dimensionen an Geschwindigkeit.
1.) Die so viel beworbene Bandbreite bei sequentiellen schreiben/lesen.
2.) die max IO meistens bei 4k gemessen.
Enterprise platten haben in der regel ein bisschen weniger Bandbreite und dafür mehr IO.
Außerdem haben Enterprise SSD oft einen Strom-Puffer,
damit können sie Daten langer im DDR Speicher halten.
Ohne den auf die Platte schreiben zu müssen, was in wesentlich höheren Werten im synct write führt.

Was dich in der Regel ausbremst sind die sync writes, die auf jedem System vorkommen und die ayncronen writes auch einbremsen. Der Effect nimmt natürlich mit mehreren OS(Gästen) per SSD zu.
Deswegen empfehlen wir Enterprise SSD mit hohen IO/s.

 

[LnxBil]

@H4R0,
m.E wird ein TRIM unter Debian seit 2015 per default regelmäßig ausgeführt.

Hmm, ist mir nicht aufgefallen. Wie kommst du darauf?
(Falls du trim als Option im Installer als Mount-Flag meinst, dann nein, das sollte man grundsätzlich nicht verwenden, wenn man performance möchte).

@tom
Der Artikel von Herrn Han verspricht seit 2014 für die Interpretierung seiner Messungen: Coming soon…

Es sind 4K sync write IOPS, was muss man da groß interpretieren? Das ist entscheidend für CEPH und für dein SLOG im ZFS. Das ist der Faktor der determiniert wie schnell du schreiben kannst, kein anderer tut das.

 

[TErxleben]

Ich muss hier nochmal reingrätschen.
@LnxBil: Hier wird kein ZFS sondern LVM verwendet.
@all:
Irgenwie bekomme ich immer noch nur ca. 120MB/s zwischen 2 SSDs (SATA 3.2) rumgeschoben.
Obwohl ein hdparm -tT /dev/sda liefert:
/dev/sda: Timing cached reads: 21932 MB in 1.99 seconds = 10998.10 MB/sec Timing buffered disk reads: 1378 MB in 3.00 seconds = 459.28 MB/sec
Inzwischen habe ich mich damit abgefunden, irgendwelchem Marketinggekrähe zu viel Glauben geschenkt zu haben.
Allerdings nervt es kolossal, dass startende ca. 10 WIN10-VMs die Bude nach Neustart des Servers selbigen völlig in den Keller ziehen (IO-Delay).
Komisch. Fettes Eisen aber bummeliges Ergebnis.
Ideen würden mich freuen.

Sonst habe ich die Virtio-Treiber auf den letzen Stand gebracht und in den Win-VMs alles an unnötigen Netzwerkprotokollen in die Wüste geschickt.
Laufende VMs fühlen sich flüssiger an, das Startproblem ist unverändert.

 

[Falk R.]

Hi, die maximal 540MB/s ist das Limit des SATA Bus. Wenn du große Blöcke oder rein im Stream liest oder schreibst, bekommst du das auch.
Bei Enterprise SSDs bekommst du immer die Angabe wieviel I/Os bei 4K erreicht werden können. Bei 10000 I/Os sind das z.B. nur 40MB.
Das ganze hängt immer vom Workload ab.
Deshalb bin ich persönlich kein Freund von ZFS für VMs. Wenn ich meine günstigen SSDs an einen guten Hardware RAID Controller hänge und ein LVM drüber lege, kommt ein vielfaches heraus.
ZFS hat zwar noch weitere Vorteile, aber mir ist Performance wichtiger.

 

[Dunuin]

Ja, SSDs klingen zwar schnell auf dem Papier wenn mit "bis zu 6000MB/s" etc geworben wird. Macht man dann aber mal ein paar 4K Sync Writes auf einer fast vollen SSD bekommt man was im einstelligen MB/s-Bereich. Hängt wirklich von der Workload ab. Teils können da selbst HDDs schneller als SSDs sein. Am besten Finger weg von QLC SSDs und SSDs ohne Powerloss Protection..

 

[TErxleben]

Hi SkyDiver,
ich benutze ja auch kein ZFS sondern lediglich LVM.
Trotzdem ist die SSD-Schnitstelle in einem sonst fettem Eisen ein echter Karusselbremser.

Welche SSDs benutzt Du denn?

 

[TErxleben]

Ja, SSDs klingen zwar schnell auf dem Papier wenn mit "bis zu 6000MB/s" etc geworben wird. Macht man dann aber mal ein paar 4K Sync Writes auf einer fast vollen SSD bekommt man was im einstelligen MB/s-Bereich. Hängt wirklich von der Workload ab. Teils können da selbst HDDs schneller als SSDs sein. Am besten Finger weg von QLC SSDs und SSDs ohne Powerloss Protection..

Hast Du denn einen Tipp, welche SSD man verwenden kann um die Transferrate wenigstens zu verdoppeln?

 

[Dunuin]

Was hast du denn jetzt für ein SSD Modell verbaut?

Was man auch schnell übersehen kann ist, dass da die SATA-Ports vom Mainboard meist nicht die volle Leistung bringen. Jedenfalls wenn die SATA-Ports vom Mainboard-Chipsatz kommen und man dort mehr mehrere SSDs gleichzeitig nutzen möchte. Die SATA-Ports vom Chipsatz teilen sich ja die selbe (geringe) Bandbreite mit allen USB-Ports, Onboard-NICs, manchen PCIe und M.2 Slots. Da wird dann schnell der Link zwischen CPU und Chipsatz zum Flaschenhals.

Ich habe hier z.B. 2 HDDs + 8 SSDs am Mainboard und mehr als rund 4-6 SSDs kann das Mainboard eigentlich nicht mit voller Leistung betreiben.