Anscheinend schwere IO Probleme

gueniepr

Active Member
Nov 23, 2021
42
0
26
76
Hallo Leute,

Da glaubt man, man hat einen viel zu großen Server und dann das,
ich habe einen HP DL-380 Gen9 mit einem Raid Contoller HP 440 dieser wude auf RMA umgestellt wie es laut Proxmox gemacht werden soll und dann wurden ZFS pools erstellt.
Jetzt nach drei VM Installationen habe ich schon Probleme Updates in den VM's zu installieren.
Ein Backup einzuspielen kann bis zu 1-2 Stunden dauern?

Jetz zur Frage, hat jemand von Euch Erfahrung mit solchen Systemen und kann Hinweise zu richtigen Einstellungen geben?

Welches Dateisystem wie die 10 Festplatten (SSD) einbinden usw.


Vielen Dank für Antworten und Gruß
 
Hi, was für Disks hast du?
Wie hast du das ZFS eingerichtet?
 
Das sind eigentlich nur SSD's, ausser die 4TB das sind HD's und alle sind in ZFS 1 aufgebaut
 
Also vermutlich alles SATA?
Sind die SSDs und HDDs gemixt?
Mit RaidZ1 kannst du auch nicht viel erwarten, das ist wie RAID5 mit Parität.
 
Ja alles SATA aber die pools sind SSD's nur der 4TB pool sind 2 HDD's
Dann am besten den RAID Controller wieder auf RAID stellen, ein RAID5 bauen, SmartPath deaktivieren und Batteriecache für das Volume aktivieren.
Dann hast du bei deinen SATA SSDs auch Durchsatz.
 
Danke für den Tipp! Das probiere ich aus. Ich hatte ZFS eigentlich gewählt, weil es oft empfohlen wird, aber wenn der P440 mit RAID5 und aktiviertem Cache hier besser läuft, teste ich das mal. Hoffentlich verschwinden dann auch die extrem langen Backup- und Updatezeiten.
Eventuell schreibst du mal dein komplettes Setup auf. Es gibt da viele Stellschrauben, gerade bei HPE Hardware kann man einiges optimieren.
 
  • Like
Reactions: Thorfin
Was genau für SSDs sind das, also welches Modell? Das ist bei so nem Einbruch meist der Knackpunkt. Wenn's Consumer-SATA-SSDs ohne PLP sind (Samsung EVO, Crucial MX o.ä.), erklärt das die miese ZFS-Performance komplett. Die brechen bei sync-Writes übel ein weil ZFS ständig Cache-Flushes macht, teils runter auf HDD-Niveau. Enterprise-SSDs mit Power-Loss-Protection verhalten sich da komplett anders.

Poste am besten mal die genauen Typen und zpool list -v wie @news oben schon meinte, dann sieht man auch wie die vdevs aufgebaut sind.
 
Guten Morgen, oder Anmerkung zu den crucial MX500 SSDs, da gibt es solche und solche, das soll heißen PLP ist da schon drin bei denen die ich habe. Es mag sein dass die letzten Chargen dies nicht mehr hatten. Es sind es halt keine Enterprise SSDs die mit hohen TBW raten aufweisen. Schaut man sich z.B die Kingston DC600m, auf die ich immer wieder gerne mal verweise, da sie fast in jedem store zu bekommen sind, sieht man sehr schnell wo die Unterschiede sind.
 
Last edited:
@news guter Einwand, aber bei der MX500 muss man aufpassen: die hat zwar "PLP" im Datenblatt, das ist aber nur die partielle Variante, die sichert beim Stromausfall nur die schon im FTL liegenden Mapping-Daten ab. Ein echter Supercap der die sync-Flushes abfängt wie bei den Enterprise-Teilen ist das nicht. Für ZFS-sync bringt das praktisch nichts, die brechen trotzdem ein. Die DC600M hat dagegen den vollen Schutz und damit stabilere Latenzen.

Die Frage ist, was @gueniepr konkret verbaut hat. Ohne zpool list -v und die genauen Modelle kann man nur raten.
 
  • Like
Reactions: ThoSo