Bezüglich SSDs muss ich mal den aktuellen Markt anschauen. Bisher sind wir mit Samsung bezüglich Zuverlässigkeit sowohl im Server als auch im Clientbereich recht gut gefahren. Aber letztendlich wird es die SSD, bei der Speed, IOPs und TWB möglichst hoch sind (bei Betrieb an PCIe 4.0 x4)
Dauer zpool replace
- Thread starter jacky0815
- Start date
Tipp, real - keine NVMe aus dem Standartsortiment der Anbieter.
Schau bitte in das WiKi von Thomas Krenn:https:
# //www.thomas-krenn.com/de/sitesuche.html?q=zfs
Insbesondere zu SSD und PLP:
# https://www.thomas-krenn.com/de/wiki/SSD_Power_Loss_Protection?xtxsearchselecthit=1
Schau bitte in das WiKi von Thomas Krenn:https:
# //www.thomas-krenn.com/de/sitesuche.html?q=zfs
Insbesondere zu SSD und PLP:
# https://www.thomas-krenn.com/de/wiki/SSD_Power_Loss_Protection?xtxsearchselecthit=1
Das ist nicht supported.
Ergibt keinen Sinn. Beim L2ARC (bei einem hit, wenn also warm) wie auch beim svdev werden reads von schnellem flash gelesen. Zudem verschwendet dann L2ARC RAM, also ARC.
ohhch das geht schon.
Besonders wenn wie bei OP hauptsächlich metadaten gelesen werden.
Ich vermute das ist hauptsächlich random 4k read. Da liegt eine Samsung 990 Pro bei Q1T1 25'000 und bei Q32T16 1,4 millionen IOPS.
Zwei verschiedene Modelle/Kontroller sind aber zu empfehlen.
Edit: Da war ein vorheriger Post, der gelöscht wurde.
Zwischen können (klar kannst du es in CLI machen) und supported besteht ein Unterschied.
Bin gerade zu faul um nachzusehen ob es bei Proxmox im GUI geht, bei TrueNAS jedenfalls nicht.
Es also als „klar geht das, kein Problem“ zu empfehlen ist IMHO gefährlich.
Ist aber in dem Fall hier irrelevant, da hier Partitionen sowieso keinen Sinn ergeben.
Zwischen können (klar kannst du es in CLI machen) und supported besteht ein Unterschied.
Bin gerade zu faul um nachzusehen ob es bei Proxmox im GUI geht, bei TrueNAS jedenfalls nicht.
Es also als „klar geht das, kein Problem“ zu empfehlen ist IMHO gefährlich.
Ist aber in dem Fall hier irrelevant, da hier Partitionen sowieso keinen Sinn ergeben.
Last edited:
Warum wird das nicht supportet?
Sehe ich das richtig special device ersetzt L2ARC?
Kann ich nicht sagen. ZFS kommt ja eigentlich aus dem Oracle Server Bereich, vermutlich gab es einfach nie Bedarf.
Ersetzten ist das falsche Wort. Aber ein special macht ein L2ARC in fast allen use cases überflüssig.
Beschreib mal deine use case. Nur VMs?
Wie ich bereits gesagt habe:
Du kannst deine VMs auch auf einen NVME mirror legen und die Daten auf ein RAIDZ2 dataset.
Dann hast du
- blitzschnelle VMs
- viel Speicher für Daten
- Kein Problem mit Fragmentierung
- Dadurch viel schnellere resilver
- Daten profitieren von einer besseren Performance und Kompression, weil sie nicht mehr auf starren 16k liegen, sondern auf einem flexiblen record size.
- Zudem ist dir vielleicht aufgefallen, dass eine (gefüllte) 1TB RAW VM disk auf deinem 16k zvol RAIDZ1 pool aus 6 Platten seltsamerweise mehr als 1TB Speicher benötigt.
Viele User verstehen pool geometry und padding nicht. Darum raten alle zwingend zu mirrors bei blockstorage wie VMs!
Gleiches gilt für SLOG und L2ARC. Wer sich unsicher ist, besser mal ohne starten und dann anfangen mit tunen. Bei einem sauberen pool brauchen viele gar keine Extras
Obwohl da noch einige Fragezeichen offen sind bezüglich deines Builds, ein paar Ding kann ich schon von hier aus der Ferne sagen:
- Deine Performance ist mies. So richtig, richtig mies!
- RAIDZ1 5 drives wide ist suboptimal von der pool Geometrie her und braucht darum (beim default 16k volblocksize) padding. Eine 1TB VM disk wird über 1TB auf deinem pool belegen.
- Performance ist doppelt mies. Einerseits wegen RAIDZ, andererseits wegen HDD
- SLOG bringt vielleicht was, aber jetzt nicht die Welt, weil die Dinger ziemlich lahm sind. Zudem würde ich SLOG nicht im mirror verwenden, sondern nur eine. Jedenfalls wenn du sonst risky genug bist um RAIDZ1 anstelle von RAIDZ2 zu verwenden
Last edited:
Auch wenn ich nicht die Notwendigkeit sehe, warum sollte das nicht gehen? @news hat ja beschrieben, dass er seine SSDs partioniert, um genau das zu tun. Und in https://forum.proxmox.com/threads/ist-es-möglich-pbs-mit-aws-s3-blockspeicher-zu-betreiben.152790/ beschreiben mehrere Leute, wie sie eine Betriebssysteminstallation und special device auf eigenen Partitionen auf ihren PBS auf Mietservern betreiben.
Ich sage nicht, dass es nicht geht.
Ich sage es ist nicht supported.
TrueNAS lehnt es ab.
Proxmox finde ich auf die schnelle nur das hier. Warum die SLOG aber vor der L2ARC sein soll wir nicht erklärt.
Darum würde ich es nicht empfehlen.
Aber hey, jeder wie er will. Fu** around and find out ist voll im Trend
Ich sage es ist nicht supported.
TrueNAS lehnt es ab.
Proxmox finde ich auf die schnelle nur das hier. Warum die SLOG aber vor der L2ARC sein soll wir nicht erklärt.
Darum würde ich es nicht empfehlen.
Aber hey, jeder wie er will. Fu** around and find out ist voll im Trend
Kleine Richtigstellung. Oracle hat damit nix zu tun, die haben ihr OCFS. ZFS kommt ursprünglich aus Solaris und das was wir benutzen ist OpenZFS was wiederum nur ein Fork vom ursprünglichen ZFS ist.
Hi!
Sorry für die lange Wartezeit.
Natürlich kann ich schwer einen Vergleich ziehen, wie großartig ein RAID10 wäre.
Mein Fazit bis jetzt:
Neuer Server ist als RAID50 geplant inkl. 2 SSDs für ein special device. Gerne bin ich aber für Vorschläge offen und kann dann natürlich auch gerne einen Vergleich ziehen. Kennt jemand gute Messtools?
Ganz vergleichen lassen wird es sich natürlich nicht, da der neue Server auch eine aktuellere CPU beinhalten wird.
Gruß
Sorry für die lange Wartezeit.
Das hab ich nie gesagt, nur das Wiederherstellen eines defekten Laufwerks war jetzt sehr langsam. Aber wann kommt das mal vor?
Natürlich kann ich schwer einen Vergleich ziehen, wie großartig ein RAID10 wäre.
Das ist jetzt für mich auch nur ein akademisches Problem.
Da sind wir dann im Highendbereich. Wir verwenden HDDs, da wir einfach viel Platz benötigen. 60TB+ mit SSDs abzubilden steht in keinem Verhältnis zum Nutzen. Oder hab ich die Aussage jetzt falsch verstanden?
Ich empfinde RAIDZ1 jetzt nicht wirklich als risky. HDDs sind robuster als man annimmt. Wir betreiben hier vier Server und ich muss vielleicht alle 2 Jahre mal eine defekte Platte tauschen. Natürlich gibt es 1. Backups und 2. eine Replizierung auf mindestens einen zweiten Server. Im Zweifel wäre ein 1/2 Tag weg, wenn wirklich 2 HDDs gleichzeitig ausfallen.
Mein Fazit bis jetzt:
Neuer Server ist als RAID50 geplant inkl. 2 SSDs für ein special device. Gerne bin ich aber für Vorschläge offen und kann dann natürlich auch gerne einen Vergleich ziehen. Kennt jemand gute Messtools?
Ganz vergleichen lassen wird es sich natürlich nicht, da der neue Server auch eine aktuellere CPU beinhalten wird.
Gruß
Musst du auch nicht, das sehen wir aus deiner Config.
Vermutlich hilft ARC dir enorm.
Nöö ist es nicht. Mach eine 1TB virtuelle Platte. Schreib diese voll. Die wirst sehen, auf dem Pool werden 1.2TB Speicher für deine 1TB Platte benötigt.
Müssen diese 60TB alle Blockstorage VM disks sein?
Oder ist nur 5TB davon echte VM Daten und die restlichen 55TB ein einfacher Netzwerk share?
Das wäre ziemlich entscheidend.
So spontan Scenarios:
- Eine Platte fällt aus. Du wechselst versehentlich die falsche Platte.
- Du hast die Platten 2020 gekauft. Nun haben wir 2025. Die fünf Platten sind also schon alt. Die erste fällt aus. Du wechselst eine neue rein. Alles andere läuft normal weiter. Der resilver dauert Tage und belastet die anderen Platten stark. Eine weitere Platte fällt aus.
- Die von dir gekaufte Serie hat ein Hardware Problem. Zwei Platten verlieren innert kürzester Zeit zu viel Helium und fallen aus.
Dell hat RAID5 aus den genannten Gründen und der Tatsache wie gross moderne Platten sind, im Jahr 2013 als "unsupported and obsolete" bezeichnet.
FIO. Aber pass auf, wer misst, mist Mist.
Du müsstest dir erstmal überlegen, was, warum und wie du testen möchtest.
CPU sollte schon lange kein bottleneck mehr sein.
Empfehlungen können wir dir leider keine geben, da du deinen Anwendungsfall nicht beschrieben hast.
Ok, bei solchen Szenarien kannst du auch Lotto spielen und gewinnst. Davon abgesehen gibt es ja noch die Replizierung.
Der Schwenk auf RAID50 lässt mich dann schon besser schlafen.
Da wir die aktuell verwendeten Server nicht umstellen können, ist die einfachste Variante das es ein großes Device für VMs gibt. Ja, daran ändert sich erst einmal nichts. Sonst wird die Verwaltung auch kompliziert, denke ich mal.
Haha, wenn du meinst.
Du weisst es bestimmt besser als Dell im Jahr 2013, als RAID5 zu riskant wurde wegen dazumal noch 6TB Platten.
Die Performance ist bei HDDs leider nicht mit der Kapazität mitgewachsen.
Naja, eigentlich nicht. Man hat eine TrueNAS oder was weiss ich für ein Storage System, welched dann in die AD genommen wird und per SMB Dateien teilt.
Oder man hat so wie du eine Windows VM mit einer riesigen virtuellen Disk und all die damit verbundenen Nachteile.
Naja meine Erfahrungen in 20 Jahren als Dienstleister: Wann geht am häufigsten eine zweite Disk kaputt? Während des Rebuilds, da dann mehr Last als Gewöhnlich da ist. Ich habe schon ein paar defekte Raid5 erlebt, wo wir den Restore bemühen mussten.
Wenn du so viele Disks hast, bitte kein Raid50, dann lieber Raid6. Da hast du ähnliche Performance und gleiche Kapazität, aber deutlich besser geschützte Daten. Bei den SSDs am besten NVMe mit guten Schreibwerten nehmen und wenn du die als Special Device vor deinem RaidZ benutzt, kommt deutlich mehr Performance am Ende raus.