Welche gebrauchten M.2 NVMe Enterprise SSDs könnt ihr empfehlen?

[denis_pve]

Hallo zusammen,

Ich lese immer man solle doch lieber gebrauchte Enterprise SSDs verwenden.

Habt ihr ein paar Empfehlungen für gebrauchte 2TB M.2 NVMe SSD? Es reicht mir eine PCIe Gen3.

Könnt ihr z.b. die Intel P3600 Add In Karten empfehlen? (ca. 15% verbraucht)

Ich würde sie gerne im ZFS Mirror Betrieb für diverse VMs verwenden.

Vielen Dank im voraus.

 

[Falk R.]

Hi, was m.2 Enterprise angeht, wirst du ganz wenig bis gar nichts gebraucht finden. Im Enterprise Umfeld wird fast nur U.2 genutzt.
Die PCI NVMe Karten sind wieder häufiger und kannst du bedenkenlos nutzen, aber da limitiert ganz schnell die Anzahl der freien PCIe Steckplätze. Du brauchst ja mindestens einen 4x Slot Pro Karte.
Einige nutzen auch Adapter PCI Karten um mehrere U.2 NVMe anzuschließen.

 

[Johannes S]

Ergänzung: Als ich geguckt habe, gab es schon einige für M2, aber so gut wie nie gebraucht ( man kann natürlich Glück haben) und nur im größeren M2 22110 Format. In den meisten (Mini-)-PCs passen die aber nicht rein, die Miniforums MS-1 müssten das aber haben

 

[mr44er]

man solle doch lieber gebrauchte Enterprise SSDs verwenden.

Zur Not kann man sich auch mit neuen zufriedengeben.

https://geizhals.de/?cat=hdssd&xf=1035_KIOXIA~1035_Micron~1035_Seagate~252_1920~4836_7

Micron7xxx kann man so empfehlen, bei den ganz billigen Kioxias hab ich keine Ahnung, ob die "Enterprise" sind, da bitte genau informieren.
Bevor du verzweifelst, tut es zur aller-, wirklich allergrößten Not auch eine Firecuda530/540. Das ist kein Enterprise, aber nicht ganz so schäbig. Ich habe die aus Neugierde zu nem Schnapperpreis bekommen und sie laufen ok...wenn die 1 Jahr+ durchhalten ist das auch ok. Meine Micron7400er haben halt mehr Bums und kaum Latenzen, trotz mehrerer PGs.

 

[denis_pve]

Ganz lieben Dank für alle Eure Antworten. Ich habe schon befürchtet dass es schwierig wird. In der Tat habe ich in meinem Homelab Dell OptiPlex 5060 sff nur begrenzt Platz. Die Satas sind schon durch zwei Enterprise Intels belegt. Und nun hätte ich noch gerne die PCIe x4 und x16 Plätze mit NVMe Disks belegt.

Auf die Micron 7400 bin ich auch schon gekommen. Da sie auch preislich super interessant sind. Allerdings lese ich überall dass sie im Idle schon richtig heiß werden. In so einem Mini Gehäuse irgendwie nicht so schön.

@mr44er Kannst du das bestätigen?

Und was sagt ihr zu der Add In von Intel? Oder sind die dann doch schon zu alt? (sind ja rund um 2015 raus gekommen, was ja eine Ewigkeit ist)

Ansonsten wären da noch die üblichen verdächtigen aus dem Consumer Bereich mit TWB um die 1200 TB.

 

[mr44er]

@mr44er Kannst du das bestätigen?

Definitiv, die brauchen Kühlung. Also entweder einen Block (da reicht allerdings ein 2280er, das Stückchen bis zur Schraubkerbe hin ist dann nackig) mit Minifan drauf (keine guten Erfahrungen damit, die klingen wie Moskitos und sterben nach 2-3 Monaten) oder wenn du Glück hast, hast du bereits genügend Passivwind im Gehäuse.
Die Micron7450er laufen ein wenig kühler, aber auch denen sollte man einen Kühlblock geben. Selbst die bereits ganz kühl laufende Firecuda bringt einen ab Werk mit.

Und was sagt ihr zu der Add In von Intel? Oder sind die dann doch schon zu alt? (sind ja rund um 2015 raus gekommen, was ja eine Ewigkeit ist)

Weiß nicht, kenne ich nicht. Bekommt man die noch? Wären die preislich interessant? Ich mag mich speziell bei dem Modell irren, aber in der Regel heißt älter automatisch weniger endurance und weniger IOPS.

Ansonsten wären da noch die üblichen verdächtigen aus dem Consumer Bereich mit TWB um die 1200 TB.

Das ist eher zweitrangig, wenn sie billig genug sind und man kein Problem mit frühem Austausch hat. Consumer macht hauptsächlich keinen Spaß, weil sie nicht genügend IOPS bringen und sich daher die Latenzen aufschaukeln. Von PLP noch gar nicht gesprochen.

 

[denis_pve]

Vielen Dank für die Erklärung.

Nun habe ich noch eine Frage bzgl. Enterprise vs Prosumer SSDs.

Ich habe bisher zwei SATA SSDs vom Typ "Intel SSD D3-S4510 480GB 2.5" SATA" in einem ZFS Mirror Betrieb. (PVE Installation und VMs laufen in diesem Storage Pool)

Die Platten haben eine TWB von 1200TB und TLC NAND und PLP. Bisher habe ich nach ziemlich genau 2 Jahren einen Wear von 1% und laut SMART Values NAND Write 32MiB von 3018509, was wenn ich richtig rechne ca. 96TB entspricht.



Nun werde ich auch in Zukunft nicht wirklich etwas an dem VM Setup ändern und bin überrascht dass ich "nur" 96TB geschrieben habe. (im Vergleich zu manchen Horror Geschichten, die ich hier gelesen habe )

Nun frage ich mich, wenn ich auf PLP aus Effizienz und Ausfall Sicht verzichten kann. Was spricht dann gegen eine Consumer SSD ala einer z.B. Kingston KC3000, die nun z.B. auch mit TWB von 1600TB (2TB Variante) und TLC NAND daher kommt?

Wirklichen Speed bin ich mit meinen 2 SATA Platten eh nicht gewohnt und benötige ich auch nicht.

Oder sehe ich hier noch irgendetwas falsch? Versteht mich nicht falsch, ich möchte nur ein sinnvolles Upgrade im Rahmen finden, was für ein Homelab angemessen ist. Oder anders gesagt warum sollte nun eine solche Consumer SSD von oben schneller verschleißen? (bei meinem Workload und den bisherigen Daten) Oder übersehe ich etwas komplett?

 

[Falk R.]

Der Nachteil an Consumer SSDs ohne PLP ist, dass die TLC Zellen als SLC Cache benutzt werden. Wenn da immer nur 1 Bit geändert wird, geht das schreiben viel schneller, aber die Zelle hat wieder einen Schreibzyklus obwohl weniger geschrieben wurde. Der Cache wird auch nachher umkopiert. Also kannst du mal ganz Pauschal von vierfacher Schreiblast ausgehen.
Jetzt gibt es noch einige andere Dinge, welche auch Overhead erzeugen, aber das SLC Caching macht den größten Unterschied.

 

[denis_pve]

Der Nachteil an Consumer SSDs ohne PLP ist, dass die TLC Zellen als SLC Cache benutzt werden.

Vielen Dank für die Erläuterung. Was verwenden dann die Enterprise Platten als SLC Cache? (DRAM ist wieder was anderes, wenn ich es richtig gelesen habe oder?)

 

[Falk R.]

SLC ist ja Single Level Zelle statt Tripple.
Mit PLP wird der DRAM als Cache genutzt und keine Flash Bausteine belastet. Der Capacitor hält so viel Energie, das beim Stromausfall der Cache vom RAM auf Flash Zellen geschrieben werden kann.

 

[denis_pve]

Was machen dann Consumer Disks die DRAM haben? Sie verlieren halt im schlimmsten Fall die Daten aus dem DRAM. Richtig?

 

[Falk R.]

Deshalb nutzen die Consumer SSDs den RAM nur als Lesecache.

 

[denis_pve]

Vielen Dank nun ist es mir klarer warum die Consumer SSDs sich v.a. auch wegen dem SLC Cache mehr abnutzen.

 

[denis_pve]

Ihr habt es nun wieder geschafft dass ich nun doch wieder darüber nachdenke endlich einen Custom Build anzufangen. So schön die SFF Geräte für ein Homelab sind, so eingeschränkt ist man immer. (Air flow, Ports etc)

 

[mr44er]

Ihr habt es nun wieder geschafft dass ich nun doch wieder darüber nachdenke endlich einen Custom Build anzufangen. So schön die SFF Geräte für ein Homelab sind, so eingeschränkt ist man immer. (Air flow, Ports etc)

Exakt, so sehe ich das auch.
Klar verlockt das kleine, stromsparende Teil natürlich, aber an irgendner Ecke kann man nicht upgraden und schränkt sich dann unnötigerweise ein.

Ich komme mit der Zeit auch immer mehr davon ab, für nodes reguläre Gehäuse zu benutzen. Ein zweckentfremdetes Miningrig ist da flexibler gerade in Bezug auf große Karten und Riser. Da alles offen ist, ist die Kühlung weniger das Problem.
Ist natürlich nicht für jeden was und optisch kein Hingucker, aber im Keller oder Nebenraum ist das ja egal. Auf nem Schrank oder Regal, jedenfalls weg vom Boden und das Staubproblem hält sich dann auch in Grenzen.

 

[denis_pve]

Klar verlockt das kleine, stromsparende Teil natürlich, aber an irgendner Ecke kann man nicht upgraden und schränkt sich dann unnötigerweise ein.

Ja in meinem Fall war es eher so, dass ich einen günstigen Einstieg gesucht hatte, ohne groß in Hardware investieren zu müssen. Die Enterprise SATA SSDs waren, damals die einzige wirkliche Investition. Jetzt wo sich langsam ein schönes VM Setup heraus kristallisiert hat, weiß ich auch genauer was ich brauche und vor allem auch was für mich Overkill ist. Ich habe gesehen, dass ich keine riesigen viele TB großen Pools benötige. Aber zumindest 2 TB wären dann doch nett. Und nun geht es halt los, wie ich diese am besten unterbringe. Die einfachste Lösung wäre einfach die beiden bestehenden 500GB Platten durch größere Enterprise Platten zu ersetzen. Oder dann eben doch ein Build in einem neuen Case. Dann ein wirklich simpler Kasten mit sauberem Platz für die Platten und zumindest eine Mobo CPU Kombination mit ECC Ram. Die alte Kiste darf dann noch als PBS seinen Ruhestand genießen.