ZFS mit consumer SSDs?

[springnick]

moin, ich habe eigentlich schon viel länger vor, meinen Host mit einem fx8320 durch etwas neueres abzulösen.
Da mir allerdings immer wieder etwas dazwischen gekommen ist, ich jetzt aber noch einen i5 6600k hier rumliegen habe, dachte ich mir, ich benutze vielleicht einfach den und spar mir das Geld für neue CPU/Board etc.
Bisher habe ich das OS auf einer ollen HDD und die VMs auf einer einzelnen Kingston Consumer SSD, läuft an sich tadellos. Der WearOut der SSD wurde zwischendurch mal mit 3% angegeben, inzwischen aber wieder mit 0% - liegt das an der SSD oder verstehe ich den WearOut Indikator falsch?

Nun habe ich auch von diesen Kingston SSDs (A400 240gb) noch ein paar hier rumfliegen und überlege ein Raid10 (oder vielleicht auch nur Raid5?) daraus zu bauen. Stellt sich nur die Frage, ob sich das mit meinen Consumer SSDs auszahlen würde, oder ob ZFS/Proxmox mir die nur sofort zerschreddern würde.

Das OS selbst kann ruhig weiter auf der HDD gammeln.

SLOG, ARC etc lohnen sich nicht unbedingt im Heimanwender Bereich, wenn ich das korrekt aufgefasst habe oder?

 

[at3tb]

Hallo

Habe selber meinen Host auf Hdd´s instaliert

Und den Pool für die VM´s auf 6 Kingston A400 128GB im Raid 10
Nach einen halben Jahr in Betrieb liegt der WearOut bei 8%

Wenn es um ein HomeLab geht ,sehe ich persönlich eigentlich nix dagegen auch mit Billigen SSD´s das system flot zu halten.
Allerdings würde ich das Host System nicht auf Billigen SSD´s laufen lasen da ist eine Hdd noch immer schnel genug.

Spoiler

pool: VMpool
state: ONLINE
scan: scrub repaired 0B in 00:09:13 with 0 errors on Sun May 9 00:33:14 2021
config:

NAME STATE READ WRITE CKSUM
VMpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ata-KINGSTON_SA400S37120G_50026B76822AA8F0 ONLINE 0 0 0
ata-KINGSTON_SA400S37120G_50026B7380C2871D ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
ata-KINGSTON_SA400S37120G_50026B76823B479F ONLINE 0 0 0
ata-KINGSTON_SA400S37120G_50026B7380C29B18 ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
ata-KINGSTON_SA400S37120G_50026B76823B81C8 ONLINE 0 0 0
ata-KINGSTON_SA400S37120G_50026B7380C2844A ONLINE 0 0 0

errors: No known data errors

 

[Dunuin]

Bisher habe ich das OS auf einer ollen HDD und die VMs auf einer einzelnen Kingston Consumer SSD, läuft an sich tadellos. Der WearOut der SSD wurde zwischendurch mal mit 3% angegeben, inzwischen aber wieder mit 0% - liegt das an der SSD oder verstehe ich den WearOut Indikator falsch?

Guck dir am besten an was dir smartctl ausgibt. Also smartctl -a /dev/sdX wobei du sdX halt für die jeweilige Kennung der SSD austauschen musst.

SLOG, ARC etc lohnen sich nicht unbedingt im Heimanwender Bereich, wenn ich das korrekt aufgefasst habe oder?

Ja, die sollten sich für dich kaum lohnen und die zerschreddert man erst recht schnell.

Wenn es um ein HomeLab geht ,sehe ich persönlich eigentlich nix dagegen auch mit Billigen SSD´s das system flot zu halten.

Das hängt aber auch super stark von dem Workload ab. Ich hab hier auch nur einen privaten Homeserver daheim und der schreibt locker mal 1TB pro Tag im Idle weg. Da die A400 120GB nur 40 TBW haben, also 240 TBW in der Summe bei 6 Laufwerken, hätte ich die hier z.B. schon nach 8 Monaten kaputt geschrieben.

Und mal abgesehen von der Haltbarkeit, die bei Enterprise SSD gerne mal 10-30x höher ist, haben die meisten Consumer SSDs auch eine verdammt schlechte Performance. Bei Random 4K Sync Writes ohne Parallelisierung kann dir die Schreibperformance z.B. gerne mal auf unter 1MB/s einbrechen. Guck am besten mal in das ZFS SSD Benchmark Paper. Da haben dann Enterprise SSD auch gerne mal 50x die Performance.

Ich persönlich habe alle meine 8 Consumer SSDs inzwischen aus den HomeServern geworfen und durch Enterprise SSDs ersetzt. Kosten zwar gerne mal das doppelte oder dreifache, aber wenn die dafür 10x länger halten und 50x schneller sind, dann ist das trotzdem noch eine viel bessere Preis-Leistung als die billigen Consumer SSDs.

Aber wie schon gesagt, hängt wirklich vom Workload ab. Wenn da echt überhaupt nichts los ist auf dem Server, dann tun es vielleicht auch schon Consumer SSDs.

 

[springnick]

Ursprünglich hatte ich auch mit Enterprise SSDs geplant, aber das wurde mir dann (vor allem im Moment) dann doch zu teuer.
Allerdings muss ich erstmal neue SATA-Kabel besorgen bevor ich loslege, die sind mir wohl ausgegangen

 

[ph0x]

Enterprise SSDs kaufen bringt dich nur 1x zum Weinen. Performanceeinbußen und Nachkäufe mehrfach, daher sollte man hier tatsächlich nicht sparen. Jede VM erzeugt einen parallelen Zugriff auf deine Platte, da hast du mit Consumergeräten sehr schnell sehr wenig Spaß.

 

[antimon]

Schau mal bei eBay Kleinanzeigen nach S3700 oder ähnlichen Enterprise-SSDs. Gebraucht sind die oft günstiger - und auch wenn sie dann trotzdem ned billig sind - du hast ein gutes Gewissen dabei. Am besten SMART-Werte liefern lassen, dass die nicht schon am Ende ihres Lebens sind und ein wenig Geduld haben - derzeit ist der Markt ned gerade überhäuft mit Enterprise-SSDs

 

[at3tb]

Hallo
So ein kleiner nachtrag zu meinen SSD´s
Habe unterschiedlich alte SSD´s in meinen VMpool.
Habe heute nach fehlermeldungen von Proxmox die erste SSD ausgetaucht.

Kingston A400 mit einer laufzeit von 11482 Stunden also 68 Wochen oder 1,3 Jahre
Hat laut Smart, Flash-Writes 37736 GIB was 40,5 Terabyte sind.

Ich kann damit leben da ich die SSD´s um ca 20€ gekauft habe.
Da mein Home Severer nicht 24/7 läuft hat die SSD 2 Jahre gehalten.

Hoffe das die Werte bei der Entscheidung ob Consummer SSD im Serverbetrieb sinvoll sind oder nicht , irgenwenn helfen.
Würde auch gerne mal zum vergleich werte einer Enterprise SSD sehen.

mfg

 

[ph0x]

Meine „älteste“ Samsung SM883 1.92 TB läuft jetzt knapp ein Jahr durch, hat 20 TB geschrieben und 99% Restleben.
Meine „älteste“ Intel S3710 200GB hat 68506 Stunden auf dem Buckel, 441 TB geschrieben und 93% Restleben.

 

[Dunuin]

Bei mir sind es als VM Storage für den Homeserver 5x 200GB Intel S3710/S3700 mit je rund 180GB NAND Writes pro Tag. In der Summe also 900GB am Tag oder 328TB im Jahr. Habe die aber gebraucht gekauft mit nur 0-4% Wear und in der Summe haben die 5 SSDs 18000TBW also sollten die noch ewig halten.