Storage für Proxmox VE Host

guru4gpu

Member
Sep 10, 2020
16
1
8
Hallo, ich bin gerade auf der Suche nach SSDs für einen neuen Proxmox VE Host für mein Homelab.
Ich möchte zwei SSDs in einem ZFS Mirror betreiben, auf dem die Container, VMs und Proxmox selbst installiert wird.
Für Backups, ISOs und Container Vorlagen benutze ich eine NFS Freigabe auf einen FreeNAS/TrueNAS Server.

Zurzeit habe ich einen Platzbedarf von 110 GB, möchte aber auch für die nächsten Jahre genug Speicherplatz haben.
Für meine Anforderungen wären meiner Meinung nach zwei Kingston A2000 500GB M.2 NVMe SSDs das beste.

Gäbe es etwas an diesen SSDs auszusetzen? 5 Jahre Garantie haben sie jedenfalls.
Danke im Voraus :)
 
Hallo,
Zu der kann ich leider nichts sagen, welche ich dir aber in dem Segment empfehlen kann ist die WDBlueSN550.
 
  • Like
Reactions: guru4gpu
Hallo,
Zu der kann ich leider nichts sagen, welche ich dir aber in dem Segment empfehlen kann ist die WDBlueSN550.
Danke für den Tipp, ich hatte aber leider schon die Kingston SSDs bestellt gehabt als ich das hier gelesen habe. ;)
Funktionieren tun sie aber ohne Probleme, der Unterschied zu meiner 2TB 5900 RPM HDD ist wirklich gewaltig.
 
Behalte nur die geschriebenen GB pro Tag mit smartctl im Auge wenn du ZFS nutzt und da eventuell sogar eine Datenbank in der VM läuft.
Ich musste meine M.2 SSDs leider einmotten, da die an die 2TB am Tag schreiben mussten und dann nach einem halben Jahr hingewesen wären.
 
  • Like
Reactions: guru4gpu
Behalte nur die geschriebenen GB pro Tag mit smartctl im Auge wenn du ZFS nutzt und da eventuell sogar eine Datenbank in der VM läuft.
Ich musste meine M.2 SSDs leider einmotten, da die an die 2TB am Tag schreiben mussten und dann nach einem halben Jahr hingewesen wären.
Danke für den Tipp, ich werde die TBW im Auge behalten
 
Bei SSDs ist das mit der logischen und physikalischen Blöckgröße leider ziemlich irreführend. Auch wenn die SSDs da eine LBA von 512B oder 4K angeben, werden die Daten dann intern in der SSD in viel größeren Blöcken verarbeitet die z.B. auch mal 20MB sein können. Und auch wenn sich nur wenige Bytes in diesem großen Block ändern muss dann technisch bedingt der komplette 20MB Block gelöscht und neu beschrieben werden, um diese paar Bytes abzuändern. Damit nicht jede kleine 4KB Änderung gleich 20MB schreiben muss, werden die Operationen bei asynchronen Schreibprozessen im Cache gehalten und erst dann geschrieben, wenn sich genug Änderungen angesammelt haben. Dieses Cachen klappt bei Consumer SSDs aber nicht bei synchronen Schreibvorgängen, da diese keine Powerloss-Protection haben und beim Stromausfall dann sofort alle Daten im Cache weg wären. Consumer SSDs können also keine synchronen Schreibvergänge cachen und jede kleine 8KB änderung in einer DB schreibt dann 20MB auf die SSD. ZFS schreibt sogar alle synchronen Schreibprozesse doppelt auf die SSD, da diese erst im ZIL landen und dann sind die 8KB gleich 40MB. Das passiert bei einer DB überlicherweise jede Sekunde, weshalb man sich da nicht wundern muss, wenn die TBW jede Sekunde um 40MB oder so ansteigen. 40MB * 60 Sekunden * 60 Minuten * 24 Stunden und schon hat man 3,5TB die am Tag auf die SSD geschrieben werden, obwohl die Datenbank da nun lächerliche 8KB pro Sekunde (also nicht mal 1GB am Tag) schreibt.

Daher immer gut aufpassen, besonders wenn man viele sync Writes in den VMs hat. Datenbanken schreiben z.B. generell alles als sync Writes. Da kann man ziemlich schnell mit auf die Nase fallen, wenn man die eventuell ziemlich extreme Write Amplification von Consumer SSD nicht einplant und nur von der kleinen Datenmenge ausgeht, welche die VMs eingentlich schreiben.

Bei mir hatte ich das leider erst zu spät bemerkt und dann waren die 14 Tage Rückgaberecht um und ich konnte die SSDs dann nicht mehr zurückschicken um mir stattdessen eine anständige Enterprise SSD zu holen wo die Write Amplification nicht so abnormal hoch ist.
Meine VMs schreiben zusammen deutlich weniger Daten am Tag als mein normaler Bürorechner, aber trotzdem komme ich da wegen der Write Amplification auf 1,5TB am Tag. Und das obwohl ich inzwischen Enterprise SSDs benutze. Mit den Consumer M.2 SSDs war das noch deutlich mehr und die wären nach wenigen Monaten über dem TBW gewesen, weshalb ich die dann leider einmotten musste. Aber lieber frühzeitig erkennen und einmotten, anstatt sich da später zu wundern warum die teuren neuen SSDs schon kaputt sind.
 
Last edited:
  • Like
Reactions: guru4gpu
Also ich habe in den letzten Tagen gerade mal einen Anstieg von unter 5 GB verzeichnen können, das meiste kommt vom Plex.
Ich denke ich werde für Plex einfach eine kleine RAM Disk für die Temporären Dateien erstellen, das sollte bei mir ausreichen.

Update

Nach über einem Monat an Nutzung (und sehr vielen Hundert Gigabyte an SSD Benchmarks) habe ich nun folgende Werte auf meinen SSDs:

Data Units Written: 4,875,785 [2.49 TB]
Data Units Written: 5,153,985 [2.63 TB]

Bei 350TB TBW macht das gerade mal 0.75% aus, bei 5 Jahren Garantie würde ich so nur 45% der TBW erreichen (falls alles gleich bleibt).
Ich denke das ist absolut unbedenklich, selbst wenn eine oder beide SSDs sterben sollten, habe ich dank ZFS Mirror und automatischen Backups auf einen TrueNAS Server (+ Externe / Offline Backups) keinen Datenverlust :)
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!