Enterprise vs. Consumer SSD

[Skye]

Hi zusammen,

ausser das die Enterprise SSDs länger halten und Powerloss Protection haben, welche vorteile hätte ich noch mit diesen?

Ich schwanke gerade zwischen einer evo 870 und einer Intel D3 S4610.

Ich brauche kein Raid, es sollen nur einige VMs drauf laufen. Habe ich mit Enterprise SSDs geschwindigkeitsvorteile wenn mehrere VMs auf einem Laufwerk laufen?
Ich merke langsam das meine NVME (EVO 970) langsam an ihre Grenzen kommt was die Geschwindigkeit angeht. (6 VMs laufen auf dieser)

 

[Dunuin]

Bei Sync Writes kann eine SSD nichts im eingebauten RAM cachen, da der RAM ja flüchtig ist und alle Daten bei einem Stromausfall weg wären. Hat deine SSD eine Powerloss Protection kann sie den RAM auch bei Sync Writes zum Cachen benutzen, da die PLP beim Stromasufall noch schnell den RAM auf den NAND wegsichern kann. Und NAND kann man nur in sehr großen Blöcken beschreiben, daher wird die Performance und Abnutzung (Stichpunkt: Write Amplification) echt übel wenn man keinen RAM-Cache nutzt um viele kleine Schreiboperationen zu wenigen großen Schreiboperationen zusammenzufassen. Daher sollten Enterprise SSDs deutlich schneller sein was Sync Writes angeht.

Wenn du z.B. mal den offiziellen PVE ZFS Benchmark anguckst bei dem Sync Writes gemessen wurden:

	4K Bandwidth (KB)	4K IO/s	4K Latency (ms)
Intel DC S3510 120GB	50075	12518	0.08
Samsung SSD 850 EVO 1TB	1359	339	2.94

Eine S4610 wird bei Async Writes wohl auch nicht schneller sein als eine Evo 870, aber dafür bricht die Leistung nicht so krass bei schwierigeren Dingen wie Sync Writes ein. Und dann natürlich nicht die Datenintegrität vergessen. So eine PLP hat schon seine Vorzüge, wenn da z.B. auch mal der Server abstürzen darf, ohne dass da gleich mit Pech die Dateisysteme auf der SSD zerschossen sind.

Was nutzt du denn als Storage? LVM-thin oder ZFS? Bei LVM-thin kann man noch mit consumer SSDs arbeiten, wenn man nicht zu viel schreibt, fast nur Async Writes hat und keinen zu großen Wert auf Datenintegrität legt. Spätestens wenn man ZFS benutzt sollte man sich aber schon Enterprise SSDs besorgen.

 

[Skye]

Also ich habe ingesamt 4 Laufwerke im Server und ingesamt 13 Virtuelle Maschinen:

Evo 850 500gb: Als Systemplatte mit drei Laufenden VMs (opnsense, Nginx Proxy Manager(CT) und Unifi Controller(CT)

Evo 970 1tb NVME: Eingebunden als Directory mit 7 VMs (Matrix(CT), Nextcloud, Proxmox Backup Server, Adguard(CT), checkmk(CT), und zwei VMs mit diversen Docker Containern)

Evo 850 500gb: Nur für Openmediavault

Samsung 2TB HDD: Durchgereicht an den Proxmox Backup Server

64 GB Ram wovon ca. 45GB in verwendung ist.

Platz habe ich für 4x Sata und eine NVME. Somit habe ich noch platz für eine SSD, die ich eben gerne noch nachrüsten würde.

Zum Thema ZFS hatte ich hier ja schon gefragt aber habe mich dann doch dagegen entschieden da ich jetzt nichts Lebenswichtiges laufen habe und immer brav backups mache

 

[Dunuin]

Zum Thema ZFS hatte ich hier ja schon gefragt aber habe mich dann doch dagegen entschieden da ich jetzt nichts Lebenswichtiges laufen habe und immer brav backups mache

Aber nicht vergessen, dass du dich ohne ZFS nicht auf deine Backups verlassen kannst, da du ja nie weißt, ob die Daten schon kaputt waren, bevor sie ins Backup geschrieben wurden. Da bräuchte es dann schon ein komplexeres Dateisystem was auch wirklich von Allem Prüfsummen erzeugt und regelmäßig nachprüft, ob die Daten immer noch den Prüfsummen entsprechen. Weichen die Daten dann von der Prüfsumme ab, dann weiß man, dass da schleichender Dateiverfall oder Hardware-Fehler Daten korrumpiert haben. Hast du kein BTRFS/ZFS/CEPH benutzt bekommst du es halt einfach nie mit wenn etwas kaputt ist und sicherst dann über Jahre nur beschädigte Daten.

 

[Skye]

Aber nicht vergessen, dass du dich ohne ZFS nicht auf deine Backups verlassen kannst, da du ja nie weißt, ob die Daten schon kaputt waren, bevor sie ins Backup geschrieben wurden. Da bräuchte es dann schon ein komplexeres Dateisystem was auch wirklich von Allem Prüfsummen erzeugt und regelmäßig nachprüft, ob die Daten immer noch den Prüfsummen entsprechen. Weichen die Daten dann von der Prüfsumme ab, dann weiß man, dass da schleichender Dateiverfall oder Hardware-Fehler Daten korrumpiert haben. Hast du kein BTRFS/ZFS/CEPH benutzt bekommst du es halt einfach nie mit wenn etwas kaputt ist und sicherst dann über Jahre nur beschädigte Daten.

Ich weiss, hab schon sehr viel von dir gelernt

Aber die hohen kosten der SSDs schrecken mich davor ab.
Bräuchte dann 3x 1tb für RaidZ1 und mit den Intel dingern bin ich gleich mal bei knapp 700€.
Andere Enterprise SSDs sind auch nicht wesentlich günstiger.

 

[Dunuin]

Ja, du zahlst halt das doppelte aber dafür sind die auch wenigstens für die dreifach bis dreißigfache Lebenserwatung ausgelegt. Wenn man da also nicht nach Preis-Pro-TB-Kapazität sondern Preis-Pro-TB-TBW geht sins die Enterprise SSDs günstiger.
Gebrauchte aber neuwertige enterprise SSD bekommst du übrigens zum Preis von neuen Consumer SSDs.

Du könntest mal gucken welche LXCs/VMs bei dir die meisten Performance-Probleme haben. Gerade check-mk könnte z. B. ordentlich IO verurschen, weil die bestimmt massig Metrics im Sekundentakt mit Sync Writes in die DB schreibt. Bei sowas würde es dann z. B. Sinn machen DB-lastige VMs/SSDs auf eine Enterprise SSD auszulagern.

Und ich hätte die NVMe nicht als Directory eingebunden. Ein LVM oder LVM-thin sollte da eigentlich effizienter sein, weil die virtuellen Disks auf Blockebene anstatt auf Dateiebene gespeichert werden könnten.

Mit Directory und VMs sieht das ja so aus:
SSD -> Dateisystem -> Datei als virtuelle Disk -> qcow2 o.Ä. mit Virtio-Virtualisierung -> Dateisystem -> Dateien

Mit LVM und VM:
SSD -> LVM -> Virtio-Virtualisierung -> Dateisystem -> Dateien

Das sollte dann eigentlich gut Overhead sparen, weil man keine verschachtelten Dateisysteme hat. Jeder zusätzliche Ebene erzeugt ja Overhead und der addiert sich nicht sondern steigt exponentiell mit jedem zusätzlichen Schnitt.

 

[Skye]

Jetz mal ne frage, unabhängig vom raid:

Angenommen ich besorg mir jetzt 3x die enterprise SSDs, habe ich bessere Performance wenn ich die Platten einzeln als ZFS formatiere oder im RaidZ1?

Gibt es über die Proxmox GUI eine möglichkeit die NVME als LVM zu formatieren oder geht das nur über die shell?

 

[Dunuin]

Angenommen ich besorg mir jetzt 3x die enterprise SSDs, habe ich bessere Performance wenn ich die Platten einzeln als ZFS formatiere oder im RaidZ1?

Mit Raidz verbesserst du halt nur den Durchsatz aber nicht die IOPS. Drei SSDs als Raidz1 sind also nicht schneller als was IOPS angeht als eine einzelne SSD. Genaugenommen sogar langsamer wegen mehr Overhead. Und drei einzelne SSDs mit ZFS ist nicht so sinnvoll, da du keine Parität, ZFS dir also auch keine korrumpierten Daten reparieren kann.

Gibt es über die Proxmox GUI eine möglichkeit die NVME als LVM zu formatieren oder geht das nur über die shell?

Sollte eigentlich keinen Unterschied machen ob SATA, NVMe oder sonst was. Geht eigentlich über DeinNode -> Disks -> LVM / LVM-thin -> Create. Das Laufwerk muss aber frei von Partitionen sein, sonst lässt dich PVE die SSDs nicht formatieren, also am besten vorher per CLI mit wipefs einmal die Partitionen löschen. Und ich würde da LVM-thin nehmen, dann kannst du die Kapazität dank Thin-Provisioning besser ausnutzen.

 

[Falk R.]

Zur Info, habe gebrauchte Enterprise Mixed Use SSDs 1,6 TB für 230€ bekommen. Ausgelesene Abnutzung 2%.
Neupreis 1,5k. Für zuhause geht gebraucht super.