VMs auf einfache SSD auslagern

[springnick]

Hallo zusammen,

ich wollte mir demnächst einen neuen Proxmox Server auf AMD Ryzen bauen.
Bis dahin wollte ich aber meinen jetzigen mit einer SSD ausstatten - aktuell PVE + VMs nur auf einer WD Red 2TB, reicht für meine Basteleien aus, wollte aber mal um zu sehen wie es mit der Performance aussieht auf eine SSD wechseln.
Ich habe bereits mehrfach gehört das PVE auf Flashmedien zu schnellem Tod derer führen soll, konnte aber nichts dazu finden, wie es aussieht, wenn lediglich die VMs auf einer SSD liegen.

An sich wäre mein Plan jetzt, PVE auf einer Festplatte die hier noch rumfliegt zu installieren und die VMs auf eine Samsung 860 evo 1TB.

Wie seht ihr das ganze? Oder habt ihr noch andere Ideen?

 

[LnxBil]

Wenn nur die VMs drauf liegen ist schonmal ein guter TeiI der Schreiblast weg. Je nachdem wie schlecht die SSD ist, hat sie eine hohe Write Amplification, sodass jeder Schreibzugriff schlecht ist. Am besten probierst du es aus und monitorst die Smart-Werte. EVO sind normalerweise nicht so prickelnd.

 

[sb-jw]

Also auf einen USB Stick oder SD Karte sollte man es tatsächlich nicht laufen lassen. Ich habe mir jetzt für meine Infrastruktur jeweils 2x 120GB WD Green SSD gekauft, die kosten nichts, sparen Strom und sollte ausreichend sein.
Eine Aussage von PVE selbst war, dass ca 5GB pro Tag geschrieben werden (IIRC). Sind also bei 360 Tagen ca 1,8TB die WD Green hat 40 TBW sind dann also ca 22 Jahre, bis die durch wäre

 

[springnick]

pve kann von mir aus ruhig auf einer HDD bleiben, geht halt nur um die VMs.

gibt es vielleicht irgendwo Erfahrungsberichte bezüglich VMs auf Consumer SSDs?
Habe zwar öfters mal gelesen, dass zu Enterprise SSDs geraten wurde, nur ist mir eine Enterprise SSD für den Privateinsatz schlicht zu teuer.

Was vielleicht noch zu erwähnen wäre, es sollen im Schnitt 4 VMs laufen, gelegentlich mal 1 oder 2 mehr.
Meine WD Red knickt da halt sofort ein (IO Delay ist auch bei 1 laufendem VM öfter mal bei 30%), auch wenn es noch halbwegs nutzbar ist, eine SSD sollte da doch den Flaschenhals nehmen oder denke ich da grundsätzlich falsch?

 

[sb-jw]

Also ich betreue zwei CEPH Cluster die auch maßgeblich auf Consumer SSDs basieren. Bei einem der großen CEPH Cluster ist bisher eine Hand voll SSDs in ca 3 Jahren kaputt gegangen. In dem anderen Cluster, deutlich kleiner, bisher keine (läuft ca 1 Jahr).

Aktuell setze ich auf die WD Blue 1TB SSD.

Ich denke im privaten Umfeld, sollten consumer SSDs absolut ausreichen.

 

[LnxBil]

Eine Aussage von PVE selbst war, dass ca 5GB pro Tag geschrieben werden (IIRC). Sind also bei 360 Tagen ca 1,8TB die WD Green hat 40 TBW sind dann also ca 22 Jahre, bis die durch wäre

Wenn man die 5 GB aber in 4 KB Blöcken schreibt und bei jedem Schreibzugriff eine Write Amplification von 4KB auf z.B 128 KB hat, dann ist man sehr, sehr schnell am Ende. Sowas bitte generell immer mittels smartctl über einen Zeitraum von 2-4 Wochen prüfen.

Ich hatte den Test auch mal gemacht und eine Samsung EVO in einem Laptop mit PVE als Desktop verwendet und die SSD hat pro Monat 10-15% Wearout verloren, da die Write Amplification dort echt enorm war. Gemacht hat der Rechner virtualisierungstechnisch sehr wenig, viel geschrieben wurde von mir auch nicht, aber PVE hat über die Statistiken und das ständige synchronisieren des PVE-Dateisystems unter /etc/pve sehr viel Schreiblast erzeugt.

Ich habe noch keine Enterprise SSD gesehen, die solch ein Verhalten an den Tag gelegt hat. Wir haben bei versch. Kunden nun über 100 Enterprise-SSDs im Einsatz ohne einen Ausfall und ohne, dass der Wearout-Indikator überhaupt unter 90% gesunken wäre und das über mehr als 4 Jahre.

Als Fazit:
Egal was man verwendet, bitte überwacht eure Server und die Smart-Werte. Viele SSDs haben entweder einen Wearout-Indikator, also einen Wert der von 100 runterzählt oder gleich einen Zähler für die geschriebenen Daten.

 

[springnick]

aber PVE hat über die Statistiken und das ständige synchronisieren des PVE-Dateisystems unter /etc/pve sehr viel Schreiblast erzeugt.

Also wird der größte Teil des wearout bei einer SSD von pve selbst erzeugt?
So wäre das Trennen von pve und VMs/Container ja schon mal ein erster Schritt oder verstehe ich das falsch?


Ich werde mir jetzt mal ein Testsystem mit einer alten HDD für pve selbst und einer Kingston SUV500 für VMs (die 240GB sollten für ein paar VMs reichen ) ausprobieren. Bin mal gespannt.

Ansonsten werde ich wohl mal gucken, wie ich an eine billige Enterprise SSD komme

 

[LnxBil]

Also wird der größte Teil des wearout bei einer SSD von pve selbst erzeugt?
So wäre das Trennen von pve und VMs/Container ja schon mal ein erster Schritt oder verstehe ich das falsch?

Ja. Die vielen kleinen Schreibvorgänge führen durch die hohe Write Amplification der non-enterprise SSDs zu schnellerem wearout, sodass eine Trennung hier schon viel bringt.

Ansonsten werde ich wohl mal gucken, wie ich an eine billige Enterprise SSD komme

eBay :-D
Dort hab ich eine gebrauchte 120GB für unter 30 Euro inkl. Versandt bekommen. Als Einkaufsliste kann man hier schauen:
http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/

 

[springnick]

ok, dann werde ich mal gucken was sich machen lässt und wie sich mein Testsystem so macht

 

[tim]

Also wir verwenden bei uns intern logischerweise auch SSDs in unseren Rechner und arbeiten täglich mit Proxmox VE. Ich kann also alle beruhigen die sich für zu Hause oder zwecks ausprobieren sorgen um Ihre SSDs machen:
Uns gehen die SSDs auch nicht ständig kaputt, sondern im Gegenteil wir haben eigentlich sehr gute Erfahrungen gemacht und die meisten laufen über Jahre hinweg ohne Probleme. Es kommt natürlich immer auf den Anwendungsfall an, aber für das klassische Home-Setup sollte es keine Probleme geben.

Wie LnxBil natürlich korrekterweise angemerkt hat sollte man bei kritischen Systemen bzw. im Enterprise Umfeld natürlich auf hochwertige SSDs setzen und entsprechend monitoren.