Richtige SSD und Festplatten Konfiguration für Proxmox (Cache, Swap usw.)

[Techiesgeek]

Hallo Liebe Proxmoxer:innen,

Ich mache ab Dezember eine Umschulung zum Fachinformatiker - Systemintegration und möchte mir zu den Lernzwecken eine Testserver basteln.
Wenn ich Proxmox installiere verlangt dieser immer eine Swappartition, und da fängt meine Frage runde im Kopf an?

Und zwar erstmal Informationen zum System, das genutzt werden soll.

CPU: Intel Xeon E3 - 1231v3 8 x 3,4 GHz
RAM: 16 GB DDR3 1600 (2x 8 GB)
MB: Gigabyte 1150 uATX. Mit 6 Sata3 Ports
CPU Kühler: Bequiet Dark Rock mit 200 Watt Kühlleistung
Gehäuse: Fractal Design R3 mit 4 Lüfter und Lüftersteuerung

So jetzt stehe ich an den Punkt wo die Auswahl der Festplatten stattfinden soll

Als Systemplatte will ich eine SSD nehmen und als VM Platte auch eine SSD als Datenplatte soll nur eine kleine 500 GB HDD dienen jetzt ist aber die Frage mit dem SWAP. Wie groß sollte, da die Partition für sei und ist es sinnvoll diese auf einer SSD zu lagern?

Fragen um Fragen

Und wenn Ihr wissen wollt, was da alles drauf laufen soll. Nextcloud, Nginx Proxy Manager, und noch 7-10 andere VM auf Ubuntu Basis für die Umschulung.

Die Umschulungseinrichtung hat mir zwar zu einem Raspi geraten nur will ich mich nicht noch mit ARM wären der 2-jährigen Umschulung quälen.

 

[mira]

Wenn du Swap verwenden willst, reichen die standardmäßig 8G aus. Wenn du PVE auf der SSD installierst, wird dort automatisch Swap angelegt.
In den erweiterten Einstellungen im Installer kannst du diesen aber auch deaktivieren, so dass er nicht angelegt wird.

Je nachdem wie viel RAM deine VMs benötigen, kann es gut sein dass 16GB zu wenig sein werden. Und es gilt auch, je mehr RAM desto weniger sinnvoll ist Swap und kann den Host nur unnötig verlangsamen, da Zugriffe auf Swap um ein Vielfaches langsamer sind als RAM.

 

[Dunuin]

Außerdem brauchst du keine 2 SSDs. Wenn du was neu kaufen musst kauf was ordentliches (zwei neue/gebrauchte Enterprise SSD für ein Mirror) und ansonsten tut es für Testzwecke auch eine einzelne consumer SSD die sich System und VMs Storage teilen.

 

[mira]

Noch eine Ergänzung:
Für ZFS sind die 16GB RAM eindeutig zu wenig, wenn zusätzlich noch mehrere VMs laufen sollen, da ZFS standardmäßig das Maximum für den ARC (Lesecache) auf die Hälfte des RAMs setzt.

Und zu der System-SSD, hier ist zu sagen, dass PVE sehr viel in die Logs schreibt. Das heißt eine Consumer SSD wird sich relativ schnell abnutzen.
Für dieses Setup lohnt sich wahrscheinlich keine Enterprise SSD, schon alleine aus Preisgründen, aber dies sollte man immer im Hinterkopf behalten.

 

[Dunuin]

Noch eine Ergänzung:
Für ZFS sind die 16GB RAM eindeutig zu wenig, wenn zusätzlich noch mehrere VMs laufen sollen, da ZFS standardmäßig das Maximum für den ARC (Lesecache) auf die Hälfte des RAMs setzt.

Und zu der System-SSD, hier ist zu sagen, dass PVE sehr viel in die Logs schreibt. Das heißt eine Consumer SSD wird sich relativ schnell abnutzen.
Für dieses Setup lohnt sich wahrscheinlich keine Enterprise SSD, schon alleine aus Preisgründen, aber dies sollte man immer im Hinterkopf behalten.

Bei dem Budget lohnt aber auch keine neue Hardware. Eine gebrauchte 100GB Enterprise SSD bekomme ich ab 10€. Eine 400GB Enterprise SSD für 50€ etc (beides mit nur 0-4% Abnutzung). Da zahlt man dann auch nicht mehr als für eine neue Samsung QVO, hat dafür aber MLC statt QLC NAND, hat PLP, hat 10 statt 0,3 DWPD und eine viel bessere Performance bei großen Writes oder Sync Writes.
Solange man kein ZFS benutzt fand ich die Schreibraten von PVE nicht so wild. Wenn es hoch kommt schreibt da PVE ja vielleicht 30GB am Tag und selbst die schlechtesten SSDs haben da noch 50 TB TBW was dann für gute 5 Jahre reichen sollte.
Das Problem sind da viel eher die VMs, gerade wenn da DBs drin laufen und/oder ZFS genutzt wird. Da sollte man dann definitiv selbst im Heimumfeld zu Enterprise SSDs greifen.

Deine Kühlung ist übrigens Overkill. Mein E3-1230v3 läuft hier mit einem Artic 92mm Kühlkörper für 18€ und schafft es nie über 70 Grad. Also würde ich mir jetzt nicht extra kaufen, aber wenn du die SAchen schon rumliegen hast schadet eine bessere Kühlung ja auch nicht.

 

[Techiesgeek]

Bei dem Budget lohnt aber auch keine neue Hardware. Eine gebrauchte 100GB Enterprise SSD bekomme ich ab 10€. Eine 400GB Enterprise SSD für 50€ etc (beides mit nur 0-4% Abnutzung). Da zahlt man dann auch nicht mehr als für eine neue Samsung QVO, hat dafür aber MLC statt QLC NAND, hat PLP, hat 10 statt 0,3 DWPD und eine viel bessere Performance bei großen Writes oder Sync Writes.
Solange man kein ZFS benutzt fand ich die Schreibraten von PVE nicht so wild. Wenn es hoch kommt schreibt da PVE ja vielleicht 30GB am Tag und selbst die schlechtesten SSDs haben da noch 50 TB TBW was dann für gute 5 Jahre reichen sollte.
Das Problem sind da viel eher die VMs, gerade wenn da DBs drin laufen und/oder ZFS genutzt wird. Da sollte man dann definitiv selbst im Heimumfeld zu Enterprise SSDs greifen.

Deine Kühlung ist übrigens Overkill. Mein E3-1230v3 läuft hier mit einem Artic 92mm Kühlkörper für 18€ und schafft es nie über 70 Grad. Also würde ich mir jetzt nicht extra kaufen, aber wenn du die SAchen schon rumliegen hast schadet eine bessere Kühlung ja auch nicht.

Die Sachen liegen hier tatsächlich noch im Keller rum. Und wo bekomm ich den so günstig gebrauchte Enterprise ssd her.

Und erstmal danke für die ganzen Infos

 

[Dunuin]

Ich habe meine 19 Stück alle von eBay oder eBay Kleinanzeigen. Am besten breit gefächert suchen und dann vor dem Kauf immer SMART-Werte schicken lassen um zu gucken wie abgenutzt die SSD schon ist oder ob es in der Vergangenheit irgendwelche Probleme gab.

 

[Falk R.]

Für zuhause reicht eBay locker. Wenn du lieber etwas mit Garantie haben willst musst du bei Google nach "refurbished" suchen.
Ich habe z.B. schon einiges bei Tonitrus.de bestellt, war immer Top bisher. Da bekommst du aber keine für 10€.

 

[Techiesgeek]

So gebraucht finde ich derzeit keine Enterprise ssd‘s. Ist es möglich die Logs auch auf einer normalen HDD auszulagern?

 

[Falk R.]

Wenn ich bei eBay nach Enterprise SSD gebraucht suche, kommen 1700 Ergebnisse. Da sollte was dabei sein.

 

[Techiesgeek]

Ja ist auf alle fälle dabei, jedoch wollte ich keine Hunderte von Euros ausgeben und nur eine Intel SSD für 18,90 also im Moment nicht solch ein Glück. Bei Amazon hab ich die Intenso SSD SATA3 High mit 120 GB für 16,99 gesehen, mit einer TBW von 40 TB die würde dann ja ca. 4 Jahre durchhalten.
soll angeblich mit TLC und DDR Caching sein

 

[Dunuin]

Die 120GB Intenso High Performance sind nicht toll, aber laufen bei mir als ZFS Mirror im TrueNAS Server wenigstens seit über einem Jahr problemlos. Aber halt nicht vergessen, dass dir da ein Stromausfall schnell dein OS killen kann, wenn die SSDs keine Powerloss Protection haben (was abgesehen von den MX500 eigentlich nur Enterprise SSDs tun). Dann verlierst du ja alles an asynchronen Writes was noch im DDR Cache steckt und noch nicht auf den TLC NAND geschrieben würde.

Hier schreibt alle paar Wochen mal jemand und fragt warum Proxmox nach einem Stromausfall nicht mehr läuft. DA hat der Stromausfll dann meist die Daten auf den SSDs/HDDs zerschossen und bei einer Disk fehlen dann z.B. plötzlich die Partitionen.

 

[Falk R.]

Hi, ich würde keine Intenso für Proxmox benutzen. Ich habe einen Kunden mit ca. 100 defekten Intenso SSDs im Schrank. Die waren alle in Clients verbaut wo nix los ist. Die sind auf Kingston gewechselt, weil auch günstig. Die halten bisher in den Clients.

 

[Techiesgeek]

OHA, na das ist ja jetzt ein Ding. Mmm, ich will mir es nicht leicht machen bei der Auswahl meiner SSD jedoch welche Marke kannst du mir empfehlen und welche Serien bzw. Baureihen.

 

[Falk R.]

Hi, bei den Enterprise SSDs kenne ich keinen negativen Ausreißer. Du solltest dir aber einen Moment Zeit nehmen dafür. Es gibt ganz bekannte Baureihen von Samsung oder Kioxia etc. Ich habe aber auch schon Schnäppchen gemacht bei SSDs deren Produktnummer du erst mal nix findest beim Hersteller. bei mir waren es Samsung und über diese Baureihe gab es keine Information, bis auf eine Pressemitteilung. Da stand, die wird nur für OEMs hergestellt und kommt nicht auf den freien Markt. Die wurden fast exklusiv für Netapp hergestellt und da keiner die SSds kennt, wurden die zum Ladenhüter und gab es extrem günstig.
Achte einfach immer drauf, dass die mind. 1DWPD haben. Dann bist du auf der sicheren Seite.
Es gibt auch Server SSDs mit 0,3 DWPD, die sind aber nur fürs OS gedacht und auch nicht viel besser als Consumer Ware.
Viel Spaß beim Schnäppchen suchen.

 

[Dunuin]

So generell kann man sagen:

DWPD = Drives Writes Per Day = wie oft man über den Garantiezeitraum pro Tag die SSD einmal komplett beschreiben darf
TBW = Total Bytes Written = wie viel du auf die SSD schreiben darfst bevor die Garantie erlischt

Zwischen beiden kann man auch hin- und herrechnen, wenn man die Garantiezeit kennt.

Beispiel anhand einer Samsung Evo:
Hast du eine 1TB SSD mit 600 TB TBW und einer 5 Jahre Garantie hätte die SSD "(600 TB TBW / (365 Tage * 5 Jahre Garantie)) / 1 TB Kapazität = 0,33 DWPD"
Bei DWPD-Angaben musst du aber mit der Garantiezeit aufpassen. Eine Samsung Qvo kommt z.B. auf die gleiche DWPD, sollte aber weniger lange halten. Bei der sind bei gleicher Kapazität die TBW dann zwar 2/5 niedriger, aber weil die Garantie nur 3 statt 5 Jahre ist, kommt die DWPD kann auf das selbe hinaus. Also ein Vergleich von DWPD macht nur Sinn wenn man SSDs mit gleicher Garantielänge vergleicht.

Grob kann man sagen:
Consumer SSDs haben ca 0,3 DWPD
Prosumer SSDs haben 0,6 DWPD
Leseintensive Enterprise SSD rund 1 DWPD
Enterprise SSDs für Mixed Workloads rund 3 DWPD
Enterprise SSD für schreibintensive Workloads haben z.B. auch mal 10 DWPD.

Vom Anschaffungspreis wirken da Enterprise SSDs vielleicht erstmal teuer, aber wenn man bedenkt, dass da eine Enterprise SSD für schreibintensive Workloads z.B. 55x so oft beschrieben werden darf wie eine Samsung Qvo, dann ist da die Preis-Leistung schon wieder super.
Jedenfalls wenn man genug schreibt um die hohe Haltbarkeit auch wirklich ausnutzen zu können.

 

[Techiesgeek]

Ist mit Enterprise SSD sowas gemeint und ist der Preis in Ordnung?

Hier klicken Servershop24.de

 

[Falk R.]

Der Preis ist für eine Write Intensive SSD tatsächlich gut. So eine SSD brauchst du nicht unbedingt und du hast bestimmt keine SAS Anschlüsse.
Wenn du nicht zufällig einen SAS HBA rumliegen hast, solltest du lieber SATA SSDs nehmen, die kannst du onboard anschließen.

 

[mira]

So gebraucht finde ich derzeit keine Enterprise ssd‘s. Ist es möglich die Logs auch auf einer normalen HDD auszulagern?

Wenn die VMs auf einer eigenen SSD liegen, spricht nichts dagegen eine HDD für das Betriebssystem zu verwenden.

Wir haben hier in den Workstations für PVE oftmals auch nur eine MX500 oder Samsung Evo/Pro verbaut. Je nachdem wie viel läuft, reichen diese auch aus.
Komme bei meiner MX500 hier bei 16356 `Power_On_Hours` auf ein Wearout von 1%.

 

[Techiesgeek]

Wenn die VMs auf einer eigenen SSD liegen, spricht nichts dagegen eine HDD für das Betriebssystem zu verwenden.

Wir haben hier in den Workstations für PVE oftmals auch nur eine MX500 oder Samsung Evo/Pro verbaut. Je nachdem wie viel läuft, reichen diese auch aus.
Komme bei meiner MX500 hier bei 16356 `Power_On_Hours` auf ein Wearout von 1%.

Ich habe damit kein Problem das OS auf einer normalen HDD zu lassen und nur die VM auf eine SSD zu packen.