Machbarkeitsfrage/bez. Hardware

[springnick]

Hallo zusammen,

aktuell betreibe ich Proxmox auf einem alten Rechner, der aus ausrangierter Hardware besteht.
Nichts besonderes, eine einfache Installation, Proxmox und VMs auf einer 2TB WD Red, die nach Vergrößerung des NAS übrig war. 16GB RAM, AMD FX-8320 - was halt so an Resten da war.

Wenn da mehrere VMs laufen wird's da logischerweise recht lahm, läuft aber dennoch ziemlich flott, hätte ich nicht unbedingt erwartet.

Allerdings wollte ich mal einen neuen Server aufstellen, der auch mal etwas performanter und Stromsparender ist, als der jetzige.

Gedacht hatte ich wieder an Desktop Hardware, zum basteln ist mir Server-Hardware zu teuer.
Ryzen 5 2600
16GB, später 32GB
Proxmox auf SSD
die VMs würde ich gerne auf ein ZFS-Raid packen, die WD Red ist glaube ich nicht unbedingt geeignet dafür oder?
es sollen später mal, 2 bis 3 VMs gleichzeitig laufen, überwiegend wohl Windows Server Maschinen.
hättet ihr noch irgendwelche Ideen bezüglich der Festplatten? oder andere Anreize?

allem voran schon mal Grüße

 

[Ingo S]

Am meisten würde wohl eine SSD als Speicher für deine VMs die Performance erhöhen. Gerade wenn mehrere VMs auf das gleiche Speichermedium zugreifen bekommst du sehr schnell einen Bottleneck an der Festplatte. Die macht halt im besten Fall vll. 100 IO/s. Wenn sich 4 Maschinen die IO/s dann teilen müssen landest du schnell bei 25-30 IO/s und schon wird das starten von Anwendungen wie Kaugummi.
Das gilt natürlich nur, wenn alle VMs gleichzeitig auf den Speicher zugreifen.

Je nachdem was du genau mit den VMs machen willst musst du abwägen. Ist das eher Speicherintensiv, oder brauchst du CPU Power z.B. zum Rendern von irgendwelchen Sachen? Werden Daten verschlüsselt abgelegt (CPU intensiv) oder nicht...
Die Ryzen 5 2600 CPU sollte mit 12 Threads aber durchaus genug Power haben um einige VMs zu versorgen. Da sehe ich wenig Probleme. Wenn du also Hauptsächlich Sachen machst die wenig Speicherintensiv sind, kannst du das ZFS natürlich auch auf Festplatten werfen.

Die SSD für Proxmox kannst du dir eigentlich sparen. Das Host OS macht kaum IO auf seinem Speicher.

Ich kenne dein Budget nicht, aber ich würde das evtl so bauen:

1x SATA DOM 16GB oder sogar einfach nur ein USB Stick für die Proxmox Installation, eine alte HDD tuts auch.
Je nach Speicherbedarf und benötigter Datensicherheit würde ich dann tatsächlich ein ZFS Raid bauen mit mehreren SSDs, das du dann als Storage in dein Proxmox einhängst.

So hast du Host System und VM Speicher getrennt und kannst den VM Speicher verwalten ohne dein Hostsystem zu gefährden und sollte es ein Problem mit dem Storage auf dem Proxmox liegt geben, ersetzt du einfach den SATA DOM oder den Stick, spielst das Backup da drauf (MACH BACKUPS ! ) und deine Maschinen sind unbescholten wieder verfügbar.

 

[springnick]

an SSDs für die Maschinen hatte ich auch schon gedacht, geht mir dann aber doch zu sehr ins Geld, ist ja nur zum rumprobieren.
Von so einem SATA DOM habe ich noch nie etwas gehört, klingt eigentlich ganz interessant, aber ich habe hier eh noch eine 60GB SSD rumfliegen, für die ich sonst keine wirkliche Verwendung hätte.

Kann ich von einem ZFS Raid mit HDDs denn keinen (größeren) Performance-Schub erwarten?
Daher kam auch die Frage auf, ob die WD Red Platten da nicht zu lahm sind, drehen diese ja nur bis 5400rpm. Nachdem was ich so gelesen habe, soll das schon einen Unterschied machen, wenn man z.B. 7200er nutzt.


Das Thema ZFS Raid finde ich eigentlich ziemlich interessant, ich wollte das an meiner jetzigen Kiste auch einmal mit einem Raid 0 ausprobieren, da ist aktuell eh nichts drauf los.
Natürlich werde ich auf ein vernünftigeres Raid Level gehen, sollte das ganze später vernünftig laufen.

Backups werden natürlich immer gemacht

 

[Ingo S]

Naja wie gesagt, das hängt davon ab, was du machen willst. Wenn du nur wenig bis moderate IO Last erzeugst, dann hast du auch mit Festplatten wenig Probleme.
Natürlich sind Festplatten mit 7200rpm schneller und liefern auch mehr IO/s aber das bewegt sich alles im kleinen dreistelligen Bereich, also vll statt 100 dann 130, und für 15k SAS Platten biste dann vll bei 250, währen du mit SSDs IO/s von 100k aufwärts erreichst und mit richtig guten auch mehrere hunderttausend.

Du kannst ja erstmal mit Festplatten anfangen die du rumliegen hast und testest aus wie die sich IO mäßig so schlagen. Vom RAID würde ich aber keine Wunder erwarten. So ein Raid0 als Beispiel ist zwar theoretisch ungefähr doppelt so schnell wie eine einzelne Festplatte. In der Realität müssen aber immer Datenblöcke berechnet werden, die Daten müssen verteilt und gefunden werden und wenn man das in Software macht, läuft das halt auf der CPU.
Also mitm RAID wirds schneller, aber Wunder bewirkt das auch nicht. Am besten ist, du machst ne Testreihe und misst mal nach wie die Performance sich ändert.

SATA DOM ist ein Disk on Module. Das ist quasi eine kleine SSD die direkt auf den Sata Port gesteckt wird. Wenn der SATA Port DOM Unterstützung hat, brauchst du nichtmal ne Stromversorgung, ansonsten ist meist n Adapter für den normalen Stromanschluss dabei. Das spart halt den Platz für ne weitere Festplatte.

EDIT:
Ach eine Sache hab ich noch vergessen: ZFS mag sehr gerne sehr viel RAM haben. Wenn ich mich recht erinnere freut es sich, wenn es allein für sich schon 16GB RAM nutzen kann. Du solltest nochmal nachgucken was da im Allgemeinen so empfohlen wird. Mit ZFS kenne ich mich nicht gut aus.

 

[tschanness]

SATA DOM ist ein Disk on Module. Das ist quasi eine kleine SSD die direkt auf den Sata Port gesteckt wird. Wenn der SATA Port DOM Unterstützung hat, brauchst du nichtmal ne Stromversorgung, ansonsten ist meist n Adapter für den normalen Stromanschluss dabei. Das spart halt den Platz für ne weitere Festplatte.

Achtung, Proxmox auf normalen Flashspeichern macht keinen spaß, die halten dann leider nicht allzulange. Lieber eine alte (Notebook-)Festplatte nehmen.

 

[Ingo S]

Hmm das höre ich zum ersten mal und unser ganzer Cluster (8 Nodes) ist auf SATA DoM Modulen installiert und läuft seit ein paar Jahren ohne Probleme.
Bezieht sich das vielleicht darauf, wenn man auch den VM Storage auf dem SATA DoM laufen lässt? Dann hat man natürlich erheblichen IO auf dem Flash Modul.

Ich werde das mal im Auge behalten, aber bislang gibt es da keine Auffälligkeiten. Gibts dazu was handfestes?

 

[tschanness]

Hi, dann sind das wohl "gute" DOMs. Nein, es geht um die PVE Installation. Findet man im Forum immer wieder - die Installation gehört auf Enterprise SSDs oder HDDs.

 

[HBO]

Also ich habe auf einem Test System Proxmox auf einer Samsung Pro 850 seit 4 Jahren laufen mit einem wearout von 3% sowie einer SD Karte in einem HP DL380 G8. Auch hier seit 4 Jahren keine Probleme.

 

[tschanness]

Das wundert mich. Ich habe schon zwei USB Sticks "durch". Aber wenn es funktioniert: alles super.

 

[Ingo S]

Okay, USB Sticks sind auch was anderes als DoM. USB Sticks gehen reihenweise kaputt, würde ich auch z.B. niemandem zum Aufbewahren von Daten empfehlen

Wearout bekommt man ja durch Schreibzugriffe und wenn das OS nur wenige Schreibzugriffe erzeugt, schreibt sich so ein Flash auch nicht so schnell kaputt.
Das Einzige, das mir jetzt einfällt ist, wenn das OS nicht mitbekommt, dass es auf einem Flash liegt und deshalb das Journal darauf ablegt was wiederum zu exzessiven Schreibzugriffen führt.