HomeServer - Hardwareberatung

[Tropaion]

Hallo,

Ich möchte mir gerne für Zuhause ein ProxMox-System als NAS und für einige Hobby-Programmier-Projekte (Student) einrichten.
Da ich bei dem Thema ProxMox neu bin und mein Budget leider sehr limitiert ist, möchte ich um Rat fragen, damit ich mein Geld nicht falsch ausgebe.

Budget ist ~450€.
Ich hatte kurz überlegt, einen gebrauchten Server zu kaufen, aber diese sind für meinen Standort zu laut.

Aktuell in der Liste (soll gut erweiterbar sein):
Case: Inter-Tech Case IPC Server 4U-4088-S (~58€)

CPU: Intel Core i3 9100F 4x 3.60GHz So. 1151 BOX (~66€)

MB: ASRock B365M Pro4 Intel B365 So.1151 Dual Channel DDR4 mATX Retail (~73€)

RAM: 16GB G.Skill Aegis DDR4-2400 DIMM CL15 Single (~45€), leider ECC für ZFS, hab aber auch schon gelesen, das es für nicht kritische Anwendungen nicht so schlimm sein soll (hier).

HDD: Ich hab 3x 3TB WD RED noch Zuhause, eine möchte ich noch dazukaufen für RAID10 (~90€)

PSU: 400 Watt be quiet! System Power 9 (~38€)

Falls ich etwas wichtiges vergessen habe bzw. Verbesserungsvorschläge sind sehr willkommen.

Mfg,
Tropaion

 

[Dunuin]

Das Gehäuse ist super für den Preis, da habe ich 2 von. Du solltest aber noch 20€ für leisere Lüfter einplanen. Kommt nur mit einem recht lauten ungeregelten 120mm Lüfter und hinten noch 2 optionale 80mm Lüfter macht auch noch Sinn. Positiv fand ich auch den Luftfilter und das Gehäuse ist aus echt massivem Stahl gebaut. Bei der höhe der CPU-Kühler ist man leider sehr eingeschränkt. Da passen nicht mal alle Kühler mit 90mm Lüfter (zur Not kann man noch die Querstrebe weglassen, dann verliert man aber die 4 2,5" Halterungen). Das einzige wirklich störende sind die Festplattengeräusche (nichts entkoppelt) und das nur so 4 oder 5 der 3,5" Slots Luft abbekommen.

400W PSU ist eigentlich zu viel. Am effizientesten sind die bei rund 80% der maximalen Leistung. Wenn du da 400W kaufst aber der Rechner nur bei 100W läuft verbrätst du unnötig Strom. Das kleinste was man als ATX normal bekommt ist leider 300W (und selbst das wird wohl unter dem Bereich arbeiten, ab dem es effizient sein würde).

Ich würde trotzdem zum gebrauchten Server raten. Die gibts ja nicht nur in laut als Rack sondern auch in leise mit geregelten 120mm Lüftern im Tower-Case. Habe ich mir auch einen von gekauft, der läuft jetzt als Backup-NAS und ist leiser als mein Spiele-Rechner.
Neben ECC Ram bieten diese auch gleich noch IPMI (Server per Webinterface bedienen um z.B. den Server per Internet rebooten zu können wenn der mal abstürzt), Onboard-LAN ist meist von Intel (und meist mit 2 oder 4 Ports was super ist wenn du einen Teil deiner VMs in einer DMZ vom Heimnetz isolieren willst) und damit überall unterstützt (Realtek was die meisten Consumer Mainboard haben macht dir z.B. bei vielen Betriebssystemen Probleme), die haben meist mehr PCIe Lanes und damit mehr PCIe Slots (wovon man nie genug haben kann wenn man später GPUs, 10Gbit LAN, HBA-Karten, PCIe SSDs usw für die VMs braucht und nachrüsten will), generell kann mehr RAM verbaut werden (mit 16GB wirst du nicht glücklich. So 64GB ist da schon eher das Minimum was bei Hypervisoren gängig ist) und die Xeon CPUs können dank VT-x besser virtualisieren. Dann hast du auch oft noch Dinge wie Bifurication und die Server-Mainboard-Hersteller liefern ein vielfaches länger Patches nach wenn sicherheitslücken wie Spectre usw auftauchen.

Und ECC solltest du echt nicht unterschätzen wenn du ZFS nutzen willst. Das ist nicht nur damit der weniger abstürzt und damit öfter verfügbar ist. ZFS wurde für Enterprise Hardware entwickelt und setzt voraus, dass du es auf einem sehr stabilem System betreibst auf dem dementsprechend auch ECC verwendet wird. Hast du kein ECC kann dein Server keine Fehler im RAM erkennen und wenn dann im RAM ein Fehler auftritt, bevor deine Daten auf die Festplatte geschrieben werden, dann hast du kaputte Daten deren Prüfsummen aber korrekt sind. ZFS denkt also alles wäre in bester Ordnung dabei hast du Datenverlust. Da für ZFS alles heil scheint kann es auch keine Fehler korrigieren und die berühmte Selbstheilungsfunktion des Dateisystems funktioniert nicht. Wenn man sich schon neue Hardware holt, dann sollte man auch gleich ECC RAM nehmen.
Und Backups helfen dir da auch nicht viel, wenn du die nicht auf ewig speicherst sondern überschreibst. Bis du mitbekommst, dass da eine Datei defekt ist, hast du die schon auf alle deine Backups verteilt und damit deine heilen Versionen überschrieben. Musst du mal das Stichwort "schleichende Datenkorrumption" googlen.

Das gleiche wenn du keine USV an den Server hängst. Ohne USV verlierst du beim Stromausfall mit Glück nur die Daten der letzten 5 Sekunden. Mit Pech zerschießt es dir das ganze Dateisystem (wobei da ZFS zum Glück ziemlich tolerant ist. Bei onboard raid hat es mir mal das ganze Array zerschossen). Die gibt es auch schon ab 50€ (ich hab eine von Powerwalker. Deutsche Firma und ziemlich günstig) und die können einem ordentlich Ärger sparen.

Laufen tut es auch alles ohne, aber wenn dann doch mal die Urlaubsfotos weg sind, dann darf man hinterher auch nicht meckern.

 

[vhit]

Brauchst Du denn die genannte Kapazität oder geht es nur darum weil die eh rumliegen? Weil die genannten Platten sind als Datenablage schon in Ordnung, aber davon will man keine virtuellen Maschinen starten müssen. Ich spreche aus Erfahrung, ich hatte genau so die REDs in Benutzung und bin dann die folgende Config umgestiegen:

Mir war wenig Strom, Leise und schnell wichtig. Ich hab einen Asrock DeskMini A300 gekauft. Den gibt es von jzelectronic bereits mit dem passenden Bios um einen 3000/4000/4000G Prozessor zu betreiben. 138 Euro für Board, Netzteil, CPU-Kühler und Gehäuse. Ich hatte mich für einen Ryzen 5 Pro 4650G entschieden, den gibt es bei Alternativ für 200 Euro. Ein 32 GB DDR4-3200 Kit aus zwei Modulen kostet 110 Euro. Z.B. CT2K16G4SFRA32A. Super-Silent wird es mit einem Noctua NH-L9a-AM4 Lüfter statt dem beigelegten Lüfter und Silent als Profil.

Das wären dann an die 450 Euro ohne Platten und ein System was absolut sparsam ist, aber sehr potent mit dem Ryzen.

Ich würde statt eine dritte 3 TB HDD zu kaufen lieber direkt eine NVME für den DeskMini als Bootplatte kaufen und als Speicher für die virtuellen Maschinen. Eine Kingston A2000 SSD 1TB M.2 2280 kostet 80 Euro.

Die Platten kann man locker per USB anschließen ohne das es langsamer wird. So etwas zum Beispiel: https://www.ebay.de/itm/184396179368

 

[Dunuin]

Ich würde statt eine dritte 3 TB HDD zu kaufen lieber direkt eine NVME für den DeskMini als Bootplatte kaufen und als Speicher für die virtuellen Maschinen. Eine Kingston A2000 SSD 1TB M.2 2280 kostet 80 Euro.

Aber nicht die Write Amplification vergessen, falls du planst etwas mit Datenbanken (Sync Writes) zu betreiben oder du ein Copy-On-Write Dateisystem wie ZFS/qcow2 nutzen willst. Da wird eine Consumer SSD wie die A2000 1TB mit nur 600TBW und ohne Powerloss-Protection schnell zum Problem.

 

[vhit]

Aber nicht die Write Amplification vergessen, falls du planst etwas mit Datenbanken (Sync Writes) zu betreiben oder du ein Copy-On-Write Dateisystem wie ZFS/qcow2 nutzen willst. Da wird eine Consumer SSD wie die A2000 1TB mit nur 600TBW und ohne Powerloss-Protection schnell zum Problem.

Wie viel TBW meinst Du braucht man? Für 100 Euro bekommt man 2.2 PB TBW durch eine Transcend MTE220S SSD 1TB.

 

[Dunuin]

Geht nicht nur um die TBW alleine sondern auch um die Write Amplification und die Powerloss Protection. Die MTE220S hat wohl auch keine Powerloss Protection (wie fast alle M.2 SSDs im übrigen), kann also keine Sync Writes cachen und wird dementsprechend vermutlich eine ziemlich schlechte Write Amplification haben.
Einmal sind 2.2 PB bei 1TB Kapazität auch nicht so viel wenn man es mit Enterpise SSDs vergleicht. Für um die 120€ bekommst du z.B. auch gebrauchte Enterpise (SATA-)SSDs mit 1TB Kapazität sowie MLC Flash und die können dann 21 PB schreiben mit nur einer Write Amplification von rund Faktor 2. Schreiben kann man dann also echte 10,5 PB an Daten.
Keine Ahnung was die A2000 oder MTE220S für eine Write Amplification haben, aber wenn das z.B. Faktor 20 bei kleinen 8K Sync Writes sein sollte, dann sind die 600TB/2200TB TBW schon nach dem Schreiben von 30TB/110TB an echten Daten erreicht.

Leider gibt es keine Möglichkeit vor dem Kauf herauszufinden, wie hoch da die Write Amplification ungefähr sein würde (außer man findet Benchmarks wo das mal jemand extra getestet hat). Aber generell sollte man bei Consumer SSDs keine gute Write Amplification erwarten. Erst recht nicht, wenn kein Kondensator für die Powerloss Protection verbaut ist.

Daher kann man da leider auch schlecht einen Rat geben wieviel "TBW" man denn braucht.
Ich würde da zu einer Enterprise SSD raten und wenn man sich keine neue leisten kann und keine gebrauchte haben möchte, dann sollte man die Consumer SSDs wenigstens mal eine Woche lang mit Sync Writes testen (z.B. ZFS auf "sync=always" stellen oder ein paar Anwendungen mit MySQL Datenbanken in den VMs laufen lassen), per smartctl die SMART-Werte auslesen und die Write Amplification sowie die echten Writes des NAND-Flashs pro Tag ausrechnen. Dann kann man schön ausrechnen, ob die SSD schon nach ein paar Monaten kaputt sein würden (wäre bei meinen M.2 Samsung Evos z.B. der Fall gewesen) oder ob die ein paar Jahre halten könnten. Wenn das garnicht passt kann man die SSDs in den ersten 2 Wochen wenigstens noch zurückschicken und auf eine Enterprise SSD sparen.

Ich schreibe mit Enterprise SSDs, ZFS und ziemlich vielen Sync Writes gerade um die 20MB/s, also grob 630 TB pro Jahr (inkl. Write Amplification und Overhead). Und das sind nur 7 VMs die bei mir im privaten Homelab daheim laufen und die meiste Zeit nichts zu tun haben. So 90% der Writes sind eigentlich nur die Logs und Metrics die von Zabbix und Graylog in eine MySQL/ElasticSearch/MongoDB Datenbank geschrieben werden (also kleine Sync Writes).
Das kann also schnell ziemlich extrem werden mit SSDs, wenn man den Overhead und die Write Amplification nicht beachtet. Daher immer schön testen solange man die noch zurückgeben kann.
Mein 5x 200GB raidz1 Pool (120€) hat aber eine TBW von 21PB, weshalb das selbst bei 630 TB pro Jahr um die 33 Jahre halten sollte.

Wenn man dann noch die viel höhere Write Amplification von Consumer SSDs in betracht zieht die zusätzlich hinzukommen, würde die A2000 also bei mir nur wenige Monate halten und die MTE220S wäre dann vielleicht nach einem Jahr kaputt geschrieben.

Edit:
Mal zum Verdeutlichen was ich mit Write Amplification und Overhead meine anhand meines Servers:
1.) Alle VMs zusammen schreiben 0,25 MB/s an echten Daten im Leerlauf
2.) In der VM läuft ext4 als Dateisystem, was ein Journaling-Dateisystem ist und alles erst einmal ins Journal schreibt und später vom Journal richtig auf die Laufwerke. Hier gibt es also einen Overhead von Faktor 2 und die 0.25MB/s werden zu 0.5MB/s.
3.) Dann ist die ext4 Platte in der VM ja nur virtuell und beim Weg von der virtuellen Festplatte zum physikalischen ZFS pool gibt es noch einmal etwa ein Overhead von Faktor 10. Die 0.5MB/s, die auf die virtuelle Festplatte geschrieben werden sollen, die werden dann zu 5MB/s, die auf den ZFS pool geschrieben werden müssen. ZFS muss die Blocksize halt anpassen, erstellt extra Daten für die Parität, erstellt Prüfsummen und andere Matadaten. Das wächst dann nochmal ziemlich gut an.
4.) Sync Writes werden bei ZFS auch zuerst in das ZIL Journal geschrieben und von da aus dann auf die SSD. Da ich kein SLOG habe und das ZIL daher auf der selben SSD ist gibt es also noch einmal ein Overhead von Faktor 2 und die 5MB/s werden zu 10MB/s.
5.) Dann muss die SSD diese 10MB/s auch noch speichern und da habe ich eine Write Amplification von rund Faktor 2. Die 10MB/s werden also zu 20MB/s die wirklich auf den NAND Flash auf den SSDs geschrieben werden.

Eigentlich will ich nur 0,25MB/s Logs/Metrics schreiben aber durch den Overhead und die Write Amplification werden die 0,25MB/s an echten Daten zu 20MB/s die auf die SSDs geschrieben werden müssen. Die TBW werden also 80x schneller erreicht als man es denken würde, wenn man einfach nur anguckt was da die VMs an Daten schreiben.

Hätte ich da eine Consumer SSD die z.B. eine Write Amplification von Faktor 20 statt 2 hätte, dann würde es richtig übel werden. Die 0,25MB/s an echten Daten würden dann wegen dem Overhead zu 10 MB/s und die 10 MB/s dann durch die Write Amplification zu 200 MB/s. 200 MB/s rund um die Uhr, nur um ein paar Logs und Metrics zu speichern wären echt übel und würde die SSDs im Null-Komma-Nichts killen.

Und ja, das ist schon verdammt viel Overhead, aber ich hab schon alles so gut optimiert wie ich es konnte:
-atime wurde überall deaktiviert
-Temporäre Daten gehen direkt in die RAM-Disk
-zraidz1 statt mirrored stripe weil das Writes sparen sollte
-volblocksize der zvols wurde für den pool optimiert
-ashift des pools sollte passen
-alle Partitionen sind ausgerichtet
-alle Datenbanken cachen und wurden optimiert
-cache mode richtig gewählt

Wüsste nicht was ich da jetzt hätte besser machen sollen um den Overhead zu reduzieren.
Das ist mit der Virtualisierung und ZFS ist halt noch einmal etwas ganz anderes als man das z.B. beim normalen Windows Gaming-/Arbeits-PC hat. Hier im Server würden die Consumer SSD wie Samsung Evos nur Wochen oder Monate halten und wenn ich die in den GamingPC stecken würde, der eigentlich viel mehr schreibt, dann wären die erst nach Jahrzehnten kaputt. Da darf man also nicht auf die SSD-Abnutzung im normalen PC gucken und dann hochrechnen, was man wohl für einen Server so brauchen würde. Das ist halt überhaupt nicht vergleichbar.

Edit:
HDDs hatte ich übrigens auch versucht um das nervige Abnutzen der SSD durch Writes zu umgehen.
Klappe aber nicht, da sich durch den Overhead nicht nur die Menge an Daten vervielfacht hat, sondern auch die Zugriffe pro Sekunde. Am Ende waren das dann einige Hundert IOPS und damit waren die HDDs dann durch die vielen kleinen Schreibvorgänge hoffnungslos überfordert und die Latenz war viel zu hoch.
Da bin ich dann von Consumer M.2 SSD über NAS HDDs zu Enterprise SATA SSDs gekommen.

 

[vhit]

Ich glaube für den @Tropaion geht das jetzt sehr am Thema vorbei. Er suchte Vorschläge für einen 450 Euro Proxmox-Server. Ihn sollten wir da erstmal zu den beiden gemachten Vorschlägen zu Wort kommen lassen.

 

[Tropaion]

Danke für die vielen Antworten, man liest hier interessante Information.
Die 4x3TB HDDs sind für mich schon wichtig, da ich auch vielen Daten ablegen werden bzw. auch NextCloud installieren möchte.
Ich hab mich jetzt auch einiges auf ebay und co. umgesehen und einen guten gebraucht Tower-Server gefunden, welcher für meine Anforderungen sicher reicht und auch Preis/-Leistungsmäßig besser ist als was zusammenzustellen. Für 400€ mit 96GB DDR3 ECC-RAM (ohne HDDs/SSDs) ist das glaub ich nicht schlecht.
Da meine Anforderungen ja nicht so hoch sind, da es ja als Hobby ist, werde ich es zuerst mal nur mit denn 4 HDDs (ZSF) probieren und schauen wie es mit der Geschwindigkeit so ist. Ich kann ja dann immer noch eine SSD einbauen.

 

[H4R0]

Geht nicht nur um die TBW alleine sondern auch um die Write Amplification...

@Dunuin Leider offtopic aber ich habe nun schon bei vielen threads gelesen das du über TBW bei consumer SSD's schreibst.

TBW ist eine Hersteller Garantie und hat nichts mit der realen Laufzeit zu tun, siehe z. B. Tests von 2015 https://techreport.com/review/27909/the-ssd-endurance-experiment-theyre-all-dead/

Bereits vor 6 Jahren haben so gut wie alle consumer SSD's 1PB geschrieben, heute schreiben consumer 1TB MLC SSD's 6PB und die bekommt man mittlerweile für unter 100€

Write amplification ist bei Datenbank sync writes normal, hierfür ist zfs standardmäßig nicht ausgelegt. Record size reduzieren, sync deaktivieren und txg timeout erhöhen reduziert die write amplification enorm.

Enterprise SSD's sind zu bevorzugen, halten länger, haben besseres monitoring via smart, bessere performance bei random writes, mehr iops, power loss protection, etc. aber im homelab reichen consumer SSD's völlig aus.

 

[Dunuin]

@Dunuin Leider offtopic aber ich habe nun schon bei vielen threads gelesen das du über TBW bei consumer SSD's schreibst.

TBW ist eine Hersteller Garantie und hat nichts mit der realen Laufzeit zu tun, siehe z. B. Tests von 2015 https://techreport.com/review/27909/the-ssd-endurance-experiment-theyre-all-dead/

Bereits vor 6 Jahren haben so gut wie alle consumer SSD's 1PB geschrieben, heute schreiben consumer 1TB MLC SSD's 6PB und die bekommt man mittlerweile für unter 100€

Write amplification ist bei Datenbank sync writes normal, hierfür ist zfs standardmäßig nicht ausgelegt. Record size reduzieren, sync deaktivieren und txg timeout erhöhen reduziert die write amplification enorm.

Enterprise SSD's sind zu bevorzugen, halten länger, haben besseres monitoring via smart, bessere performance bei random writes, mehr iops, power loss protection, etc. aber im homelab reichen consumer SSD's völlig aus.

Ja, wenn man seine Server aber auch für den Produktionsbetrieb nutzen will ist das ja nicht wirklich sinnvoll da die sync writes einfach komplett zu verbieten oder das txg timeout zu erhöhen, nur um die Haltbarkeit von SSDs auf Kosten der Datenintegrität zu erhöhen. Datenbanken schreiben ja nicht ohne Grund ihre Daten synchron. Ich hab hier nichts geschäftliches daheim und nutze den Server nur privat aber trotzdem möchte ich vermeiden, dass da eine meiner Datenbanken zerschossen wird, weil da Async Writes beim Netzteilausfall oder Kernel Crash verloren gehen. Gerade wenn man viel Medien digitalisiert und Metadaten für diese erstellt, dann gehen da hunderte Stunden an Arbeit rein. Wäre dann super ärgerlich wenn da eine DB zerschossen wird und man alle Metadaten in der DB neu einpflegen müsste.
Gut, den Totalausfall kann man gut mit Backups der VMs/LXCs vermeiden, aber so richtig gut schlafen kann ich dann auch nicht, wenn ich nicht weiß, ob da hin und wieder mal einzelne Datensätze korrumpiert werden und ich das vielleicht nicht direkt mitbekomme und die beschädigte Datenbank dann mit in die Backups übernehme.
Aber ja, wenn man den Server nur zum Herumtesten als Homelab nutzt und da keine große Arbeit reinsteckt oder sich auf dessen Dienste verlässt, dann kann man da schon durch das Erhöhen des txg timeouts und verbieten von sync writes die Write Amplification ordentlich senken.

Danke für die vielen Antworten, man liest hier interessante Information.
Die 4x3TB HDDs sind für mich schon wichtig, da ich auch vielen Daten ablegen werden bzw. auch NextCloud installieren möchte.
Ich hab mich jetzt auch einiges auf ebay und co. umgesehen und einen guten gebraucht Tower-Server gefunden, welcher für meine Anforderungen sicher reicht und auch Preis/-Leistungsmäßig besser ist als was zusammenzustellen. Für 400€ mit 96GB DDR3 ECC-RAM (ohne HDDs/SSDs) ist das glaub ich nicht schlecht.
Da meine Anforderungen ja nicht so hoch sind, da es ja als Hobby ist, werde ich es zuerst mal nur mit denn 4 HDDs (ZSF) probieren und schauen wie es mit der Geschwindigkeit so ist. Ich kann ja dann immer noch eine SSD einbauen.

Das klingt doch schon sehr gut. 96GB ECC RAM sind super geeignet und Laufwerke brauchst du ja auch eigentlich nicht. Wenn du was spezielles im Auge hast kannst du ja mal berichten was da für ein Mainboard und CPU im Tower-Server stecken. Dann kann man da noch mehr sagen. Aber wenn das ein fertiger Server ist und der auch gut mit ECC RAM ausgestattet ist, dann sollten CPU und Mainboard eigentlich auch ganz brauchbar sein. CPU Leistung braucht man in den meisten Fällen gefühlt nur echt wenig. Ich hab hier nur 8 Cores bei 2,1 GHz und die CPU ist selten mehr als 15 oder 20% ausgelastet. Wichtig wird CPU Leistung eher dann wenn du Spiele-Server betreiben willst oder Medien streamen willst (plex/emby usw.) und du keine GPU durchreichst. RAM ist bei mir immer der große limitierende Faktor und da hättest du dann ja erstmal eine stattliche Menge.

Edit:
Bei Server-Mainboards mit IPMI-Modul kannst du die Lüfter oft nicht über das BIOS regeln, sondern nur über das IPMI Modul und da gehen meist nur sehr grobe Abstufungen. Sollte dir das dann noch zu laut sein gibt es einige Skripte, welche das Kommandozeilen-Tool "ipmitool" nutzen um damit direkt die Lüfterdrehzahl prozentual zu regeln. Mit solchen Skripten kannst du dann die Lüfter temperaturgeregelt sehr detailiert steuern.
Das macht diese dann noch einmal deutlich leiser.

 

[Securityman]

Ja, wenn man seine Server aber auch für den Produktionsbetrieb nutzen will ist das ja nicht wirklich sinnvoll da die sync writes einfach komplett zu verbieten oder das txg timeout zu erhöhen, nur um die Haltbarkeit von SSDs auf Kosten der Datenintegrität zu erhöhen. Datenbanken schreiben ja nicht ohne Grund ihre Daten synchron. Ich hab hier nichts geschäftliches daheim und nutze den Server nur privat aber trotzdem möchte ich vermeiden, dass da eine meiner Datenbanken zerschossen wird, weil da Async Writes beim Netzteilausfall oder Kernel Crash verloren gehen. Gerade wenn man viel Medien digitalisiert und Metadaten für diese erstellt, dann gehen da hunderte Stunden an Arbeit rein. Wäre dann super ärgerlich wenn da eine DB zerschossen wird und man alle Metadaten in der DB neu einpflegen müsste.
Gut, den Totalausfall kann man gut mit Backups der VMs/LXCs vermeiden, aber so richtig gut schlafen kann ich dann auch nicht, wenn ich nicht weiß, ob da hin und wieder mal einzelne Datensätze korrumpiert werden und ich das vielleicht nicht direkt mitbekomme und die beschädigte Datenbank dann mit in die Backups übernehme.
Aber ja, wenn man den Server nur zum Herumtesten als Homelab nutzt und da keine große Arbeit reinsteckt oder sich auf dessen Dienste verlässt, dann kann man da schon durch das Erhöhen des txg timeouts und verbieten von sync writes die Write Amplification ordentlich senken.


Das klingt doch schon sehr gut. 96GB ECC RAM sind super geeignet und Laufwerke brauchst du ja auch eigentlich nicht. Wenn du was spezielles im Auge hast kannst du ja mal berichten was da für ein Mainboard und CPU im Tower-Server stecken. Dann kann man da noch mehr sagen. Aber wenn das ein fertiger Server ist und der auch gut mit ECC RAM ausgestattet ist, dann sollten CPU und Mainboard eigentlich auch ganz brauchbar sein. CPU Leistung braucht man in den meisten Fällen gefühlt nur echt wenig. Ich hab hier nur 8 Cores bei 2,1 GHz und die CPU ist selten mehr als 15 oder 20% ausgelastet. Wichtig wird CPU Leistung eher dann wenn du Spiele-Server betreiben willst oder Medien streamen willst (plex/emby usw.) und du keine GPU durchreichst. RAM ist bei mir immer der große limitierende Faktor und da hättest du dann ja erstmal eine stattliche Menge.

Edit:
Bei Server-Mainboards mit IPMI-Modul kannst du die Lüfter oft nicht über das BIOS regeln, sondern nur über das IPMI Modul und da gehen meist nur sehr grobe Abstufungen. Sollte dir das dann noch zu laut sein gibt es einige Skripte, welche das Kommandozeilen-Tool "ipmitool" nutzen um damit direkt die Lüfterdrehzahl prozentual zu regeln. Mit solchen Skripten kannst du dann die Lüfter temperaturgeregelt sehr detailiert steuern.
Das macht diese dann noch einmal deutlich leiser.

Danke dir

 

[Tropaion]

Hallo @Dunuin, denn Server denn ich gekauft habe ist ein:
Dell PowerEdge T320 3.5'' 8 Bay mit

• CPU: E5-2407 v2 x 1, 2.40GHz , 4 Threads
• 96GB of RAM - PC3 10600R
• 2 x Redundant 495W PSU
• PERC H310 Adapter RAID Controller
• DVD Drive

Die CPU ist zwar relativ schwach, aber wenn ich mehr brauche, dachte ich kann ich ja später noch einen Intel Xeon E5-2470 V2 CPU 10-Cores, welchen man für schon für ca. ~100€. Der sollte dann aber auf jeden Fall reichen .

Hab mir ein paar YT-Videos zu dem Server angesehen, klang da nicht sehr laut, aber genau kann es da ja nicht sagen.
Ob man die Lüfter bei dem MB/BIOS Regeln kann weiß ich nicht, danke für denn Software-Tipp.

Derzeitig geplante VMs sind:

• NAS (mit NextCloud, SMB und TimeMachine (Eltern haben Mac ))
  • Da weiß aber noch nicht wirklich wie man das gut umsetzt
• FHEM (Haussteuerung)
• p4d (Lest RS232-Signale von Heizung mittels einem virtuellen Netzwerk-COM-Port ein)
• WebServer wo PartDB läuft, zu Verwaltung von Elektronikbauteilen
• Evtl. einen Musik-Dienst
• Evtl. BitWarden
• Eine VM zum experiementieren und kaputt machen

Wo ich jetzt noch Probleme/Bedenken habe:

• Ob ich ZFS verwenden soll, oder lieber denn HW-Raid-Controller und damit RAID 10 zu machen weil,
  • ich habe gelesen, das man bei ZFS ohne denn Pool neu einzurichten, denn Speicher kaum erweitern kann.
  • dafür ist man halt abhängig vom Controller und wenn der kaputt wird, könnte es problematisch sein
  • Gibt sicher noch viele andere Pro/Contras, kenn mich da aber nur oberflächlich aus
• Wie ich alle VMs Netz-Intern und von außen erreichbar machen soll (Router: MikroTik 2011UiAS)
  • Wir hab eine dynamische IP die ich zur Zeit mit einer Domain verbunden habe, mit der man auf denn Router kommt
  • Einige VMs sollen nur intern aber einige auch extern erreichbar sein

Lg,
Tropaion

 

[Dunuin]

Hallo @Dunuin, denn Server denn ich gekauft habe ist ein:
Dell PowerEdge T320 3.5'' 8 Bay mit

• CPU: E5-2407 v2 x 1, 2.40GHz , 4 Threads
• 96GB of RAM - PC3 10600R
• 2 x Redundant 495W PSU
• PERC H310 Adapter RAID Controller
• DVD Drive

Die CPU ist zwar relativ schwach, aber wenn ich mehr brauche, dachte ich kann ich ja später noch einen Intel Xeon E5-2470 V2 CPU 10-Cores, welchen man für schon für ca. ~100€. Der sollte dann aber auf jeden Fall reichen .

Hab mir ein paar YT-Videos zu dem Server angesehen, klang da nicht sehr laut, aber genau kann es da ja nicht sagen.
Ob man die Lüfter bei dem MB/BIOS Regeln kann weiß ich nicht, danke für denn Software-Tipp.

Derzeitig geplante VMs sind:

• NAS (mit NextCloud, SMB und TimeMachine (Eltern haben Mac ))
  • Da weiß aber noch nicht wirklich wie man das gut umsetzt
• FHEM (Haussteuerung)
• p4d (Lest RS232-Signale von Heizung mittels einem virtuellen Netzwerk-COM-Port ein)
• WebServer wo PartDB läuft, zu Verwaltung von Elektronikbauteilen
• Evtl. einen Musik-Dienst
• Evtl. BitWarden
• Eine VM zum experiementieren und kaputt machen

Wo ich jetzt noch Probleme/Bedenken habe:

• Ob ich ZFS verwenden soll, oder lieber denn HW-Raid-Controller und damit RAID 10 zu machen weil,
  • ich habe gelesen, das man bei ZFS ohne denn Pool neu einzurichten, denn Speicher kaum erweitern kann.
  • dafür ist man halt abhängig vom Controller und wenn der kaputt wird, könnte es problematisch sein
  • Gibt sicher noch viele andere Pro/Contras, kenn mich da aber nur oberflächlich aus
• Wie ich alle VMs Netz-Intern und von außen erreichbar machen soll (Router: MikroTik 2011UiAS)
  • Wir hab eine dynamische IP die ich zur Zeit mit einer Domain verbunden habe, mit der man auf denn Router kommt
  • Einige VMs sollen nur intern aber einige auch extern erreichbar sein

Lg,
Tropaion

Die CPU finde ich für den Anfang ok. Hängt etwas vom Anwendungsfall ab, aber wenn du nicht gerade Videos mit der enkodierst oder Spiele-Server laufen lassen willst, dann kann die bestimmt 1 oder 2 dutzend VMs betreiben.

Den PERC H310 habe ich auch. Den kannst du normal nicht für ZFS benutzen, da der nur RAID kann und man bei ZFS die HDDs ohne Hardware-Raid nutzen muss. Meinen PERC H310 habe ich dazu mit einer LSI Firmware geflasht und so den IT-Mode aktiviert. Dann ist das kein Raid-Controller mehr sondern ein normaler SAS HBA an den zu bis zu 8 SATA Platten hängen kannst. Den HBA könntest du dann auch z.B. an eine VM durchreichen (PCIe Passthrough) und in der VM dann ein NAS-Betriebsystem wie z.B. FreeNAS aufsetzen. Dann kann die VM direkt ohne Virtualisierung auf die Festplatten an dem HBA zugreifen. Nextcloud brauchst du auch nicht auf dem NAS selbst. Das NAS stellt ja Netzwerkfreigaben zur Verfügung und du kannst dann auch einfach eine Nextcloud-VM anlegen, welche dann z.B. per SMB oder NFS einen Ordner vom NAS lokal einbindet. So mache ich das hier mit meiner Nextcloud-VM, nur dass das NAS halt ein anderer Rechner ist. Ist gernell auch sicherer wenn du Nextcloud selbst einrichtest und nicht ein fertiges Plugin nimmst. Ich fand diese Anleitung z.B. gut und bin der gefolgt. Nur das mit dem SSL, Letsencrypt und Fail2Ban und so habe ich weggelassen, da meine Nextcloud sowas nicht braucht, da sich die Reverse-Proxy-VM um SSL und Zertifikate kümmert.

Wenn du mehrere verschiedene VMs/Container über die selbe öffentliche IP erreichen willst musst du einen Reverse Proxy in einer VM/LXC einrichten.

Was nur intern ereichbar sein soll gibst du halt am Router nicht frei. Ohne Portforwarding kommt man ja dann vom Internet aus nicht dran.

Wegen NAS solltest du dich mal in ZFS einlesen. Ist wie du schon sagtest schlecht erweiterbar (wobei einfach einen weiten Pool erstellen immer geht. Muss man nur in großen Sprüngen nachrüsten) hat dafür aber gewisse Selbstheilungsfunktionen (erkennt automatisch wenn eine Datei kaputt geht und repariert diese dann aus den Paritätsdaten) und ist sehr robust. Muss du halt Pro und Kontra abwägen. Falls du z.B. FreeNAS in einer VM benutzt kannst du da auch ZFS nutzen und in Proxmox selbst dann z.B. was anderes für deine anderen VMs. Dann wären die Daten auf dem NAS schön sicher und die Proxmox-Daten (würde sich SSD anbieten) schön schnell und SSD schonend.

 

[Dunuin]

Achso, der "Dell Perc H310" ist eigentlich ein viel teurerer "LSI 9211-8i" der mit einer Firmware von Dell abgespeckt und gerebrandet wurde. Da der von der Hardware aber baugleich ist, kann man da auch die Firmware von LSI aufspielen und so wieder alle Features freischalten oder z.B. auch die IT-Mode-Firmware aufspielen, damit der auch als reiner HBA ohne Raid mit ZFS funktioniert.
War etwas kompliziert und ich musste Infos aus 2 verschiedenen Tutorials zusammensuchen, aber hat dann letzendlich geklappt. An dem hängen seit einem Jahr meine Platten im FreeNAS-Server und hatte damit bisher keine Probleme. Super Teil für den Preis. Meiner war glaube ich gebraucht 30€ und dann noch 7€ je neuem SAS-Zu-4x-Sata-Kabel.

 

[Tropaion]

Hallo @Dunuin,
nochmals danke für deine hilfreichen Infos.
Ich denke ich werde die LSI-Firmware flashen wie du gesagt hast, hätte aber noch ein paar Fragen.
Soweit ich das verstanden habe:

• HAB übernimmt die Kommunikation zwischen denn Platten um die CPU/RAM zu entlasten (geht schneller)
• Das ZFS-Dateisystem wird dann von ProxMox über denn HBA erzeug und verwaltet
• FreeNAS kann auf denn HBA zugreifen ohne ProxMox als Zwischenstufe, ist effizienter

Jetzt frage ich mich, wenn FreeNAS direkt auf denn Pool zugreifen kann, dann kann es auch auf alle Systemdaten von ProxMox bzw. denn VMs zugreifen, oder? Kann man das vermeiden? Indem man z.B. FreeNAS einen eigenen Speicherbereich gibt (eigene Partition/Volume oder so (habe aber nur einen Pool, 4x3TB-Platten)?

Lg,
Tropaion

 

[Dunuin]

Nein, wenn du den HBA direkt per PCIe Passthough an eine VM durchreichst, dann kann den weder Proxmox noch eine andere VM den benutzen. Die VM greift dann wirklich exklusiv hardwareseitig auf den HBA zu. So kann die VM dann direkt auf die Festplatten zugreifen und die auf unterster Ebene manipulieren. Ist dann praktisch so, als wenn der HBA direkt an an der virtuellen Maschine angeschlossen wäre. Proxmox müsste dann andere Laufwerke benutzen die nicht am HBA hängen dürfen. Also z.B. auf einer SSD die direkt am SATA Port des Mainboards angeschlossen ist. Um ZFS etc würde sich dann das Gast-Betriebsystem in der VM kümmern.
Das Gastbetriebsystem (z.B. FreeNAS) könntest du dann aber z.B. auch auf einer virtuellen Festplatte installieren, die auf der SSD liegt und von Proxmox für die VM bereitgestellt wird.

Guck mal das Video hier. Da wird erklärt wie man FreeNAS auf einem Proxmox-Server virtualisiert und wie man einen LSI Controller durchreicht.

 

[Tropaion]

Das heißt in meiner aktuellen Hardware-Config kann ich das eh nicht machen, weil ich nur 4x3TB HDDs habe und da alles drauf laufen soll.

 

[Dunuin]

Ja, wenn du keine extra SSD für bessere VM Leistung willst (eine gebrauchte 400GB Enterpise SSD wie die Intel S3700 mit nur 1% der TBW beschrieben bekommst du schon für 50€) dann kannst du die HDDs höchstens in Proxmox selbst einbinden. Da geht dann zwar auch ZFS (falls du das überhaupt willst) aber...

1.) Proxmox nutzt "ZFS on Linux" was es erst seit einigen Jahren gibt und nicht offiziell von Linux unterstützt wird. Es wird erst nachträglich in den Kernel reingepatcht und ist daher nicht so vertrauenserweckend wie z.B. ZFS auf FreeNAS (was nicht auf Linux sondern Unix basiert, wofür ZFS entwickelt wurde und seit Ewigkeiten stabil läuft)
2.) du musst alles wie Netzwerkfreigaben selbst in Proxmox installieren und per Kommandokonsole konfigurieren. Proxmox bietet da im Gegensatz zu z.B. einem NAS-Betriebssystem wie FreeNAS keine Verwaltung oder GUI für

Ich würde da aber wirklich noch zu einer extra SSD für Proxmox und die VMs raten. Festplatten sind wirklich abnormal langsam wenn es um kleine Random Zugriffe geht und du wirst du sehr viel haben wenn du viele VMs parallel laufen lässt.
Auch kannst du das später nicht einfach ändern. Wenn du später denkst dir sind die HDDs doch zu langsam, dann musst du Proxmox komplett neu aufsetzen und alles neu konfigurieren falls auch Proxmox auf die SSD soll (Backups von VMs einspielen geht zum Glück aber ziemlich schnell).

Die 50€ für eine SSD sind da dann echt am falschen Ende gespart. Müssen ja auch nur Proxmox und die VMs draufpassen. Alle deine VMs und Proxmox selbst können ja trotzdem auf die HDDs speichern wenn du wo mehr Platz brauchst, da du ja überall einfach deine HDDs als Netzlaufwerke einbinden kannst. Ist dann halt nur etwas langsamer, da ja alle Zugriffe über das Netzwerk stattfinden müssen da Proxmox keinen direkten Zugriff auf die HDD hat.
Meine Nextcloud-VM z.B.. Da ist die VM selbst mit dem Betriebsystem, Webserver, Datenbanken usw auf der schnellen SSD auf Proxmox selbst aber die Daten, die ich dann in der Cloud hochlade, die sind nicht direkt in der VM gespeichert, sondern landen über den Netzwerkordner auf den HDDs im NAS. So hab ich alles was schnell laufen muss auf der kleinen SSD aber habe ordentlich Platz in der Cloud, da das auf den großen HDDs landet.

 

[Tropaion]

Wo bekommt man so eine SSD für 50€? Auf ebay sind die alle über 100€.
Grundsätzlich würde ich schon gern eine SSD nehmen, aber ich hab jetzt schon mein Erspartes und Essensgeld für Uni in denn Server investiert (muss jetzt Diät machen ).
Wie lange hält so eine Enterprise SSD dann ca.? Machst du BackUp von VMs auf die FreeNAS?
Was du mit denn Netzwerkfreigaben meinst, verstehe ich jetzt nicht ganz, die muss ich ja sowieso für die VMs wie FreeNAS,..., in ProxMox machen oder?
Das heißt auf der SSD wo ProxMox läuft würdest du ZFS noch nicht empfehlen, weil es noch nicht ausgereift ist? Nimmst du stattdessen ext4?
Sorry für die vielen Fragen, aber deine Ratschläge sind sehr hilfreich.
Lg,
Tropaion

 

[Dunuin]

Wo bekommt man so eine SSD für 50€? Auf ebay sind die alle über 100€.

Ja, ich hatte meine von eBay Kleinanzeigen und ebay. Die mit Sofortkauf sind meist ziemlich teuer, aber bei Auktionen oder halt über Kleinanzeigen gab es die günstig. 100GB Version für 15€, 200GB für 30€ und 400GB für 50€. FreeNAS selbst läuft bei mir z.B. auf zwei gespiegelten 100GB SSDs die mich dann nur 30€ mit Porto gekostet haben. Für VMs haben ich dann nocheinmal 5x 200GB gekauft und daraus einen weiteren ZFS pool gemacht der nur für VMs da ist.

Wie lange hält so eine Enterprise SSD dann ca.?

Die S3700 sollten ziemlich ewig halten. Die haben guten MLC Flash, Powerloss Protection und selbst die kleinsten mit nur 100GB haben eine TBW von 1800 TB. Größere entsprechend linear mehr.

Machst du BackUp von VMs auf die FreeNAS?

Für Backups der VMs habe ich ein Netzlaufwerk vom NAS eingebunden. Die landen also auf dem NAS.

Was du mit denn Netzwerkfreigaben meinst, verstehe ich jetzt nicht ganz, die muss ich ja sowieso für die VMs wie FreeNAS,..., in ProxMox machen oder?

Du hast im Prinzip 3 Sachen wo du Dinge speicherst.

1.) echte physische Laufwerke (halt wie Festplatten im normalen PC) auf die nur Proxmox zugreifen kann (oder nur eine einzige VM, wenn du eine HBA-KArte zur VM durchreichst, dafür aber hat dann PRoxmox keinen Zugriff mehr).
Auf diese Laufwerke kann keine VM direkt zugreifen. Wenn VMs an die Daten kommen sollen, dann geht das nur indirekt über Netzwerkordner. (außer die HBA-KArte wurde durchgereicht)
2.) virtuelle Laufwerke. Das sind dann "Dateien" die du entweder auf einem entfernen Netzlaufwerk speicherst oder auf den physischen Laufwerken von Proxmox. Diese "Dateien" sind dann deine virtuellen Festplatten die innerhalb der VMs als Festplatten genutzt werden. Diese sind dann leer wie neue Festplatten und du partitionierst und formatierst diese dann in der VM um darauf z.B. dein Betriebssystem zu installieren. Auf diese virtuellen Festplatten kann nur die eine VM zugreifen, für welche diese virtuelle Festplatte erstellt wurde.
3.) Mit Netzwerkfreigaben oder Netzlaufwerken meine ich die Ordner die du im Netzwerk über Samba oder NFS freigibst und auf die dann alle Computer bei dir daheim über das Netzwerk zugreifen können. Das ist ja gerade der Sinn eines NAS, dass du da einen zentralen Ort hast wo deine Daten gespeichert werden, die du aber von jedem Computer aus benutzen kannst. Das gleiche gilt natürlich auch für VMs. VMs sind ja auch auch nur so gesehen Computer und können natürlich dann auch auf die Daten die du per NAS dem Netzwerk bereitstellst zugreifen.

Das heißt auf der SSD wo ProxMox läuft würdest du ZFS noch nicht empfehlen, weil es noch nicht ausgereift ist? Nimmst du stattdessen ext4?
Sorry für die vielen Fragen, aber deine Ratschläge sind sehr hilfreich.
Lg,
Tropaion

Es ist schon relativ ausgereift aber meine Daten vom NAS würde ich dem nicht anvertrauen. Meine VMs laufen hier auch in Proxmox auf ZFS aber die finde ich nicht so kritisch wie meine Fotos usw. Wenn da was mit dem ZFS nicht klappt und die VMs beschädigt werden, dann habe ich ja immer noch ein Backup auf dem NAS wo ich dem ZFS deutlich mehr vertraue und ich kann die VM in Minuten wieder herstellen.