Meinungen zu dieser Idee?

[sonejaha33]

Hallo zusammen,

aktuell habe ich ein Synology 4-Bay NAS mit 2x WD Red 6 TB und 1x Seagate IronWolf 12 TB Festplatten als NAS System. Darauf liegen diverse Daten: Filme, Serien, Musik, Fotos, Projekte, private Dokumente und auch einige Backups.

Bislang hat es mir gereicht lokal über SMB auf die Daten zugreifen zu können, aber in letzter Zeit spiele ich immer wieder mit dem Gedanken eine Nextcloud Instanz aufzusetzen, um auch von unterwegs auf die wichtigsten Daten zugreifen zu können. Da ich in dem Bereich noch reichlich Erfahrung sammeln will bevor diese Nextcloud ans offene Netzt geht soll der Zugriff vorerst nur über VPN erfolgen. Außerdem möchte ich dann auch meine Kalender und Kontakte von meinem E-Mail Provider zur eigenen Nextcloud umziehen.

Eine extra Hardware hierfür wäre wohl das sinnvollste bzgl. Sicherheit und Einfachheit, allerdings möchte ich die Stromkosten möglichst gering halten. Ich habe bereits eine FRITZ!Box welche mittlerweile nur noch rudimentäre Aufgaben übernimmt, eine IPFire Firewall/Router, sowie zwei Switches im Einsatz. Recht viel mehr soll es eigentlich nicht werden.

Generell wende ich mich in letzter Zeit immer mehr von proprietärer Software ab und setze wo es nur geht auf freie Alternativen. Das Synology NAS will ich u.a. auch deshalb langsam aber sicher ausmustern und ein auf FreeNAS basierendes Eigenbau-System umstellen. Natürlich auch weil man mit solch einer Lösung viel flexibler ist, auch was das spätere Aufrüsten angeht.

Ich habe mich also hier und da etwas umgesehen und bin ebenfalls auf Proxmox gestoßen, was ich sehr interessant finde. Als Spielkind ist mir dabei folgender, etwas umfangreicherer Gedanke gekommen:

Proxmox als Basissystem und darauf jeweils eine VM für FreeNAS, Nextcloud und in Zukunft vermutlich auch die ein oder andere VM mehr. z.B. ein nginx Webserver der auch von außen erreichbar ist, ein Plex (oder vermutlich eher Emby) Server für das interne streamen von Medieninhalten, ...

Oft liest man dass FreeNAS aufgrund von ZFS nicht virtualisiert werden sollte, allerdings habe ich dazu auch einen offiziellen Beitrag von iXsystems gefunden der sagt, dass das wohl kein Problem sei - zumindest solange die Festplatten durchgereicht werden.

Vorgestellt habe ich mir das System in etwa so:
- Eine SSD für das Proxmox System (Oder lieber zwei gespiegelt?)
- Eine SSD für die VMs in Proxmox (Oder lieber zwei gespiegelt?)
- Eine kleine SSD durchgereicht für das FeeNAS System (Oder lieber zwei gespiegelt?)
- Die zwei 6 TB HDDs als ZFS Raid 1 durchgereicht für allg. Datenablage in FreeNAS
- Die 12 TB HDD ebenfalls durchgereicht für Filme o.Ä. wo Datenverlust verkraftbar ist

Die VMs sollen neben dem System dann als eigentliche Datenablage (z.B. für Nextcloud) einen Share von FreeNAS spendiert bekommen (z.B. NFS/SMB), so dass alle wichtigen Daten stets unter FreeNAS liegen und auch von dort aus gesichert werden können.

So, nun stelle ich mir erst mal die Frage ob meine Fantasie da nicht zu weit mit mir durchgegangen ist...
- Ist das überhaupt so realisierbar, bzw. sinnvoll? (Nagut, ein bisschen Spielplatz-Projekt soll es ja auch sein
- Ich habe von Stromkosten gesprochen, die oben aufgelisteten Platten dürften aber alleine schon eine ganze Menge verbrauchen. Könnte man das sinnvoller zusammenschustern?

Ansonsten würde mich interessieren was da überhaupt für eine Hardware notwendig bzw. empfehlenswert ist? ZFS schluckt viel RAM, das weiß ich. Außerdem möchte ich - wenn schon, denn schon - auch auf ECC RAM setzen.

Was CPU und Mainboard angeht habe ich keine wirkliche Vorstellung, außer dass es aufgrund der Virtualisierung vielleicht schon mehr als 2 Cores sein sollten und die CPU VT-x/VT-d unterstützen sollte. Habt ihr da vielleicht eine passende Idee?

Kann jemand einschätzen um wie viel Stromverbrauch wir hier ca. reden? Vielleicht kann ich mir das ganze Projekt dann ja auch gleich schon aus dem Kopf schlagen..

Das war viel zu lesen, falls ihr es bis hierhin geschafft habt sage ich schon mal Danke!

Was mich auch brennend interessiert ist, ob hier jemand ein ähnliches System hat oder schonmal mit dem Gedanken gespielt hat? Overkill ist das für meine Anforderungen vermutlich allemal, aber vielleicht ist es ja auch in jeglicher anderen Hinsicht kompletter Mumpitz?

 

[LnxBil]

- Ist das überhaupt so realisierbar, bzw. sinnvoll? (Nagut, ein bisschen Spielplatz-Projekt soll es ja auch sein

Klar kann man das so machen, aber dann ist .... komplex und langsam. Ich würde das ZFS so weit unten anbringen wie möglich, also auf dem PVE selbst.

Was CPU und Mainboard angeht habe ich keine wirkliche Vorstellung, außer dass es aufgrund der Virtualisierung vielleicht schon mehr als 2 Cores sein sollten und die CPU VT-x/VT-d unterstützen sollte. Habt ihr da vielleicht eine passende Idee?

ECC schränkt das im Desktop-Hardware-Markt schon extrem ein und ich kann hier auch nicht wirklich Hardware nennen. gebrauchte Server hardware wäre hier ggf. eine Alternative, da diese recht billig ist und man extrem erweitern kann. Man muss aber dann mit der Lautstärke leben.

Was mich auch brennend interessiert ist, ob hier jemand ein ähnliches System hat oder schonmal mit dem Gedanken gespielt hat?

Einige, siehe Forum.

Keine Ahnung wie alt dein NAS ist oder ob es das generell schon kann, aber die meisten neuen NAS-Systeme, die man heutzutage kaufen kann haben direkt Docker integriert und sind somit eigentlich um einiges mächtiger was Zusatzsoftware angeht als FreeNAS - auch wenn das in der neuesten Version von FreeNAS wieder an Board ist.

 

[sonejaha33]

Man muss aber dann mit der Lautstärke leben.

Weil ne Desktop CPU leiser ist? lol
Für nen kleinen Xeon reicht auch ein Desktop Luftkühler, den man kaum hört.
Keiner spricht von 36 Kernen...

Docker ist was anderes als Virtualisierung?
Was für eine inkompetente, nicht hilfreiche Antwort.

Achja und langsam ist ein virtualisiertes FreeNAS auch nicht, wenn man die Festplatten oder eben den HBA direkt durchreicht.

 

[LnxBil]

Weil ne Desktop CPU leiser ist? lol
Für nen kleinen Xeon reicht auch ein Desktop Luftkühler, den man kaum hört.
Keiner spricht von 36 Kernen...

Ich hätte dazu schreiben sollen, dass ich von RACK-Servern rede, die wegen ihrer Verbreitung gebraucht sehr günstig zu beziehen sind. Meistens weit unter dem Preis einer Workstation. In den Server sind keine CPU-Lüfter verbaut, dafür ist kein Platz bei 1-2 HE. Dort wird ja durch eine quer zum Schienensystem Batterie an Lüftern verbaut die Luft durch das gesamte Gehäuse nach hinten blasen und daher entsprechend laut sind.

Je nach dem was du machst benötigst du ja auch nicht wirklich einen XEON. Da du ja auch die Stromkosten angesprochen hast wäre vielleicht ein Atom oder APU basiertes System etwas für dich. ECC wirst du dabei aber höchstwahrscheinlich sehr selten finden.

Docker ist was anderes als Virtualisierung?
Was für eine inkompetente, nicht hilfreiche Antwort.

Wo genau habe ich das geschrieben? Bevor du hier Begriffe wie 'inkompenent' und 'nicht hilfreich' rumwirfst, solltest du vielleicht mal etwas genauer lesen und überlegen was du schreibst. Ich nehme mal an du hattest einen schlechten Tag als du das geschrieben hast und übergehe das mal und versuche dir dennoch zu helfen.

Achja und langsam ist ein virtualisiertes FreeNAS auch nicht, wenn man die Festplatten oder eben den HBA direkt durchreicht.

Aber langsamer als wenn man es nicht macht. Was bringt dir hier ein FreeNAS, wenn das Setup drumherum so komplex ist? Man sollte es so einfach wie möglich und komplex wie nötig halten (KISS).

Ich würde eher sowas vorschlagen:
2 größere SSDs für PVE und die Container/VMs (ZFS) und dann erstellst du dir ein Container mit der Software die du benötigst und bind-mountest dir alles so rein wie du es brauchst. Somit hast du nur eine Schicht, auf der du arbeitest und alles funktioniert direkt aus PVE heraus und hast Fehlertoleranz durch die Spiegelung. Eine extra Disk für PVE benötigt man nicht unbedingt, da PVE selbst ja sehr klein ist. Das passt noch prima auf ein anderes Storage.

Alternativ kaufst du dir anstelle der 2 SSDs noch 4 von den Festplatten und baust dir einen großen ZFS (RAID10 / stripped mirror) Pool. Ein Pool ist immer besser als zwei Pools, da der ARC nicht auf zwei pools verteilt wird.

 

[sb-jw]

Also Grundsätzlich wirst du an den Stromverbrauch einer Synology NAS eher weniger dran kommen.
Ich habe mir dieses Jahr z.B. die DS1618+ gegönnt, welche 6 Bays, 4x LAN Ports und bis zu 32GB ECC Reg RAM kann - darauf kann ich sowohl Docker als auch KVM VMs betreiben. Weiterhin ist der direkte und native USV Support integriert, so dass eine NAS ein einfaches und stabiles Gesamtpaket abliefert. Das ist auch genau der Punkt, den du dir überlegen solltest. Entweder du hast eine Spielwiese, wo du dir effektiv auch alles zerschießen kannst oder du hast eine Blackbox musst dich dafür aber nicht um alles mögliche kümmern und deine Services laufen ohne größeren Pflegeaufwand.

Ich habe mir ebenfalls im Vorfeld überlegt ob es ein kleiner Server werden soll oder lieber eine NAS. Die Kosten sind relativ identisch, meist hast du aber mit einem kleinen Server mehr Baustellen, du musst dich hier schließlich um alles kümmern. Die Wahrscheinlichkeit, dass du in den ersten paar Monaten alles neu machen wirst ist ziemlich hoch, oftmals re-installiert man alles 2 - 3 mal weil man nicht zufrieden ist. Du musst viel Zeit dafür aufbringen um es initial erst mal richtig ans Laufen zu bekommen. Ich persönlich habe zwar das Know-How zu all dem als Sys-Admin und Einkäufer, aber der Aufwand ist mir einfach zu hoch - ich habe weder die Zeit noch die Lust mich groß Privat um sowas zu kümmern. Aber das musst du am Ende selbst entscheiden.
Ich stimme hier @LnxBil aber auch vollkommen zu, ich würde z.B. auch Passthrough verzichten, das macht das Setup komplexer und weniger portabler. Überlass den Storage einfach dem HV.

Einen alten Rack Server kann ich dir hingegen jedoch nicht wirklich empfehlen, allerhöchstens sowas wie einen E3-1230 v2/v3 ggf. noch in der L- Variante und dazu einem Supermicro Board (v2: X9SCM-F oder v3: X10SLM-F), den kannst du grundsätzlich passiv kühlen, setzt aber dennoch einen aktiven Gehäuselüfter voraus. In 1HE Gehäuse (z.B. dem 512er Chassis von SM) kommt aber ein Radial-Lüfter meist noch ohne PWM zum Einsatz, welcher daher alleine schon 20 - 30W zieht und krach macht wir ein Staubsauger.
Ein gutes Angebot findest du aktuell auf eBay: https://www.ebay.de/itm/273809986705

Eines der guten Boards ist wie ich finde das X10SDV-4C-7TP4F mit einer Xeon D-1518 (4 Cores, 8 Threads) drauf, dazu hast du 4x SAS-HD Ports und 4 DIMMs mit Support für bis zu 128GB DDR4 ECC Reg RAM. Das ganze im Flex ATX-Format und dazu noch 2x 10GbE SFP+ und IPMI als dedicated. Mit diesem Board könntest du grundsätzlich alles abbilden und wärst bedingt auch flexible, da du bis zu 16 Disks direkt anschließen kannst, müsstest du dir auch kein HBA einbauen, weshalb die beiden PCIe Ports vollkommen ausreichen. Preislich liegt das Board mit rund 600 EUR dennoch ziemlich gut. Dann fehlt dir noch ein passendes Gehäuse, welches deine Anforderungen erfüllt und ggf. auch die nötige Kühlung schafft.