DIY-NAS auf Proxmox-Basis - welches Dateisystem wählen?

alexbeer

New Member
Jan 11, 2025
4
0
1
Hallo liebe Community,

ich habe lange Zeit (>10 Jahre) eine Synology als Backup und Photo-Verwaltung in der Familie eingesetzt.

Nun habe ich mich durchgerungen, als Ersatz für dieses überalterte Synology-NAS ein DIY-Nas aufzubauen.
Folgende Komponenten sind vorhanden:
  • Gehäuse: Jonsbo N3
  • Motherboard N100
  • Arbeitsspeicher: 32 GB DDR5
  • NVMe SSD: 2 TB
  • HDD: 4 x 18 TB SATA
Ggf ist meine Auswahl bzgl. der einen NVMe für das Betriebssystem und die VMs nicht ausreichend und hier sollte ein Mirror aufgebaut werden?!
Das Gehäuse hätte noch Platz für eine weitere NVMe - Budget ist aber gerade aufgebraucht ;-)

Primär soll das neue NAS folgende Aufgaben übernehmen:
  • Backup von Familien-Rechnern
  • automatisches Photo-Backup von Smartphones
  • Photo-Verwaltung als Synology DS Photo-ERsatz (ggf IMMICH)
  • *neu* Paperless NGX
  • *neu* Minecraft Server
Neben dem aufzubauen NAS läuft hier
  • BareMetal: pfSense (Router & Firewall)
  • BareMetal: SmartHome Server inkl. HomeAssistant

Ich habe mich nun entschieden, als Host-BS für das DIY-NAS Proxmox einzusetzen.
Darauf vermutlich OpenMediaVault als Basis für die NAS-Funktionen.

Keine Erfahrung und dementsprechend unsicher bin ich bzgl. der Dateisystemwahl. Von der eigenen Recherche erschlagen, habe ich letztlich nur noch
  • ZFS und
  • BTRFS
in der Auswahl.
Wozu würdet ihr bei einem NAS im Privatumfeld tendieren? Was für ein Raid würdet ihr bei den vier SATA verwenden?

Wenn ihr mir Tutorials / Videos / Einstiegsmaterial empfehlen könnt, dann versuche ich mich auch selbst weiter einzulesen...

VG Alex
 
Wozu würdet ihr bei einem NAS im Privatumfeld tendieren?

Eine Appliance oder Bare-Metal TrueNAS Scale oder Unraid. Dann bräuchte es auch weder 32GB noch eine NVMe SSD (sondern einen USB-Stick).

Aber das willst Du ja gar nicht, Du möchtest einen all-purpose Service-Host aufbauen, auf dem auch eine NAS Software läuft.

Sei ehrlich, da ist nichts falsch dran.
 
[...]Du möchtest einen all-purpose Service-Host aufbauen, auf dem auch eine NAS Software läuft.
Danke für deine Nachfrage!
Ja, eigentlich möchte ich einen "Home-Server" (oder eben all-purpose Service Host) aufbauen, der auch Storage kann.

Aus der Synology-Welt kommend, habe ich so einen Server unter "NAS" subsumiert. Von der Definition her ist das aber falsch - sehe ich ein.

Hoffe die Korrektur hilft, mich zu unterstützen, dass für mich richtige Setup zu wählen.
 
Wozu würdet ihr bei einem NAS im Privatumfeld tendieren? Was für ein Raid würdet ihr bei den vier SATA verwenden?
PVE ist kein NAS, wie ja auch @maxim.webster bereits erwähnte.

PVE ist mehr. Dieses "mehr" liefert mehr Möglichkeiten und bedingt mehr Komplexität! Das kann man anfangs aber nicht einschätzen und unterschätzt es daher oft. Die Empfehlung ist daher eigentlich: ein Job --> eine Lösung. Also ein PVE und ein separates NAS.

Ansonsten:

Natürlich empfehle ich - wie immer - ZFS. Auf englisch hatte ich einige Vorteile hier aufgeführt: https://forum.proxmox.com/threads/fabu-can-i-use-zfs-raidz-for-my-vms.159923/

Mit der von dir aufgelisteten Hardware
  • NVMe SSD: 2 TB
  • HDD: 4 x 18 TB SATA
würde ich bei der Installation nur auf die vier Blechplatten installieren und dann direkt nach dem ersten Start die beiden NVMe als "Special Device" dem nun bereits existierendem "rpool" hinzufügen. Die Blechplatten sollten natürlich trotzdem als "Striped mirror", also ~Raid10 arbeiten.

Das "Special Device" nimmt per Default ausschließlich Metadaten auf. Dafür sind die 2 TB der NVMe zu groß, der meiste Platz würde schlicht nicht genutzt. Für diesen Modus könntest du die NVMe partitionieren und nur ~300-500 GB dafür verwenden. (Zwischen 0.1% und 2% des Datenbereiches.)

Mein Ansatz wäre allerdings dieser: nach expliziter Konfiguration kann das SD auch "kleine Blöcke" speichern. Damit zielt man dann auf ein Optimum. Dieser Ansatz ist nicht trivial, lies bitte selber mehrere Artikel dazu, bevor du es probierst. Die Konfiguration ist "tricky" und kann nach hinten losgehen.
 
  • Like
Reactions: news
Hallo Udo,
vielen Dank für deine Antwort. Deinen Beitrag über ZFS hatte ich schon gelesen.

Mir ist - glaube ich - klar, dass eine PVE kein NAS ist. Da ich aber eigentlich ein "all purpose Service Host" mit NAS Funktion plane, ist doch Proxmox eine passende Basis, oder?
nach dem ersten Start die beiden NVMe als "Special Device" dem nun bereits existierendem "rpool" hinzufügen.
Bisher habe ich nur eine NVMe mit 2TB Speicher. Vorgesehen war die für Proxmox die VM.
In das Thema Special Service werde ich mich einlesen.
Idee war, den Speicher der HDD an Proxmox durchzureichen und den so von verschiedenen VM nutzen zu können.

Bin ich damit auf dem Holzweg?
 
Last edited:
Da ich aber eigentlich ein "all purpose Service Host" mit NAS Funktion plane, ist doch Proxmox eine passende Basis, oder?
Ja, sicher! Ich hatte da keine Abschreckung im Sinn :-)

Idee war, den Speicher der HDD an Proxmox durchzureichen und den so von verschiedenen VM nutzen zu können.
"an Proxmox durchreichen"? Ich gehe mal von einem Tippfehler aus. Oben hattest du OMV erwähnt.

Grundsätzlich kann man einzelne/mehrere Festplatten an eine VM durchreichen. Ich empfehle das aber generell nicht. Falls man beispielsweise TrueNAS virtualisieren möchte, sollte man stattdessen immer den kompletten Controller per PCI-Passthrough übereignen - alles andere ist grundsätzlich problematisch.

Zu OMV kann ich nichts hilfreiches sagen, das habe ich 2013 zuletzt verwendet - ich habe extra nachgeschaut :-)


Merke: nicht alles, was man konfigurieren und möglicherweise erfolgreich nutzen kann, ist auch empfohlen. Anderes Beispiel, nur zur Illustration: ZFS auf dem PVE Host ist super. Wenn man dann innerhalb einer VM ebenfalls ZFS konfiguriert, handelt man sich massiv Nachteile ein - auch wenn es technisch korrekt funktioniert.
 
ZFS erlaubt es Datasets mit Block-Device an zu legen.
Das ist das, was PVE als normale virtuelle Disk "einbaut".

Oder meinst du etwas anderes?

Manche Systeme (Standardbeispiel: TrueNAS) bestehen auf einer echten Festplatte, mit direktem Zugriff auf deren Innereien. Sei es, um Optimierungen vornehmen zu können, oder nur um SMART-Daten lesen und einen internen self-test anstoßen zu können um danach das Fehlerlog zu erhalten. Dies alles geht mit virtuellen Platten nicht.

Und auch nicht mit einzeln durchgereichten HDDs - die werden dennoch virtualisiert, auch wenn am Ende ein physischer Block direkt einem virtuellen entspricht. Ich habe nicht getestet, ob dies heutzutage noch stimmt, aber ein Beleg, dass diese Konstruktion reale SMART-Daten an den Gast liefern kann, ist mir noch nicht vorgelegt worden - ich warte darauf.
 
OK, ich sehe schon - habe da noch ne steile Lernkurve vor mir.
Ich meinte natürlich, den Speicher an eine VM (zB OVM) durchzureichen.

Nutzt ihr denn alle ZFS als Dateisystem auf dem PVE Host oder auch etwas anderes?
Ich nehme an, in der Theorie das zu diskutieren macht wenig Sinn und ich muss einfach Erfahrung sammeln ;-)
 
@UdoB

ich hatte testweise mal 4x ZFS Dataset als Blockdevice an TrueNAS durchgereicht und damit rum gespielt.
Das Problem ist dann aber, dass man ZFS auf ZFS betreibt. Und das ist dann nicht mehr sinnvoll.
 
  • Like
Reactions: UdoB
Nutzt ihr denn alle ZFS als Dateisystem auf dem PVE Host oder auch etwas anderes?
Ich bin zwar nicht "alle", aber bei mir sieht es hinsichtlich "Massenspeicher mit Nutzdaten einiger Anwendungen und der wenigen Nutzer" momentan so aus: ein PVE-Cluster-Mitglied stellt keinerlei VMs zur Verfügung sondern dient ausschließlich als "NAS". Und zwar aus historischen Gründen und wegen ein paar wenigen Windows-Clients per Samba/SMB.

Ich bevorzuge generell (zu 95%) VMs, aber hier kommt eine der berühmten Ausnahmen, die diese Regel bestätigen: ein Container (https://github.com/bashclub/zamba-lxc-toolbox) liefert mir $HOME-shares, Photos und so weiter. Zamba ist dazu an einen Univention/UCS - Domain/AD Controller gekoppelt, der die Nutzer verwaltet. $HOME klappt für Linux recht gut, für Windows funktionierte das natürlich ebenfalls. Aber dann ist es mir vor zwei Jahren kaputt gegangen - und niemand vermisst es, also wird es nun schlicht ignoriert. :cool:

Dazu gibt es auf dem Host einige manuell angelegte Datasets, die per Mountpoint in den Container hineingereicht werden. Der Host kann so direkt auf alle Dateien zugreifen; der Container ebenso; ein externer Client muss sich mit einem Domänenkonto legitimieren. Auf einem Windows (ich verwende Vollversionen als Domain-Member; ein "Home"-Kastrat kann keiner Domäne beitreten, aber dennoch auf die Freigaben zugreifen) sieht man dann alle Dateien, auf die man Rechte hat, inklusive der "Vorgängerversionen", die direkt mit ZFS-Snapshots realisiert sind.

Die Rechtevergabe-Kette ZFS --> Filesystem --> Container --> Samba --> Netzwerkclient ist die Hölle. Irgendwas mache ich - wohl ebenfalls aus historischen Gründen - immer wieder falsch. Aber man kann beispielsweise als Administrator die Rechte auch per Windows-Explorer an Nutzer vergeben.

Ein vollständiges Howto kann ich allerdings nicht liefern - das ganze ist über einen zu langen Zeitraum dynamisch gewachsen.


Disclaimer: das beschreibt mein Homelab; im Job sind andere Mechanismen am Start.
 
Nun ZFS hat, wenn man sich damit mal 365 Tage beschäftigt hat, mehr Vorteile, auch für den HomeLAB Bereich, als "Nachteile".
Für ZFS benötigt man ein spezielleres SSD - SATA o. NVMe - und HDD Setup.
Ich betreibe auch auf allen meinen Denktoprechnern noch zusätzlich ZFS für die Datenspeicherung.

Testweise habe ich auf meinem letzten Proxmox VE Setup zfs im SSD (SATA III) im ZFS Mirror für das BS und für die LXC und VM verwendet.
Zusätzlich mal - um damit warm zu werden - XFS auf Basis eines MDADM Raid1 mit 2x PCIe 4.0 x4 NVMe mit 1 TB.
Das lässt sich nur per Hand erzeuchen und wird als Verzeichnis unter "Storrage" eingebunden.
Eine wird von dort geladen und auch auf dieses Medium gesichert.

MDADM wurde noch etwas getunt, um mit höhern Datendruchsatz, bei random 4k R/W klar zu kommen.
MDADM min: 100 kByte/s und max 1 MByte/s.

* TS1TMTE250S 1TB
# https://www.transcend-info.com/product/internal-ssd/mte250s

P.S. eine USV mit USB2 - Serial-Wandler hat das kleine 25 Watt System auch erhalten:

* APC Back-UPS 350, 230 V, Batterie 12V, 7.0Ah
# https://www.se.com/de/de/product/BK350EI/apc-backups-350-230-v-batterie-12v-7-0ah/
# https://www.bueromarkt-ag.de/usv_ap...2c.html?vpid=c29e4c9a20757be5e621b33dd3c1d5be
 
Last edited:
  • Like
Reactions: UdoB
Zur eigentlichen Frage "DIY-NAS auf Proxmox-Basis" von @alexbeer: das ist ZFS, das Dir auch von TrueNAS angeboten wird.

Also wähle eine eigene kleine NAS Hardware aus:

* Mainboard Biostar B760MX2-E Pro D4 2.5 GBit/s NIC, 8x SATA III, 2x PCIe 4.0 x4 M.2

* Arbeitsspeicher G.Skill 2x 8 GB Dual-Kit, DDR4-3200, CL16,18,18,38; F4-3200C16D-16GVGB oder F4-3200C16D-16GVKB
oder
* Arbeitsspeicher G.Skill 2x 16 GB Dual-Kit, DDR4-3200, CL16,18,18,38; F4-3200C16D-32GVK

* Intel CPU
a) Intel® Core™ i3-12100,
b) Intel® Core™ i3-12100T,
c) Intel® Core™ i3-14100 oder
d) Intel® Core™ i3-14100T
==> Mehr Leistung als benötigt.

Sonst würde ich eine noch kleinere CPU wählen: Intel® Pentium® Gold G7400, 2C mit 4T.

* CPU Kühler Xilence I404T
Tune - wenn das Rot zu viel ist:
* CPU Lüfter, be quiet! Pure Wings PWM oder Noctua NF-B9 redux 1600 PWM

Anm: 4x SATA III sitzen direkt an der CPU, die anderen 4x SATA III werden über einen weiteren Chip, der über PCIe 3.0 angebunden ist, erbracht.
Hier kann man problemlos HDDs anschließen, da darüber ja nicht gebootet werden soll.

Zur Leistungsaufnahme des System:
Die liegt bei mir unter 25 Watt mit 2x SATA SSD 500 GB, 2x NVMe m.2 mit 1 TB, Intel® Core™ i3-12100T, mit Xilence I404T CPU Kühler und be quiet! Pure Wings 2 PWM CPU Lüfter.

+ Ohne die 2x NVMe bei unter 19 Watt.

Als Stromversorgung verwende ich eine 200 Watt Pico Power mit einem 120 Watt Netzteil.
 
Last edited:

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!