Hi,
ich überlege schon länger wie ich bei mir den "optimalen" Fileserver aufbauen könnte und würde da gerne einfach mal mit euch etwas drüber diskutieren und ein paar Meinungen hören da mir leider im Bekanntenkreis etwas die geeigneten Gesprächspartner fehlen :-D
Folgendes habe ich:
- Proxmox Server
- 2x 1TB SSD
- 2x 8 TB HDD
- 4x 12TB HDD
Auf den zwei SSDs läuft jeweils eine 500GB Partition im ZFS Mirror auf der das System installiert ist und Platz für die VMs ist. Die restlichen 500 GB pro SSD wollte ich dann als VM Storage für Tests (ohne zfs, mirror oder sonst was) und als SSD Cache für die HDDs.
Die 4x 12TB HDD laufen mit zfs als raidz1, die 2x 8TB HDDs sind aktuell noch nicht in Verwendung.
Jetzt zu meiner eigentlichen Fileserver Frage...
Ursprünglich hatte ich mal geplant eine Fileserver VM, entweder mit einem normalen CentOS + Samba oder einer Distri wie z.B. openMediavault laufen zu lassen und dieser VM die 4 x 12TB HDDs direkt durchzureichen. Innerhalb der VM dann ein ZFS raidz1 aufzubauen um die Daten gegen Ausfall und BitRot zu schützen. Das lief jedoch nur so mäßig gut und hat irgendwie nicht wirklich gute Werte geliefert.
Zweite Idee war, auf jeder der 4 Festplatten eine 12 TB große Virtuelle Disk anzulegen und diese dann der VM zu geben. Performance war ähnlich wie zuvor aber wirklich schön fand ich das leider immer noch nicht.
Dritte und aktuell bevorzugte Idee ist deshalb die 4 Platten direkt unter Proxmox mit ZFS laufen zu lassen. Wenn ich jetzt die Daten direkt dort ablege habe ich Ausfallsicherheit und da sie direkt im ZFS Dateisystem liegen auch Schutz gegen BitRot und Snapshot Möglichkeiten.
Ich will jedoch eigentlich keinen SAMBA Server direkt auf dem Proxmox Host laufen lassen, also war die erste Idee einen TurnKey LXC Fileserver Container zu machen und diesem das Verzeichnis als MountPoint mitzugeben.
Würde denke ich auch so funktionieren nur ist die Weboberfläche davon leider nicht wirklich elegant
, eine andere Überlegung war das Verzeichnis vom Proxmox host via NFS an eine VM zu geben und hier dann z.B. mit OpenMediavault oder Nethserver das ganze SAMBA Management zu erledigen.
Da habe ich jedoch so meine Bedenken bezüglich Performance. Immerhin geht dann der Traffic vom HOST via Netzwerk zur VM und dann von der VM wieder zum client. Später sollen auch VMs oder Docker Container (z.B. Emby) auf diese Shares zugreifen.
Bin jetzt am Überlegen ob das Performance mäßig wirklich viel aus macht und ob ich eventuell mir selbst einen Container bauen soll in dem ich dann Nethserver installiere (wobei das scheinbar laut Forum nicht out-of-the-box so funktioniert). Nethserver hatte ich mir angeschaut da die Weboberfläche auf Cockpit basiert und das SAMBA Management hierüber sehr schickt von Nethserver gelöst wurde.
Zusätzlich habe ich als Active-Directory / LDAP Server ohnehin vor eine Nethserver VM laufen zu lassen.
Was meint ihr? Bzw. wie betreibt ihr euren Fileserver?
EDIT: Irgendwo hatte ich auch mal etwas von einer Möglichkeit gehört via p9 direkt von einer VM auf Verzeichnisse des Proxmox Hosts zuzugreifen, hat damit schon jemand gearbeitet? Gibt es Performance Erfahrungen?
ich überlege schon länger wie ich bei mir den "optimalen" Fileserver aufbauen könnte und würde da gerne einfach mal mit euch etwas drüber diskutieren und ein paar Meinungen hören da mir leider im Bekanntenkreis etwas die geeigneten Gesprächspartner fehlen :-D
Folgendes habe ich:
- Proxmox Server
- 2x 1TB SSD
- 2x 8 TB HDD
- 4x 12TB HDD
Auf den zwei SSDs läuft jeweils eine 500GB Partition im ZFS Mirror auf der das System installiert ist und Platz für die VMs ist. Die restlichen 500 GB pro SSD wollte ich dann als VM Storage für Tests (ohne zfs, mirror oder sonst was) und als SSD Cache für die HDDs.
Die 4x 12TB HDD laufen mit zfs als raidz1, die 2x 8TB HDDs sind aktuell noch nicht in Verwendung.
Jetzt zu meiner eigentlichen Fileserver Frage...
Ursprünglich hatte ich mal geplant eine Fileserver VM, entweder mit einem normalen CentOS + Samba oder einer Distri wie z.B. openMediavault laufen zu lassen und dieser VM die 4 x 12TB HDDs direkt durchzureichen. Innerhalb der VM dann ein ZFS raidz1 aufzubauen um die Daten gegen Ausfall und BitRot zu schützen. Das lief jedoch nur so mäßig gut und hat irgendwie nicht wirklich gute Werte geliefert.
Zweite Idee war, auf jeder der 4 Festplatten eine 12 TB große Virtuelle Disk anzulegen und diese dann der VM zu geben. Performance war ähnlich wie zuvor aber wirklich schön fand ich das leider immer noch nicht.
Dritte und aktuell bevorzugte Idee ist deshalb die 4 Platten direkt unter Proxmox mit ZFS laufen zu lassen. Wenn ich jetzt die Daten direkt dort ablege habe ich Ausfallsicherheit und da sie direkt im ZFS Dateisystem liegen auch Schutz gegen BitRot und Snapshot Möglichkeiten.
Ich will jedoch eigentlich keinen SAMBA Server direkt auf dem Proxmox Host laufen lassen, also war die erste Idee einen TurnKey LXC Fileserver Container zu machen und diesem das Verzeichnis als MountPoint mitzugeben.
Würde denke ich auch so funktionieren nur ist die Weboberfläche davon leider nicht wirklich elegant
, eine andere Überlegung war das Verzeichnis vom Proxmox host via NFS an eine VM zu geben und hier dann z.B. mit OpenMediavault oder Nethserver das ganze SAMBA Management zu erledigen.Da habe ich jedoch so meine Bedenken bezüglich Performance. Immerhin geht dann der Traffic vom HOST via Netzwerk zur VM und dann von der VM wieder zum client. Später sollen auch VMs oder Docker Container (z.B. Emby) auf diese Shares zugreifen.
Bin jetzt am Überlegen ob das Performance mäßig wirklich viel aus macht und ob ich eventuell mir selbst einen Container bauen soll in dem ich dann Nethserver installiere (wobei das scheinbar laut Forum nicht out-of-the-box so funktioniert). Nethserver hatte ich mir angeschaut da die Weboberfläche auf Cockpit basiert und das SAMBA Management hierüber sehr schickt von Nethserver gelöst wurde.
Zusätzlich habe ich als Active-Directory / LDAP Server ohnehin vor eine Nethserver VM laufen zu lassen.
Was meint ihr? Bzw. wie betreibt ihr euren Fileserver?
EDIT: Irgendwo hatte ich auch mal etwas von einer Möglichkeit gehört via p9 direkt von einer VM auf Verzeichnisse des Proxmox Hosts zuzugreifen, hat damit schon jemand gearbeitet? Gibt es Performance Erfahrungen?
