Proxmox VE mit ZFS: Wie ZFS-Pool performant an OMV-VM für Samba/NFS durchreichen?

[Honestas]

Moin,
ich möchte meinen Setup konsolidieren und mehrere Dienste auf einen Proxmox VE (PVE) Host konzentrieren. Bisher lief OpenMediaVault (OMV) für Samba/NFS auf eigener Hardware.

Geplanter Aufbau:
* PVE-Host mit ZFS als Hypervisor und Storage-Management.
* VM für OMV (nur für die Dienste Samba und NFS).
* Hardware: 3x 8 TB SATA HDD, die physisch am PVE-Host hängen.

Mein Ziel:
Die drei Festplatten sollen auf PVE-Ebene zu einem ZFS-Pool (z.B. RAIDZ1) zusammengefasst werden. Diesen Pool möchte ich dann performant der OMV-VM zur Verfügung stellen, damit OMV darauf seine Freigaben (Samba/NFS) einrichten kann.

Mein Problem / Die Verwirrung:
In vielen Anleitungen sehe ich zwei Ansätze, die beide nicht ideal erscheinen:
1. Passthrough der rohen Festplatten an OMV: Die Platten werden dann in OMV formatiert. Das umgeht das zentrale ZFS-Management durch PVE, was ich nicht möchte.
2. Weiterreichen des PVE-ZFS-Pools als Blockdevice (z.B. über LVM-Thin oder eine virtuelle Festplatte): In OMV wird dieses Device dann nochmal mit einem Dateisystem (z.B. ext4) formatiert. Das führt zu einem unnötigen Overhead (Dateisystem-in-Dateisystem).

Meine konkrete Frage:
Wie binde ich einen auf PVE angelegten ZFS-Pool (z.B. `tank/data`) direkt und performant in die OMV-VM ein, sodass OMV darauf Dateisystem-Freigaben erstellen kann, ohne ein zusätzliches Dateisystem darauf legen zu müssen?

Ich bin für jeden Hinweis auf die beste Methode dankbar!
(Vielleicht über `virtiofs`? Oder durch Einbindung als NFS-Share von PVE an die VM? Oder gibt es eine elegante Möglichkeit mit SCSI-Passthrough des gesamten Pools?)

 

[Falk R.]

Moin,
ich möchte meinen Setup konsolidieren und mehrere Dienste auf einen Proxmox VE (PVE) Host konzentrieren. Bisher lief OpenMediaVault (OMV) für Samba/NFS auf eigener Hardware.

Geplanter Aufbau:
* PVE-Host mit ZFS als Hypervisor und Storage-Management.
* VM für OMV (nur für die Dienste Samba und NFS).
* Hardware: 3x 8 TB SATA HDD, die physisch am PVE-Host hängen.

Mein Ziel:
Die drei Festplatten sollen auf PVE-Ebene zu einem ZFS-Pool (z.B. RAIDZ1) zusammengefasst werden. Diesen Pool möchte ich dann performant der OMV-VM zur Verfügung stellen, damit OMV darauf seine Freigaben (Samba/NFS) einrichten kann.

Da ist schon der erste Fehler. RaidZ mit langsamen HDDs und Performant, das widerspricht sich komplett. Mit 4 HDDs im Mirror wirst du OK Performance haben, aber so eher Schneckentempo.

Mein Problem / Die Verwirrung:
In vielen Anleitungen sehe ich zwei Ansätze, die beide nicht ideal erscheinen:
1. Passthrough der rohen Festplatten an OMV: Die Platten werden dann in OMV formatiert. Das umgeht das zentrale ZFS-Management durch PVE, was ich nicht möchte.

OK

2. Weiterreichen des PVE-ZFS-Pools als Blockdevice (z.B. über LVM-Thin oder eine virtuelle Festplatte): In OMV wird dieses Device dann nochmal mit einem Dateisystem (z.B. ext4) formatiert. Das führt zu einem unnötigen Overhead (Dateisystem-in-Dateisystem).

Wenn du einen LVM Thin-Pool baust, ist das ein Block Pool und kein Dateisystem. Du möchtest aber ZFS nutzen.
ZFS ist Raidmanager, Volume Manager und Dateisystem in einem.
Beim PVE ZFS-Pool nutzt du nur das Raid Feature (wenn gewünscht) und den Volume Manger. Ein Dateisystem hast du erst wenn du ein Dataset anlegst.
Aus dem ZFS Pool schneidest du scheibchen raus, die du als virtuelle Disks an deine VM gibst. Wie wenn du eine Partition auf deiner Disk anlegst.
In der VM auf der virtuellen Disk hast du dann das erste Dateisystem.
Nicht verwechseln mit ESXi oder HyperV wo du immer ein Dateisystem hast und da dann Dateien ablegst, als virtuelle DIsks.

Meine konkrete Frage:
Wie binde ich einen auf PVE angelegten ZFS-Pool (z.B. `tank/data`) direkt und performant in die OMV-VM ein, sodass OMV darauf Dateisystem-Freigaben erstellen kann, ohne ein zusätzliches Dateisystem darauf legen zu müssen?

Wenn du ein deinem Pool "tank" ein Dataset anlegst "data" dann hast du ein ZFS Dateisystem was du so nativ gar nicht in deine VM einbindest.
Nutze einfach den Pool "tank" und wenn du in der GUI deine vDisk in den Pool legst, ist alles Perfekt.

Ich bin für jeden Hinweis auf die beste Methode dankbar!
(Vielleicht über `virtiofs`? Oder durch Einbindung als NFS-Share von PVE an die VM? Oder gibt es eine elegante Möglichkeit mit SCSI-Passthrough des gesamten Pools?)

Du versuchst damit eine simple Sache extrem zu verkomplizieren. Davon würde ich die Finger lassen.

 

[Honestas]

Danke Dir, Falk! Der Einstieg in das Thema ist echt nicht trivial – es gibt unheimlich viele Möglichkeiten.

Mich würde wirklich interessieren, wie andere hier im Forum ihr NAS-Setup unter Proxmox konkret umsetzen.

Ich habe in den letzten Tagen verschiedene Konfigurationen ausprobiert und die Übertragungsraten unter Samba gemessen (NFS ist erwartungsgemäß schneller):

Getestet habe ich u. a.:

• OMV „bare metal“ auf dem Fileserver mit mdadm RAID5 und ext4
• OMV als VM unter PVE mit 3× HDD per Passthrough, ebenfalls RAID5 + ext4
• PVE mit ZFS (RAIDZ1) und ZVOL für OMV, in der VM dann ext4

Unterm Strich hätte ich mir die Tests fast sparen können – alle Varianten sind praktisch gleich langsam.
Die eigentliche Bremse sind natürlich die HDDs.

Gemessene Werte bei mir:

• Große Dateien: ca. 75 MB/s
• Viele kleine Dateien: ca. 35 MB/s

Was mir am ZVOL-Ansatz nicht so gut gefällt, ist das „Schätzen“ der maximalen Größe im Voraus – das empfinde ich als unnötig fehleranfällig und unflexibel.

Aktuell schaue ich mir daher noch folgende Varianten an:

• OMV als LXC unter PVE mit ZFS-Dataset per Bind-Mount
• NFS-Export direkt von PVE an OMV als VM

Ein weiteres Thema ist der Kernel:
Der Standard-Debian-Kernel von OMV 8 macht Probleme mit ZFS (DKMS-Kompilierung schlägt fehl bzw. ist instabil).
Deshalb wird dort oft der Proxmox-VE-Kernel mit ZFS genutzt.

Ich habe es bisher allerdings nicht geschafft, ZFS im OMV-Standard-Setup wirklich „out of the box“ stabil zum Laufen zu bringen.

Vielleicht mag ja jemand teilen, wie er OMV + PVE + ZFS im Alltag sinnvoll und wartbar einsetzt.

 

[Falk R.]

Diese Frage haben schon ganz viele gestellt. Dazu gibts unzählige Threads und da werden auch sehr viele verschiedene Methoden beschrieben.
Lese dir doch die alten Threads durch, da bekommst du viel mehr Info auf einmal, statt kleckerweise in einem neuen Thread.