Hardwareauswahl - Proxmox VE mit Openmediavault NAS

UGREEN NASync DXP4800 Plus
Hab ich ein paar Monate eingesetzt, erst mit TN, dann mit PVE. Geht beides. Von diesen Konstruktionen - TN oder OMV unter PVE mit pass through - halte ich überhaupt ganz und gar nix. Bei mir läuft PVE auf 1a NAS-HW mit Kernel NFS und Samba. Die Performance ist irre und irgendwelche fancy ACLs brauch ich net. Wobei das mit Samba wohl durchaus ginge, wenn ich das richtig sehe. Ausser der PVE-Gui nutz ich noch Webmin.
Virtualisierung steht bei mir im Vordergrund, deshalb war mir die UG DXP etwas zu dünn drauf und ich bin jetzt auf Minisforum N5 (ohne Pro). Das rockt.
Die Belüftung bei der DXP ist auch schlecht, 100° CPU, 60° NVME und 50° bei den HDs waren hier im Sommer normal. Im N5 liegt das alles mindestens 10° niedriger. Zudem hat es 5 bays, USB4 und Oculink. Ich hab jetzt 80 GB RAM aber mit 40 käme man auch hin; ist eine Frage, wieviel VMs man betreiben will.
 
Last edited:
Truenas oder Openmediavault auf Proxmox Virtual Envirement mit pass through - halte ich überhaupt ganz und gar nix.
Der Trend geht also zu zwei baremetal Systemen.
Welche schlechten Erfahrungen hast Du gemacht?
 
Last edited:
Der Trend geht also zu zwei barematl Systemen.
Welche schlechten Erfahrungen hast Du gemacht?

Naja, es ist halt ein Stück zusätzliche Komplexität. Wenn man in erster Linie die da gespeicherten Daten eh in Containern oder VMs verarbeiten möchte, könnte man die schließlich auch direkt in den entsprechenden lxcs/vms zugewiesenen virtuellen Laufwerken speichern. Selbst für das Verfügbarmachen von Netzwerkfreigaben werden sie nicht unbedingt benötigt, das könnte man genauso gut mit einer Linux-VM oder LXC plus einer Managment-GUI (Webmin, Cockpit o.ä., zamba-toolbox, turnkey-filserver) machen.
Dazu kommt, dass der VM (per Definition) nicht alle Ressourcen der Hardware zur Verfügung stehen, also z.B. nicht der ganze RAM des Hosts für Caches genutzt werden kann, man hat also auf jeden Fall schlechtere Performance als bare-metal (kann natürlich trotzdem ausreichen eh klar).

Eine andere Sache ist, dass TrueNAS empfiehlt, dass man für eine Nutzung einer VM jenseits einer Test-/Spielumgebung (also sobald der Verlust der Daten ärgerlich wäre) einen eigenen Controller zu haben und an die VM durchzureichen:

For TrueNAS and OpenZFS to offer absolute protection for your data, they should have direct access to a storage controller and the drives attached. Without direct access, there is a possibility of the hypervisor interfering with settings, reordering or reconfiguring drives, and introducing avenues for data corruption. Virtual data disks are not as reliable, and are particularly prone to operator mistakes such as accidental deletion or inadvertent use of hypervisor-based snapshot technology.

The key piece of the puzzle is a technology broadly referred to as PCI passthrough – this might be given a different name such as “VMDirectPath I/O” “Discrete Device Assignment” by the vendor, but the core functionality must remain the same – the virtual machine must be able to address the PCI hardware device directly, without going through an abstraction layer.

When creating a TrueNAS VM for production use, the storage controller must be assigned to the VM via PCI passthrough. This will prevent the hypervisor from claiming the controller with its driver, and allow TrueNAS to use its own.

https://www.truenas.com/blog/yes-you-can-virtualize-freenas/

Im alten TrueNAS-Forum hat dazu ein User auch mal was längeres geschrieben: https://www.truenas.com/community/r...guide-to-not-completely-losing-your-data.212/

Sprich: Wenn man ein NAS-System wie TrueNAS, UnRAID oder OpenMediaVault (die technischen Gründe für die TrueNAS-Empfehlung gelten da genauso!) als VM betreibt, braucht es den Controller, damit das zuverlässig wie erwartet funktioniert.
Der offensichtliche Nachteil des Verfahrens: Man braucht halt einen extra Controller und die dann daran angeschloßenen Platten kann man dann für nichts anderes verwenden und werden über die PromoxVE-eigenen Mechanismen nicht mitgesichert, man muss sich also für das Backup der NAS was anderes überlegen. Gerade bei so typischen Mini-PCs ist auch nicht unbedingt genug Platz für so viele Platten plus Controller vorhanden.

Wenn man sich dessen bewusst ist und entsprechend danach handelt, kann das trotzdem sinnvoll sein. Mein produktiver ProxmoxVE-Server ist eine von einen Kollegen übernommene ASRock-Homeserver mit XEON CPU und ECC-RAM, da ECC-Ram gut für Datenintegrität ist, wollte ich da also nicht nur meine wichtigen VMs und Container, sondern auch mein NAS drauf laufen lassen. Also habe ich einen SATA-Controller drin, den ich an die TrueNAS-VM durchreiche. Aber ich nutze die NAS-Vm halt auch, um von meinen Notebook auf die Daten zuzugreifen und meinen anderen Proxmox-Knoten (auf Mini-PCS wo der Stroage knapper ist) Netzwerkfreigaben für Anwendungen wie jellyfin oder paperless zur Verfügung zu stellen. Deren Backup mache ich darum aber auch nicht mit dem PBS (ich müsste den promox-backup-client unter TrueNAS installieren), sondern mache das mit einen anderen Backuptool, damit die Daten der NAS auch ohne laufenden ProxmoxBackupServer wiederherstellbar sind. Das funktioniert alles recht gut, trotzdem bin ich am Überlegen, ob das Setup nicht unnötig kompliziert ist und ich nicht stattdessen auf eine Linux-VM+NFS-Server und Samba oder einen zusätzlichen Mini-Server als eigenes NAS umsteigen soll ;)
 
@jan-t Das widerspricht dem Konzept der Virtualisierung und es bringt keinen für mich erkennbaren Vorteil, das reicht mir schon. :)
Hast Du schon mal 'n Hibernate auf so einer VM gemacht? Und hat der "pass through"-Pool das überlebt? Stichwort Strom weg / USV, was passiert dann mit so 'ner VM.
Ich hatte das mal mit einer einzelnen HD und ReFS an einer Windows-VM probiert. Ging sogar ein paar mal gut. Aber irgendwann dann nicht mehr. Alles futsch. War zum Glück nur sekundäres Backup. Und schon kleine Transfers brachten 100% Diskaktivität.
Für mich kommt noch hinzu, daß ich die übliche NAS-S/W für völlig überfrachtet halte. Die bringen ja auch noch Docker- oder Virtualisierungs-Engines mit, meistens nur selten aktualisiert.
ZFS & ARC bare metal ist m.E. das Schnellste, was man bekommen kann. In einer VM müßte der ARC sich dann ja beim RAM der VM bedienen. Also ich laß lieber I/O in der Schicht, welche der H/W am nächsten liegt.
Wie gesagt, NFS und Samba direkt auf dem PVE Host, das ist so simpel wie performant, was brauch ich da 'ne VM mit pass through. :rolleyes:

Ein aktuelles Beispiel, welche Probleme man sich einhandelt. Nee, brauch ich net. IT kost mich eh schon zu viel Lebenszeit und Nerven. o_O
 
Last edited:
  • Like
Reactions: jan-t
Was ist ARC?

https://pro-vreden.site/zfs-limit

Ob es sinnvoll ist, den ZFS-ARC (Adaptive Replacement Cache) zu beschränken, hängt von der spezifischen Nutzung deines Systems sowie den verfügbaren Ressourcen ab. Der ARC ist ein wichtiger Bestandteil der ZFS-Architektur, der dazu dient, häufig abgerufene Daten im RAM zwischenzuspeichern, um die Leistung des Dateisystems zu verbessern. Standardmäßig kann ZFS eine erhebliche Menge an RAM für den ARC verwenden, da es dynamisch an den verfügbaren Speicher anpasst, um eine optimale Performance zu gewährleisten. In einigen Situationen kann dies jedoch problematisch werden, insbesondere wenn der RAM begrenzt ist oder andere kritische Anwendungen ebenfalls signifikanten Speicher benötigen.

Wie gesagt, NFS und Samba direkt auf dem PVE Host,

Widerspricht das nicht dem Proxmox-Gedanken?
 
Last edited:
Widerspricht das nicht dem Proxmox-Gedanken?
Nun er berichtet über seine Entscheidung in seinem privaten Umfeld.
Proxmox als stabiles ZFS Subsystem zu nutzen und darüber nur oder hauptsächlich Datenspeicher bereit zu stellen, ist auch ok, wenn man sich dem "führ und wider" bewust ist.
Schlußendlich ist mal selbst sein Administrator und muss mit möglichen Nebeneffekten selbst zurecht kommen.
Stichwort: KIS
 
@jan-t hast Du dir mal Gedanken für Deine NAS Anforderungen, insbesondere wie Viel TB Speicher und wie Schnell sollen Daten transportiert werden, gemacht?
Ich hoffe Du bist bei Deinen Überlegungen bei ZFS als Datei- und File-System angekommen.
 
  • Like
Reactions: Johannes S
Bei meinem Wissensstand muss ich kleinteiliger anfangen.
OpenMediaVault und Proxmox also getrennt halten.
Bis jetzt habe ich noch nicht mal ein RAID System.
Hochverfügbarkeit ist bei mir nicht erforderlich.
 
Last edited:
Widerspricht das nicht dem Proxmox-Gedanken?

In gewisser Weise schon, allein weil damit die Isolation zwischen Host ubd vms aufgebrochen wird. Wenn man sich der potentiellen Probleme bewusst ist, kann man das trotzdem machen und profitiert davon, dass es weniger Overhead durch den Wegfall der Virtualisierung gibt.

Eine andere Möglichkeit wäre, wie gesagt, die Einrichtung eines Contsiners als Kompromiss
 
  • Like
Reactions: jan-t
Widerspricht das nicht dem Proxmox-Gedanken?
Aus Sicht von Proxmox schon. :p
But what's in it for me?
Mein Risiko ist allenfalls, daß die Funktionalität nicht mehr da ist bei möglichen Änderungen in PVE. Geschenkt. Daß sie meine Daten löschen... ja nu, sollte wohl nicht passieren, oder. :oops:
Aber so hab ich halt extrem ressourcenschonendes File Sharing. :D
Eine andere Möglichkeit wäre, wie gesagt, die Einrichtung eines Containers als Kompromiss.
Hatte ich zuerst mit Samba, zum probieren. Bin dann aber damit recht schnell direkt auf den PVE Host.

Das ist für mich übrigens auch noch ein Riesenvorteil bei PVE. Sie laufen auf Debian und man kann Pakete installieren (auch wenn es nicht empfohlen ist). TrueNas erlaubt das gar nicht erst. Nur durch eine Art Jailbreak. Und nach meinen Erfahrungen mit diesem Moloch war mir das tatsächlich zu riskant.
 
  • Like
Reactions: news and Johannes S
Wofür hast Du den Samba smb?
Datenaustausch, Windows - Linux?
Ja genau. Also nicht unbedingt wg. Linux sondern wg. NAS. PVE läuft bei mir auf NAS-HW und noch als "echter" Hypervisor auf 'nem Selbstbau-Supermicro. War unzufrieden mit QNAP, Syno sowieso schon länger, TrueNas. OMV nie wirklich probiert. Wozu auch. Das PVE-NAS kann alles, was ich brauche. LXC, Docker, W11P, WS2K25 ... PBS natürlich auch.

Kernel-NFS läuft super direkt auf PVE, mit Kernel-SMB hatt ich Probleme. Ich vermute mal, das liegt am PVE-eigenen Kernel. Aber macht jetzt nix, das standard Samba via apt installiert läuft tipptopp und kann genug für mich. Management via Webmin (und CLI wo nötig).
 
Last edited: