Hardwareauswahl - Proxmox VE mit Openmediavault NAS

UGREEN NASync DXP4800 Plus
Hab ich ein paar Monate eingesetzt, erst mit TN, dann mit PVE. Geht beides. Von diesen Konstruktionen - TN oder OMV unter PVE mit pass through - halte ich überhaupt ganz und gar nix. Bei mir läuft PVE auf 1a NAS-HW mit Kernel NFS und Samba. Die Performance ist irre und irgendwelche fancy ACLs brauch ich net. Wobei das mit Samba wohl durchaus ginge, wenn ich das richtig sehe. Ausser der PVE-Gui nutz ich noch Webmin.
Virtualisierung steht bei mir im Vordergrund, deshalb war mir die UG DXP etwas zu dünn drauf und ich bin jetzt auf Minisforum N5 (ohne Pro). Das rockt.
Die Belüftung bei der DXP ist auch schlecht, 100° CPU, 60° NVME und 50° bei den HDs waren hier im Sommer normal. Im N5 liegt das alles mindestens 10° niedriger. Zudem hat es 5 bays, USB4 und Oculink. Ich hab jetzt 80 GB RAM aber mit 40 käme man auch hin; ist eine Frage, wieviel VMs man betreiben will.
 
Last edited:
Truenas oder Openmediavault auf Proxmox Virtual Envirement mit pass through - halte ich überhaupt ganz und gar nix.
Der Trend geht also zu zwei baremetal Systemen.
Welche schlechten Erfahrungen hast Du gemacht?
 
Last edited:
Der Trend geht also zu zwei barematl Systemen.
Welche schlechten Erfahrungen hast Du gemacht?

Naja, es ist halt ein Stück zusätzliche Komplexität. Wenn man in erster Linie die da gespeicherten Daten eh in Containern oder VMs verarbeiten möchte, könnte man die schließlich auch direkt in den entsprechenden lxcs/vms zugewiesenen virtuellen Laufwerken speichern. Selbst für das Verfügbarmachen von Netzwerkfreigaben werden sie nicht unbedingt benötigt, das könnte man genauso gut mit einer Linux-VM oder LXC plus einer Managment-GUI (Webmin, Cockpit o.ä., zamba-toolbox, turnkey-filserver) machen.
Dazu kommt, dass der VM (per Definition) nicht alle Ressourcen der Hardware zur Verfügung stehen, also z.B. nicht der ganze RAM des Hosts für Caches genutzt werden kann, man hat also auf jeden Fall schlechtere Performance als bare-metal (kann natürlich trotzdem ausreichen eh klar).

Eine andere Sache ist, dass TrueNAS empfiehlt, dass man für eine Nutzung einer VM jenseits einer Test-/Spielumgebung (also sobald der Verlust der Daten ärgerlich wäre) einen eigenen Controller zu haben und an die VM durchzureichen:

For TrueNAS and OpenZFS to offer absolute protection for your data, they should have direct access to a storage controller and the drives attached. Without direct access, there is a possibility of the hypervisor interfering with settings, reordering or reconfiguring drives, and introducing avenues for data corruption. Virtual data disks are not as reliable, and are particularly prone to operator mistakes such as accidental deletion or inadvertent use of hypervisor-based snapshot technology.

The key piece of the puzzle is a technology broadly referred to as PCI passthrough – this might be given a different name such as “VMDirectPath I/O” “Discrete Device Assignment” by the vendor, but the core functionality must remain the same – the virtual machine must be able to address the PCI hardware device directly, without going through an abstraction layer.

When creating a TrueNAS VM for production use, the storage controller must be assigned to the VM via PCI passthrough. This will prevent the hypervisor from claiming the controller with its driver, and allow TrueNAS to use its own.

https://www.truenas.com/blog/yes-you-can-virtualize-freenas/

Im alten TrueNAS-Forum hat dazu ein User auch mal was längeres geschrieben: https://www.truenas.com/community/r...guide-to-not-completely-losing-your-data.212/

Sprich: Wenn man ein NAS-System wie TrueNAS, UnRAID oder OpenMediaVault (die technischen Gründe für die TrueNAS-Empfehlung gelten da genauso!) als VM betreibt, braucht es den Controller, damit das zuverlässig wie erwartet funktioniert.
Der offensichtliche Nachteil des Verfahrens: Man braucht halt einen extra Controller und die dann daran angeschloßenen Platten kann man dann für nichts anderes verwenden und werden über die PromoxVE-eigenen Mechanismen nicht mitgesichert, man muss sich also für das Backup der NAS was anderes überlegen. Gerade bei so typischen Mini-PCs ist auch nicht unbedingt genug Platz für so viele Platten plus Controller vorhanden.

Wenn man sich dessen bewusst ist und entsprechend danach handelt, kann das trotzdem sinnvoll sein. Mein produktiver ProxmoxVE-Server ist eine von einen Kollegen übernommene ASRock-Homeserver mit XEON CPU und ECC-RAM, da ECC-Ram gut für Datenintegrität ist, wollte ich da also nicht nur meine wichtigen VMs und Container, sondern auch mein NAS drauf laufen lassen. Also habe ich einen SATA-Controller drin, den ich an die TrueNAS-VM durchreiche. Aber ich nutze die NAS-Vm halt auch, um von meinen Notebook auf die Daten zuzugreifen und meinen anderen Proxmox-Knoten (auf Mini-PCS wo der Stroage knapper ist) Netzwerkfreigaben für Anwendungen wie jellyfin oder paperless zur Verfügung zu stellen. Deren Backup mache ich darum aber auch nicht mit dem PBS (ich müsste den promox-backup-client unter TrueNAS installieren), sondern mache das mit einen anderen Backuptool, damit die Daten der NAS auch ohne laufenden ProxmoxBackupServer wiederherstellbar sind. Das funktioniert alles recht gut, trotzdem bin ich am Überlegen, ob das Setup nicht unnötig kompliziert ist und ich nicht stattdessen auf eine Linux-VM+NFS-Server und Samba oder einen zusätzlichen Mini-Server als eigenes NAS umsteigen soll ;)
 
@jan-t Das widerspricht dem Konzept der Virtualisierung und es bringt keinen für mich erkennbaren Vorteil, das reicht mir schon. :)
Hast Du schon mal 'n Hibernate auf so einer VM gemacht? Und hat der "pass through"-Pool das überlebt? Stichwort Strom weg / USV, was passiert dann mit so 'ner VM.
Ich hatte das mal mit einer einzelnen HD und ReFS an einer Windows-VM probiert. Ging sogar ein paar mal gut. Aber irgendwann dann nicht mehr. Alles futsch. War zum Glück nur sekundäres Backup. Und schon kleine Transfers brachten 100% Diskaktivität.
Für mich kommt noch hinzu, daß ich die übliche NAS-S/W für völlig überfrachtet halte. Die bringen ja auch noch Docker- oder Virtualisierungs-Engines mit, meistens nur selten aktualisiert.
ZFS & ARC bare metal ist m.E. das Schnellste, was man bekommen kann. In einer VM müßte der ARC sich dann ja beim RAM der VM bedienen. Also ich laß lieber I/O in der Schicht, welche der H/W am nächsten liegt.
Wie gesagt, NFS und Samba direkt auf dem PVE Host, das ist so simpel wie performant, was brauch ich da 'ne VM mit pass through. :rolleyes:

Ein aktuelles Beispiel, welche Probleme man sich einhandelt. Nee, brauch ich net. IT kost mich eh schon zu viel Lebenszeit und Nerven. o_O
 
Last edited: