NAS UGreen DXP4800 Plus

[Johannes S]

NFS ist m.E. auf Linuxen der Gold-Standard. Simpel und rasend schnell (also mehr geht halt dann physikalisch net).

Naja, NFS ist so simpel, dass es praktisch ein offenes Scheunentor ist, Goldstandard würde ich das nicht nennen:
https://talks.mrmcd.net/2024/talk/7RR38D/
Außer man konfiguriert Kerberos, aber dann ist es nicht mehr simpel.

Nicht falsch verstehen: Ich nutze selbst nfs im Homelab, aber der Risiken sollte man sich zumindestens bewusst sein.

 

[uwka77]

@IsThisThingOn​

Ich kenne mich null aus mit VMWare. Aber verstehe ich das richtig, dass du unter VMware
VMware ESXi ist ein Type-1 Hypervisor, kenne ich halt schon sehr lange (25 Jahre?). Vereinfacht formuliert: Der Datastore für die VMs kann auf lokalen Platten, einem Storage (der über SAS, FC oder iSCSI angebunden wird), iSCSI-Targets oder eben auf einer NFS-Freigabe liegen, SMB kennt VMware nicht. Bei lokalen Platten, Storages oder SCSI-Targets verwendet VMware ein eigenes, clusterfähiges Filesystem (VMFS). Und die VMDisks werden auf dem Datastore angelegt und liegen dort neben den Konfigurationsdaten.

 

[uwka77]

@Falk R., @Bu66as

Der NFS-Client von Windows ist leider notorisch ineffizient

Das kann ich nur bestätigen. Unter VMware gibt es kaum Unterschiede in der Disk-Performance zwischen NFS und iSCSI.

 

[uwka77]

@6equj5​

Wo denn? M.W. muß man das beim Client einstellen. Also in Deinem Fall bei Windows etwa so:

Sync habe ich unter TrueNAS deaktiviert, in den Advanced Options des Datasets. Habe ich aus dem TrueNAS-Forum.

 

[IsThisThingOn]

Verstehe nicht ganz deine Frage, noch dein Setup.

Ich kann nur sagen, irgendeine Form von Disk, in Form einer Datei (zum Beispiel QCOW2 oder VDI) zu verwenden, und diese Datei/Disk dann auf ein NFS share zu legen, und dieser NFS share hat dann als Unterbau eine ZFS Dateisystem, was ein CoW Dateisystem ist, obwohl schon die VM disk CoW ist,
ist IMHO eine ganz, ganz miese Idee

 

[uwka77]

Meine Frage ist: Was mache ich am besten aus meiner neuen UGreen-NAS, die eine ältere Synology ablösen soll. Sie soll in einer nicht produktiven HomeLab-Umgebung zwei Aufgaben erfüllen: Ca. 6 TB Backup-Dateien aufnehmen und als Datastore für verschiedene Virtualisierungslösungen dienen. UGOS würde diesen Aufgaben gerecht werden, TrueNAS (mit ZFS) oder OMV (ohne ZFS) wären Alternativen.

Mein Setup ist zum einen ein HomeLab-Server mit verschiedenen Betriebssystemen (VMware, HyperV, Proxmox, Debian Linux), die alle auf lokalen SSDs installiert sind. Auf diesem Server lief früher nur das kostenlose VMware ESXi (d. h. er ist auch entsprechend kompatibel), den Rest habe ich kürzlich erweitert. Für die Ablage von mehreren VMs auf den lokalen SSDs sind diese zu klein, also nutze ich NFS- und/oder iSCSI-Freigaben für die Ablage der VM-Disks. Man könnte natürlich auch die SSDs vergrößern, aber das wäre im Moment ziemlich teuer. Und die o. g. Backups sind der andere Teil meines Setups.

Deine Aussage "obwohl schon die VM disk CoW ist" kann ich leider nicht beurteilen. Die würde aber bedeuten, dass man auf Linux-Seite nur ext4 einsetzen sollte, wenn man NFS-Netzwerkfreigaben für VMware nutzt. Denn BTFRS und ZFS sind ja beide CoW. Hm.

 

[Browbeat]

Proxmox drauf und dann los

 

[IsThisThingOn]

Meine Frage ist: Was mache ich am besten aus meiner neuen UGreen-NAS, die eine ältere Synology ablösen soll. Sie soll in einer nicht produktiven HomeLab-Umgebung zwei Aufgaben erfüllen: Ca. 6 TB Backup-Dateien aufnehmen und als Datastore für verschiedene Virtualisierungslösungen dienen.

TrueNAS drauf und los
Entgegen meines Vorposters finde ich da Storage wichtiger und das bisschen Hypervisor kann auch TrueNAS.

Für die Ablage von mehreren VMs auf den lokalen SSDs sind diese zu klein, also nutze ich NFS- und/oder iSCSI-Freigaben für die Ablage der VM-Disks. Man könnte natürlich auch die SSDs vergrößern

Man könnte auch keine grossen VM disks haben, weil die VMs selbst auf einen NFS share zugreifen und darum selber nur 50GB grosse VMs sind.

 

[6equj5]

Sync habe ich unter TrueNAS deaktiviert, in den Advanced Options des Datasets. Habe ich aus dem TrueNAS-Forum.

Ich hab Zweifel, daß das langt. Solltest m.E. - wie ich vorher schrieb - auf dem Windows-Client async einstellen.

... würde aber bedeuten, dass man auf Linux-Seite nur ext4 einsetzen sollte, wenn man NFS-Netzwerkfreigaben für VMware nutzt. Denn BTFRS und ZFS sind ja beide CoW.

Also ich hab hier ZFS und VMs auf NFS (auf ZFS) rennen (gefühlt) wie Sau. Start WS2K25 in unter 20s find ich ok. Das macht vor allem der ARC vom ZFS.
Kann morgen noch mal testen, mit dem Pass Mark z.B.

 

[Browbeat]

Entgegen meines Vorposters finde ich da Storage wichtiger und das bisschen Hypervisor kann auch TrueNAS

TrueNAS als Hypervisor zu sehen, finde ich schon harten Tobak

 

[6equj5]

Lol...
Aber im Grunde ist das die Entscheidung: will man eher Storage oder eher Virtualisierung. Für mich ist ganz klar letzteres wichtig.

 

[IsThisThingOn]

Also ich hab hier ZFS und VMs auf NFS (auf ZFS) rennen (gefühlt) wie Sau.

Ich vermute du hast write amplification wie Sau

Nee aber mal ernsthaft, du hast ext4 VMs deren QEMU2 disks auf einen NFS share sind und dieses NFS share nutzt ZFS?

TrueNAS als Hypervisor zu sehen, finde ich schon harten Tobak

Aber im Grunde ist das die Entscheidung: will man eher Storage oder eher Virtualisierung. Für mich ist ganz klar letzteres wichtig.

Stimme euch beiden zu. Ich vermute mal OP aber ist Storage wichtiger, weil richtig geil ist die ausgesuchte Hardware jetzt nicht als Hypervisor, der RAM ist schon ziemlich knapp und Schweineteuer. (Ja, bei diesem Ugreen ist die QVL wichtig, es läuft nicht jeder beliebige RAM laut Userberichten).
Für ein paar Jellyfin und PiHole VMs hingegen reicht TrueNAS locker. Die kochen auch nur mit Wasser (KVM).

Empfehlen würde ich es natürlich nicht. Ich finde IT schon komplex genug und habe keine Lust mich mit irgendwelchen TrueNAS spezifischen KVM Problemen rumzuschlagen. Ich persönlich finde man braucht drei Server im Homelab, OPNsense, Proxmox und TrueNAS, alle mit total unterschiedlichen Hardwareanforderungen. Aber nicht jeder möchte drei Server 24/7 laufen lassen.

 

[Browbeat]

Stimme euch beiden zu. Ich vermute mal OP aber ist Storage wichtiger, weil richtig geil ist die ausgesuchte Hardware jetzt nicht als Hypervisor, der RAM ist schon ziemlich knapp und Schweineteuer.

Ja, aber ein Intel Pentium Gold 8505 ist jetzt auch nicht soooo schlecht, und wir wissen ja nicht ob der RAM schon aufgerüstet wurde...
Jetzt aufrüsten ist natürlich wenig sinnvoll

(Ja, bei diesem Ugreen ist die QVL wichtig, es läuft nicht jeder beliebige RAM laut Userberichten).

Es gibt im Ugreen Forum wohl eine Liste, was läuft und was nicht - ich selbst nutze den im normalen DXP4800:

https://www.amazon.de/dp/B0BLTGMCB7

So weit ich weiss, hat das 4800+ eine separate NVMe SSD für das OS, hier könnte man nach Backup problemlos Proxmox installieren oder halt eine separate einbauen.

Die 2 SSDs, die der OP schon hat könnte er in Proxmox als ZFS Mirror nutzen und die 4 Festplatten direkt an die TrueNAS VM durchreichen - wie gesagt, alles hier beschrieben:

https://www.youtube.com/watch?v=CR-0buRzYxE
https://www.youtube.com/watch?v=d2acPKr0qMo

Ich persönlich finde man braucht drei Server im Homelab, OPNsense, Proxmox und TrueNAS, alle mit total unterschiedlichen Hardwareanforderungen. Aber nicht jeder möchte drei Server 24/7 laufen lassen.

Könnte man theoretisch auch alles auf einem Host laufen lassen

 

[Johannes S]

Für ein paar Jellyfin und PiHole VMs hingegen reicht TrueNAS locker. Die kochen auch nur mit Wasser (KVM).

Und beides gibt es auch als "Apps" (aka docker-container) im "AppStore" von TrueNAS bzw. könnten die auch über ein docker-compose-File installiert werden. Eine Lösung, die deutlich weniger Komplexität und eine geringere Lernkurve mit sich bringt im Vergleich zu ProxmoxVE.

 

[uwka77]

Ich vermute mal OP aber ist Storage wichtiger

Bingo. Für das Thema Hypervisor habe ich ja meinen HomelabServer (mit altem Intel Xeon, ESXi-kompatibel), auf dem laufen alternativ Proxmox, ESXi und seltener HyperV zum Spielen. Und permanent laufende VMs habe ich bisher nicht. was nicht heißt, dass vlt. ein Media-Server ala Immich oder so dazukommt.

 

[Browbeat]

Hallo,

irgendwie bin ich im Moment etwas ratlos, was ich mit meiner neuen UGreen NAS am besten anfangen soll.

Bingo. Für das Thema Hypervisor habe ich ja meinen HomelabServer (mit altem Intel Xeon, ESXi-kompatibel), auf dem laufen alternativ Proxmox, ESXi und seltener HyperV zum Spielen. Und permanent laufende VMs habe ich bisher nicht. was nicht heißt, dass vlt. ein Media-Server ala Immich oder so dazukommt.

Dann klingt das eher nach einem Langeweilekauf und dann mal schauen
Nutz doch dann das Ugreen mit dem nativen OS, wenn du eh noch nicht mal eine permanent laufende VM hast - wozu dann die Gedanken über ein alternartives OS auf dem Teil, gerade wenn man noch einen Spieleserver rumstehen hat...

Manche Dinge muss man nicht verstehen

Auf jeden Fall viel Spass mit der Kiste

 

[uwka77]

Die 2 SSDs, die der OP schon hat könnte er in Proxmox als ZFS Mirror nutzen und die 4 Festplatten direkt an die TrueNAS VM durchreichen

Könnte. Ich habe mich aber erst mal für die BearMetal-Variante für TrueNAS entschieden und die 2 NVMe-SSDs als ZFS Mirror und die 4 Festplatten als RAIDZ1 eingerichtet, Proxmox läuft ja schon auf meinem HomeLab-Server. Nur bin ich mit der Performance der NFS-Freigaben auf den NVMe-SSDs sehr unzufrieden. Die sind nicht mal doppelt so schnell wie die NFS-Freigaben auf meiner alten Synology mit HDDs - das ist mein Problem.

Mal eine andere Frage - würde es etwas bringen, die NVMe-SSDs als ZFS-Cache einzusetzen?

 

[Johannes S]

Mal eine andere Frage - würde es etwas bringen, die NVMe-SSDs als ZFS-Cache einzusetzen?

Kommt drauf an. Die aktuellen (dir zu langsamen) NFS-Freigaben sind auf HDDs oder auch auf den NVMEs? Im letzteren Fall wird dir der Cache nichts bringen. Generell bringt der Cache auch erst dann etwas, wenn der RAM komplett ausgenutzt wird. Wichtiger wäre der Einsatz als special device, aber da muss man mehr Sachen beachten (da beim Verlust der special-device-SSDs der ganze Pool hin ist). Aber auch da gilt: Wenn die NFS-Freigaben eh schon auf den NVMEs sind, dann bringt dir das nichts.

Neben den schon genannten Problem mit dem nfs-Client von Windows (hast du das schon gegen ein natives Linux etwa den ProxmoxVE-Server verglichen?) wäre noch interessant, wie die Netzwerkinfrastruktur ausschaut, envtl. liegt auch da der Flaschenhals.

 

[uwka77]

Ja, die NFS-Freigaben sind auf den NVMEs. Und die vergleiche ich mit den HDDs in der Synology.

Der NFS-Client von Windows ist grottenschlecht, ich habe schon Messungen mit Proxmox und ESXi gemacht und dort sind die NFS-Freigaben wesentlich schneller als mit dem Windows-Client. Aber, wie gesagt, nicht mal um den Faktor 2 schneller wie die NFS-Freigaben auf meiner alten Synology mit HDDs.

Netzwerk läuft mit 2.5 GB/s. Die UGreen ist auf 16 GB RAM aufgerüstet (mehr ist im Moment nicht bezahlbar, 64 GB kosten ja mehr als die ganze NAS ohne Platten).

Ach so - Netzwerk sollte nicht der Flaschenhals sein. Mit SMB-Freigaben auf der TrueNAS erreiche ich deutlich höhere Geschwindigkeiten.

 

[Johannes S]

Dann wäre interessant, ob mit nfs3 oder nfs4 zugegriffen wird und welche Optionen auf Server- und Clientseite konfiguriert worden sind