Wieso FreeNas nicht in VM unter Proxmox laufen lassen?

[InShield]

Kann mir einer erklären, warum immer abgeraten wird, FreeNas unter Proxmox zu virtualisieren? Ich habe auch hier schon gelesen, dass abgeraten wird, aber Begründung habe ich bisher noch keine Stichhaltige gefunden. Man soll FreeNas "aufs Blech" installieren. Aber warum?

Ich würde das gerne so machen und ZFS unter FreeNas aufbauen. Die Festplatten würde ich natürlich per Passthrough durchreichen an die FreeNas VM.

 

[Dunuin]

Wüsste da jetzt auch keinen expliziten Grund. Aber zwei Dinge könnte ich mir vorstellen:
1.) theoretisch sollten die Daten auf einem virtualisiertem FreeNAS unsicherer sein, da du eine zusätzliche Abstraktionsebene dazwischen hast. In der VM wird ja einiges auch nur emuliert was auf Blech installiert zuverlässig in Hardware laufen würde. Wenn da was schlecht programmiert ist, dann handelt die virtuelle Hardware falsch und kann die Daten zerschießen, auch wenn die HDDs direkt per Passthrough angesprochen werden.
2.) man trennt gerne Dienste von den Daten. So können andere VMs die Dienste laufen lassen durch z.B. CPU Überlastung nicht den Zugriff auf die Daten beeinträchtigen.

 

[InShield]

Danke für deine Antwort Dunuin.

Ja mir fällt beim besten Willen auch kein Grund ein, dies nicht zu tun?! Klar ist noch eine Schicht dazwischen die Fehler machen könnte, aber das kann das OS auf bare metal ja auch veranstalten, wenn es irgendwelche Fehler hat.

Punkt 2 wäre für mich jetzt nicht tragisch, da ja nur ich auf der Kiste hänge und kein "Dritter" mir die Kiste quasi in den Abgrund reißen könnte vor lauter Überlastung.

Ich bin mir jetzt dennoch total unsicher, ob ich das so machen soll oder nicht

 

[Dunuin]

Wenn du für ordentliche externe Backups sorgst sehe ich da auch kein Problem. Neben den Anschaffungskosten für einen zweiten Server sparst du ja auch ordentlich Strom, was gerade für einen Heimserver ja ordentlich ins Geld gehen kann. Ich habe hier FreeNAS und Proxmox auf 2 Servern getrennt und die schlucken so 180-280W zusammen. Das macht dann auch schon so 40 oder 50€ im Monat an zusätzlichen Stromkosten.
Ich bekomme die allerdings nicht beide in einen Server, da mir die PCIe Lanes, RAM und Laufwerkschächte fehlen. Bräuchte ich dann erst ein neues Mainboard und 14 SSDs + 5 HDDs in einem Gehäuse unterbringen ist auch schon nicht ganz ohne und mit späterer HDD-Erweiterung würde es dann auch schlecht aussehen.
Gzip solltest du als Kompression im FreeNAS dann aber besser nicht verwenden. Bei mir geht da die CPU im NAS (quadcore Xeon 3,3GHz) auf 80% hoch. Das würde dann schon übelst die VMs ausbremsen. LZ4 Kompression ist aber absolut problemlos. Da dümpelt die CPU im NAS dann bei 8% rum.

Für Backups habe ich dann noch einen dritten Server im Keller. Der ist Baugleich zum NAS und einmal die Woche fährt der kurz zum Replizieren der Daten hoch. Da ist dann definitiv ein eigener Server für praktisch. Sollte es mal in der Wohnung brennen, eingebrochen werden oder sonst was (bis auf Strom / Wasserschäden) ist das Backup im Keller wenigstens noch vorhanden. Besser natürlich den Backup-Server gleich zu Freunden/Verwandten zu stellen, aber bei mir wollte niemand den stehen haben.

 

[fireon]

Na einer muss doch auch die Gegenseite vertreten...

Also warum zum Geier sollte man ein NAS System was für definitiv vom Hersteller für native Installation (und das funktioniert auch wirklich hervorragend) virtualisieren. Wenn mir da einer mal einen Vorteil erklären kann, bin ich dabei. Immerhin ist es mehr Aufwand, ich muss zwei Systeme pflegen. Ich habe noch eine mögliche Fehlerquelle dazwischen. Und unter Freenas sichere ich ein Backupfile, und gut ists. Ausserdem kann ich es getrost auf einen Stick installieren. Deshalb sehe ich jetzt keinen Vorteil.

Nicht das Proxmox das nicht auch könnte. Wir verwenden hier PVE auch als NAS System. SCSI, Cifs oder NFS macht mit ZFS großen Spass, und wer ne GUI haben möchte, kann sich ja auch Webmin installieren.

Freue mich auf Argumente

 

[InShield]

Naja in meinem Fall ist es so, dass ich unter Proxmox gerne virtualisieren möchte, ich dazu aber dann nicht eine 2. Hardware hinstellen möchte.

Proxmox kann ich doch auch getrost auf einen USB Stick installieren, oder? Warum ist das eigentlich so? Wird da so wenig geschrieben und das System eigentlich nur Anfangs geladen und der Rest passiert im RAM?

Ich bin für alles offen @ fireon, deshalb frage ich ja nach - weil ich es nicht besser weiß

Wenn es eine gute Möglichkeit gibt, PVE als NAS also mit ZFS, NFS und Cifs zu betreiben, dann wäre das für mich schon auch eine Option.

Für NAS sah mir nur FreeNas von Anfang an einfacher aus, da ich dort alles in der GUI habe. ZFS und VM gefällt mir aber bei Proxmox schon auch sehr.

 

[Dunuin]

Na einer muss doch auch die Gegenseite vertreten...

Also warum zum Geier sollte man ein NAS System was für definitiv vom Hersteller für native Installation (und das funktioniert auch wirklich hervorragend) virtualisieren. Wenn mir da einer mal einen Vorteil erklären kann, bin ich dabei. Immerhin ist es mehr Aufwand, ich muss zwei Systeme pflegen. Ich habe noch eine mögliche Fehlerquelle dazwischen. Und unter Freenas sichere ich ein Backupfile, und gut ists. Ausserdem kann ich es getrost auf einen Stick installieren. Deshalb sehe ich jetzt keinen Vorteil.

Nicht das Proxmox das nicht auch könnte. Wir verwenden hier PVE auch als NAS System. SCSI, Cifs oder NFS macht mit ZFS großen Spass, und wer ne GUI haben möchte, kann sich ja auch Webmin installieren.

Freue mich auf Argumente

Wenn ich das richtig verstehe bist du für einen dritten Weg, nämlich einfach ein NAS OS direkt weglassen und den Proxmox Node selbst als NAS nutzen?
Stimme ich dir prinzipiell zu. Theoretisch kann man auch all das mit Proxmox selbst machen, was sonst FreeNAS und Co machen würden. Das setzt aber viel Erfahrung mit Linux, ZFS, Serveradministation usw. voraus, da das meiste per CLI gemacht werden muss.
Liest man hier doch immer wieder im Forum, wie viele Leute Null Erfahrung mit Linux haben und gerade so ein Proxmox aufgesetzt bekommen, um dann ein paar Windows VMs zu betreiben. Oder es werden stumpf Dinge wie "dd if=/dev/zero of=/dev/sda" aus dem Internet abgetippt und in die Shell eingegeben ohne vorher nachzulesen, was der Befehl überhaupt macht und dann wird sich gewundert, warum eine VM nicht mehr startet.
Da sind dann FreeNAS und Co echt besser geeignet, da sich wirklich so gut wie alles per GUI machen lässt und man mit sinnvollen und meist sicheren Konfigurationen durch die Menüs geführt wird. So wird der Fehlerfaktor-Mensch deutlich minimiert, was die wichtigen Daten auf dem NAS viel sicherer machen sollte.

Naja in meinem Fall ist es so, dass ich unter Proxmox gerne virtualisieren möchte, ich dazu aber dann nicht eine 2. Hardware hinstellen möchte.

Proxmox kann ich doch auch getrost auf einen USB Stick installieren, oder? Warum ist das eigentlich so? Wird da so wenig geschrieben und das System eigentlich nur Anfangs geladen und der Rest passiert im RAM?

Ich bin für alles offen @ fireon, deshalb frage ich ja nach - weil ich es nicht besser weiß

Wenn es eine gute Möglichkeit gibt, PVE als NAS also mit ZFS, NFS und Cifs zu betreiben, dann wäre das für mich schon auch eine Option.

Für NAS sah mir nur FreeNas von Anfang an einfacher aus, da ich dort alles in der GUI habe. ZFS und VM gefällt mir aber bei Proxmox schon auch sehr.

Nein, Proxmox sollte man nicht auf einen USB-Stick installieren. Im Gegensatz zu FreeNAS, was vor allem aus dem RAM heraus läuft, schreibt Proxmox wirklich viel und killt so schnell die USB-Sticks. Genaugenommen wird gar nicht so viel an reinen Daten selbst geschrieben, aber Proxmox schreibt halt jede Minute wenig auf das Laufwerk und mit so etwas kann Flash-Speicher schlecht umgehen und die Write Amplification ,die dadurch entsteht, kann dann doch durchaus mal 30GB pro Tag auf das Bootlaufwerk schreiben.

Prinzipiell kannst du deine Shares, deine Replikation, deine Backups, deine Snapshots, dein FTP, dein rsync, ... etc auch direkt in Proxmox einrichten, aber das muss dann auch per CLI gemacht werden. Wenn du da keine Erfahrung drin hast und das ein Produktivsystem sein soll, wo du Daten drauf hast die dir wichtig sind, dann würde ich da eher zu FreeNAS und Co raten, wo man einfach weniger falsch machen kann.

 

[fireon]

Für NAS sah mir nur FreeNas von Anfang an einfacher aus, da ich dort alles in der GUI habe. ZFS und VM gefällt mir aber bei Proxmox schon auch sehr.

Versuch doch mal Webmin. Vielleicht ist das ja auch für dich eine Lösung: https://webmin.com
Teste und entscheide was dir am besten zusagt.

 

[Belegnor]

Hallo InShield

Ein Thema dass gerne in Bezug auf die Virtualisierung von FreeNAS erwähnt wird, ist die Performance, welche im Vergleich mit der "Hardware-Variante" um einiges schlechter sein soll. Ich kann es jedoch weder dementieren noch bestätigen, da ich nur die virtualisierte Variante implementiert habe. Ich kann nur sagen, dass die Performance in meinem Fall sicher nicht schlechter ist, als die der Synology DS, welche ich durch die FreeNAS VM ersetzt habe. Oder ich empfinde es zumindest so ...

Das Thema "Backup", welches von Dunuin erwähnt hat, ist ebenfalls etwas, dass man berücksichtigen muss, wenn man ein NAS System virtualisiert. In meinem Fall, verwende ich meine alte Synology DS als Backup Storage. Die Daten exportiere ich via rsync. Wenn Du irgendwann ein Cluster aufbaust, eröffnen sich andere Möglichkeiten (Replizierung). Alternativ kannst Du auch mit dem Proxmox Backup Server "spielen". Die Kommentare, die ich mitgekriegt habe, sich recht positiv.

Ein weiteres Thema sind die zugewiesenen Disks. Ein Fehler, den man gerne als "naiver Anfänger" macht, ist eine einzelne grosse Disk zuzuweisen. Dies kann problematisch werden, wenn der Disk-Platz innerhalb der VM knapp wird und dieser mit "gleich grossen Disks" erweitert werden muss, oder wenn man die FreeNAS VM innerhalb eines Clusters mit lokalem Storage replizieren will (Proxmox meldet, dass nicht genug Platz für die Snapshots gibt). Stattdessen empfehle ich Dir, falls Du Dich für die virtualisierte Variante entschiedest, mehrere kleinere Disks zuzuweisen. Allerdings schützt selbst diese Methode nicht davor, dass Proxmox meint, "der Pool sei fast voll". Meine Empfehlung ist daher, wenn man einen Cluster mit lokalem Storage hat, eine FreeNAS VM im zweiten Node zu erstellen und die Replizierungsfunktion von FreeNAS zu verwenden.

Mein aktueller Setup ist wie folgt:
- 2-Node Cluster (mit Q-Device) mit lokalem Storage (ZFS Pool 24TB). Keine HA-Funktionalität
- 2 FreeNAS VMs (in jedem Node eine) mit je 5X 3TB (virtuelle) Disks
- FreeNAS zu FreeNAS Datenreplizierung (täglich)
- Wöchentliche Backups zur alten Synology via rsync

Bis jetzt kann ich nicht behaupten, dass ich unglücklich mit der virtualisierte Variante von FreeNAS (jetzt TrueNAS) bin ...

 

[showiproute]

Hallo,

ich weiß nicht, ob das schon gefallen ist: "ZFS will direkt mit der Hardware kommunizieren." - Das habe ich einige Male gelesen.
Persönlich sehe ich allerdings keinen Grund, warum das nicht auch virtualisiert laufen sollte?! Tut es bei mir ja schließlich auch.

 

[Dunuin]

Hallo,

ich weiß nicht, ob das schon gefallen ist: "ZFS will direkt mit der Hardware kommunizieren." - Das habe ich einige Male gelesen.
Persönlich sehe ich allerdings keinen Grund, warum das nicht auch virtualisiert laufen sollte?! Tut es bei mir ja schließlich auch.

Deshalb wird ja immer gesagt man soll die HDDs an einen HBA anschließen und den dann per PCI Passthrough an die VM durchreichen. Dann sind die HDDs ja nicht virtualisiert sondern innerhalb der VM kann ZFS für Low-Level-Zugriffe direkt auf die Laufwerke zugreifen.
Statt physischen Laufwerken einfach virtuelle Festplatten nehmen wäre keine gute Idee. Das sorgt dann wirklich für eine zusätzliche Ebene wo üble Fehler passieren können, Probleme mit dem Padding und sonstiger Overhead.
Außerdem sehe ich das kritisch wenn doch mal etwas ist. Bei physischen Laufwerken kann ich die HDDs zur Not einfach ausbauen, in einen anderen Rechner stecken und dann den Pool problemlos importieren. Bei virtuellen Festplatten wäre das nicht so leicht möglich.

 

[Belegnor]

Deshalb wird ja immer gesagt man soll die HDDs an einen HBA anschließen und den dann per PCI Passthrough an die VM durchreichen. Dann sind die HDDs ja nicht virtualisiert sondern innerhalb der VM kann ZFS für Low-Level-Zugriffe direkt auf die Laufwerke zugreifen.
Statt physischen Laufwerken einfach virtuelle Festplatten nehmen wäre keine gute Idee. Das sorgt dann wirklich für eine zusätzliche Ebene wo üble Fehler passieren können, Probleme mit dem Padding und sonstiger Overhead.
Außerdem sehe ich das kritisch wenn doch mal etwas ist. Bei physischen Laufwerken kann ich die HDDs zur Not einfach ausbauen, in einen anderen Rechner stecken und dann den Pool problemlos importieren. Bei virtuellen Festplatten wäre das nicht so leicht möglich.

Hallo Dunuin

Es stimmt, diese Risiken existieren. Allerdings existieren ähnlich gravierende Risiken, wenn man physische Disks durchreicht, z. B. weil en Bug im OS zuschlägt, oder der HDD-Controller zickt. Deswegen ist wichtig, wie Du bereits angedeutet bzw. gesagt hast, diese Risiken zu identifizieren und entsprechende Massnahmen einzuleiten, um die Daten im Notfall wiederherstellen zu können ...

Das mit den HDDs aus- und wieder in einen anderen Rechner einbauen ist definitiv einfacher bei physischen Disks als bei virtuellen. Da hast Du absolut recht. Ich wüsste nicht einmal, ob es möglich wäre, nachdem der Pool in einer anderen Hardware importiert wurde, die darin enthaltenen VMs mit ihren Disks wieder zu „reaktivieren“ ...

Die Gedanken habe ich mir jedoch auch gemacht. Allerdings habe ich mich für einen meiner Meinung nach pragmatischen Lösungsansatz entscheiden: Da ich von Anfang an die Absicht hatte, einen Cluster zu bilden, habe ich dies „missbraucht“, um das Problem umzugehen. Ich verwende nun FreeNAS (jetzt neu TrueNAS) als VM mit virtuellen Disks seit bald einem Jahr und ich habe bis jetzt (noch) keine Probleme festgestellt. Vielleicht Gluck gehabt...

Aber ich denke, dass jeder für sich am Ende des Tages entscheiden muss, welchen Weg man gehen will. Schlussendlich geht es genau darum, nämlich Anforderungen und Ziele zusammenstellen, Risiken abzuschätzen und eine entsprechende Strategie zu entwickeln.

Meiner Meinung nach, wenn man nur ein NAS System zusammenbauen und VMs nebenbei erstellen will, dann wäre die direkte Installation von FreeNAS auf die Hardware der bessere (oder einfachere) Weg. Für die VMs kann man dann Bhyve verwenden. Will man hingegen den weissen Hasen folgen und die blaue (oder war es die rote?) Pille schlucken, dann ist definitiv Proxmox die bessere Wahl. Und wenn Proxmox eigesetzt wird, wieso denn nicht „alles“ virtuell aufbauen?

Gruss

 

[Dunuin]

Ich hatte auch erst mit einem FreeNAS-Server angefangen. Dann hatte ich mir noch einen identischen FreeNAS-Server für Backups zusammengebaut, damit ich alles 1-zu-1 replizieren kann. Der FreeNAS-Backup-Server ist die meiste Zeit aus und wird nur zum Replizieren kurz hochgefahren. So bleiben da die Festplatten länger heil und wenn was auch immer auf einem Server passiert, ist der andere ja noch da.
FreeNAS ist mit Bhyve und den Jails einfach an seine Grenzen gekommen und die maximalen 32GB RAM waren mir auch zu wenig. Da habe ich mir dann noch einen Proxmox-Server zusammengebaut und habe dann alle VMs/Jails auf dem FreeNAS-Server eingemottet.

Heute würde ich wohl auch einfach FreeNAS virtualisieren und den HBA in die VM durchreichen, wenn ich nicht schon extra einen eigenen Server für FreeAS hätte. Gerade wenn ein zweiter Server für Backups existiert gibt es ja eigentlich kein Risiko. Was auch immer da mit dem FreeNAS in der VM passiert, eine Kopie existiert offline auf dem Backup-Server.
Ein zweiter Server für Backups ist eigentlich immer eine gute Idee. Der muss ja auch nicht so toll sein und etwas altes tut es da auch, da der kaum läuft und dann der Stromverbrauch vernachlässigbar ist. Und wenn es nur ein alter Rechner ist, den man noch irgendwie rumliegen hat.

 

[InShield]

Erstmal vielen Dank allen Beteiligten für die Antwort

Was mich jetzt doch wundert, dass die Meinungen so stark differieren. Das die Festplatten direkt an diese VM durchgereicht werden müssen / sollten, war mir im Zusammenhang mit ZFS natürlich klar.

Ist die Performance bei virtualisiertem Freenas / Truenas generell ein Problem, oder doch stark abhängig von der Hardware? Ich habe hier jetzt einen Dell r730xd mit 2x Xeon E5-2630v3 mit 128 GB RAM und 12x4TB SAS Platten stehen. Die HW sollte also kein Hindernis sein

Was mich jetzt nach etwas querlesen doch etwas stört, ist allerdings das Truenas ja auf BSD aufbaut und nicht auf Linux, da ich aus der Debian Ecke komme.

Ist ein virtualisieren von Openmediavault z.B. genauso problematisch, oder ist es aus irgendwelchen Gründen nur bei Truenas der Fall?

Ich möchte eigentlich den ganzen Storage dann als ZFS Z2 RAID betreiben. Von dem ganzen Space wären schlussendlich dann wohl 4-5 TB kritisch, welche ich deshalb regelmäßig auf eine Festplatte außerhalb wegsichern will. Die Installation von Proxmox würde dann auf separater SSD erfolgen und die VM´s dann evtl auch. Oder wären die auf dem Storage auch gut aufgehoben?

EDIT: Natürlich wäre es auch eine Option, auf Proxmox direkt NFS und Samba laufen zu lassen. Die Anzahl der Benutzer hält sich bei mir @ Home in Grenzen und ich habe daher kein Problem das per CLI zu machen. Habe ich ja bisher auch nie anders eingerichtet. Da würde ich also wohl schon klar kommen. Webmin müsste ich mal testen, wie mächtig das ist. Dann wäre das wohl auch eine Option, um es etwas komfortabler zu haben.

Bitte entschuldigt, dass ich oft noch einiges durcheinander haue, aber ich bin in diesem Bereich jetzt absoluter Quereinsteiger und ich befinde mich gerade in der Lese- und Anlernphase

 

[Dunuin]

Was mich jetzt nach etwas querlesen doch etwas stört, ist allerdings das Truenas ja auf BSD aufbaut und nicht auf Linux, da ich aus der Debian Ecke komme.

FreeNAS war auch mein erstes Unix. OMV war für mich damals aber keine Option, da es kein ZFS konnte.
Wichtig wäre noch die Unterscheidung zwischen FreeNAS 11.3 und TrueNAS 12.0. TrueNAS 12.0 basiert auf "ZFS on Linux" wie Proxmox was ja noch nicht so ausgereift ist. Auch ist TrueNAS erst seit 1 oder 2 Monaten draußen und ich weiß nicht ob ich das so früh als Produktivsystem nutzen wollen würde. FreeNAS 11.3, was auch noch Updates bekommt, basiert auf dem uralten ZFS von Unix und wurde ausgiebig getestet und ausgebessert.

Umstieg von Debian auf FreeBSD fand ich nicht so schwer. Zum Einen kann man bei FreeNAS wirklich 99% per GUI erledigen (man soll z.B auch keine eigenen Programme außerhalb der Jail nachinstallieren und Konfig-Änderungen werden beim Reboot rückgängig gemacht). Zum Anderen ist FreeBSD mit Linux schon sehr identisch. Gefühlt konnte ich 80 oder 90% meiner Befehle von Linux auch in der CLI von FreeNAS nutzen. Klar, da ist auch einiges anders gelöst, aber als Linux-Nutzer findet man sich da schon super schnell zurecht.

Problematisch war das mit Unix eher aus einem anderen Grund. Die VMs in FreeNAS laufen echt nicht toll und das meiste will man dort eher per Jails erledigen. Dann hat man aber das Problem, dass da die meisten Anwendungen nur für Linux entwickelt/kompiliert wurden und nicht auf Unix laufen. Ich musste da ständig die Programme selbst aus dem Quellcode kompilieren, was teils echt Nerven gekostet hat. Und wenn man etwas selbst kompiliert, dann hat man ja auch keine leichten Updates mehr. Oft musste ich mir auch selber Shell-Scripts programmieren, da Programme z.B. nur für systemd ausgelegt waren und es dann für ein Unix kein Start-Script gab. Oder es gab irgendwelche Bugs und wenn man die gemeldet hat ist dann nur "Tut uns leid, aber wir supporten nur Linux und Windows" als Antwort gekommen und man musste sich selbst helfen oder mit den Fehlern leben.

Das Problem hast du dann ja aber mit VMs/LXCs nicht mehr, wenn alle Dienste auf Proxmox laufen und das FreeNAS echt nur noch für die Daten da ist.

 

[fireon]

Webmin müsste ich mal testen, wie mächtig das ist. Dann wäre das wohl auch eine Option, um es etwas komfortabler zu haben.

Ja, das wäre vermutlich wohl der Weg des geringsten Widerstands Und ja, es ist sehr sehr mächtig. Fand es immer als großen Vorteil. Da es nativ in die Configfiles von Linux schreibt. Damit konnte ich in den vielen Jahren auch sehr viel lernen. Man klickt sich durch die GUI, und schaut dann im Configfile nach was geschrieben wurde. Bei Samba sehr spannend.
Wie gesagt, einfach selbst ein Bild davon machen und danach entscheiden.

 

[Belegnor]

Ist die Performance bei virtualisiertem Freenas / Truenas generell ein Problem, oder doch stark abhängig von der Hardware? Ich habe hier jetzt einen Dell r730xd mit 2x Xeon E5-2630v3 mit 128 GB RAM und 12x4TB SAS Platten stehen. Die HW sollte also kein Hindernis sein

Hallo InShield

Die verwendete Hardware spielt eine wichtige Rolle, wenn es um Virtualisierung geht. Und das unabhängig davon, welches System man virtualisiert. Bei Deinen Komponenten sollte Ressourcenknappheit jedoch kein Thema sein.

Das einzige, was „problematisch“ werden könnte (muss aber nicht sein), ist die Art der verwendeten Disks (virtuelle vs. physische durchgereichte HDDs). Da gewisse Tasks (z. B. initialen Backups) recht „I/O-lastig“ sind, kann es in Abhängigkeit der eingesetzten Hardware zu „I/O-Delays“ kommen, was wiederum Auswirkungen auf die Performance haben kann. Bei Deinen Komponenten sollte dies jedoch kein grosses Problem darstellen. Wie heisst es so schön? Probieren geht über Studieren ...

Was mich jetzt nach etwas querlesen doch etwas stört, ist allerdings das Truenas ja auf BSD aufbaut und nicht auf Linux, da ich aus der Debian Ecke komme.

In TrueNAS kann man praktisch alles via GUI machen. Daher spielt es (zumindest in meinem Fall) keine grosse Rolle, welches OS als Basis verwendet wird. Wenn es jedoch für Dich wichtig ist, kannst Du einen Blick auf TrueNAS Scale werfen. Ist zwar noch in Entwicklung und ist daher für produktiven Umgebungen nicht zu empfehlen, aber basiert soviel ich weiss auf Debian ...

Ist ein virtualisieren von Openmediavault z.B. genauso problematisch, oder ist es aus irgendwelchen Gründen nur bei Truenas der Fall?

Meiner Meinung nach, wird man mit den gleichen Problemen konfrontiert, egal welches NAS OS zum Einsatz kommt.

Ich habe mich auch an OMV versucht. Nur das System hat mich nicht besonders überzeugt. Den offiziellen Release brachte ich nicht unter Proxmox zum Laufen und die Beta-Version hatte einige für mein Geschmack unschöne Macken. Verglichen mit FreeNAS/TrueNAS fand ich daher, dass OMV nicht so „ausgereift“ war. Klar, das geschah vor ca. einem Jahr und es kann sich vieles in der Zwischenzeit geändert haben. Doch seit ich FreeNAS/TrueNAS verwende, habe ich kein Bedürfnis gespürt, mich nach etwas neuem umzusehen. Aber wie ich bereits gesagt habe, Probieren geht über Studieren ...

Ich möchte eigentlich den ganzen Storage dann als ZFS Z2 RAID betreiben. Von dem ganzen Space wären schlussendlich dann wohl 4-5 TB kritisch, welche ich deshalb regelmäßig auf eine Festplatte außerhalb wegsichern will. Die Installation von Proxmox würde dann auf separater SSD erfolgen und die VM´s dann evtl auch. Oder wären die auf dem Storage auch gut aufgehoben?

Bei Deiner Hardware hast Du mehrere Möglichkeiten. Du kannst z. B einen Pool mit zwei oder mehr Disks für die VMs/Containers erstellen, und die restlichen Disks der NAS VM durchreichen. Du kannst aber auch einen einzigen Pool erstellen und mit virtuellen Disks arbeiten. Welcher Weg der bessere ist, hängt von den eigenen Anforderungen ab ...

EDIT: Natürlich wäre es auch eine Option, auf Proxmox direkt NFS und Samba laufen zu lassen. Die Anzahl der Benutzer hält sich bei mir @ Home in Grenzen und ich habe daher kein Problem das per CLI zu machen. Habe ich ja bisher auch nie anders eingerichtet. Da würde ich also wohl schon klar kommen. Webmin müsste ich mal testen, wie mächtig das ist. Dann wäre das wohl auch eine Option, um es etwas komfortabler zu haben.

... Kann man machen, muss man nicht ... Ich bin da eher "konservativer" Natur und denke, dass eine Virtualisierungsumgebung nur virtualisieren sollte, während die NAS Funktionalität bei einem NAS System besser aufgehoben ist. Aber diese ist meine persönliche Meinung und wenn es für Dich der richtige Weg ist, dann ist es auch OK ...

Wie schon mal erwähnt worden ist, ist die Sicherung der Daten auch ein wichtiges Thema. Mit TrueNAS ist es relativ einfach, Backups einzurichten, vor allem wenn der Backup Server auch auf TrueNAS basiert (Replication Jobs). Ich kann leider nicht sagen, wie einfach es mit Webmin ist, das gleiche zu tun und ob die gleichen Möglichkeiten zur Verfügung stehen ...

Bitte entschuldigt, dass ich oft noch einiges durcheinander haue, aber ich bin in diesem Bereich jetzt absoluter Quereinsteiger und ich befinde mich gerade in der Lese- und Anlernphase

... Hey, ich denke, dass die Aussage bei den meisten von uns (wenn nicht bei allen) zutreffend ist ...

Gruss

 

[InShield]

Oh vielen Dank für die zahlreichen und sehr hilfreichen Antworten ;-)

Ich hab mir jetzt mal Proxmox auf die Kiste aufgesetzt und mir 11 Platten durchgereicht zu TrueNas. Dort habe ich dann einen Z2 Pool erstellt und per SMB und NFS freigegeben.

Jetzt frage ich mich allerdings, ob das sinnvoll ist den Pool in der VM zu erstellen?! Wenn ich einen Snapshot von der VM erstelle, ist da ja dennoch nur die VM Platte also die z.B. 32GB drin die ich dieser VM gegeben habe, oder? Und nicht auch der Pool selbst. Sonst würde ein Backup der VM ja riesig werden, wenn der Pool mal viele Daten enthält.

Da blicke ich noch nicht wirklich durch, wie ich das am Besten lösen sollte / muss?!

Oder sollte ich den Z2 Pool besser direkt im Proxmox erstellen?

 

[Dunuin]

Ich hab mir jetzt mal Proxmox auf die Kiste aufgesetzt und mir 11 Platten durchgereicht zu TrueNas. Dort habe ich dann einen Z2 Pool erstellt und per SMB und NFS freigegeben.

Das kann problematisch sein mit so einem großen Pool. Bei 11 HDDs kann das resilvern beim HDD ausfall echt eeeewig dauern. Gut, da hast du dann noch die zweite HDD die ausfallen darf. Je nach Anspruch kann da sogar schon raidz3 Sinn machen.

Jetzt frage ich mich allerdings, ob das sinnvoll ist den Pool in der VM zu erstellen?! Wenn ich einen Snapshot von der VM erstelle, ist da ja dennoch nur die VM Platte also die z.B. 32GB drin die ich dieser VM gegeben habe, oder? Und nicht auch der Pool selbst. Sonst würde ein Backup der VM ja riesig werden, wenn der Pool mal viele Daten enthält.

Ja, der Snapshot von Proxmox sichert dann nur die kleine virtuelle Systemplatte. Ist ja aber eigentlich kein Problem. TrueNAS kann ja auch Snapshots. Willst du die Daten auf den 11 HDDs snapshotten, dann erstelle halt in TrueNAS einen "automatic snapshot task". Dann macht der Pool in der TrueNAS-VM selbst Snapshots die dann direkt auf den 11 physischen HDDs gespeichert sind. Wäre genau das selbe wie wenn dein TrueNAS auf einem eigenen physischen Server installiert wäre.

 

[Belegnor]

Oh vielen Dank für die zahlreichen und sehr hilfreichen Antworten ;-)

Ich hab mir jetzt mal Proxmox auf die Kiste aufgesetzt und mir 11 Platten durchgereicht zu TrueNas. Dort habe ich dann einen Z2 Pool erstellt und per SMB und NFS freigegeben.

Hallo InShield

Als Ergänzung zum Kommentar von Dunuin wäre dieser Setup eine gute Alternative:

- 2 HDDs für Proxmox (Mirror)
- 10 HDDs durchgereicht an TrueNAS

Den "Daten-Pool" würde man dann in TrueNAS erstellen. In deinem Fall müsste man wissen, was für dich wichtiger wäre: Performance, Ausfallsicherheit oder Speicherplatz.

Eine gute Variante wäre "stripped mirroring" oder RAID-10 zu verwenden. RAIDZ2 ist zwar ausfallsicherer, da zwei beliebige HDDs ausfallen dürfen, aber RAID10 hat eine relativ gute Ausfallsicherheit (leider dürfen nur die "richtigen" HDDs ausfallen) und ist auch performanter. Auch das "Resilvering" sollte schneller als bei Z2 sein. Der Speicherplatz dafür würde stark sinken. Bei Z2 dürfte dieser etwa 36TB betragen, im Fall von RAID10 würde er bei ca. 20TB liegen (wenn ich richtig gerechnet habe, Fehler nicht ausgeschlossen).

Der Unterschied in der Ausfallsicherheit kann man bei RAID10 mit einer guten Backup Strategie ausgleichen. Beim Speicherplatz ist es hingegen nicht mehr so einfach ...

Gruss