Grundsatz für Shared Storage

[AlexanderB]

Hallo liebe Community,

ich würde gern meine gesamten Daten aus der Cloud nach Hause holen.
Um das ganze grundsätzlich richtig aufzusetzen, habe ich noch eine Frage.
Ich möchte gern meine Daten irgendwie zentral verfügbar haben, sodass Dienste, wie Immich, Joplin, Nextcloud, etc. darauf zugreifen können.
Also meine Daten sollen nicht gekapselt in einer VM liegen, sodass nur der eine Dienst damit arbeiten kann.
Wie tut man diesen, ich nenn ihn mal "shared storage" in Proxmox aufsetzen? Auch Richtung Zukunft, wo man eventuell den Speicher mit einem neuen NAS erweitern möchte, oder auch in ein neues NAS auslagern möchte.
Momentan habe ich eine dedizierte SSD im Server drin, mit der ich beginnen möchte.

Wie geht man da grundsätzlich vor, dass es im Endeffekt dann "richtig" ist?

Vielen Dank und noch einen schönen Sonntag

 

[cwt]

Recht einfach ließe sich das über eine NAS und NFS einrichten. Die NAS kann bare-metal oder auch als VM vorhanden sein. Ich vermute mal, Du wirst Nextcloud, Immich, etc. als Docker Container laufen lassen? Im LXC wäre das mit Docker nicht zu empfehlen.

In den VMs kannst Du den NFS-Share normal einbinden. Bspw. als Freigabe: /meinecloud . Wenn Du darin wiederum Unterordner erzeugst, haben die VMs darauf ebenfalls Zugriff.

/meinecloud/photos wäre dann in der VM als /mnt/meinecloud/photos verfügbar (unter welchem Pfad Du den mount später auch immer erstellst). Docker Containern kannst Du den Pfad wiederum als bind mount in der compose zur Verfügung stellen. Sowas wie

- /mnt/meinecloud/photos:/var/photos

NFS ist aber nur ein Ansatz. SMB ginge auch, hat beides seine Vor- und Nachteile. Der Nachteil eines großen gemeinsamen Storage ist jedoch: läuft eine VM Amok (Hack, Fehlkonfig, etc.), wirkt sich das für alle aus.

 

[TErxleben]

Ein "echter" blockbasierter zentraler Speicher landet fast zwangsläufig bei CEPH oder glusterFS.
Beides kostspielig, komplex und erfordert entsprechende Skills beim Administrieren.
Wenn ich lese, dass du mit einer SSD beginnen möchtest, dann gehe ich davon aus, dass du keine dreistelligen TB-Mengen aufheben möchtest. Dann Finger weg von CEPH und Konsorten, sofern du nicht deinen Erfahrungsschatz erweitern und deinen Geldbeutel schrumpfen lassen willst.
Dann lieber eine gängige NAS Lösung wie z.B. Openmediavault als VM betreiben und darauf achten, Redundanz auf PVE-Ebene zu schaffen.

 

[AlexanderB]

Vielen Dank für den Input.


@cwt Ich muss sagen, die Administration ist bisher bei LXC deutlich einfacher als bei VM und auch der Ressourcenverbrauch scheint mir da geringer. Daher würde ich versuchen wo es überall geht, LXC zu verwenden.
Also NFS und SMB ist da die gängigste Wahl?
Ich habe auch einen PBS laufen, der schon fertig eingerichtet ist mit Backup-, Prune,- und GC-Jobs, daher hoffe ich auf darauf, dass wenn etwas schief geht (hoffentlich nie), ich ein ehemaliges Backup wieder einspielen kann.

@TErxleben, ja für mich privat und eventuell noch einige Familienmitglieder (Wenn wirklich alles sauber läuft), brauche ich vielleicht in Zukunft mal 20 TB, mehr nicht. Ich muss ja auch ab und an ein externen Storage füllen und an einen anderen Ort bringen. Ja Openmediavault, opencloud, owncloud, etc. ist auch noch in engerer Auswahl, da mir bei Nextcloud die Menge an vernetzten Zeug nicht gefällt.

Ja es war schon überaus Zeitaufwendig mich mit IPv6 auseinanderzusetzen, nur um zu sehen, wie schlecht das bei einigen Betriebssystemen umgesetzt ist, daher mag ich standardisierte einfache, aber sichere Lösungen am liebsten.

 

[TErxleben]

@cwt Ich muss sagen, die Administration ist bisher bei LXC deutlich einfacher als bei VM und auch der Ressourcenverbrauch scheint mir da geringer. Daher würde ich versuchen wo es überall geht, LXC zu verwenden.

Da begehst du dann tatsächlich einen Fehler. VMs sind ggü. LXCs deutlich zuverlässiger und der Resourcenverbrauch ist bestenfalls per Benchmark messbar, aber diemals im täglichen Betrieb spürbar.

Ich habe auch einen PBS laufen, der schon fertig eingerichtet ist mit Backup-, Prune,- und GC-Jobs, daher hoffe ich auf darauf, dass wenn etwas schief geht (hoffentlich nie), ich ein ehemaliges Backup wieder einspielen kann.

Funktionierende Sicherungen sind das A&O.

@TErxleben, ja für mich privat und eventuell noch einige Familienmitglieder (Wenn wirklich alles sauber läuft), brauche ich vielleicht in Zukunft mal 20 TB, mehr nicht. Ich muss ja auch ab und an ein externen Storage füllen und an einen anderen Ort bringen. Ja Openmediavault, opencloud, owncloud, etc. ist auch noch in engerer Auswahl, da mir bei Nextcloud die Menge an vernetzten Zeug nicht gefällt.

Um Daten überall verfügbar zu haben, ist Seafile auch einen Blick wert.

Ja es war schon überaus Zeitaufwendig mich mit IPv6 auseinanderzusetzen, nur um zu sehen, wie schlecht das bei einigen Betriebssystemen umgesetzt ist, daher mag ich standardisierte einfache, aber sichere Lösungen am liebsten.

Löblich sich mit IPv6 auseinanderzusetzen. Ehe das aber zuverlässig funktioniert, fließt noch viel Wsser die Elbe herunter. Lieber Zeit und Gedanken in sowas wie Redundanz, Sicherung, Verlässiichkeit, Seafile etc.pp. inverstieren

 

[cwt]

Da muss ich @TErxleben zustimmen: Docker in LXC ist einfach anfälliger und nicht so isoliert wie VMs. Ich schätze mal 70% oder mehr der hiesigen Posts im Forum, die Probleme mit LXC und Docker thematisieren, wären unnötig, wenn die User direkt VMs verwendet hätten.

In der Langzeitpflege ist ein LXC auch nicht viel anders als eine VM. Lediglich das Setup benötigt ein paar Minuten mehr.

 

[gurubert]

Momentan habe ich eine dedizierte SSD im Server drin, mit der ich beginnen möchte.

In einem solchen Szenario wäre ein NFS-Server direkt auf dem Proxmox die simpelste Lösung. Und dann die NFS-Exporte nach Bedarf in die VMs mounten.

 

[AlexanderB]

Mit Docker hab ich mich noch nicht so auseinandergesetzt. Aber ich glaube Docker ist doch auch ein Container ... und Docker in LXC wäre Container in Container. Das versuche ich zu vermeiden, weil ich mir schon denken kann, dass das nicht der Idealzustand sein kann.

Also, die jetzige SSD die ich nutze ist bereits im Proxmox Host verbaut. Diese habe ich als ZFS erstellt. Dann im Rechenzentrum unter Storage auf "Disk-Image" beschränken. Aber wieso werden jetzt Backups davon nicht unterstützt? Ich glaube dann war das mit ZFS wohl zu voreilig.
Dann müsste ich das rückgängig machen mit dem ZFS.
Zum Einbinden als NFS, wenn diese Platte im eigenen Server verbaut ist, muss ich einfach die Server IP angeben? Aber ich gehe davon aus, dass das nicht funktioniert.
Geht NFS nur mit externen Speichern, die bereits mit einem Betriebssystem ausgestattet sind, welche NFS unterstützen? Also würde eine interne Platte da nicht funktionieren?

Und bei der Erweiterung von NFS, kann ich dann einfach den Speicherplatz "stacken", wenn ich neue Platten hinzufüge?
Also müsste ich einen NFS-Server, z.B. OpenMediaVault in Proxmox aufsetzen und dort den Speicher mit NFS freigeben. Dann im Rechenzentrum diesen einbinden. Und danach kann ich diesen in allen anderen VM/LXC mounten?

OpenMediaVault, also der NFS-Server, wäre dann mein "Verwalter" des Netzwerkspeichers, in dem ich noch weitere externe und interne Platten hinzufügen und administrieren kann?

Wo wird dann das Backup gemacht? Also nicht dass alle VM/LXC, die die Platte gemounted haben, inkl. der Platte gebackupt werden, sodass ich statt ein Backup vom Speicher, dann mehrere habe.

Und wenn ich das dann mit OMV eingerichtet habe und später ein NAS von z.B. Synology dazu kommt, kann ich dann den Speicher einfach so stacken, oder wäre jeder zusätzliche Speicher ein neues "NFS-Laufwerk"? Und vertragen sich die verschiedenen NFS-Laufwerke der verschiedenen Herstellern mit den verschiedenen NFS Versionen? Oder gibt´s dann bei der späteren Erweiterung und Verwaltung ein böses Erwachen, weil nicht zusammen passt?

 

[gurubert]

Also müsste ich einen NFS-Server, z.B. OpenMediaVault in Proxmox aufsetzen und dort den Speicher mit NFS freigeben. Dann im Rechenzentrum diesen einbinden. Und danach kann ich diesen in allen anderen VM/LXC mounten?

apt install nfs-kernel-server installiert einen NFS-Server im Proxmox, denn das ist auch nur ein Debian.

Zur Einrichtung und Verwendung eines NFS-Servers empfehle ich weitere Recherche im Internet.

 

[UdoB]

Dann müsste ich das rückgängig machen mit dem ZFS.

ZFS kann mit nur einer Disk seine volle Leistungsfähigkeit nicht entfalten - Funktionen wie "Selbstheilung" brauchen Redundanz.

Und man sollte gute SSDs verwenden, Faustregel: alle Typen mit "PLP" (Power-Loss-Protection).

Wenn man ganz auf ZFS verzichtet, verliert man wertvolle Fähigkeiten, die durchaus auch auf nur einer Disk funktionieren --> https://forum.proxmox.com/threads/f...y-a-few-disks-should-i-use-zfs-at-all.160037/