RAIDZ mit TrueNAS und NextCloud

[.n3]

Hey Zusammen,

ich habe ein HomeServer mit folgenden Festplatten: Zwei Intel SSD für proxmox, eine Samsung SSD VMs und Container und fünf HDDs sollen den data tank darstellen. Hierzu habe ich folgendes gemacht:

# zpool create -f -o ashift=12 <pool> raidz1 <device1> <device2> <device3> <device4> <device5>

zfs create data_tank/backups
zfs create data_tank/images
zfs create data_tank/vm-drives

Zum Schluss habe ich die datasets in proxmox eingefügt und als mountpoint gesetzt.

pvesm set images --is_mountpoint yes
pvesm set backups --is_mountpoint yes
pvesm set vm-drives --is_mountpoint yes

Ich bin mir nicht mehr sicher, wieso ich /data_tank/_backups angelegt habe, da die Backups auf das NAS-NFS gehen. Aber soweit so gut, oder?

Und die eigentliche Frage:
Sollte ich NextCloud alleine, oder als Plugin von TrueNAS? Eigentlich hatte ich vor nur NextCloud zu installieren, aber einige setzen TrueNAS zusätzlich ein. Ich sehe den Mehrwert bei meiner Installation von proxmox noch nicht.

 

[.n3]

Und noch eine kleine Zwischenfrage:

Die Container habe ich immer auf vm_container, also die Samsung SSD gelegt. Bei den VMs bin ich durcheinander gekommen...
homeassistant --> vm_container
opnsense --> vm_drive
windows --> vm_drive

Eigentlich sollten die VMs immer wegen der preformance auf vm_container und vm_drive eher für NextCloud bzw. TureNAS als Festplatten genutzt werden. Ich habe beim erstellen der VMs aber als Disk dann vm-drives gewählt und jetzt laufen die kompletten VMs auf dem langsamen Speicher. Gerade opnsense ist da ärgerlich. Kann ich das noch migrieren und wenn ja wie?

 

[Dunuin]

zfs create data_tank/vm-drives

Wenn da virtuelle Disks draufsollen hätte ich "data_tank/vm-drives" als Storage vom Typ "ZFSpool" hinzugefügt und nicht als "Directory". Spart dir Overhead. Außer du bist mit den ZFS-nativen Snapshots nicht zufrieden und willst lieber die von qcow2 nutzen.

In dem Fall solltest du den "ZFSpool"-Typ Storage aber auch mit mit einer "Block Size" von 32K anlegen, statt der standardmäßigen von 8K/16K, weil sonst wirst du wegen Padding Overhead ordentlich Platz verschwenden.

Sollte ich NextCloud alleine, oder als Plugin von TrueNAS? Eigentlich hatte ich vor nur NextCloud zu installieren, aber einige setzen TrueNAS zusätzlich ein. Ich sehe den Mehrwert bei meiner Installation von proxmox noch nicht.

Idee bei einem Hypervisor ist es ja alles getrennt laufen zu lassen für einfachere Verwaltbarkeit, weniger Abhängigkeiten und mehr Sicherheit.
Also ich lasse da folglich Nextcloud und TrueNAS als getrennte VMs laufen. Finde ich TrueNAS irgendwann doof und will das loswerden, dann kann ich die VM einfach löschen, paar SMB Shares in der Nextcloud VM anpassen und Nextcloud läuft weiter wie gewohnt. Hätte ich Nextcloud als Plugin von TrueNAS wäre dann ja auch meine Nextcloud weg. Gleiches bei Backups. Wenn ich mir da was in der Nextcloud zerschieße, dann kann ich einfach das Backup meiner Nextcloud VM von der Vorwoche wiederherstellen aber die TrueNAS VM kann normal mit aktuellen Daten weiter laufen..

Und noch eine kleine Zwischenfrage:

Die Container habe ich immer auf vm_container, also die Samsung SSD gelegt. Bei den VMs bin ich durcheinander gekommen...
homeassistant --> vm_container
opnsense --> vm_drive
windows --> vm_drive

Eigentlich sollten die VMs immer wegen der preformance auf vm_container und vm_drive eher für NextCloud bzw. TureNAS als Festplatten genutzt werden. Ich habe beim erstellen der VMs aber als Disk dann vm-drives gewählt und jetzt laufen die kompletten VMs auf dem langsamen Speicher. Gerade opnsense ist da ärgerlich. Kann ich das noch migrieren und wenn ja wie?

Wähle eine virtuelle Disk und dann ist da der "Move Disk" Knopf, mit dem zu virtuelle Disks zwischen Storages verschieben kannst.

 

[.n3]

Wenn da virtuelle Disks draufsollen hätte ich "data_tank/vm-drives" als Storage vom Typ "ZFSpool" hinzugefügt und nicht als "Directory". Spart dir Overhead. Außer du bist mit den ZFS-nativen Snapshots nicht zufrieden und willst lieber die von qcow2 nutzen.

In dem Fall solltest du den "ZFSpool"-Typ Storage aber auch mit mit einer "Block Size" von 32K anlegen, statt der standardmäßigen von 8K/16K, weil sonst wirst du wegen Padding Overhead ordentlich Platz verschwenden.

Ich hab das ZFS Pool anhand dieses Tutorials hier angelegt: https://youtu.be/oSD-VoloQag?t=554. Da ich das noch nicht nutze, kann ich das Storage ja entfernen und als ZFS anlegen. Sollte ich das auch für die backups und images machen? Ich denke mit ZFSpool ist ZFS gemeint.

Idee bei einem Hypervisor ist es ja alles getrennt laufen zu lassen für einfachere Verwaltbarkeit, weniger Abhängigkeiten und mehr Sicherheit.
Also ich lasse da folglich Nextcloud und TrueNAS als getrennte VMs laufen. Finde ich TrueNAS irgendwann doof und will das loswerden, dann kann ich die VM einfach löschen, paar SMB Shares in der Nextcloud VM anpassen und Nextcloud läuft weiter wie gewohnt. Hätte ich Nextcloud als Plugin von TrueNAS wäre dann ja auch meine Nextcloud weg. Gleiches bei Backups. Wenn ich mir da was in der Nextcloud zerschieße, dann kann ich einfach das Backup meiner Nextcloud VM von der Vorwoche wiederherstellen aber die TrueNAS VM kann normal mit aktuellen Daten weiter laufen..

Ja, daher nutze ich auch keine Addons von Homeassistant, weil es ist zwar bequemer, aber bietet etwas mehr Sicherheit. Wenn es nur darum geht, dass man in TrueNAS einfach NextCloud als Docker laufen lässt, dann brauch ich kein TrueNAS. Macht ja so gar keinen Sinn. Mir ging es eher darum, ob ich das Image von NextCloud auf meine SSD lege und die virtuellen Disks wo die Mediendaten abgelegt werden auf den ZFSpool vm_drives. Oder sollte ich die 5 HDDs mit TrueNAS zu einem Pool zusammenbauen und das dann von NextCloud nutzen. Ich denke nicht, aber bin mir unsicher.

Wähle eine virtuelle Disk und dann ist da der "Move Disk" Knopf, mit dem zu virtuelle Disks zwischen Storages verschieben kannst.

Danke

 

[Dunuin]

Ich denke mit ZFSpool ist ZFS gemeint.

Ja, im webUI heißt das "ZFS", erstellt dann aber ein Storage vom Typ "ZFSpool".

Sollte ich das auch für die backups und images machen?

Nein, der ZFS Storage kann nur VMs und LXCs speichern und keine Dateien wie Backups oder ISOs. Für Dateien ist ein Directory Storage der auf ein Mountpoint von einem ZFS Dataset zeigt schon korrekt (also so, wie du das bisher hast).

Mir ging es eher darum, ob ich das Image von NextCloud auf meine SSD lege und die virtuellen Disks wo die Mediendaten abgelegt werden auf den ZFSpool vm_drives.

Virtuelle Disks wo ein OS drauf läuft oder irgendwelche Datenbanken würde ich immer auf SSD haben wollen. HDDs taugen da echt eher für Cold Data wie deine Medien. Also ja, wenn dir SSDs zu teuer sind und du viele Medien hast, die in die Nextcloud sollen, dann würde ich das OS auf die SSD legen und eine weitere virtuelle Disk auf die HDDs worauf du dann das Nextcloud-Datenverzeichnis auslagerst.

Oder sollte ich die 5 HDDs mit TrueNAS zu einem Pool zusammenbauen und das dann von NextCloud nutzen.

Das ist wirklich Geschmackssache. Ich würde aber kein TrueNAS auf eine virtuelle Disk installieren wollen, welche auf einem ZFS Pool liegt. Platzverschwendung (80% von 80% = 64% nutzbar) und langsam wegen multiplizierendem Overhead. Also entweder ZFS direkt auf dem PVE Host und dann TrueNAS weglassen (oder was nehmen was auch was simpleres wie ext4/xfs kann wie OMV) oder die HDDs nicht am PVE Host nutzen und stattdessen in eine TrueNAS VM durchreichen und dort in der VM dann den ZFS Pool bilden.

 

[.n3]

Also ja, wenn dir SSDs zu teuer sind und du viele Medien hast, die in die Nextcloud sollen, dann würde ich das OS auf die SSD legen und eine weitere virtuelle Disk auf die HDDs worauf du dann das Nextcloud-Datenverzeichnis auslagerst.

Ja, so ist es eigentlich geplant. Es soll eigentlich alles auf die SSD, außer eben zusätzliche virtuelle Disks für Medien.

oder die HDDs nicht am PVE Host nutzen und stattdessen in eine TrueNAS VM durchreichen und dort in der VM dann den ZFS Pool bilden.

Was würde es bringen den ZFS Pool nicht am PVE Host zu haben, sondern die HDDs an TrueNAS durchzureichen. Wirkt für mich irgendwie überflüssig, da ich mir nur weitere Komplexität einbaue, oder? TrueNAS macht in meinen Augen Sinn, wenn man es direkt aufs Blech installiert und dann macht es Sinn, NextCloud als Plugin darauf zu installieren.

 

[Dunuin]

Ja, so ist es eigentlich geplant. Es soll eigentlich alles auf die SSD, außer eben zusätzliche virtuelle Disks für Medien.

Was würde es bringen den ZFS Pool nicht am PVE Host zu haben, sondern die HDDs an TrueNAS durchzureichen. Wirkt für mich irgendwie überflüssig, da ich mir nur weitere Komplexität einbaue, oder? TrueNAS macht in meinen Augen Sinn, wenn man es direkt aufs Blech installiert und dann macht es Sinn, NextCloud als Plugin darauf zu installieren.

ZFS hat massig Overhead daher ist ZFS auf ZFS keine tolle Idee, da sich der Overhead multipliziert und nicht nur aufsummiert (Stichpunkt: Exponentielles Wachstum). TrueNAS erlaubt aber soweit ich weiß nur ZFS. Daher halte ich nicht viel davon TrueNAS auf PVE mit ZFS zu betreiben.
Dann kommt noch hinzu, dass man einen ZFS Pool nicht mehr als 80% füllen sollte. Hast du ZFS auf ZFS heißt das also 80% von 80% = nur 64% nutzbar. Hast du dann noch einen Mirror bleibt dir nur 32% der Rohkapazität. Replizierst du die TrueNAS VM dann noch über 2 Nodes sogar nur noch 16%. Willst du dann noch 1/4 einplanen für Snapshots, dann bist du runter auf 12%. Da will man dann echt nur so wenig Platz verschenken wie möglich.