ZFS NAS + VE (+ OPNsense)

[philvomgrill]

Hallo!
Ich lese hier und auch im unraid Forum schon seit längerer Zeit mit und bemühe mich meinen zukünftigen, privaten Server zusammenzustellen, der meinen stromsparenden ESXi (J5005) und mein betagtes Synology NAS ersetzen soll. Das Ganze ist schon Jahre überfaellig und meine Daten sind auf vielen unterschiedlichen nicht-redundanten Speichersystemen verteilt.
Ich bin mir noch unschlüssig, ob ich darauf evtl auch noch OPNsense unterbringe (derzeit Ubiquiti Dream Machine), indem ich eine passende Intel NIC dazu stecke. Das ist aber erst einmal nicht wichtig. Der kleine ESXi soll dann in Zukunft als Backup Server fungieren, indem ich zwei passende Platten im RAID1 dazustecke,


Hardware bis jetzt

• 1x GIGABYTE C246M-WU4
• 1x Intel Core i3-9100
• 1x Corsair RMx Series 2021 RM550x 550W
• 2x Kingston Server Premier DIMM 16GB ECC (dual rank)
• 1x Fractal Design Define R5
• 5-6x 8-14TB WD RED Plus im RAID-Z2 (?)
• 2x 1TB NVME Enterprise im RAID1 (?)

Anforderungen

• SAMBA Freigabe auf ZFS auf PVE Host
  • Vorbild: nasras.de
  • 20-30TB sollten reichen inkl. der 80% Grenze bei ZFS
  • Funktion in erster Linie: Datengrab, kein Produktivlaufwerk mit schnellen Datenbankzugriffen etc
  • auto-snapshots
• LXC / VM
  • pihole
  • jellyfin mit Zugriff auf SMB share
  • homematic
  • iobroker
  • Windows Testumgebung
  • Debian Testumgebung
  • (opnsense)
  • (nextcloud mit Zugriff auf SMB share)
• Backup, vor allem der Daten auf dem SMB share auf oder vom Backup Server

Fragen

1. Festplatten
   1. spricht neben dem Preis-Leistungsverhältnis besonders viel oder gegen eines der Modell in der Kapazität Range (Anzahl der Platter, Heliumfüllung etc)
   2. evtl mit encryption, ich las mal von einer Lösung mit autom. decryption mit link auf keyfile in der cloud. Gibt es jemand der so etwas implementiert hat? Alternativ las ich von einer Lösung mittels dropbear den Schlüssel per SSH eingeben zu können.
2. NVME
   1. ich dachte mir, dass auf die NVME PVE auf ZFS im RAID1 installiert wird und alle VMs/Container behrbergt
   2. ich las, dass hierfür bei ZFS bereits Enterprise NVME notwendig sind aufgrund der hohen IOps.
3. Backup
   1. Ich habe verstanden... der Proxmox Backup Server sichert mir nur die VMs
   2. URBackup ist eine Anwendung für Client Server und nicht Server zu Backup Server?
   3. für mein Szenario wäre rsync oder zfs send zu verwenden?

Ich hoffe man kann mit dem Geschriebenen etwas anfangen und mich bei dem ein oder anderen Punkt in die richtige Richtung lenken.


Vielen Dank!
Phil

 

[Dunuin]

Erstmal fällt mir auf das du viel zu wenig RAM hast. Der geht normal immer als erstes aus. Und meine Faustformel für ZFS ist eigentlich so 2-4GB + 0.25-1GB RAM je 1TB an Rohkapazität der Disks. Bei 6x 14TB HDDs + 2x 1TB NVMes wären das also schon 23,5-90 GB RAM alleine für ZFS. Und das komplett ohne Deduplizierung. Mit wären das bis zu 520GB RAM für ZFS.

Dann musst du beim Define R5 mit den HDDs gucken. Die größeren HDDs haben andere Schraubenabstände auf der Unterseite. Bei meinem Define R4 gingen z.B. keine HDDs mit mehr als 6TB rein. Dafür hätte ich mit dann erst besondere Plattenhalterungen kaufen müssen, aber die waren im Ersatzteilshop von Fractal Design über Jahre ausverkauft, sind nie neu reingekommen und dieses Jahr ist der Shop dann auch ganz verschwunden.
Da sieht man das ganz gut: https://www.hardwareluxx.de/community/threads/fractal-design-define-r4-r5-festplatten-träger-inkompatibel.1138362/post-24996302
Mein Define R4 war nur zum Linken Bild kompatibel. Für das rechte brauchte man spezielle Trays die nicht im Lieferumfang enthalten waren und auch nie mehr lieferbar waren. Ist wirklich schade bei Fractal Design. Da hatten sie mal einen offiziellen Ersatzteil-Shop aber am Ende gab es doch keinen Weg irgendwie an Ersatzteile zu kommen, weil die Ersatzteile nie nachproduziert wurden, wenn einmal ausverkauft. Für mein Define R7 würde ich auch gerne eine ungetönte Glasscheiben-Tür nachkaufen, aber die haben sie wohl aus dem Sortiment genommen und verkaufen nur noch die sehr dunkel getönten über Partner-Läden. Obwohl das R7 mit ungetönten Scheiben weiterhin produziert und verkauft wird.

1. Festplatten
   1. spricht neben dem Preis-Leistungsverhältnis besonders viel oder gegen eines der Modell in der Kapazität Range (Anzahl der Platter, Heliumfüllung etc)

Guck vor allem, dass die HDDs auch dafür ausgelegt sind in einem Raid Verbund zu laufen. WD gibt da eigentlich an wieviele Platten du maximal im Gehäuse haben darfst, ohne dass sich die Platten da wegen Vibrationen gegenseitig stören. Und keine SMR HDDs nehmen bei ZFS. Die billigen "WD Red" fallen also weg, da muss man schon die "WD Red Plus" oder WD Red Pro" nehmen, weil erstere SMR nutzen.

evtl mit encryption, ich las mal von einer Lösung mit autom. decryption mit link auf keyfile in der cloud. Gibt es jemand der so etwas implementiert hat? Alternativ las ich von einer Lösung mittels dropbear den Schlüssel per SSH eingeben zu können.

Da schreibe ich gerade ein Tutorial zu. Vollverschlüsseltes PVE auf ZFS mit Unlocking über dropbear klappt. Hab ich Anfang der Woche erst so mit PVE 7.2 eingerichtet.

1. NVME
   1. ich dachte mir, dass auf die NVME PVE auf ZFS im RAID1 installiert wird und alle VMs/Container behrbergt

Ja, würde ich auch so machen. Wenn du die HDDs beschleunigen willst würde ich außerdem noch etwas Kapazität von PVE unpartitioniert lassen und dort dann manuell eine weitere Partition anlegen, dass du da einen Teil der NVMes als "Special Devices" für den HDD Pool nutzen kannst. Macht dann die HDDs 2-3x schneller. Sterben aber die NVMes weg, dann sind auch alle Daten der HDDs weg. Special Devices sollte man für einen raidz2 HDD Pool also besser als Dreiwege-Mirror haben. Dann wäre es besser wenn man einen Mirror aus 3 NVMes hätte, dass da dann auch beliebige 2 NVMes ausfallen können, um auf die gleiche Ausfallsicherheit des HDD Pools zu kommen.

1. 1. ich las, dass hierfür bei ZFS bereits Enterprise NVME notwendig sind aufgrund der hohen IOps.

Enterprise NVMe ja, aber nicht weil ZFS generell zu hohe IOPS hätte. Sondern wegen mangelnder Datenintegrität, kurzer Haltbarkeit and schrechlicher Sync Write Performance, wenn die NVMe keine Powerloss Protection hat. Und U.2 NVMes haben meist bessere Performance als M.2 NVMes. Und enterprise M. NVMes sindmeistens 110mm lang und teils doppelseitig bestückt. Musst du gucken, ob die überhaupt von der Größe passen. Consumer M.2 sind ja normal nur 80mm lang und einseitig bestückt, da die platzraubende Powerloss Protection wegfällt.
U.2 SSDs kann man übrigens mit passenden Adapter-Kabeln auch am M.2 Slot anschließen.

• Backup
  1. Ich habe verstanden... der Proxmox Backup Server sichert mir nur die VMs

Genau. Wobei du auch über CLI beliebige Ordner oder Block Devices sichern könntest. Da gibts dann den proxmox-backup-client für. Damit wäre es dann auch möglich den PVE Host selbst zu sichern. Musst du ich aber halt selbst drum kümmern, weil nicht in die GUI integriert.

• 1. URBackup ist eine Anwendung für Client Server und nicht Server zu Backup Server?

Habe ich jetzt nicht getestet, aber PVE ist ein normales vollwertiges Linux. Da sollte der UrBackup Client eigentlich auch auf dem PVE Server installierbar sein. Was dir dann aber fehl ist die Integration in PVE. PVE sichert dir ja nicht nur irgendwelche VMs, es führt vorher auch über den QEMU Guest Agent Code aus um die Caches der Gäste zu flushen, dass da Datenintegrität gewährleistet ist. Zum sichern von laufenden Gästen wäre Urbackup also wohl nicht so toll.

• 1. für mein Szenario wäre rsync oder zfs send zu verwenden?

Für was genau denn? "zfs send" geht halt nur zwischen 2 ZFS pools, hat aber den Vorteil, dass da auch snapshots erhalten bleiben und es schneller sein sollte, da es auf Blockebene läuft.

 

[philvomgrill]

oh danke für die vielen Hinweise!
Dann muss ich wohl noch mehr RAM in die Hand nehmen :-o

WD RED Plus hatte ich bereits auf dem Schirm.
Das mit den Einschüben für das Fractal Gehäuse ist sehr hilfreich, das hatte ich bisher nirgends gelesen!

Für den Backup Server hatte ich auch ZFS auf RAID1 im Auge (16GB nonECC RAM hat er bereits), der sich an einer zweiten Lokation befindet. Ich wäre an Deinem Dropbear Tutorial sehr interessiert.

 

[Dunuin]

Für den Backup Server hatte ich auch ZFS auf RAID1 im Auge (16GB nonECC RAM hat er bereits), der sich an einer zweiten Lokation befindet. Ich wäre an Deinem Dropbear Tutorial sehr interessiert. Für mich wäre gerade für das Backup-Konzept eine automatisierte Entschlüsselung mit Keyablage auf einem entfernten Storage ideal. Bei Diebstahl der Server könnte man den key auf dem entfernten Storage entfernen. Im Alltag würde der Backupserver automatisch den kryptierten ZFS pool mounten, backups machen und wieder unmounten. So erträume ich mir das jedenfalls gerade als ZFS Laie..

Für Backups über PBS würde ich ZFS nicht verschlüsseln. PBS bringt seine eigene clientseitige Verschlüsselung mit. Da werden die Backups schon auf dem Client (also dem PVE Server) verschlüsselt und dann veschlüsselt auf dem PBS gespeichert. Der PBs braucht die dann garnicht erst zu entschlüsseln und sendet die Backups verschlüsselt beim Restore zum Client, welcher die dann wieder entschlüsselt. So kann der PBS auch auf Servern laufen, wo man kein großes Vertrauen hat, da der PBS selbst nicht in die Backups gucken kann.

 

[philvomgrill]

Vielen Dank! Das hört sich sehr gut an. Jetzt weiss ich in welche Richtungen ich mein Wissen vertiefen muss und spare sicher viel Zeit durch Deine Hinweise.

 

[philvomgrill]

Hallo!
Kleines Update, von meiner Seite. Bis auf die drehenden Platten (6x für raidz-2 und 2x für Backupserver) ist alles da und zusammengebaut und gefällt mir auch, bis auf eine Sache.
- Beim Stecken der micron M.2 NVMe SSDs bleibt der Rechner Bildschirm schwarz.

wg des SSDs Problems bereits probiert:
1.) Consumer SSD funktioniert und wird im Bios auch unter NVMe Devices gelistet
2.) die micron SSD auf einer PCIe x1 und auch einer PCIe x4 Adapterkarte gesteckt startet der Rechner, die Karte wird im Bios mit allen Einzelheiten auch angezeigt, jedoch als PCIe Gerät neben den zweit Ethernet Adaptern aber im Menü NVMe Devices steht no Device Found... Zudem ruckelt der PRoxmox Installationsassistent etwas mit der micron, mit der Consumer SSD überhaupt nicht..
Ich werde die micron leider zurückschicken solange noch möglich (Specs sind meiner Ansicht sehr gut für den Preis).
Kann mir jemand eine Alternative empfehlen? Soll später als ZFS Mirror laufen und Proxmox mit den VMs / LXC beherbergen.

Menge	Hersteller Nr	Bezeichnung	Preis	Gesamtpreis
1	BX80684I39100	Intel Core i3-9100	143,90 €	143,90 €
1	C246M-WU4	GIGABYTE C246M-WU4	261,09 €	261,09 €
1	CP-9020198-EU	Corsair RMx Series RM650x 2021 | 650W PC-Netzteil	83,89 €	83,89 €
4	KSM32ED8/32HC	Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC	122,65 €	490,59 €
1	FD-CA-DEF-R5-BK	Fractal Design Define R5 Black	141,15 €	141,15 €
1	BK004	be quiet! Shadow Rock 3 Tower Kühler	47,32 €	47,32 €
8	MG08ACA16TE	Toshiba Enterprise Capacity MG08ACA 16TB, 512e, SATA 6Gb/s	249,00 €	1.992,00 €
2	MTFDKBA960TFR-1BC1ZABYY	Micron 7450 PRO - 1DWPD Read Intensive 960GB, 512B, M.2 2280	169,72 €	339,44 €
				3.499,38 €

Danke!