Hardware für Vorhaben ausreichend und Vorgehen korrekt?

[blackswan]

Hallo liebes Forum,
ich lese hier schon seit einiger Zeit mit bzw. habe ich das ein oder andere bereits nachgelesen. Jetzt möchte ich einen Homelab/Homeserver Projekt mit Proxmox starten. Ausgehend von meinem bestehenden TrueNAS-System (ehemals FreeNAS) habe ich bereits einige Hardwarekomponenten da.

Allerdings stellt sich mir jetzt die Frage, ob die Hardware überhaupt ausreichend für meine Vorhaben ist. Bisher hat die Hardware vollkommen gereicht und war eher auf stromsparen ausgelegt.

Meine bisherige Hardware:

• Gehäuse: Fractal Define R5
• Mainboard: Intel S1200SPL Intel C236 So.1151
• Prozessor: Intel Pentium G4520 2x 3.60GHz So.1151
• RAM: 2 x 8GB Kingston DDR4-2133 ECC
• SSD: 2 x SanDisk X400 256GB (ein bisschen überdimensioniert)
• HDD: 4 x 4TB WD Red Plus NAS Festplatten (vier weitere 8TB werden noch angeschafft)
• Netzteil: 350 Watt Super Flower Golden Green HX Non-Mod

Wie oben bereits oben kurz erwähnt, habe ich damit einen TrueNAS betrieben. Die 4 Festplatten waren zu einem RAIDZ2 Pool zusammengefügt, während das OS redundant auf den beiden SSDs lief. Auf TrueNAS lief in einem iocage Plex, welches dann auf ein Plexmedien-Dataset Zugriff hatte.

Nun möchte ich gerne mit möglichst vielen gleichen Teilen einen Server mit Proxmox als Grundsystem (Hypervisor) aufsetzen.

Dabei ist Folgendes in einem ersten Schritt geplant:

• TrueNAS auf einer VM mit 4 durchgereichten 4TB Festplatten
• Nextcloud als LXC-Container mit entsprechendem RAIDZ2-Pool auf Proxmox (diese Platten müssten dann dazukommen)
• Ubuntu VM auf dem dann Plex läuft, welcher dann wiederum Zugriff auf die PlexMedien bekommt (soll getrennt werden, weil TrueNAS nur bei Bedarf laufen soll)
• ReverseProxy [über ein Ubuntu-LXC mit Docker und Ngnix] damit Nextcloud und Plex von außen erreichbar sind

In einem zweiten Schritt sollen dann:

• Bitwarden
• PiHole
• OnlyOffice

folgen.

Falls alles bis hierhin funktionieren sollte, soll ein Proxmox-Backupserver gebaut und aufgesetzt werden.

Mir stellt sich jetzt die Frage, ob die vorhandene Hardware, insbesondere Prozessor und RAM ausreichend sind. Dabei würde ich nicht unbedingt vom schlechtesten Fall, also das alle VMs/LXCs voll beansprucht werden, ausgehen. Realistisch wäre aber schon, dass zwei bis drei User die Nextcloud verwenden, ein User TrueNAS für eine PC-Backup verwendet und ein weiterer User sich einen Film auf Plex anschaut. Bei Plex soll kein Transcoding erfolgen (falls es später doch mal dazu kommen sollte, werde ich eine Transcoding-Karte kaufen und durchreichen). Leider habe ich noch keinerlei ernsthafte Erfahrungen mit Virtualisierung, weshalb ich den Ressourcenbedarf nicht einschätzen kann.

Was meint ihr? Reicht das annähernd vom RAM und CPU? Auch frage ich mich, wie das ist, wenn ich einer VM einen meiner beiden CPU-Kerne zur Verfügung stelle. Ist dieser Kern dann exklusiv für die VM reserviert (gilt das dann auch für den RAM)? Soweit ich das verstanden habe, wird sich bei einem LXC im Gegensatz zu einer VM der Kernel geteilt und somit steht der Kern dann nicht ausschließtlich für diesen LXC zur Verfügung.

Für die Festplatten benötige ich wahrscheinlich ein neues Netzteil und ein Hardwarecontroller um insgesamt 10 (8 x 4TB Sata HDD + 2 x SSD) Platten unterzubringen zu können.

Das waren erstmal meine Gedanken zu der Hardwareseite.

Gesetz dem Fall die Hardware ist ausreichend / neue ist angeschafft und das Vorhaben scheint realistisch (bzw. wird "abgesegnet") wäre mein Vorgehen für den ersten Teil das folgende:

1. Installieren von Proxmox auf den beiden SSDs
2. Erstellen von einem Proxmox ZFS-RAIDZ2-Pool (bestehend aus vier 4TB Festplatten)
3. Installieren von TrueNAS ebenfalls auf den beiden SSDs als VM
4. Durchreichen von 4 Festplatten an die TrueNAS-VM welche dann aus den vier Platten wieder einen vollwertigen RAIDZ2-Pool bauen soll
5. Installieren von Nextcloud als LXC auf SSD
6. Zuweisen von Speicherplatz vom Proxmox-Pool
7. Installieren einer UbuntuVM auf SSD auf welcher dann Plex läuft
8. Zuweisen von Speicher an die UbuntuVM um darauf die Plexmedien abzulegen
9. Installieren eines weiteren Ubuntu als LXC auf SSD auf welchem dann Docker und Ngnix installiert werden (für den Reverse-Proxy)

Das sind erst mal meine Gedanken zu dem ersten Teil meines Vorhabens. Ich würde mich sehr über Meinungen, Gedanken, Resonanz und Inspiration jeglicher Form freuen.

Herzliche Grüße

blackswan

 

[CoolTux]

Was ich Dir jetzt schon sagen kann ist das Deine 16GB RAM nicht reichen werden. Wenn Du ZFS und die erwähnten VMs/Container betreiben will. Minimum sind da 32GB ich empfehle Dir aber minimum 64GB. Damit bist zu mindest sauber raus.
Die CPU scheint mir auch etwas klein aus zu fallen. Ist nicht wirklich was für Virtualisierung, trotz vorhandener vTechnik.

 

[Dunuin]

Was meint ihr? Reicht das annähernd vom RAM und CPU? Auch frage ich mich, wie das ist, wenn ich einer VM einen meiner beiden CPU-Kerne zur Verfügung stelle. Ist dieser Kern dann exklusiv für die VM reserviert (gilt das dann auch für den RAM)? Soweit ich das verstanden habe, wird sich bei einem LXC im Gegensatz zu einer VM der Kernel geteilt und somit steht der Kern dann nicht ausschließtlich für diesen LXC zur Verfügung.

CPU Kerne kannst du gerne Überprovisionieren. Also wenn du nur 2 physische Kerne hast, dann kannst du auch 4 VMs je 1 Kern geben. Das ist relativ unproblematisch, solange die VMs/LXCs die Kerne nur selten auslasten. Eigentlich sollte man aber immer einen Kern frei lassen für proxmox selbst, da ja auch ZFS etc ordentlich Leistung braucht. Würde eine VM beide Kerne voll auslasten. dann kann es Probleme geben, weil dann Proxmox selbst keine Ressourcen mehr hätte. Die CPU sollte also nie an die 100% Auslastung kommen.
Und 2 Kerne ist schon etwas wenig für z.B. Nextcloud. Da willst du ja PHP, MySQL, Redis etc parallel bereiben die alle gut einen eigenen Kern vertragen könnten. Ein Quadcore wäre da eigentlich schon das mindeste was ich nutzen wollen würde.
Und RAM ist halt arg wenig. Faustformel nur für ZFS ist ja schon 4GB + 1GB RAM je 1TB Rohkapazität. Da wären das schon 52GB RAM nur für ZFS, wenn du da noch mehr HDDs dranhängen willst. Und dann brauchen die VMs und LXCs und Proxmox selbst ja auch noch RAM. 32GB RAM würden da wohl schon recht eng werden und 64GB wäre eine bessere Idee. RAM darf man auch nicht überprovisionieren, auch wenn man es theoretisch könnte. Wenn du da einer VM 8GB RAM gibst, dann sollten die 8GB RAM auch als "verbraucht" angesehen werden und stehen für nichts anderes mehr zur Verfügung.

Für die Festplatten benötige ich wahrscheinlich ein neues Netzteil und ein Hardwarecontroller um insgesamt 10 (8 x 4TB Sata HDD + 2 x SSD) Platten unterzubringen zu können.

Netzteil wohl nicht. Würde mich wundern wenn der Rechner mehr als 150W schluckt. Da tun es meist auch Y-Sata-Stromkabel damit man mehr Laufwerke an das Netzteil bekommt. Ich habe hier auch 9 Laufwerke an einem ollen 300W Netzteil und das pendelt so zwischen 100-200W und ist weniger stromsparend wie dein System.

Ich verstehe nicht warum die TrueNAS VM nicht ständig laufen soll. Ich würde mir einen PCIe HBA kaufen wo 8 SATA Platten dranpassen (bekommst du gebraucht für 35€ + 12€ für Kabel) und dann würde ich den HBA, inkl der 8 angeschlossenen HDDs, per PCI Passthrough an die TrueNAS VM durchreichen. Die TrueNAS-VM kann dann per NFS/SMB/iSCSI allen anderen LXCs und VMs gemeinsame Ordner zur Verfügung stellen. Und VMs würde ich dann zusammen mit Proxmox von den beiden SSDs laufen lassen und die direkt am Mainboard anschließen.

Wenn du keine GUI brauchst und fit mit Linux bist kannst du auch TrueNAS weglassen. Proxmox unterstützt da aber Null per GUI. Da wirst du alles bezüglich ZFS-, SMB-, NFS-Verwaltung per Hand über die CLI machen müssen. Da könnte man dann auch beide Pools direkt auf dem Proxmox Host anlegen, die Mountpunkte der Pools per bind-mount in ein LXC bringen und dann dort im LXC in z.B. einem Ubuntu einen SMB/NFS Server aufsetzen, dass da der LXC allen VMs Ordner per NFS/SMB bereitstellt.

Denk aber daran, dass da Raidz nicht wirklich als Storage für VMs geeignet ist. Da kommen die HDDs schnell an die Grenzen was die IOPS angeht. Wenn du auch VMs von den HDDs laufen lassen willst, dann wäre da ein Stripped Mirror (Raid10) die bessere Wahl. Oder besser halt gleich alle VMs von SSDs laufen lassen.

Den Sinn von Raidz2 für Plex sehe ich auch noch nicht. Raid ersetzt nie ein Backup. Wenn du ein komplettes Backup besitzt, dann macht Raidz2 keinen Sinn und du könntest auch Raidz1 nutzen, weil du im unwahrschenlichen fall, dass da 2 HDDs gleichzeitig ausfallen ja alles aus dem Backup wiederherstellen könntest. Hast du kein Backup würde ich noch 2-3x 12TB USB Festplatten kaufen. Dann könntest du regelmäßig alle Daten von beiden Pools auf einen externen 24TB Stripe- oder 24TB Raidz1-Pool backuppen. Dann würden auch 3x 4TB + 3x 8TB als raidz1 für die Pools völlig reichen. Oder du kaufst dir noch 1x 4TB hinzu + 3x 8TB. Dann hättest du 16 von 20TB nutzbar über raidz1 aus 5x 4TB und 16TB von 24TB nutzbar über raidz1 aus 3x 8TB. Auch nicht vergessen, dass du einen ZFS pool nicht mehr als 80% füllen solltest, weil der sonst langsam wird. Und ab 90% schaltet ZFS in den Panik Modus. 20% Kapazität verlierst du also noch zusätzlich. Und du musst deine Volblocksize vor dem Erstellen der ersten virtuellen HDDs ausrechnen und entsprechend anheben. Sonst verlierst du nochmal gute 33% der Kapazität durch schlechtes Padding, falls du die Standard Volblocksize von 8K beibehältst du die nicht z.B. auf 64K anhebst. Das ist auch später nicht mehr änderbar.

Und wenn du zu den vielen Leuten gehörst die Backups von Plex und Co nicht wichtig finden, dann ist da wieder die Frage wozu Raidz2, wenn es keine wichtigen Daten sind?

Edit:
Ich habe mal geguckt was meine Nextcloud so braucht. Also zugeteilt hat die bei mir 4GB RAM + 3 virtuelle CPU Kerne bekommen. RAM schwankt so zwischen 3-4 GB da Linux ziemlich viel buffert. Im Idle liegt die CPU Auslastung bei rund 5%, aber kann durchaus unter Last mal auf 80% hochgehen.
PiHole und ReverseProxy sind recht sparsam. Sind bei mir 2 eigene VMs mit je einem Kern und 512MB RAM.
Reverseproxy und PiHole liegen so bei 400-450MB RAM-Verbrauch und 10% CPU-Auslastung im Idle mit Peaks bis 60%.
Plex habe ich nicht mehr drauf, aber dafür Emby. Meinem Emby habe ich 4GB RAM verpasst und 8 CPU-Kerne. Im Idle braucht Emby so 2,8GB RAM und 2% CPU-Auslastung. Und Last beim Filme gucken geht das hoch auf die vollen 4GB und mit CPU Peaks von rund 50-70%.

 

[blackswan]

@Leon Gaultier @Dunuin
Vielen Dank für euren Input!

Danke für eure Einschätzung der Hardware. Das mit dem Netzteil hat sich dann wohl erledigt, da das aktuelle ausreichend ist. Ich habe mal recherchiert und habe rausgefunden, dass der Chipsatz des Mainboardes (C236) bzw. der Sockel 1151 (leider nicht 1151v2) sowohl RAM als auch Prozessor limitiert ist. Da habe ich damals beim Kauf einfach keine Weitsicht gehabt. Beim RAM ist leider bei 64GB Schluss, weshalb es wohl auch 64GB werden. Prozessoren sind mit maximal vier Kernen erhältlich, auch wenn diese dann Hyperthreading unterstützen. Konkret habe ich folgende Ergänzungshardware rausgesucht:

• Intel Xeon E3-1245 v6 4x 3.70GHz
• 2 x Samsung RDIMM 32GB, DDR4-2400
• HBA: Dell Perc H310 SATA / SAS HBA Controller

Hoffentlich reicht das dann um alles stabil zum Laufen zu kriegen. Mehr geht halt leider nicht ohne das Mainboard zu tauschen. Grade zum HBA würde ich aber gerne nochmal eine Meinung hören. Taugt die was und kann man das nehmen?

Mit der gewählten Hardware könnte ich dann 3 (oder vllt. sogar 7 wegen Hyperthreading?) Kerne an VMs und LXCs "delegieren". Sehr interessant, dass man die die Überprovisionieren kann.

Mir ist TrueNAS schon recht wichtig, da ich zwar recht Linux affin bin, mich aber selbst nicht als richtig fit bezeichnen würde. Eine GUI wäre mir da schon ganz recht. Auch ist mir der Sicherheitsaspekt beim TrueNAS-Speicher sehr wichtig, weshalb ich diesen gerne als RAID-Z2 realisieren möchte. Von den Plexdaten habe ich zigfache Sicherungen, also hast du schon recht und eine RAID-Z1 würde allemal ausreichen. Wenn man es ganz genau nimmt reicht auch eine einfache Platte für Plex, da wie erwähnt alle Plexmedien zigfach gesichert sind. Der Einfachheit halber aber einfach zwei Pools und gut ist. Also bleibt noch der TrueNAS-Pool und der Proxmox-ZFS. Diesen könnte man, falls ich dich richtig verstanden habe, folgendermaßen aufsetzen?:

• 4 x 4TB durchgereicht an TrueNAS als RAID-Z2
• 3 x 8TB als Proxmox-ZFS als RAID-Z1
• 2 x SSD redundante SSDs wo Proxmox und die ganzens Betriebssysteme draufliegen.

Habe ich das richtig verstanden oder meintest du das so, dass beide Pools als RAID-Z1 realisiert werden könnten?

 

[Dunuin]

@Leon Gaultier @Dunuin

• 2 x Samsung RDIMM 32GB, DDR4-2400

Bist du sicher das der geht? Ich würde vermuten bei dir geht nur unbuffered/unregistered RAM. RDIMM ist registered. Denke du brauchst da UDIMMs. Am besten gucken, was da das Mainboard als kompatiblen RAM nennt.

• HBA: Dell Perc H310 SATA / SAS HBA Controller

Hoffentlich reicht das dann um alles stabil zum Laufen zu kriegen. Mehr geht halt leider nicht ohne das Mainboard zu tauschen. Grade zum HBA würde ich aber gerne nochmal eine Meinung hören. Taugt die was und kann man das nehmen?

Ich habe den gleichen bei mir im NAS. Bin ich voll zufrieden mit. Du musst den aber halt erst mit der LSI 9211-8i Firmware in den IT-Mode flashen. sieh z.B. hier. Danach ist der bestens für 8x SATA mit ZFS geeignet. Für ZFS darf der HBA kein Raid können daher ist der IT-Mode wichtig, wo dann ZFS direkten Zugriff auf die HDDs hat, ohne dass da der HBA irgendwie als extra Ebene dazwischen sitzt.

Mit der gewählten Hardware könnte ich dann 3 (oder vllt. sogar 7 wegen Hyperthreading?) Kerne an VMs und LXCs "delegieren". Sehr interessant, dass man die die Überprovisionieren kann.

Ja, aber beachte das HT halt keine echten Kerne sind. Volle Power liefern da nur die 4 echten Kerne. Die anderen 4 Threads haben dann mit glück 30% der Leistung oder so. Ich habe hier gerade in der Summe 56 Kerne den VMs zugeteilt. Meine CPU hat nur 8 Kerne und 16 Threads. Läuft aber ziemlich problemlos, da die Kerne in den VMs meistens nichts zu tun haben. Im Idle ist die CPU zu rund 30% ausgelastet und wenn ich mal aktiv was mache kann die CPU auch auf 90% Auslastung hochgehen. Hätte da auch lieber mehr Kerne aber das geht dann doch ordentlich ins Geld und noch reicht das gerade so. Ich meine bei Intel etwas gelesen zu haben, dass man vermeiden sollte mehr als 8 virtuelle Kerne pro einem echten Kern zu verwenden.

Mir ist TrueNAS schon recht wichtig, da ich zwar recht Linux affin bin, mich aber selbst nicht als richtig fit bezeichnen würde. Eine GUI wäre mir da schon ganz recht. Auch ist mir der Sicherheitsaspekt beim TrueNAS-Speicher sehr wichtig, weshalb ich diesen gerne als RAID-Z2 realisieren möchte. Von den Plexdaten habe ich zigfache Sicherungen, also hast du schon recht und eine RAID-Z1 würde allemal ausreichen. Wenn man es ganz genau nimmt reicht auch eine einfache Platte für Plex, da wie erwähnt alle Plexmedien zigfach gesichert sind. Der Einfachheit halber aber einfach zwei Pools und gut ist. Also bleibt noch der TrueNAS-Pool und der Proxmox-ZFS. Diesen könnte man, falls ich dich richtig verstanden habe, folgendermaßen aufsetzen?:

• 4 x 4TB durchgereicht an TrueNAS als RAID-Z2
• 3 x 8TB als Proxmox-ZFS als RAID-Z1
• 2 x SSD redundante SSDs wo Proxmox und die ganzens Betriebssysteme draufliegen.

Habe ich das richtig verstanden oder meintest du das so, dass beide Pools als RAID-Z1 realisiert werden könnten?

Ich finde es vorallem wichtig, dass da irgendwie Parität vorhanden ist, damit ZFS sich auch selbst heilen kann. Ohne Parität hättest du keinen Schutz vor schleichendem Dateiverfall. Dann könnte dir ZFS zwar sagen, dass da was kaputt ist, es könnte aber nichts dagegen machen. Mit Parität repariert ZFS das ja selbst, wenn man regemäßig ein Scrub laufen lässt. Und Raidz1 ist ganz nett und spart Arbeit, weil das in 99% der Fälle reicht und man keine Daten verliert, wenn man eine HDD ausfällt. Wenn du Backups von allem hast und es dich nichts kostet, wenn da der Server mal ein paar Tage offline ist, dann finde ich raidz2 nicht wirklich nötig. Raidz2 hilft halt in den 1% der Fälle wo bereits eine HDD kaputt ist und eine weitere dann Probleme macht. Aber solange man Backups hat ist es ja nicht tragisch, wenn der unwahrscheinliche Fall doch mal eintreten sollte und man den ganzen Pool verliert.
Also besser ist raidz2 schon, aber wenn man auf den Geldbeutel gucken muss, dann finde ich es für einen Homeserver nicht wirklich nötig. Da kann man das Geld auch sinnvoller ausgeben und sich z.B. mehr Backup-Laufwerke kaufen oder eine USV.

Wegen durchreichen...wenn du den ganzen HBA per PCI Passthrough durchreichst, dann können alle angeschlossenen Laufwerke nicht mehr von Proxmox oder anderen VMs genutzt werden. Dafür hat deine TrueNAS-VM dann aber echten direkten Zugriff auf die physische Hardware und es ist keine Virtualisierung dazwischen, welche irgendwie Overhead verursachen könnte. Die TrueNAS VM kann dann also direkt auf die angeschlossenen HDDs zugreifen und den Pool erstellst du dann in der VM selbst. Ist dann alles ganz normal so, wie es früher bei dir war, wo TrueNAS direkt auf dem Server installiert war.
Allen anderen Rechner im Heimnetz und allen VMs/LXCs auf dem Server selbst kannst du dann ja per SMB/NFS über Shares Daten bereitstellen.
Das ist eigentlich ziemlich unproblematisch, solange die VMs selbst auf den SSDs laufen die direkt am Mainboard hängen. Dann läuft z.B. dein Ubuntu für Nextcloud auf einer virtuellen HDD von der SSD, die MySQL und Redis DBs lässt du auch auf der virtuellen HDD für bessere Performance aber die Daten, welche du über die Nextcloud hochladen willst, die bringst du über einen NFS Share in die TrueNAS-VM. Dann läuft alles was schnell sein muss über die SSDs und alles was langsamer sein darf halt über Shares die auf den HDDs in der TrueNAS-VM liegen.

Geschwindigkeit der Shares ist eigentlich ok. Sowohl die virtuellen Virtio NICs als auch die Linux Bridge arbeiten mit 10Gbit (und können davon vielleicht 5Gbit nutzen bei deiner CPU). Auch wenn du nur eine physische 1Gbit NIC haben solltest, dann könnten die VMs untereinander trotzdem mit bis zu 10Gbit kommunizieren. Erst alles was den Server verlässt wäre dann auf 1Gbit gedrosselt.

Was ich noch nicht ganz verstehe ist, warum du einen Pool in der TrueNAS-VM und einen Pool auf dem Proxmox Host selbst haben willst?
Ich würde einfach beide HDD Pools in der TrueNAS-VM anlegen und auf dem Proxmox Host ausschließlich mit den SSDs arbeiten.

 

[blackswan]

@Dunuin Entschuldige bitte die späte Antwort, ich war leider beruflich leider sehr eingespannt.

Sehr beeindruckend, wie stark man letztendlich die CPU überprovisionieren kann. An dieser Stelle brauche ich mir, glaube ich, keine weiteren Gedanken machen.

An die Möglichkeit, den ganzen Speicher über TrueNAS als Pool zu verwalten und dann wieder an Proxmox über SMB/NFS "zurückzugeben", bin ich gar nicht gekommen. Genial! Auch noch mal vielen Dank für den Link, da sollte das Flashen in den IT-Mode kein Problem darstellen.

Zum Thema RAID-Z1 vs. RAID-Z2: Da hast du wichtige Punkte angesprochen. Ich werde mir noch mal genau Gedanken zu machen, ob wirklich RAID-Z2 nötig ist. Auf der einen Seite wäre mir aber wohler mit RAID-Z2, da mir die Datensicherheit / Parität sehr wichtig ist, auch wenn es wahrscheinlich etwas überambitioniert ist. Aber auf der anderen Seite ist RAID ja auch kein Backup und davon habe ich reichlich. Also ist RAID-Z2 wahrscheinlich etwas unnötig. Na ja mal sehen, irgendwann muss man ins kalte Wasser springen.


Damit wären eigentlich alle Unklarheiten ausgeräumt und es kann ans Eingemachte gehen.


Nochmals vielen Dank fürs geduldige Beantworten der Fragen!

 

[Dunuin]

Ich persönlich habe da 4x 8TB HDDs als Raidz1 im HauptNAS und noch einmal 4x 8TB HDDs als Raidz1 im Backup-NAS. Dann habe ich mir ein Script geschrieben was die FreeNAS API und IPMI nutzt um das BackupNAS einmal die Woche kurz hochzufahren, die Pools zu entschlüsseln, um die Replikation entgegenzunehmen und dann wird gewartet bis alle Replikations- und Scrub-Jobs durch sind und schließlich wird das Backup-NAS wieder automatisch runtergefahren. So muss das BackupNAS immer nur einmal pro Woche für 1 oder 2 Stunden an sein, was dann ja auch wieder die HDDs und die Stromrechnung schont.
Da das BackupNAS da immer 1 zu 1 den selben Inhalt wie das HauptNAS hat, wäre da ein zurückspielen beim Totalausfall ziemlich problemlos. Ist dann ja nur eine Replikation in die andere Richtung. Und da das Backup dann auch auf raidz1 gespeichert ist kann selbst das Backup einen einzelnen Plattenausfall vertragen.
Und dank Raidz1 hat dann auch das Backup BitRot-Schutz und Selbstheilung. Auch achte ich immer darauf, dass ich da nicht beide NAS gleichzeitig update, falls sich da ein fieser ZFS Bug einschleichen sollte, dass da dann wenigstens ein NAS nicht betroffen ist.
Achso, und der Pool vom BackupNAS ist ReadOnly. Die Replikation und Snapshots sind dann das einzige was irgendwie etwas Schreiben/Löschen darf. Zur Not muss ich dann aber nur das BackupNAS booten und kann dann per SMB wieder als ReadOnly lesend auf die Daten zugreifen.
Und Snapshots speichere ich auf dem Haupt- und BackupNAS für 2 Monate. Dann kann ich im Falle eines Ransomwarebefalls oder bei eigener Dummheit zur Not noch zurückrollen.
Und Poolerweiterung sollte auch einfacher sein, weil man auch mal einen Pool löschen kann um ihn dann größer neu aufzubauen. Vermutlich wäre mir dann aber für den Moment zwischen Löschung und Zurückspielen der Daten etwas mulmig zumute.

Damit fühle ich mich dann schon relativ sicher, auch wenn es kein Raidz2 ist. Im Endeffekt dürfen dann ja auch 2 beliebige HDDs ausfallen, ohne das ich etwas verliere. Also ähnlich wie dem Raidz2.
Und alle paar Monate kommen die wichtigsten Daten dann noch einmal auf externe USB-HDDs.

Ich hätte eigentlich gerne noch ein Online/Offsite-Backup aber 24TB OnlineStorage für den Heimgebrauch kann ja kein Mensch bezahlen. Dienste mit unlimitiertem Platz wie Backblaze unterstützen ja alle leider kein Linux/Unix und einem Windows Software Raid möchte ich eigentlich nicht meine Daten anvertrauen.
Und ein Hardware-Raid hätte dann ja auch wieder keine Verschlüsselung, BitRot-Schutz oder Selbstheilung.

USVs sind noch ganz nett. Meine beiden Server teilen sich gerade eine USV und die hat neu keine 50€ gekostet. Alle 2-3 Jahre muss man zwar den Akku tauschen, aber das sind Standardgrößen die es auch für 15-20€ gibt. Am NAS hängt die USV dann per USB und auf dem NAS läuft der NUT Server und auf dem anderen Rechner der NUT Client. So fahren sich dann beide Server geregelt runter wenn es mal zum Stromausfall kommt. Macht die Daten dann auch nocheinmal sicherer, weil man keine asynchronen Writes verlieren kann die noch im Cache liegen, wenn doch mal der Strom ausfällt. Und hier liest man ja immer wieder im Forum, dass da Leute ein Stromausfall hatten und sich Proxmox dann nicht mehr booten ließ.

KA ob das so alles richtig ist, aber für mich war das so der beste Kompromiss aus Datensicherheit und Kosten für meine Homeserver.
Alles in Allem waren das jetzt zusammen rund 3500€ Anschaffungskosten + 50€ Strom pro Monat für alle 3 Server (zsm. 16 Kerne, 112GB ECC RAM, 16x SSDs mit 3,9TB, 10x HDDs mit 70TB, 3x 10Gbit NICs, HBA, ...bis auf die HDDs alles zuverlässige Server Hardware), 4 Switches mit zusammen 48x Gbit Ports und 4x 10Gbit, USV, 3x OpenWRT Router und etliches an Kabeln.
Ich bin da leider auch schon wieder total am Limit und müsste eigentlich noch HDDs nachkaufen und beim Proxmox-Host das Mainboard, CPU und RAM austauschen, da alle RAM- und PCIe-Slots bereits belegt sind und die CPU auch Stoßweise mal an die volle Auslastung kommt. Hätte ich mal lieber gleich für den Hypervisor ein (E-)ATX Mainboard + 128GB RAM + Dual-CPU kaufen sollen.