Bestes Konzept für mein Vorhaben

[Yann Decay]

Hallo zusammen,

ich würde euch gerne um Rat bitten wie ich zukünftig am besten meine vorhandene Hardware hinsichtlich PBS einsetze.

Ich werde demnächst einen kleinen HomeServer bauen und meinen vorhandenen Mini-PC (J4125 CPU mit 16GB) etwas entlasten. Dort laufen verschiedene VMs inkl. einer OPNsense. Diese wollte ich eigtl. zukünftig bare metal betreiben, wobei ich mittlerweile sogar eher tendiere das so zu lassen und eher meine Backupmöglichkeiten mit PBS erweiter. Dazu würde alles außer die OPNsense VM ausgelagert werden und ein PBS (als VM/LXC/BareMetal?) installiert werden.

Zukünftig stehen auf dem HomeServer 3x m.2-Anschlüsse (2280) sowie 8x SATA-Ports zur Verfügung. Auf dem jetzigen Mini-PC 1x mSATA und 1x SATA. Des weiteren habe ich noch ein älteres 5-bay Synology NAS.

Ich würde gerne zukünftig ZFS einsetzen, haber bisher allerdings keine Erfahrung mit ZFS, bin aber aber davon überzeugt und lernwillig

Wie realisiere ich dieses Vorhabe am besten in Verbindung mit den beiden Servern, den vorhandenen Anschlüssen und dem Synology NAS (DS1515+, leider etwas alt, aber würde es später dann eher nur fürs Backup hochfahren lassen). Ich finde das Konstrukt mit 2 PBSen eigtl. ganz interessant, zumal der eine für den anderen sorgt, dazu noch ein sync in Richtung Synology. Wie würdet ihr das Ganze an meiner Stelle anstellen?

Es sei noch dazu gesagt das mir Datensicherheit/-integrität wichtiger als Performance ist. Allerdings bin ich ebenfalls etwas unsicher bei der Auswahl der jeweiligen Festplatten. Da ebenfalls im Mini-PC keine so tollen Platten drin sind, bin ich daher geneigt diese ebenfalls zu tauschen.

Ich bin gewillt etwas mehr für Enterprise SSDs auszugeben z.B. die Samsung PM893, allerdings frage ich mich wie viele hier überhaupt Sinn machen, auch um den Geldbeutel zu schonen. Denke auf jedenfall schon mal für die VMs/Container.... also 2 Stück für einen zfs mirror application pool. Wie sieht es mit dem Boot Device aus? Hier kann man vermutlich schon mal auf ein Mirror verzichten, oder ist das dennoch sinnvoll?

Des weiteren noch einen zfs mirror für (eher unwichtige) Daten, daher tendiere ich hier eher einfach zu consumer-ssds mit hoher TBW. Gibt es da Empfehlungen?

Auch bin ich unsicher wie ich die 3 verfügbaren m.2-slots am intelligentesten bei diesem Vorhaben nutze. Zwecks Speed wäre das ja eigtl. der ZFS-Mirror + das Boot Device. Falls so, welche Enterprise m2 wäre denn dafür dann gut geeignet? Die Samsung PM9A3 M.2 ist ja leider kein Formfaktor 2280...

Viele Fragen, wenig Ahnung, seht es mir nach

Lieben Gruß!
Yann

 

[Yann Decay]

Hab nochmal bisschen geschaut und hätte ein Kandidat für mein Boot Device -> Kingston DC1000B -> SEDC1000BM8.

Jetzt ist nur die Frage inwiefern ein zfs boot mirror überhaupt Sinn macht... da das ja auch keine 0815 SSD ist wird die ja schon etwas aushalten und im Fall der Fälle ist's ja "nur" mit Downtime verbunden, die in meinem Fall (privat) vertretbar wäre.

Was mir nämlich auch noch kompliziert erscheint bei nem boot mirror -> Wie ist das wenn eine Platte stirbt? ZFS kann doch keine boot/EFI Partition oder den bootloader spiegeln, oder? Wie geht man damit um?

Versuche halt weiterhin meine 3x m2 slots irgendwie sinnvoll zu nutzen... da aktuell für die VM's wohl die PM893 angedacht sind.

 

[Vengance]

Ich habe mangels Zeit den Beitrag nur überflogen aber prinzipiell würde ich definitiv zu Datacenter SSDs raten.
In der Bucht solltest du eigentlich auch günstige Modelle finden.

Für ZFS ist das definitiv ein sinnvolles investment, da hier sowohl die sustained write performance deutlich besser ist als auch eine deutlich höhere Schreibbelastung toleriert wird.
Die Powerlossprotection hat auch keinen unerheblichen Einfluss auf Performance + Integrität.

 

[Yann Decay]

Hatte schon vor DC SSDs zu nehmen, zumindest für die wichtigsten Daten, aber eben nicht für alles. Ich frage mich da z.B. wenn man für sowas halbwegs gute Prosumer TLC Platten mit hoher TBW nimmt und dann eben zusätzlich noch ein Cache-Device (ZIL/SLOG) wie sich das dann auswirkt? Dann würde man dafür natürlich ne Enterprise SSD oder gleich ne Optane oder so nehmen und könnte damit doch eigtl. dem Verschleiß der SSDs entgegenwirken, oder verstehe ich das falsch? Da es sich wie angesprochen um einen HomeServer mit geringem Workload handelt, wo auch nur max. 2 Leute zugreifen möchte ich eben Kosten/Nutzen abwiegen.

Zwecks dem Backup: Könnte noch eine weitere Platte in meinen Hauptserver einbauen, dort ZFS-Dateisystem und darauf den PBS installieren, lokal backuppen und mit meinem Mini PC (wo dann auch PBS läuft) syncen. So wie ich verstehe pullt der PBS beim Sync ja die Daten, und dementsprechend falls dann auf dem Sync-Backup auf dem Mini-PC sich Bit Rot einschleichen würde, würden diese Fehler doch durch den nächsten Sync/Pull wieder glattgezogen, oder ist die Annahme falsch? PBS hat ja auch seine Mittel und Wege sicherzustellen das die Daten die gleichen sind wie auf der guten (ZFS+ECC) Quelle.

 

[sb-jw]

Ich frage mich da z.B. wenn man für sowas halbwegs gute Prosumer TLC Platten mit hoher TBW nimmt und dann eben zusätzlich noch ein Cache-Device (ZIL/SLOG) wie sich das dann auswirkt?

Im Grunde scheint erst mal nichts gegen die Kingston zu sprechen, außer meine persönliche Erfahrung, weshalb ich keine Kingston mehr nutzen würde. Aber ich rede hier vom Enterprise Bereich, für zu Hause wirst du davon sicherlich keine 16 - 24 Stück im Verbund laufen lassen wollen.

ZIL und SLOG machen am meisten Sinn, wenn diese auf einem schnelleren Medium liegen als die Daten selbst. Wenn du eh alles mit NVMe bestückst, brauchst du da auch nichts auslagern. Grundsätzlich musst du dir aber immer bewusst machen, dass du einen Lese-Cache ohne Datenverlust verlieren kannst, einen Schreib-Cache hingegen aber nicht. Heißt also auch, dass du hier entsprechende Datenträger mit Power-Loss Protection verwenden solltest. Auch macht es dein Storage Layout komplexer und im Fehlerfall kann es aufwändiger sein den Datastore auf einem anderen Gerät wieder zu starten.
Ich denke nicht, dass du solch ein Konstrukt zu Hause wirklich brauchst, du sagst ja selbst, dass nur zwei Leute drauf zugreifen. Die Caches (egal ob ZFS, Synology, ein standard Hardware-RAID etc) bringen in der Regel nur dann einen wirklichen Effekt, wenn du viele kleine Dateien bearbeitest und im Zugriff hast. Trifft also z. B. auf die Dokumentenablage zu. Wenn du aber Filme, VM Images oder ISOs dadrauf lagerst, wird das in der Regel als sequentieller Stream direkt vom Datastore vorbei am Cache gelesen und geschrieben.

Vom Layout her würde ich grundsätzlich immer dazu raten das OS auf separate Disks zu legen und für die Daten eigene zu nehmen. Damit bist du viel flexibler und im Falle eines OS Fehlers oder Re-Installation kannst du deine Datenplatten abklemmen und sicher verwahren bis das neue System läuft.

Du sprichst auf der einen Seite davon, dass du Geld sparen möchtest bzw. es sinnvoll investieren willst, dann willst du aber gleich noch zusätzliche Devices für ZIL/SLOG oder ne Optane nehmen. Ich würde sagen, dass dir gute Enterprise SSDs / NVMe absolut reichen, das müssen nicht mal die Topmodelle sein sondern können auch 1 - 2 Versionen älter sein. Die PM863a und PM883 machen heute noch einen super Dienst und sind in Sachen TBW und Latenz sehr dicht beieinander, aber beide kosten im Vergleich zur PM893 deutlich weniger. Wir reden bei z. B. den Samsung SSDs davon, dass diese 1.366 TBW in der 960 GB variante haben. Wenn da 100 TBW geschrieben sind, ist das nicht viel.

Könnte noch eine weitere Platte in meinen Hauptserver einbauen, dort ZFS-Dateisystem und darauf den PBS installieren, lokal backuppen und mit meinem Mini PC (wo dann auch PBS läuft) syncen.

Ich habe ja verstanden, dass dir die Integrität sehr wichtig ist, verstehe ich auch. Aber überleg dir mal ob das tatsächlich so sinvoll ist. Zwei PBS zu haben macht nur Sinn, wenn du auch zwei verschiedene Brandabschnitte nutzen kannst. Wenn eh alles in einem Zimmer steht, ist das weniger nützlich - aus meiner Sicht. Du hast dadurch nur doppelte Datenhaltung, doppelten Verschleiß, doppelten Aufwand bei kaum einem Mehrwert, wenn du diese Energie in einen guten ersten PBS steckst. Schieb dann lieber noch Backups z. B. in die StorageBox bei Hetzner.

Synology NAS (DS1515+, leider etwas alt, aber würde es später dann eher nur fürs Backup hochfahren lassen).

Ja, kannst du so machen, aber: Das laufende Ein- und Ausschalten verschleißt jegliche Komponenten, insbesondere mechanische Festplatten. Wenn du dann die NAS noch als Datastore einbindest auf dem PBS, hast du laufend Fehlermeldungen, da der Datastore nicht verfügbar ist. Auch kann sich PBS dann vielleicht nicht um die Serviceaufgaben wie z. B. Verifiy, Prune und GC kümmern bzw. müsstest du diese Jobs eben entsprechend regelmäßig planen und ausführen.
PBS funktioniert in der Regel am besten und schnellsten, wenn du lokale SSDs einsetzt. Ein NFS Datastore auf mechanischen Platten wird wahrscheinlich der absolute Performancekiller für den PBS sein. Deine Aktionen wie Verify etc. werden da wahrscheinlich keine 30 Minuten sondern eher 3 Stunden und mehr laufen. Du kannst es ausprobieren und schauen ob du damit glücklich wirst, aber ich habe auch einen Backup Server mit Flash Only, dank Dedup etc. wird da auch gar nicht so viel belegt.

 

[Yann Decay]

Im Grunde scheint erst mal nichts gegen die Kingston zu sprechen, außer meine persönliche Erfahrung, weshalb ich keine Kingston mehr nutzen würde. Aber ich rede hier vom Enterprise Bereich, für zu Hause wirst du davon sicherlich keine 16 - 24 Stück im Verbund laufen lassen wollen.

Die 2x Kingston wären in dem Fall ja nur für den Boot-Device Mirror. Sind ja m.2 und ich habe nur 3 Slots onboard (will auch keine weitere PCIe-Erweiterungskarte). Klar reich vermutlich auch ne HDD für ein Boot-Device, aber wenns dann Richtung Enterprise geht wirds bei m.2 a) teuer und b) sind die Teile weniger gebraucht zu finden. und daher kommen die m.2 wohl aktuell nur als Boot Device in Frage, da ich für VMs ja dann eher die Samsung DC oder ältere Intel DC SATA SSDs nehmen würde.

ZIL und SLOG machen am meisten Sinn, wenn diese auf einem schnelleren Medium liegen als die Daten selbst. Wenn du eh alles mit NVMe bestückst, brauchst du da auch nichts auslagern.

Wäre ja schneller bei z.B. einer PCIe-Optane im Gegensatz zu SATA Platten (wären sonst in dem Fall ja SATA Enterprise SSDs). Alles mit NVMe bestücken ist aktuell nicht der Plan.

Vom Layout her würde ich grundsätzlich immer dazu raten das OS auf separate Disks zu legen und für die Daten eigene zu nehmen. Damit bist du viel flexibler und im Falle eines OS Fehlers oder Re-Installation kannst du deine Datenplatten abklemmen und sicher verwahren bis das neue System läuft.

Hatte ich genauso vor, wollte ja die beiden Kingston als ZFS Mirror Boot Platten nutzen.

Du sprichst auf der einen Seite davon, dass du Geld sparen möchtest bzw. es sinnvoll investieren willst, dann willst du aber gleich noch zusätzliche Devices für ZIL/SLOG oder ne Optane nehmen. Ich würde sagen, dass dir gute Enterprise SSDs / NVMe absolut reichen, das müssen nicht mal die Topmodelle sein sondern können auch 1 - 2 Versionen älter sein. Die PM863a und PM883 machen heute noch einen super Dienst und sind in Sachen TBW und Latenz sehr dicht beieinander, aber beide kosten im Vergleich zur PM893 deutlich weniger. Wir reden bei z. B. den Samsung SSDs davon, dass diese 1.366 TBW in der 960 GB variante haben. Wenn da 100 TBW geschrieben sind, ist das nicht viel.

Mein Gedankengang wegen sparen war ein anderer. Ich hab das eben so verstanden das ZFS im Grunde das meiste im RAM erledigt und das das Hauptproblem bei Consumer-SSDs neben dem nicht vorhanden PLP vor allem der nicht vorhandene oder zu kleine DRAM-Cache ist. Weshalb ich mir eben gedacht habe diese "Last" bspw. auf eine Optane zu schieben mit dem Hintergedanke das dann der Wearout bei den SSDs im Anschluss nicht zu hoch ist bzw. das etwas abfedert. Dann könnte ich wie angesprochen nämlich auch einfach gute SSDs mit hoher tbw nehmen und entsprechend auch größere Platten dafür einplanen.

Ich habe ja verstanden, dass dir die Integrität sehr wichtig ist, verstehe ich auch. Aber überleg dir mal ob das tatsächlich so sinvoll ist. Zwei PBS zu haben macht nur Sinn, wenn du auch zwei verschiedene Brandabschnitte nutzen kannst. Wenn eh alles in einem Zimmer steht, ist das weniger nützlich - aus meiner Sicht. Du hast dadurch nur doppelte Datenhaltung, doppelten Verschleiß, doppelten Aufwand bei kaum einem Mehrwert, wenn du diese Energie in einen guten ersten PBS steckst. Schieb dann lieber noch Backups z. B. in die StorageBox bei Hetzner.

Sind schon zwei unterschiedliche Räume, aber falls es hier tatsächlich irgendein Super-GAU eintritt hab ich glaub andere Sorgen. Ich kann nur vermutlich noch etwas besser schlafen wenn die Daten (lokal) noch auf einem weiteren System liegen. Da wir auf der Arbeit aktuell ein paar alte ProLiants ausmustern kann vermutlich da noch auf lange Sicht einen abgreifen. Der würde dann aber eben nur für seine Backup Jobs hochgefahren werden.

Ja, kannst du so machen, aber: Das laufende Ein- und Ausschalten verschleißt jegliche Komponenten, insbesondere mechanische Festplatten. Wenn du dann die NAS noch als Datastore einbindest auf dem PBS, hast du laufend Fehlermeldungen, da der Datastore nicht verfügbar ist. Auch kann sich PBS dann vielleicht nicht um die Serviceaufgaben wie z. B. Verifiy, Prune und GC kümmern bzw. müsstest du diese Jobs eben entsprechend regelmäßig planen und ausführen.
PBS funktioniert in der Regel am besten und schnellsten, wenn du lokale SSDs einsetzt. Ein NFS Datastore auf mechanischen Platten wird wahrscheinlich der absolute Performancekiller für den PBS sein. Deine Aktionen wie Verify etc. werden da wahrscheinlich keine 30 Minuten sondern eher 3 Stunden und mehr laufen. Du kannst es ausprobieren und schauen ob du damit glücklich wirst, aber ich habe auch einen Backup Server mit Flash Only, dank Dedup etc. wird da auch gar nicht so viel belegt.

Guter Hinweis, aber kenn auch genug Leute die das so schon jahrelang machen. Und falls ne Platte ausfällt ist das aufgrund von RAID6 auch nicht weiter tragisch (wobei das beim Controller selbst natürlich anders aussieht). Aber wenn mein Mini-PC (der sowieso durchläuft) noch ein weiteres Backup hält, würde die Synology sowieso nur 1x jeden Monat oder so hochgefahren werden, das würde reichen. Auch die Dauer ist in meinem Fall weniger kritisch, aber klar würde ich am liebsten da auch nur SSDs reinstecken. Werde aber auch zusätzlich noch jeden Monat ein kaltes Backup einplanen (das ich bspw. bei meinen Eltern lagere), bei dem ich wohl den kompletten Proxmox mit CloneZilla oder so sichern werden. Auf lange Sicht stell ich vllt. noch was bei den Eltern und lass ganze automatisch in der Nacht syncen. Mal schauen

 

[sb-jw]

Wäre ja schneller bei z.B. einer PCIe-Optane im Gegensatz zu SATA Platten (wären sonst in dem Fall ja SATA Enterprise SSDs).

Also wenn du Enterprise SSDs nimmst, bin ich der Auffassung, dass du dann auch auf Optane definitiv verzichten kannst. Ich sehe bei dir dafür keine Notwendigkeit. Ich lese auch nichts davon, dass du eine 10G Verbindung eingeplant hast. Eine Enterprise SSD macht im Optimalfall rund 500 MB/s, das sind ca. 4 GbE - eine einzelne 1 GbE Leitung kann gerade mal 125 MB/s.

Weshalb ich mir eben gedacht habe diese "Last" bspw. auf eine Optane zu schieben mit dem Hintergedanke das dann der Wearout bei den SSDs im Anschluss nicht zu hoch ist bzw. das etwas abfedert. Dann könnte ich wie angesprochen nämlich auch einfach gute SSDs mit hoher tbw nehmen und entsprechend auch größere Platten dafür einplanen.

Also willst du die Optane, die potenziell dein Lese- und Schreib-Cache ist als Opferplatte verwenden, die als erstes abraucht und dir sogar deinen Datastore mitnehmen kann? Flash verabschiedet sich häufig von jetzt auf gleich (z.B. kommt die nach nem Reboot nicht mehr).
Du vergisst aber auch, dass Enterprise SSDs eben wegen Ihrer PLP, dem Cache und Controller durchaus niedrigere Latenzen aufweisen und dadurch auch viel schneller und besser reagieren.
Heißt also, ja, du kannst günstigere SSDs holen und den Verlust der Performance machst du mit einer Optane wieder wett. Eine Samsung PM883 mit 960 GB kostet derzeit ca. 71 EUR NEU. Du sprachst von einer PCIe Optane, die gibts bei Idealo ab ca. 500 EUR - dafür bekommst du rund 7 der Samsung PM883.

Die PM883 hat 1366 TBW, du kannst also mind. 1,36 PB an Daten auf diese Schreiben - wenn du dann noch 8 Stück als "RAID 10" definierst, bekommt jedoch nur noch 1/4 der Schreiblast ab. Ich verwende die PM883 bereits seit einigen Jahren in meinem CEPH Storage, die Abnutzung ist so gering, dass ich die wahrscheinlich in 5 Jahre noch mit mind. 60 % Ihrer Lebensdauer raus nehmen kann. Der CEPH Storage läuft dabei 24/7 und bedient dabei einen Haufen an VMs mit unterschiedlicher Nutzung. Ich glaube, dass du hier einfach einen falschen Eindruck davon hast, was die Werte wirklich in der Realität bedeuten und wie lange du brauchen wirst, bis du die Enterprise SSDs durch hast.

Aber wenn mein Mini-PC (der sowieso durchläuft) noch ein weiteres Backup hält, würde die Synology sowieso nur 1x jeden Monat oder so hochgefahren werden, das würde reichen.

Bedenke dabei auch, die NAS muss regelmäßig das lokale FS und RAID nachziehen, dafür muss diese aber auch zu einem bestimmten Zeitpunkt laufen, damit das durchgeführt werden kann. Ich frage mich aber zudem auch, wenn du die NAS nur für Backups 1x im Monat per z. B. WoL startest, ist sichergestellt, dass du dann tatsächlich auch über den Ausfall einer HDD informiert wirst? Ich weiß ja nicht wie es um dein Monitoring bestellt ist, denn grundsätzlich ist das auch ein sehr wichtiger Aspekt, insbesondere um den Zustand deiner Platten im Blick zu behalten.
Du sprichst davon, dass dir die Sicherheit wichtig ist und deshalb zwei getrennte Backups willst - jetzt sagst du, dass du das Backup deiner Backups aber nur einmal im Monat machen willst. Das impliziert jetzt, dass du mit einem Datenverlust von im worst case 4 Wochen aber auch leben kannst, wenn das so ist, dann brauchst du meiner Auffassung nach aber auch diese Konstrukt nicht aufziehen. Ich finde 4 Wochen schon arg lang.

Gerade wenn du die NAS aber auch so selten starten willst, darfst du nicht vergessen, dass der Sync der beiden PBS extrem lange dauern wird und mit wahrscheinlich vielen Problemen behaftet sein kann. Du müsstest nämlich zuerst mal dafür sorgen, dass der PBS auf der NAS sich um Prune und GC kümmert, bevor der überhaupt die neuen Backups bekommen darf - anderenfalls kann es nämlich sein, dass du überhaupt keine Performance mehr hast, dir Operationen abbrechen und dir der Datastore vollläuft, weil kein GC gemacht werden konnte.
Positiv bei diesem Setup anzumerken wäre jedoch, dass du nur den Sync von schnellen auf langsame Datenträger machst. Ein direktes Backup auf den NFS Share könnte dir nämlich sonst deutlich mehr Probleme bescheren (gibt hier einige Beiträge zum Thema PBS und NFS Probleme).

Vielleicht kannst du ja auch insgesamt noch mal pro System wiedergeben, was genau für Komponenten du dafür planst und wie deine Idee ist das einzurichten. Dann kann man sicherlich hier und da noch mal drüber diskutieren. Derzeit ist es ja eher etwas vage.

Letztlich gebe ich hier natürlich immer nur meine Einschätzung und mein empfinden wieder. Jeder hat seine eigene Idee oder Erfahrung gemacht und wird dir daher vielleicht auch hier und da zu etwas anderem raten. Letztlich musst du dir über Vor- und Nachteile deines Setups bewusst sein und du musst es auch administrieren können. Ich persönlich bin zu Hause an dem Punkt angelangt, an dem ich etwas haben will, was funktioniert. Meine Zeit ist mir zu Wertvoll mich mit IT-Problemen zu Hause herumzuschlagen. Statt meiner Zeit zahle ich also lieber mit Geld.

 

[Yann Decay]

Also wenn du Enterprise SSDs nimmst, bin ich der Auffassung, dass du dann auch auf Optane definitiv verzichten kannst. Ich sehe bei dir dafür keine Notwendigkeit. Ich lese auch nichts davon, dass du eine 10G Verbindung eingeplant hast. Eine Enterprise SSD macht im Optimalfall rund 500 MB/s, das sind ca. 4 GbE - eine einzelne 1 GbE Leitung kann gerade mal 125 MB/s.

ja korrekt, aktuell ist das Ganze auf 1G limitiert und bleibt auch zunächst so.

Also willst du die Optane, die potenziell dein Lese- und Schreib-Cache ist als Opferplatte verwenden, die als erstes abraucht und dir sogar deinen Datastore mitnehmen kann? Flash verabschiedet sich häufig von jetzt auf gleich (z.B. kommt die nach nem Reboot nicht mehr).
Du vergisst aber auch, dass Enterprise SSDs eben wegen Ihrer PLP, dem Cache und Controller durchaus niedrigere Latenzen aufweisen und dadurch auch viel schneller und besser reagieren.
Heißt also, ja, du kannst günstigere SSDs holen und den Verlust der Performance machst du mit einer Optane wieder wett. Eine Samsung PM883 mit 960 GB kostet derzeit ca. 71 EUR NEU. Du sprachst von einer PCIe Optane, die gibts bei Idealo ab ca. 500 EUR - dafür bekommst du rund 7 der Samsung PM883.

ok pcie war etwas doof ausgedrückt ich meinte dabei eine M.2 zu nehmen z.B. "Intel Optane SSD P1600X Serie 118GB M.2 PCIE 80MM". Die Idee hinter dieser Optane Idee war ja nur für einen unwichtigeren Datenpool gute Prosumer SSDs zu nehmen um den Wearout in Zaun zu halten und eben mehr TB nutzen zu können ohne meine ganzen SATA Ports mit mehreren 800/960GB DC SSDs zu belegen.

Ich glaube, dass du hier einfach einen falschen Eindruck davon hast, was die Werte wirklich in der Realität bedeuten und wie lange du brauchen wirst, bis du die Enterprise SSDs durch hast.

doch doch, ich weiß schon das ich mit den DC SSDs jahrelang bzw. ich vmtl. jahrzehntelang Ruhe habe bis die totgeschrieben sind. Ging mir ja nur um den Einsatzzweck das ich paar TB an (wiederbeschaffbarem) Material auf diesem Pool ablege - weshalb mir für diesen Zweck das Ganze zu teuer ist. Aber wenn meine Idee mit der Optane Quatsch ist, wirds dann einfach kein ZFS, dann hab ich diesbzgl. auch keine Sorgen.

Bedenke dabei auch, die NAS muss regelmäßig das lokale FS und RAID nachziehen, dafür muss diese aber auch zu einem bestimmten Zeitpunkt laufen, damit das durchgeführt werden kann. Ich frage mich aber zudem auch, wenn du die NAS nur für Backups 1x im Monat per z. B. WoL startest, ist sichergestellt, dass du dann tatsächlich auch über den Ausfall einer HDD informiert wirst? Ich weiß ja nicht wie es um dein Monitoring bestellt ist, denn grundsätzlich ist das auch ein sehr wichtiger Aspekt, insbesondere um den Zustand deiner Platten im Blick zu behalten.

Guter Punkt, das NAS schickt mir ja zumindest immer Reports zum Plattenraid, das kann man ja sicher irgendwie mit nem Bootup-Check oder so verbinden. Wie gesagt, bin noch am Anfang und so ganz durchdacht ist das Ganze noch nicht - daher frag ich ja hier um Rat.

Du sprichst davon, dass dir die Sicherheit wichtig ist und deshalb zwei getrennte Backups willst - jetzt sagst du, dass du das Backup deiner Backups aber nur einmal im Monat machen willst. Das impliziert jetzt, dass du mit einem Datenverlust von im worst case 4 Wochen aber auch leben kannst, wenn das so ist, dann brauchst du meiner Auffassung nach aber auch diese Konstrukt nicht aufziehen. Ich finde 4 Wochen schon arg lang.

Naja "Backup" Nr. 1 wäre ja lokal auf der auf dem Mainserver mit separater Platte - "Backup" Nr. 2 auf dem Mini PC und das NAS wäre (in der Theorie) "Backup" 3 gewesen - somit wäre (von meiner ursprünglichen Grundidee) das angesprochene monatliche Backup ja nicht das Backup vom Backup.

Gerade wenn du die NAS aber auch so selten starten willst, darfst du nicht vergessen, dass der Sync der beiden PBS extrem lange dauern wird und mit wahrscheinlich vielen Problemen behaftet sein kann. Du müsstest nämlich zuerst mal dafür sorgen, dass der PBS auf der NAS sich um Prune und GC kümmert, bevor der überhaupt die neuen Backups bekommen darf - anderenfalls kann es nämlich sein, dass du überhaupt keine Performance mehr hast, dir Operationen abbrechen und dir der Datastore vollläuft, weil kein GC gemacht werden konnte.
Positiv bei diesem Setup anzumerken wäre jedoch, dass du nur den Sync von schnellen auf langsame Datenträger machst. Ein direktes Backup auf den NFS Share könnte dir nämlich sonst deutlich mehr Probleme bescheren (gibt hier einige Beiträge zum Thema PBS und NFS Probleme).

die Zeit/Dauer wäre nicht das Problem, auch könnte es für bestimmte Zwecke (Prune und GC) natürlich öfter hochgefahren werden. Bin halt noch am Anfang und suche eine halbwegs gute Lösung mit der man im semi-professionellen Umfeld eben was halbwegs gescheites hat.

Vielleicht kannst du ja auch insgesamt noch mal pro System wiedergeben, was genau für Komponenten du dafür planst und wie deine Idee ist das einzurichten. Dann kann man sicherlich hier und da noch mal drüber diskutieren. Derzeit ist es ja eher etwas vage.

Also. Der neue Server wird ein Supermicro X13SAE-F mit nem intel i5-13500 (xeon war mir zu overpriced und langfristig zu stromhungrig. Das board und die cpu können ECC, das war mir erstmal wichtig). Ansonsten sind da erstmal 2x32GB RAM drin (kann später nochmal 2 weitere Module verbauen). Festplatten hab ich aktuell noch gar keine.

Der Mini-PC ist eine IPU441 (NRG Systems) mit Intel J4125 CPU und 16GB RAM (noch ein Riegel dann könnten es 32GB (max.) sein. Er hat 4 NICs und soll, heute wie zukünftig, eine virtualisierte (wobei wenn ich PBS hier nicht einsetze wird's evtl. auch eine dedizierte) OPNsense sein., die als Router/Firewall Appliance für die PPPoe-Einwahl und DNS zuständig ist. Ob virtuell oder nicht steht noch zur Debatte je nach finaler Lösung. Dazu sei gesagt, das der Mini-PC und der neue Server räumlich getrennt stehen und da wo der Mini-PC steht passt aus Platzgründen auch nichts weiteres hin.

Die Idee war eigtl. hauptsächlich mein outdated NAS langsam in die Rente zu schicken bzw. zu degradieren^^, (klar wäre mir ne dedizierte Storage-Maschine noch lieber, aber das ist aktuell nicht drin) sowie die VMs/LXC unabhängig von der OPNsense zu betreiben. Das also bei Updates und Co. nicht immer gleich das Internet wegfällt. In diesem Zuge hab ich eben mich nochmal ein bisschen mit dem Thema Backup bzw. Datensicherheit/-integrität beschäftigt und dann bin eben über das Thema ZFS gestolpert, und so kam eins zum anderen....

Letztlich gebe ich hier natürlich immer nur meine Einschätzung und mein empfinden wieder. Jeder hat seine eigene Idee oder Erfahrung gemacht und wird dir daher vielleicht auch hier und da zu etwas anderem raten. Letztlich musst du dir über Vor- und Nachteile deines Setups bewusst sein und du musst es auch administrieren können.

Vollkommen korrekt, ich muss erstmal alles verstehen können um alle Risiken mit ihren Vor- und Nachteilen abwiegen zu können. Das ist das Ziel, und da ich gerade beim Thema ZFS noch wenig Ahnung habe, frage ich erstmal hier um, wie von dir gut beschrieben, erstmal zu verstehen was gewisse "showstopper" sind und wie ich mit dem genannten Setup was halbwegs brauchbares auf die Beine stelle.

Ich persönlich bin zu Hause an dem Punkt angelangt, an dem ich etwas haben will, was funktioniert. Meine Zeit ist mir zu Wertvoll mich mit IT-Problemen zu Hause herumzuschlagen. Statt meiner Zeit zahle ich also lieber mit Geld.

Das möchte glaub ich jeder. Aber auf der anderen Seite will ich eben auch dazu lernen, und solange am Ende meine Daten nicht auf dem Spiel stehen, kann ich auch mal mit Downtime und "Problemchen" leben, solange diese nicht überhand gewinnen. Solange das Internet läuft hängt zumindest nicht der Haussegen schief . Aber klar, an Geld, zumindest solange es sich Rahmen hält, soll es nicht scheitern und ich bin gewillt auch etwas tiefer in die Tasche zu greifen das ich langfristig mehr Spaß bzw. weniger Sorgen mit meiner Lösung habe.

 

[Dunuin]

Grundsätzlich musst du dir aber immer bewusst machen, dass du einen Lese-Cache ohne Datenverlust verlieren kannst, einen Schreib-Cache hingegen aber nicht. Heißt also auch, dass du hier entsprechende Datenträger mit Power-Loss Protection verwenden solltest.

Ist beim SLOG eher weniger wild. Wenn dir der SLOG wegstirbt dann ist das egal solange dir nicht gleichzeitig der Server abschmiert, da der SLOG quasi nur das persistente Backup vom flüchtigen RAM ist und ZFS die schreibgecachten Daten aus dem RAM nimmt und das SLOG echt nur beim Stromausfall ausgelesen wird. Und ein SLOG ist ja nur für Sync Writes und die werden sowieso nicht im flüchtigen DRAM Cache einer Consumer SSD gecacht, da hilft die PLP dann auch nicht mehr gegen Datenverlust. Wo die PLP aber exorbitant hilft ist Lebenserwartung und Performance vom SLOG. Und selbst eine olle SATA Enterprise SSD wäre ein guter SLOG für eine Consumer PCIe 5.0 NVMe SSD. Alles ohne PLP ist einfach unbrauchbar für Sync Writes und die Consumer NVMe liefert dann auch nicht viel mehr Performance als eine olle Festplatte.
Wer super auf Nummer sicher gehen will kann aber natürlich trotzdem den SLOG spiegeln, dass man auch für den Fall gewappnet ist, wo die SSD während eines Stromausfalls plötzlich wegstirbt.

 

[Dunuin]

Die Idee hinter dieser Optane Idee war ja nur für einen unwichtigeren Datenpool gute Prosumer SSDs zu nehmen um den Wearout in Zaun zu halten und eben mehr TB nutzen zu können ohne meine ganzen SATA Ports mit mehreren 800/960GB DC SSDs zu belegen.

Es gibt keine echten Prosumer SSDs mehr, außer du kaufst was gebrauchtes. Die heißen zwar noch so, nutzen aber keinen schneller/langlebigeren NAND mehr. Ich würde da immer gleich entweder zu Enterprise SSDs mit PLP oder günstigen TLC Consumer SSD mit DRAM Cache greifen.

die Zeit/Dauer wäre nicht das Problem, auch könnte es für bestimmte Zwecke (Prune und GC) natürlich öfter hochgefahren werden. Bin halt noch am Anfang und suche eine halbwegs gute Lösung mit der man im semi-professionellen Umfeld eben was halbwegs gescheites hat.

So ein GC über 10Gbit NFS aufs NAS mit HDDs kann gerne mal Tage/Wochen dauern je nach Datenmenge, wo das NAS dann zu 100% ausgelastet und zu Nichts mehr zu gebrauchen ist. Bevor ich das Special Device hinzugefügt habe waren das für etwas über 1TB an Backups schon so ein halber Tag glaube ich.

 

[Yann Decay]

Es gibt keine echten Prosumer SSDs mehr, außer du kaufst was gebrauchtes. Die heißen zwar noch so, nutzen aber keinen schneller/langlebigeren NAND mehr. Ich würde da immer gleich entweder zu Enterprise SSDs mit PLP oder günstigen TLC Consumer SSD mit DRAM Cache greifen.

Ja hab ich auch gelesen, MLC wird leider immer seltener bzw. ist zu aufwändig/teuer. Aber dennoch bleibt die Frage ob das mit 1 oder 2 von diesen m2. Optanes überhaupt sinnig ist, oder ich mich von dem Gedanken einfach erstmal verabschiede bei diesem Pool überhaupt mit ZFS zu arbeiten...

So ein GC über 10Gbit NFS aufs NAS mit HDDs kann gerne mal Tage/Wochen dauern je nach Datenmenge, wo das NAS dann zu 100% ausgelastet und zu nichts mehr zu gebrauchen ist.

Ui, ok. was wäre denn der Weg wie ich mein NAS noch als halbwegs brauchbaren Backup Speicher nutzen kann? Kann man das nicht irgendwie alles als RAW da hin syncen? ich brauch ja kein Zugriff sondern muss nur im Notfall das zurück übertragen können um es wieder einspielen zu können. Oder wo ist hier mein Denkfehler?

 

[Dunuin]

Ja hab ich auch gelesen, MLC wird leider immer seltener bzw. ist zu aufwändig/teuer. Aber dennoch bleibt die Frage ob das mit 1 oder 2 von diesen m2. Optanes überhaupt sinnig ist, oder ich mich von dem Gedanken einfach erstmal verabschiede bei diesem Pool überhaupt mit ZFS zu arbeiten...

MLC/eMLC werden seit ein paar Jahren nicht mehr hergestellt und Optane mit SLC ist jetzt auch eingestellt. Heute hat man nur noch die Wahl zwischen TLC und QLC egal was für einen Hersteller oder Kundensegment man wählt.

Guck doch mal nach günstigen Enterprise SSDs. Die kosten Teils weniger als Prosumer SSDs in der Anschaffung und wenn du nach Preis-pro-TB-TBW anstatt nach Preis-pro-TB-Kapazität gehst sind Enterprise SSDs sowieso viel billiger als Consumer oder Prosumer SSDs. So eine "Kingston DC600M 3.84TB" mit 7000TB TBW bekommst du schon für 270€. 256€ zahlst du für eine Consumer "Samsung 870 Evo 4TB" mit 2400 TB TBW. 310€ für eine Prosumer "Samsung 990 Pro 4TB" mit 2400 TB TBW. Bei den paar Euros Unterschied sollte man dann echt nicht geizen.

Und gebrauchte Enterprise SSDs kaufen ist auch eine gute Option wenn man meint sich keine neuen Enterprise SSDs leisten zu können. Immer noch besser eine gebrauchte SATA Enterprise SSD als da eine neue Consumer/Prosumer NVMe SSD für ZFS zu holen.

Ui, ok. was wäre denn der Weg wie ich mein NAS noch als halbwegs brauchbaren Backup Speicher nutzen kann? Kann man das nicht irgendwie alles als RAW da hin syncen? ich brauch ja kein Zugriff sondern muss nur im Notfall das zurück übertragen können um es wieder einspielen zu können. Oder wo ist hier mein Denkfehler?

Naja, normale VZDump Backups. Aber die verschwenden halt massig Platz und dauern ewig, da die weder inkrementelle Backups noch Deduplikation können. Mit PBS kann ich 50 Backups einer 100GB VM haben und das braucht dann in der Summe vielleicht 200GB, wenn sich die VM nur minimal (also 2GB) zwischen den Backups ändert. Mache ich das gleiche mit VZDump nimmt mir das halt 10TB statt 200GB weg...

Je mehr Versionierung du haben willst, desto mehr rechnet sich PBS, selbst wenn das heißt dafür extra SSDs als Storage kaufen zu müssen. Wenn du nur 1 Backup pro VM behältst, dann tut sich da natürlich nicht viel. Aber das würde ich auch höchstens als zweites Not-Backup nutzen wollen. Für Ransomware, Bit Rot, fehlerhaftem RAM und Nutzerfehlern sollte man schon etliche Backups pro VM über Monate vorhalten...

 

[sb-jw]

ohne meine ganzen SATA Ports mit mehreren 800/960GB DC SSDs zu belegen.

Wie würde das in deiner Vorstellung aussehen, wie es am besten wäre?
Ich denke hier z. B. eben immer im ausnutzen der vorhandenen Möglichkeiten. Eine größere Anzahl an SSDs gibt dir auch wiederum eine gute Gesamtperformance. Im Umkehrschluss müsstest du natürlich bei einem Speicherengpass alle 8 SSDs gegen größere tauschen. Hier ist aber eben wichtig auch zu wissen, wie dein vorgehen dazu aussieht und ob du dir vielleicht auch Erweiterungsstufen dahingehend ausgedacht hattest.

Aber wenn meine Idee mit der Optane Quatsch ist, wirds dann einfach kein ZFS, dann hab ich diesbzgl. auch keine Sorgen.

ZFS kannst du ja trotzdem verwenden
Definitiv solltest du kein Fake-RAID vom Board mehr nutzen oder gar Hardware-RAID - das kommt alles etwas aus der Mode.

Naja "Backup" Nr. 1 wäre ja lokal auf der auf dem Mainserver mit separater Platte - "Backup" Nr. 2 auf dem Mini PC und das NAS wäre (in der Theorie) "Backup" 3 gewesen - somit wäre (von meiner ursprünglichen Grundidee) das angesprochene monatliche Backup ja nicht das Backup vom Backup.

Also dein Backup Nr. 1 sollte definitiv nicht lokal liegen, weil als Backup kann man das eigentlich auch nicht mehr bezeichnen. Du machst ja eine Datensicherung dafür, dass du im Fehlerfall noch an die Daten kommst. Wenn du nur eine Platte für Backups nimmst, dann wird sich das Backup aber auch etwas ziehen und je länger es dauert, desto mehr Strom wird dein Server benötigen weil er länger beschäftigter ist.

Mit PBS 3.1 (https://pbs.proxmox.com/wiki/index.php/Roadmap#Proxmox_Backup_Server_3.1) kannst du nun auch local Sync Jobs einrichten. Könntest also z. B. die Synology als NFS Datastore einbinden und dann die Daten von den SSDs jeweils als Langzeitarchivierung dorthin schieben.

Ui, ok. was wäre denn der Weg wie ich mein NAS noch als halbwegs brauchbaren Backup Speicher nutzen kann? Kann man das nicht irgendwie alles da als RAW da hin syncen?

Wenn die NAS schon VMs kann, dann könntest du einen zweiten PBS dort installieren und diesen dann als Remote Ziel für den ersten verwenden. Dadurch, dass du nur kopierst und dann alles lokal ausführst, muss auch nicht alles über das Netz gemacht werden.

Der neue Server wird ein Supermicro X13SAE-F mit nem intel i5-13500 (xeon war mir zu overpriced und langfristig zu stromhungrig. Das board und die cpu können ECC, das war mir erstmal wichtig). Ansonsten sind da erstmal 2x32GB RAM drin (kann später nochmal 2 weitere Module verbauen).

Wenn es nicht unbedingt was aktuelles sein muss, dann wäre hier vielleicht auch ein solches Board: https://www.supermicro.com/de/products/motherboard/x11sdv-4c-tp8f eine alternative für dich. Die Boards gibt es auch in verschiedenen Ausprägungen und bieten eine solide Plattform zum günstigen Preis. Teils bekommst du die für um die 500 EUR auf eBay.

Grundsätzlich machst du mit Supermicro nichts falsch, aber die Entwicklung von Supermicro gefällt mir nicht. Die werden immer verschlossener und wollen für viele Dinge die früher inklusive waren mittlerweile Geld haben. Mittlerweile bauen auch AsRock oder Gigabyte Serverboards, vielleicht schaust du da auch mal vorbei, falls noch nicht geschehen.

die als Router/Firewall Appliance für die PPPoe-Einwahl und DNS zuständig ist.

Sowas würde ich immer dediziert laufen lassen, es ist ja deine Netzeinwahl. Wenn du dir irgendwo Schadcode einfängst, könnte der auch bei dir alles lahmlegen und wenn deine Firewall weg ist und du erst noch mal eine ISO aus dem Netz ziehen musst, dann kannst du zwar über dein Handy, aber das verkompliziert alles.
Mindestens aber solltest du der Firewall dedizierte NICs geben, so dass nicht der Backup Traffic dir die Leitung lahmlegt.

 

[Dunuin]

Mit PBS 3.1 (https://pbs.proxmox.com/wiki/index.php/Roadmap#Proxmox_Backup_Server_3.1) kannst du nun auch local Sync Jobs einrichten. Könntest also z. B. die Synology als NFS Datastore einbinden und dann die Daten von den SSDs jeweils als Langzeitarchivierung dorthin schieben.

Das ging auch schon früher über Localhost als Remote. Hast du aber trotzdem weiterhin das Problem, dass da dann der GC und Verify ewig braucht. Daran ändert ja der Local Sync nichts.

 

[Dunuin]

Wenn die NAS schon VMs kann, dann könntest du einen zweiten PBS dort installieren und diesen dann als Remote Ziel für den ersten verwenden. Dadurch, dass du nur kopierst und dann alles lokal ausführst, muss auch nicht alles über das Netz gemacht werden.

Ja, das hatte ich früher auch auf dem TrueNAS so als VM laufen. Ist dann immer noch lahm wenn HDDs benutzt werden, aber wenigstens etwas schneller wenn man dann lokale virtuelle Disk als Datastore nimmt und so der NFS-/Netzwerklatenz-Overhead wegfällt für die Millionen über Millionen an Random IO.

 

[Yann Decay]

Guck doch mal nach günstigen Enterprise SSDs. Die kosten Teils weniger als Prosumer SSDs in der Anschaffung und wenn du nach Preis-pro-TB-TBW anstatt nach Preis-pro-TB-Kapazität gehst sind Enterprise SSDs sowieso viel billiger als Consumer oder Prosumer SSDs. So eine "Kingston DC600M 3.84TB" mit 7000TB TBW bekommst du schon für 270€. 256€ zahlst du für eine Consumer "Samsung 870 Evo 4TB" mit 2400 TB TBW. 310€ für eine Prosumer "Samsung 990 Pro 4TB" mit 2400 TB TBW. Bei den paar Euros Unterschied sollte man dann echt nicht geizen.

Und gebrauchte Enterprise SSDs kaufen ist auch eine gute Option wenn man meint sich keine neuen Enterprise SSDs leisten zu können. Immer noch besser eine gebrauchte SATA Enterprise SSD als da eine neue Consumer/Prosumer NVMe SSD für ZFS zu holen.

Die von dir genannten Kingston klingen gut in der 4TB Variante. Preislich im Vergleich wie du sagst auf jeden Fall top. Für den VM Mirror schau ich dann aber mal nach den genannten Samsung DC SSDs bzw. nach alten Intel SSDs (z.B. S3700 Series).

Naja, normale VZDump Backups. Aber die verschwenden halt massig Platz und dauern ewig, da die weder inkrementelle Backups noch Deduplikation können. Mit PBS kann ich 50 Backups einer 100GB VM haben und das braucht dann in der Summe vielleicht 200GB, wenn sich die VM nur minimal (also 2GB) zwischen den Backups ändert. Mache ich das gleiche mit VZDump nimmt mir das halt 10TB statt 200GB weg...

Je mehr Versionierung du haben willst, desto mehr rechnet sich PBS, selbst wenn das heißt dafür extra SSDs als Storage kaufen zu müssen. Wenn du nur 1 Backup pro VM behältst, dann tut sich da natürlich nicht viel. Aber das würde ich auch höchstens als zweites Not-Backup nutzen wollen. Für Ransomware, Bit Rot, fehlerhaftem RAM und Nutzerfehlern sollte man schon etliche Backups pro VM über Monate vorhalten...

Ok, ja also VZDump wäre dann wohl erstmal das Mittel der Wahl. Die VMs und Datengrößen halten sich in Grenzen. Dedup und Versionierungen sind definitiv gut und langfristig das Ziel, aber für den Anfang ist glaub alles besser im Vergleich zu dem wie ich es aktuell handhabe. Wie gesagt möglicherweise kann ich nen ausgemusterten ProLiant von der Arbeit bekommen.

 

[Yann Decay]

Wie würde das in deiner Vorstellung aussehen, wie es am besten wäre?
Ich denke hier z. B. eben immer im ausnutzen der vorhandenen Möglichkeiten. Eine größere Anzahl an SSDs gibt dir auch wiederum eine gute Gesamtperformance. Im Umkehrschluss müsstest du natürlich bei einem Speicherengpass alle 8 SSDs gegen größere tauschen. Hier ist aber eben wichtig auch zu wissen, wie dein vorgehen dazu aussieht und ob du dir vielleicht auch Erweiterungsstufen dahingehend ausgedacht hattest.

Naja wie du schon sagst, damit begrenze ich mich eben in der Erweiterung. Die von Dunuin genannte Kingston ist für meinen Fall, für den eher unwichtigen Datenpool, denke ich ein guter Kompromiss.

ZFS kannst du ja trotzdem verwenden
Definitiv solltest du kein Fake-RAID vom Board mehr nutzen oder gar Hardware-RAID - das kommt alles etwas aus der Mode.

Naja bevor ich die 4TB Kingston gesehen habe, war ich mir da nicht so sicher, weil die Alternative bei dem unwichtigen Datenpool ja normale Consumer SSDs waren, daher ja die ursprüngliche Idee mit der/n Optane/s. Klar kann ich ZFS so oder so verwenden, nur lange würden die Consumer SSDs das wohl nicht mitmachen. Jap, Hardware oder onboard RAID ist tot, das habe ich schon mitbekommen

Also dein Backup Nr. 1 sollte definitiv nicht lokal liegen, weil als Backup kann man das eigentlich auch nicht mehr bezeichnen. Du machst ja eine Datensicherung dafür, dass du im Fehlerfall noch an die Daten kommst. Wenn du nur eine Platte für Backups nimmst, dann wird sich das Backup aber auch etwas ziehen und je länger es dauert, desto mehr Strom wird dein Server benötigen weil er länger beschäftigter ist.

Ja ich weiß. Deswegen hab ich ja Backup auch mit Anführungszeichen geschrieben Nr. 1 ist etwas schlecht ausgedrückt, hab ich nur gesagt weil da eben das erste Backup liegen soll und es da eben losgeht. Find nämlich die Idee mit lokal backuppen und dann syncen eigtl. ganz gut. Und naja was heißt Fehlerfall, wenn nicht gerade ein Blitzeinschlag alles grillt können zumindest diverse Komponenten am System ausfallen und ich kann die Platte woanders einbauen.

Mit PBS 3.1 (https://pbs.proxmox.com/wiki/index.php/Roadmap#Proxmox_Backup_Server_3.1) kannst du nun auch local Sync Jobs einrichten. Könntest also z. B. die Synology als NFS Datastore einbinden und dann die Daten von den SSDs jeweils als Langzeitarchivierung dorthin schieben.

Wenn die NAS schon VMs kann, dann könntest du einen zweiten PBS dort installieren und diesen dann als Remote Ziel für den ersten verwenden. Dadurch, dass du nur kopierst und dann alles lokal ausführst, muss auch nicht alles über das Netz gemacht werden.

Klingt gut. VMs auf der Syno habe ich tatsächlich nie genutzt und musste sogar googlen ob sie das kann, aber ja VMs werden unterstützt. Hat nen Intel Atom C2538 mit 4 Kernen (2,40 GHz) und 2GB RAM. RAM wird denke nicht reichen aber kann noch bis max. 6GB erweitern.

Wenn es nicht unbedingt was aktuelles sein muss, dann wäre hier vielleicht auch ein solches Board: https://www.supermicro.com/de/products/motherboard/x11sdv-4c-tp8f eine alternative für dich. Die Boards gibt es auch in verschiedenen Ausprägungen und bieten eine solide Plattform zum günstigen Preis. Teils bekommst du die für um die 500 EUR auf eBay.

Grundsätzlich machst du mit Supermicro nichts falsch, aber die Entwicklung von Supermicro gefällt mir nicht. Die werden immer verschlossener und wollen für viele Dinge die früher inklusive waren mittlerweile Geld haben. Mittlerweile bauen auch AsRock oder Gigabyte Serverboards, vielleicht schaust du da auch mal vorbei, falls noch nicht geschehen.

danke, aber was halbwegs aktuelles lag mir schon am Herzen. Beim Board hab ich auch ziemlich lange geschaut und mir Gedanken gemacht. Ist auch schon bestellt und kommt morgen an. Hauptgründe waren u.a. der Stromverbrauch. Mein Setup frisst am Ende mit paar SSDs gerade mal so 30 Watt im Idle, und ich kann zudem bei Bedarf in einigen Jahren noch einen besseren Prozessor verbauen. Das klappt z.B. bei der von dir genannten SoC-Variante, die nun auch schon 10 Jahre auf dem Buckel hat, nicht. Mehr Kerne hab ich jetzt zudem auch schon und zudem ne iGPU.

Sowas würde ich immer dediziert laufen lassen, es ist ja deine Netzeinwahl. Wenn du dir irgendwo Schadcode einfängst, könnte der auch bei dir alles lahmlegen und wenn deine Firewall weg ist und du erst noch mal eine ISO aus dem Netz ziehen musst, dann kannst du zwar über dein Handy, aber das verkompliziert alles.

Hier scheiden sich die Geister. Aber ja aus Security-Sicht ist dediziert immer besser, noch besser natürlich 2x dediziert im Cluster. Wenn man sich immer brav und schnell um Updates/Patche und Co. kümmert, am Ball bleibt was Sicherheitslücken und Co. angeht, keine (zu) alte Hardware einsetzt und mit den Einschränkungen a la öftere Neustarts durch HV Updates oder mögliche Problem durch HV Updates leben kann, spricht erstmal nichts dagegen. Mal schnell Änderungen zurückrollen, HA mit mehreren VMs nutzen, oder einfach zum Testen die VM clonen und "rumspielen" ist schon ne feine Sache.

Aber ja, ist ne Glaubensfrage und im Enterprise Umfeld definitiv ein NoGo, aber privat zuhause m.E. legitim. Daher habe ich ja auch die Möglichkeit erwähnt irgendwie den PBS dort einzusetzen. Da bin ich auch noch unschlüssig inwiefern das überhaupt Sinn macht. Wäre eben auch nur eine SSD möglich... Zumindest für mich i.O bis ich irgendeine andere Kiste für Backups da habe. Auf lange Sicht habe ich schon vor die Sense dediziert zu betreiben.

Mindestens aber solltest du der Firewall dedizierte NICs geben, so dass nicht der Backup Traffic dir die Leitung lahmlegt.

Das ist auch noch definitiv ein Punkt bei meinem aktuellen Setup. Problem ist das ich vom Mini-PC nur eine 1-fache Wanddose zum "Serverraum" zur Verfügung habe. Also müsste alles über einen Trunk laufen. Aber gut, die Backups laufen dann einfach nachts, damit kann ich leben.

 

[Yann Decay]

Um mal kurz zusammenzufassen (auch erstmal vielen Dank für eure bisherige Mühe):

Beim Thema Platten ist ein Haken dran.

Das mit der PBS VM auf der Syno und NFS Datastore klingt schon mal gut. Das das durch die HDDs nen Moment dauern kann, vor allem initial, ist halt so.

Bleibt wie gesagt die Frage ob die Sense virtuell bleibt oder nicht und das steht und fällt vermutlich auch mit dem Vorhaben dort den PBS einzusetzen.

Da PBS ja auch von Haus aus komprimiert und ja auch m.W. mit Deduplizierung arbeitet, könnte ich mir z.B. vorstellen dort 2 (nicht-ZFS) Partitionen zu erstellen, eine große für PBS und die gesyncten Daten und die andere kleine vllt. für paar Backups der Sense VM um im Fall wenn die mSATA abraucht nach der Proxmox Install schnell wieder die VM einspielen zu können.

Macht das Sinn?

Weiter oben wurde zwar erwähnt "doppelte Datenhaltung, doppelten Verschleiß, doppelten Aufwand bei kaum einem Mehrwert", aber um dem zu widersprechen sage ich einfach mal:

Zwecks doppelter Datenhaltung könnte ich mir vorstellen vllt. nicht alles dort hinzusyncen, sondern nur Wichtiges bzw. nice to have. Doppelter Verschleiß habe ich ja auch nicht wirklich weil das Teil eh immer an sein soll, wirklich verschlissen wird dann ja nur die eine SSD. Doppelter Aufwand hält sich doch eigtl. auch in Grenzen, wenn einmal PBS und die Sync-Jobs eingerichtet sind bleibt ja an Aufwand eigtl nur das Monitoring/Cleanup übrig. Und kaum ein Mehrwert ist ja auch relativ, immerhin beheimatet die SSD dann nochmal eine Kopie der wichtigsten Daten.

Gerne lasse ich mich aber überzeugen das das alles Quatsch ist, daher wende ich mich ja auch an euch.

Ihr kennt ja nun mein Setup bzw. Einschränkungen mit denen ich leben muss. Ist das beschriebene Vorgehen so praktikabel oder wie würdet ihr mit diesen Voraussetzungen das Ganze angehen? Wie angesprochen wird sich da auf lange Sicht auch noch was tun. Nur aktuell ist aufgrund der Investitionen eben nicht mehr drin... kann da sonst nur hoffen das ich irgendwie in den nächsten Monaten nen ProLiant von der Arbeit bekomme.