"Blöde Frage" zu den Konnektoren eines RAID/SATA/HBA Controller

[justsomerandom]

Hallo Zusammen,

da ich mein Desktop (2950x Threadripper) nicht mehr so aktiv nutze, weil das weswegen er mal angeschafft wurde inzwischen auf mein Server verlagert habe, soll das mein neuer Server werden und die aktuelle Serverhardware (Intel X5670) wird mein Desktop.

Dafür bin ich nun einige Dinge am kaufen. Luftkühler, Lüfter, etc weil aktuell alles full custom wassergekühlt ist.

Unter anderem dachte ich mir, ich könnte jetzt auch direkt ein RAID/SATA/HBA Kontroller kaufen weil sofern ich es gelesen und verstanden habe, dies empfohlen wird(?).

Server beinhaltet nur 4 Festplatten. Eine SSD, für Proxmox, und 3 x 12TB Festplatten für Daten. Bis jetzt habe ich die drei Festplatten einfach an TrueNAS Scale durchgereicht (/dev/disk/by-id/[...])

Reicht das? Oder sollte doch besser ein Controller angeschafft werden? Habe schon erfahren das ich eine Karte wohl in HBA Mode bräuchte, damit diese "so dumm" wie möglich ist weil TrueNAS/ZFS alles regelt.

Nun, was mich jedoch verwirrt ist folgendes:

https://www.ebay.de/itm/144243996099?epid=1750622677

Dieser scheint schon in diesen Modus geflashed worden. Alles gut.

An dem Kontroller kann ich wohl 8 Festplatten anschließen. 2x an jeden Port per SAS Peitsche. Oder nur 4, direkt per Sata. Wenn ich das richtig verstehe?

Aber was ist mit der Bandbreite? 8x 6GB/s ist doch schneller, als die Karte selbst angebunden ist? Das hieße die Platten (wenn es SSDs wären) würden gedrosselt werden?

Vielen Dank.

 

[Dunuin]

Aber was ist mit der Bandbreite? 8x 6GB/s ist doch schneller, als die Karte selbst angebunden ist? Das hieße die Platten (wenn es SSDs wären) würden gedrosselt werden?

Jup. Habe zwei ähnliche hier laufen. 8x PCIe 2.0 entspricht grob 5 GB/s Bandbreite. PCIe 2.0 hat aber 20% Protokolloverhead, also sind davon nur noch 4GB/s nutzbar. Sind also wenn überhaupt höchstens 500 MB/s je Port wenn man alle 8 Ports benutzt. SATA kann theoretisch bis 600MB/s (auch wenn es in der Realität eher gegen 550MB/s geht), also würde man da keine 8 SATA SSDs voll ausgelastet bekommen.
Daher kommen bei mir immer nur 4x SSD + 4x HDDs an so eine Karte, was dann von der Bandbreite her reicht. Weil ich mehr als 4 SSDs brauche nutze ich halt zwei solcher Karten.
So eine Karte ist aber oft noch viel schneller als deine Onboard-SATA Ports. Die laufen ja über den Chipsatz und der ist z.B. oft nur über 4 PCIe Lanes an der CPU angebunden und die 4 PCIe Lanes sind dann nicht nur für SATA sondern dadrüber laufen dann auch NICs, USB und Co. Selbst wenn man da 6/8/10 Onboard-SATA-Ports hat kann man oft mehr mehr als 4 sinnvoll nutzen, weil dort auch einfach die Bandbreite fehlt.
Von daher ist ein HBA zu benutzen schon meistens besser. Außerdem kannst du dann den HBA per PCI Passthrough direkt in die TrueNAS VM durchreichen. PCI Passthrough ist der einzige Weg wie dein TrueNAS physisch/direkt und ohne Overhead auf die HDDs zugreifen kann. Aktuell nutzt dein TrueNAS nur virtuelle Disks.

Die Nachfolgemodelle nutzen auch PCIe 3.0 8x und deutlich weniger Strom (dein Verlinkter dürfte über 10W schucken), da ist die Bandbreite dann nicht mehr das Problem. Für die LSI HBAs mit PCIe 3.0 zahlst du dann aber auch gebraucht definitiv dreistellig.

 

[justsomerandom]

Danke für die Antwort. Ich will nur die genannten 3 Festplatten anbinden. Und es werden auch immer nur 3 bleiben (die werden wenn überhaupt, wenn nötig, gegen größere getauscht) weil mehr das Gehäuse nicht hergibt, und die in ZFS Stripe laufen damit meine 10gbit Leitung ausgelastet wird. Nochmal zwei Server bestehend aus Uralthardware (intel 2 duo E6600 u.a) mit jeweils 3 Festplatten mit einfacher Debian Installation existieren als Backup. Daher ist lokal keine Redudanz nötig. Nutze Truenas Scale auch nur deswegen, weil es mir erlaubt auf dem Stripe 3 Freigaben zu erstellen mit einem Quota mit jeweils 10,5GB. Damit diese Freigaben auf einzelne identische Platten gesichert werden können.

So eine Karte ist aber oft noch viel schneller als deine Onboard-SATA Ports.

Also nicht wirklich nötig? Weil das X399 Board hat mehr PCIE Lanes als ein Mensch gebrauchen kann... Und habe bis jetzt nicht geschafft die an den Sata-Ports auszulasten.

Außerdem kannst du dann den HBA per PCI Passthrough direkt in die TrueNAS VM durchreichen. PCI Passthrough ist der einzige Weg wie dein TrueNAS physisch/direkt und ohne Overhead auf die HDDs zugreifen kann. Aktuell nutzt dein TrueNAS nur virtuelle Disks.

Das versteh ich ehrlich gesagt nicht. Ich dachte genau deswegen "macht man dann HDD Passthrough" um genau das nicht zu haben? Wenn ich unter Proxmox z.b einfach fdisk -l ausführe, sehe ich auch die ZFS Partitionen etc die TrueNAS angelegt hat.

Edit: Aber wenn ich das richtig verstanden habe, spricht an sich nichts gegen die Karte? Und IT-Mode ist auch der HBA Mode den ich brauche?

 

[Dunuin]

Nochmal zwei Server bestehend aus Uralthardware (intel 2 duo E6600 u.a) mit jeweils 3 Festplatten mit einfacher Debian Installation existieren als Backup. Daher ist lokal keine Redudanz nötig. Nutze Truenas Scale auch nur deswegen, weil es mir erlaubt auf dem Stripe 3 Freigaben zu erstellen mit einem Quota mit jeweils 10,5GB. Damit diese Freigaben auf einzelne identische Platten gesichert werden können.

Dann solltest du dich mal mit Bit Rot bzw schleichendem Dateiverfall befassen. Deine Backups auf den anderen Server bringen dir nichts, wenn deine Dateien im laufe der Zeit korrumpieren ohne das du es bemerkst. Dann hast du zwar Kopien von allem auf anderen Servern, aber auf allen Servern befinden sich dann nur die gleichen kaputten Dateien. Wenn z.B. einfach nur ein Foto korrumpiert ist, dann ist es zwar noch da und lässt sich öffnen, aber die untere Hälfte des Bildes ist einfach nur schwarz. Sowas fällt dir vielleicht erst nach Jahren auf, wenn du das Foto wieder öffnest und bis dahin hast du vermutlich auch schon alle heilen Versionen des Fotos in Backups durch kaputte Versionen überschrieben.
Um so etwas zu verhindern mach ZFS Prüfsummen von allem und eigentlich lässt man dann ZFS einmal im Monat den kompletten Datenbestand neu einlesen und Hashen (Scrubbing) wo ZFS dann erkennt, ob eine Datei seit dem letzen Scrub kaputt gegangen ist. So können dir dann nicht unbemerkt Dateien kaputt gehen. Und nur wenn dein ZFS Pool Parität hat (also Redundanz durch Mirror/Raidz) kann ZFS dir dann auch die kaputten Dateien reparieren. Hast du einfach nur ein Stripe ohne Parität sagt dir ZFS beim Scrub zwar "Datei XY ist kaputt" aber kann dann nichts dagegen machen.
Mir hat hier daheim schon kaputter RAM hunderte von GB an Dateien unbemerkt zerschossen und mir ist das erst nach einigen Wochen aufgefallen.
Daher würde ich immer zu ECC RAM raten und ZFS macht mit dem Hashing quasi das gleiche was ECC für den RAM macht nur eben für die HDDs/SSDs.
Wenn einem die Daten wichtig sind sollt man also immer ZFS mit Parität haben und nicht einfach nur mehrere Backups.

Das versteh ich ehrlich gesagt nicht. Ich dachte genau deswegen "macht man dann HDD Passthrough" um genau das nicht zu haben? Wenn ich unter Proxmox z.b einfach fdisk -l ausführe, sehe ich auch die ZFS Partitionen etc die TrueNAS angelegt hat.

Dann mach mal ein fdisk -l im TrueNAS. Da wirst du dann nur virtuelle QEMU Disks als Modell sehen und nicht deine echten Disks. Auch werden deine virtuellen Disks im TrueNAS eine physische Sektorgröße von 512B anzeigen, auch wenn die physichen HDDs 4K haben sollten. Und über SMART die Festplattenabnutzung überwachen geht auch nicht von TrueNAS aus, da TrueNAS eben nur die virtuellen Disks sieht und keinen Zugriff auf die echten Disks hat. Ein HDD Passthrough über "qm set" ist genau so virtualisiert wie eine normale virtuelle Disk, nur dass die Daten dann nicht in ein Zvol/LV geschrieben werden was irgendwo liegt, sondern stattdessen auf die HDDs. Und eigentlich möchte ZFS ja direkten/physischen Zugriff auf die Disks haben ohne irgendwelche Abstaktionsebenen dazwischen. Genau aus dem Grund nimmt man ja auch einen HBA und keinen Raid-Controller. Nutzt du dann trotzdem HDD passthrough über "qm set" statt PCI Passthrough des kompletten HBA fängst du dir dann durch die Virtualisierung wieder die zusätzliche Abstraktionsebene ein.

fdisk -l im Gast mit HDD passthrough über "qm set":

Disk /dev/sdc: 2.73 TiB, 3000592982016 bytes, 5860533168 sectors
Disk model: QEMU HARDDISK
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 5A8FCC7E-0271-A942-8DA2-757A8C0B332B

Device     Start        End    Sectors  Size Type
/dev/sdc1   2048 5860533134 5860531087  2.7T Linux filesystem

fdisk -l im PVE host:

Disk /dev/sdc: 2.73 TiB, 3000592982016 bytes, 5860533168 sectors
Disk model: ST3000DM001-9YN1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 5A8FCC7E-0271-A942-8DA2-757A8C0B332B

Device     Start        End    Sectors  Size Type
/dev/sdc1   2048 5860533134 5860531087  2.7T Linux filesystem

Der Gast sieht nur "QEMU HARDDISK" statt die echte "ST3000DM001-9YN1" und die Sektoren sind "512 bytes / 512 bytes" statt "512 bytes / 4096 bytes". Der Gast sieht da nur die virtuelle Disk und nicht die echte physische Disk.

Edit: Aber wenn ich das richtig verstanden habe, spricht an sich nichts gegen die Karte? Und IT-Mode ist auch der HBA Mode den ich brauche?

Jup, sollte OK sein.

Edit:
Hier nochmal ein Link in die OpenZFS Doku, warum ZFS direkten physischen Zugriff auf die Disks haben sollte ohne was dazwischen:
https://openzfs.github.io/openzfs-d...uning/Hardware.html#hardware-raid-controllers

 

[justsomerandom]

Ok, dann kauf ich mir so eine Karte

Dann solltest du dich mal mit Bit Rot bzw schleichendem Dateiverfall befassen. Deine Backups auf den anderen Server bringen dir nichts, wenn deine Dateien im laufe der Zeit korrumpieren ohne das du es bemerkst. Dann hast du zwar Kopien von allem auf anderen Servern, aber auf allen Servern befinden sich dann nur die gleichen kaputten Dateien.

Das Phänomen kenn ich. Jedoch wird so gespiegelt:



Das heißt, die Daten müssten zu erst beim Server korrumpieren (was ich dann sofort bemerken würde). Weil täglich 4 Uhr morgens die beiden Backupserver per rsync über ssh sich auf den exakten Stand vom Server bringen (es wird 1:1 gespiegelt. Das heißt auch was vom Server gelöscht wird, auch wenn versehentlich, wird von den Backups gelöscht), und sollten die auf den Backup Server korrumpieren, was solls, wird ja am nächsten Tag von rsync eh erkannt und erneuert.

Klar, wenn das innerhalb von 24 Stunden passiert, und es unbemerkt stattfindet, dann habe ich die A*Karte.

ZFS ist zwar super/klasse für Enterprise, hat aber auch Enterprise-Preise

Wenn es nach "best things to do for zfs" ginge, wäre das ja schon 1GB RAM pro TB. Hieße ich bräuchte alleine schon 30GB RAM NUR für die VM. Dann noch doppelt, bzw wenn ich die 10gbit wirklich erreichen will, die dreifache Anzahl an Festplatten. Dann Stromkosten, die ignorieren wir mal.

Roundabout müsste ich jetzt 3000€ ausgeben, für paar Bilder, Videos, Dateien die absolut nicht wichtig sind, und immer wieder beschaffbar wären (mit gewissen Zeitaufwand und Bandbreite der Internetleitung, um wieder 30TB an Linux-ISO's runter zu laden ) .

Der "neue" Server hätte zwar jetzt statt 24GB, 64GB RAM und somit wäre noch 34GB über, aber Jellyfin hat auch schon wieder 8. Diverse andere VMs um die 10GB, somit wäre in nu der Server wieder "zu klein".

Wie gesagt, ZFS bräuchte ich gar nicht. Würde am liebsten auch das ganze caching zeugs irgendwie abstellen können (damit die Maschine mit 2gb zufrieden ist). Aber geht leider nicht, nicht ohne das ZFS aus irgendwelchen Gründen langsamer wird als ein Transfer auf ne Diskette. Ich brauchs nur für die Quota Funktionalität. Könnte openmediavault genau so nutzen, nur da müsste ich dann per mdadm erst ein RAID0 bauen, dann das wieder in 3 Devices splitten mit gewünschter Größe, und in omv einbinden (was ich schon mal getan habe 2020, und nur Probleme im laufenden Betrieb gemacht hat.) Und die Quota Funktion nutze ich auch nur deswegen, weil sonst alle 3 Shares 30TB als Größe angeben würde z.B und somit das Sichern einer Freigabe auf eine einzige HDD mit ebenfalls 12TB scheitern könnte wenn Freigabe 1 tatsächlich jedoch z.B 14TB groß ist (was mir schon passiert ist). Und noch ein Grund weswegen ich mich dafür entschieden habe ist der, das sollte ich aus welchen Gründen auch immer sofort ans Backup gehen müssen, oder Mainboard des Backupservers geht drauf, oder was auch immer, kann ich die platte einfach irgendwo einhängen und die daten auslesen. Ohne irgendwas mit ZFS importieren zu müssen etc, mit der Gefahr das dies dann nicht funktioniert.

Mal sagte mir auch schon mal, das für meinen Einsatz/Bedürfnisse unraid wohl perfekt wäre. Aber Proxmox gefällt mir viel besser.

Edit: Die "Skizze" ist beim abspeichern kaputt gegangen. Daher nochmal ein Screenshot von angefertigt.

 

[Dunuin]

Ok, dann kauf ich mir so eine Karte



Das Phänomen kenn ich. Jedoch wird so gespiegelt:

View attachment 35290

Das heißt, die Daten müssten zu erst beim Server korrumpieren (was ich dann sofort bemerken würde). Weil täglich 4 Uhr morgens die beiden Backupserver per rsync über ssh sich auf den exakten Stand vom Server bringen (es wird 1:1 gespiegelt. Das heißt auch was vom Server gelöscht wird, auch wenn versehentlich, wird von den Backups gelöscht), und sollten die auf den Backup Server korrumpieren, was solls, wird ja am nächsten Tag von rsync eh erkannt und erneuert.

Klar, wenn das innerhalb von 24 Stunden passiert, und es unbemerkt stattfindet, dann habe ich die A*Karte.

Sehe nicht wie das dir hilft. Deine Backups bringen dir nur was wenn eine deiner HDDs im Haupt-Server ausfallen sollte. Dann hast du eine 1-zu-1 Kopie auf "Backup 1" und "Backup 2" und kannst es zurück auf "Server" kopieren.
Geht aber eine Datei unbemerkt kaputt, dann wird die ebenfalls auf Backup 1 + 2 kopiert und nach 24 Stunden hast du auf allen 3 Servern nur noch kaputte Daten und kein Backup mehr um an eine heile Version der Datei zu kommen.
Ähnliches Problem mit Schadsoftware. Sagen wir du hast dir eine Ransomware eingefangen, die verschlüsselt dir unbemerkt alle deine Daten (was dir nicht auffällt, weil du weiterhin auf alle Daten zugreifen kannst, dann die on-the-fly verschlüsselt werden und dann weiterhin unlocked vorliegen). Nach 1 Monat wirft die Ransomware dann die Verschlüsselungs-Keys weg, lockt dir alle Dateien und du hast nur noch Datenbrei. Dann poppt ein Popup auf und fordert dich auf 1000€ in Bitcoins zu zahlen, wenn du den Verschlüsselungs-Key haben willst, um wieder an deine Daten zu kommen. Deine Backups auf "Backup 1" und "Backup 2" haben ebenfalls nur Dateibrei da du über einen Monat lang nur die verschlüsselten Daten zu denen synchronisiert hast.
Helfen tut da dann höchstens eine unangesteckte USB-HDD mit Backups die seit über einem Monat nicht mehr am Server angesteckt war oder wenn dein ZFS regelmäßig Snapshots angelegt hat und deine Snapshot-Retention länger als 1 Monat ist, dass du da dann die Daten auf einen Stand vor dem Ransomware-Befall zurückrollen kannst.
Oder du stellst dich einfach mal doof an und löscht einen Ordner den du noch brächtest. Ist dann auch echt doof wenn "Backup 1" und "Backup 2" den Ordner dann ebenfalls nach max 24 Stunden löschen.

Also mir persönlich wäre das selbst fürs Homelab zu heikel.

ZFS ist zwar super/klasse für Enterprise, hat aber auch Enterprise-Preise

Wenn es nach "best things to do for zfs" ginge, wäre das ja schon 1GB RAM pro TB. Hieße ich bräuchte alleine schon 30GB RAM NUR für die VM. Dann noch doppelt, bzw wenn ich die 10gbit wirklich erreichen will, die dreifache Anzahl an Festplatten. Dann Stromkosten, die ignorieren wir mal.

Roundabout müsste ich jetzt 3000€ ausgeben, für paar Bilder, Videos, Dateien die absolut nicht wichtig sind, und immer wieder beschaffbar wären (mit gewissen Zeitaufwand und Bandbreite der Internetleitung, um wieder 30TB an Linux-ISO's runter zu laden ) .

Der "neue" Server hätte zwar jetzt statt 24GB, 64GB RAM und somit wäre noch 34GB über, aber Jellyfin hat auch schon wieder 8. Diverse andere VMs um die 10GB, somit wäre in nu der Server wieder "zu klein".

Ja, ich habe hier 8 HDDs (zsm. 64TB) und 22 SSDs (zsm. 4,65 TB) in den 3 Servern und damit nur einen nutzbaren Speicher für etwa 21 TB an Daten. ZFS bekommt 56GB von meinen 112GB RAM. Stromverbrauch von gut 50€ im Monat für das ganze Homelab. Ist nicht günstig, aber wenigstens sollten die Daten recht sicher sein. Was mir noch noch fehlt ist ein Offsite Backup in der Cloud, aber dafür müsste ich dann über 200€ im Monat zusätzlich zahlen :/

Wie gesagt, ZFS bräuchte ich gar nicht. Würde am liebsten auch das ganze caching zeugs irgendwie abstellen können (damit die Maschine mit 2gb zufrieden ist). Aber geht leider nicht, nicht ohne das ZFS aus irgendwelchen Gründen langsamer wird als ein Transfer auf ne Diskette. Ich brauchs nur für die Quota Funktionalität. Könnte openmediavault genau so nutzen, nur da müsste ich dann per mdadm erst ein RAID0 bauen, dann das wieder in 3 Devices splitten mit gewünschter Größe, und in omv einbinden (was ich schon mal getan habe 2020, und nur Probleme im laufenden Betrieb gemacht hat.) Und die Quota Funktion nutze ich auch nur deswegen, weil sonst alle 3 Shares 30TB als Größe angeben würde z.B und somit das Sichern einer Freigabe auf eine einzige HDD mit ebenfalls 12TB scheitern könnte wenn Freigabe 1 tatsächlich jedoch z.B 14TB groß ist (was mir schon passiert ist). Und noch ein Grund weswegen ich mich dafür entschieden habe ist der, das sollte ich aus welchen Gründen auch immer sofort ans Backup gehen müssen, oder Mainboard des Backupservers geht drauf, oder was auch immer, kann ich die platte einfach irgendwo einhängen und die daten auslesen. Ohne irgendwas mit ZFS importieren zu müssen etc, mit der Gefahr das dies dann nicht funktioniert.

Mit ZFS kannst du dir das ganze Zeugs mir Rsync und Co sparen. Guck dir mal die ZFS Replikation an. Hast du z.B. zwei TrueNAS Server kannst du über ZFS Replikation beide Spiegeln und wenn dir dann ein Server wegstirbt, dann hast du eine 1-zu-1 Kopie auf dem anderen Server. Hat auch den Vorteil, dass da ZFS Replikation auf Snapshots aufbaut und diese mitspiegelt. Beide Server haben dann die gleichen Snapshots, du hast also Versionierung und kannst z.B. über SMB auf beliebige Vorgängerversionen von Dateien/Ordnern zurückgreifen, die von deinen Snapshots abgedeckt werden.

Ich glaube du solltest da echt mal lesen was ZFS alles so kann. Weil wenn du meinst du brauchst ZFS eigentlich garnicht, dann nutzt du es bisher nicht richtig

 

[Falk R.]

nutzbaren Speicher für etwa 20TB an Daten ZFS bekommt 56GB RAM. Stromverbrauch von gut 50€ im Monat für das ganze Homelab. Ist nicht günstig, aber wenigstens sollten die Daten recht sicher sein. Was mir noch noch fehlt ist ein Offsize Backup in der Cloud, aber dafür müsste ich dann über 200€ im Monat zahlen :/

so teuer ist ein Offsite Backup auch nicht.
Ich zahle für meinen S3 Speicher im Monat 6$/TB. Das ganze mit immutability.
Vermutlich gibt es auch noch günstigere Provider als Wasabi.

 

[Dunuin]

so teuer ist ein Offsite Backup auch nicht.
Ich zahle für meinen S3 Speicher im Monat 6$/TB. Das ganze mit immutability.
Vermutlich gibt es auch noch günstigere Provider als Wasabi.

Was hast du da für eines? Der normale "S3 Standard" Cloud Storage ist ja z.B. mit "0,023 USD pro GB" also knappe 21€ je TB.
"S3 Glacier Deep Archive" wäre schon deutlich besser vom Preis mit 0,90€ je TB, aber dann darf man ja auch nur einmal im Jahr oder so dadrauf zugreifen.
Und dann kommen ja noch Gebühren drauf, falls man mal auf ein Backup zugreifen muss.

Hatte mir mal Backblaze B2 angeguckt, aber selbst da mit nur 0,005 USD pro GB sind das noch 99,92€ pro Monat wenn ich meine kompletten 22TB sichern wollen würde. Und 200€ zusätzliche an Gebühren falls ich wirklich mal die Daten runterladen muss.

Gerade bei einem kleinen Homelab überlegt man es sich dann ja zwei mal ob man die 100€ im Monat für ein drittes Backup über hat.

 

[justsomerandom]

Sehe nicht wie das dir hilft. Deine Backups bringen dir nur was wenn eine deiner HDDs im Haupt-Server ausfallen sollte. Dann hast du eine 1-zu-1 Kopie auf "Backup 1" und "Backup 2" und kannst es zurück auf "Server" kopieren.
Geht aber eine Datei unbemerkt kaputt, dann wird die ebenfalls auf Backup 1 + 2 kopiert und nach 24 Stunden hast du auf allen 3 Servern nur noch kaputte Daten und kein Backup mehr um an eine heile Version der Datei zu kommen.
Ähnliches Problem mit Schadsoftware. Sagen wir du hast dir eine Ransomware eingefangen, die verschlüsselt dir unbemerkt alle deine Daten (was dir nicht auffällt, weil du weiterhin auf alle Daten zugreifen kannst, dann die on-the-fly verschlüsselt werden und dann weiterhin unlocked vorliegen). Nach 1 Monat wirft die Ransomware dann die Verschlüsselungs-Keys weg, lockt dir alle Dateien und du hast nur noch Datenbrei. Dann poppt ein Popup auf und fordert dich auf 1000€ in Bitcoins zu zahlen, wenn du den Verschlüsselungs-Key haben willst, um wieder an deine Daten zu kommen. Deine Backups auf "Backup 1" und "Backup 2" haben ebenfalls nur Dateibrei da du über einen Monat lang nur die verschlüsselten Daten zu denen synchronisiert hast.
Helfen tut da dann höchstens eine unangesteckte USB-HDD mit Backups die seit über einem Monat nicht mehr am Server angesteckt war oder wenn dein ZFS regelmäßig Snapshots angelegt hat und deine Snapshot-Retention länger als 1 Monat ist, dass du da dann die Daten auf einen Stand vor dem Ransomware-Befall zurückrollen kannst.
Oder du stellst dich einfach mal doof an und löscht einen Ordner den du noch brächtest. Ist dann auch echt doof wenn "Backup 1" und "Backup 2" den Ordner dann ebenfalls nach max 24 Stunden löschen.

Ich habe dich schon verstanden.

Ransomware, ist eh nahe null. Ich nutze keinerlei Systeme wo dies nicht ohne weiteres möglich wäre. Propiritäre Software ist ebenso vollständig ausgeschlossen. Beides aus Prinzip.

Klar will ich nicht behaupten für Linux gibt es keine Ransomware. Jedoch ist, und jetzt behaupte ich ganz frech - und es kann ruhig einer ne Studie darüber zu machen/finanzieren - das es wahrscheinlicher ist das ich 3 mal hintereinander im Lotto gewinne, obwohl nicht spiele, als ich mich unwissentlich(!) Ransomware/Virus/Trojaner etc einfange. Dies ist bei Windows und MacOS (auf Grund ihrer Verbreitung und Struktur wie diese Betriebsysteme aufgebaut sind) deutlich wahrscheinlicher.

Und ich sagte ja, wenn ich innerhalb von 24 (sagen wir 23) Stunden nicht merke das einige Daten korrupt sind, ja, dann habe ich halt Pech. Sind wie gesagt keine missionskritische Daten! Die können ruhig verloren gehen. Aber selbst das ist ja nicht sehr wahrscheinlich. Klar ist "Bit Rot" wie du sagtest möglich, und ein gewisses Risiko. Aber in meinem Fall halt eins das ich halt in kauf nehme, und eh sehr gering ist weil die Daten Tag für Tag abgeglichen und gesichert werden.

Und doof anstellen? Jap, hast du recht! Ist mir in 5 Jahren tatsächlich auch schon zwei mal passiert. Wie? Der Klassiker: rm -Rf $ein_Pfad mit ein leerzeichen zu viel. Voila. Lokale Daten + Server (da die unter /mnt eingehängt waren) gelöscht. Aber dafür sichere ich die Daten ja nicht. Ich sichere die rein nur wegen mechanischem Versagen. Nicht wegen menschlichem. Wären es wichtige Daten, hätte ich dies natürlich auch so nicht gelöst. Aber es geht sich halt nur um unwichtige Daten, die wenn die verloren gehen, nur darüber entscheiden ob ich am Wochenende in der Kneipe bin, oder 3 Tage damit beschäftigt bin diese wieder zu besorgen.

Ja, ich habe hier 8 HDDs (zsm. 64TB) und 22 SSDs (zsm. 4,65 TB) in den 3 Servern und damit nur einen nutzbaren Speicher für etwa 21 TB an Daten. ZFS bekommt 56GB von meinen 112GB RAM. Stromverbrauch von gut 50€ im Monat für das ganze Homelab. Ist nicht günstig, aber wenigstens sollten die Daten recht sicher sein. Was mir noch noch fehlt ist ein Offsite Backup in der Cloud, aber dafür müsste ich dann über 200€ im Monat zusätzlich zahlen :/

Und da hast du die Anschaffungskosten noch vergessen! Meine Hardware besteht zu 90% daraus was schon da war bzw angeschafft wurde irgendwann für andere Projekte. Und Strom sind auch keine 10€ im Monat.

Mit ZFS kannst du dir das ganze Zeugs mir Rsync und Co sparen. Guck dir mal die ZFS Replikation an. Hast du z.B. zwei TrueNAS Server kannst du über ZFS Replikation beide Spiegeln und wenn dir dann ein Server wegstirbt, dann hast du eine 1-zu-1 Kopie auf dem anderen Server. Hat auch den Vorteil, dass da ZFS Replikation auf Snapshots aufbaut und diese mitspiegelt. Beide Server haben dann die gleichen Snapshots, du hast also Versionierung und kannst z.B. über SMB auf beliebige Vorgängerversionen von Dateien/Ordnern zurückgreifen, die von deinen Snapshots abgedeckt werden.

Ich glaube du solltest da echt mal lesen was ZFS alles so kann. Weil wenn du meinst du brauchst ZFS eigentlich garnicht, dann nutzt du es falsch

Ich kenne ZFS. 99% davon interessiert mich als Privatperson halt nicht. Wenn ich etwas für ein Unternehmen etc umsetzen müsste, dann sähe das natürlich anders aus. Ich wäre privat mit EXT4 rundum glücklich. Oder am besten XFS. Kann hier jedoch nicht ohne komplizierte umwege etc Quotas einrichten (bei einem RAID). Und würde ich per ZFS eine Replikation einrichten, hätte ich ja immer noch das Problem, das ich vom Backupserver nicht einfach die Festplatte ausbauen könnte und OHNE(!) das ich etwas installieren, konfigurieren, und irgendwas zu importieren um die Daten auszulesen. Jetzt kann ich, völlig Offline, eine x beliebige Linuxdistribrution per USB/CD starten, die Platte einhängen, und diese Daten per Netzwerk/USB/what_ever kopieren. Und Versionierung/Snaptshots braucht halt wieder größere Festplatten bzw man hat noch weniger Speicherplatz frei (je nach dem wieviel % man für Snapshots freihält).

Meine Vorgaben sind jedoch wie bereits geschildert ganz einfach. 3 Freigaben die voller Müll sind, und vor mechanischen Defekt gesichert sind. Mehr nicht.

Was mir noch noch fehlt ist ein Offsite Backup in der Cloud, aber dafür müsste ich dann über 200€ im Monat zusätzlich zahlen :

so teuer ist ein Offsite Backup auch nicht.

Und das ist z.b bei mir völlig kostenlos!

Die zwei erwähnten Backupserver sind wie erwähnt uralte Hardware die ich hier rumfliegen hatte. Die jeweils 6 Festplatten musste ich natürlich kaufen. Habe bei Mindfactory 10x 12TB Hitachis 2020 für "lächerliche" 130€ das Stück kaufen können. Seit dem sind wie bereits geschildert 3 in meinem Server, 3 in Backup1 und 3 in Backup2.

Und Backup1 steht in den Niederlanden bei nem Kumpel im Keller, wo ich jedes Wochenende bin. Und Backup2 steht bei Verwandten in Süden Deutschlands. Und da die Mainboards so alt sind, haben die sogar noch die Funktion per Uhr sich automatisch einzuschalten Daraufhin startet automatisch halt Debian und ein Cronjob. Nach vollendigung des Backups, fahren die Backupserver herunter. (sicher könnte man sich jetzt darüber Streiten, wie gut es ist für die Festplatten wenn die jeden Tag einmal ein und ausgeschaltet werden).

Das Ergebnis wird dann auf einer Freigabe gesichert, das dann so aussieht für Backup1 z.B:

2022-03-12 04:00:25 - up 13 minutes
2022-03-13 04:00:26 - up 21 minutes
2022-03-14 04:00:25 - up 1 hour, 52 minutes
2022-03-15 04:00:25 - up 2 minutes
2022-03-16 04:00:25 - up 3 hours, 45 minutes
2022-03-17 04:00:25 - up 3 hours, 53 minutes
2022-03-18 04:00:26 - up 1 hour, 22 minutes

Nachdem der Rsyncjob erledigt ist, wird einfach uptime abgerufen (geht sicher eleganter, aber grob reicht mir) und in eine Textdatei gesichert.

Hier seh ich z.B das am 17.03 knapp 4 Stunden Backup1 gebraucht hat, um ca 100GB von mir zu Hause runterzuladen.

 

[Dunuin]

Also ich habe hier im Forum noch nicht gelesen das da wer im Lotto gewonnen hat, dass der komplette PVE server von Ransomware verschlüsselt wurde aber schon. Z.B. hier: https://forum.proxmox.com/threads/file-encrypting-trojan.99586/#post-429820

Also ausschließen sollte man sowas nicht. Gibt durchaus aus Ransomware die auf Linux-Server spezialisiert ist. In dem Fall oben hat wohl auch niemand eine Schadsoftware runtergeladen oder so. Die hat sich selbst von außen über die IPMI-Schnittstelle Root-Zugriff zum Server verschafft.

 

[Falk R.]

Zum Thema Offsite. Ich nutze Wasabi (wasabisys.com) da gibts auch keine egress kosten. Gerade zum Testen lade ich auch mal was runter.
Ich sichere z.B. auch alle privaten Fotos etc. mit dem Backup hoch. Sind zwar nur paar Fotos aber wenn die weg sind , dann für immer. Daher kommen solche Sachen bei mir in die Cloud und die VMs zum testen haben nur ne USB HDD zum sichern, kann man ja notfalls neu bauen.

 

[justsomerandom]

Also ich habe hier im Forum noch nicht gelesen das da wer im Lotto gewonnen hat, dass der komplette PVE server von Ransomware verschlüsselt wurde aber schon. Z.B. hier: https://forum.proxmox.com/threads/file-encrypting-trojan.99586/#post-429820

Also ausschließen sollte man sowas nicht. Gibt durchaus aus Ransomware die auf Linux-Server spezialisiert ist.

Ja, sagte ja nicht das es ausgeschlossen ist.

Aber für eine Kiste, die keinen von außen kommenden Internetzugang hat, ist dies halt sehr unwahrscheinlich. In diesen Fall müsste der Benutzer, in dem Fall ich, halt die ransomware händisch installieren. Und dies wird wiederum noch unwahrscheinlicher wenn man nur die original Repos von Proxmox, Debian, etc nutzt. Weil dann müsste diese in den Paketen von der jeweiligen Distribrution eingebaut worden sein. Daher meine Aussage.

In meinem Fall: Müsste man Kenntnis über die Kiste haben und jemand müsste Zugang zu den Wireguard Schlüsseln bekommen, und zu den SSH Schlüssel. Und wie wahrscheinlich ist das nun in den Fall? Irgendwo übersteigt immer der Kosten/Nutzen Faktor

 

[Falk R.]

Hi, du hast ja auch einen kleinen Sonderfall. Heutzutage haben 99% aller Netze auch irgend einen Weg ins Internet. Auch wenn über mehrere Firewalls und Proxy. Wir sehen ja auch gerade, dass Open Source Software modifiziert wurde um Daten die vermeintlich in Russland liegen zu löschen.
Aber ich gebe dir recht, wenn es Daten sind, die man wieder besorgen kann, dann ist das mehr als ausreichend.
Es gibt aber auch Daten die einmalig sind, so wie die Forschungsdaten einer Japanischen Uni, wo die Backupsoftware durch einen Bedienerfehler mehrere Hundert TB gelöscht hat. Da sind Jahrzente an Arbeit vernichtet worden.

 

[justsomerandom]

Ja das ist wohl wahr.

 

[Dunuin]

Und nicht vergessen, dass sich Ransomware auf über das LAN verbeitet und von Rechner zu Rechner springt. Du sagtest du hast die beiden Backup-Server bei bekannten. Sofern die über VLANs oder eigene phyische Router/Firewall getrennt sind ist das wohl weniger problematisch, aber falls die einfach nur mit an der Fritzbox oder hängen kann das auch schnell ein Problem sein. Wer weiß was deine bekannten dann da alles an ihren Win-Rechnern im selben Netz für eMail-Anhänge runterladen oder ungepatchte IoT-Devices im Netz haben.
Aber gut, wenn du sagst ist nicht wild wenn deine Daten weg sind,dann ja nicht so problematisch.

Ich passe da immer schon sehr auf heutzutage. Mir ist z.B. mal eine HDD im Pseudo-HW-Raid Array ausgefallen und beim Rebuild hat es dann das ganze Raid10-Array zerschossen. Dann hatte ich zwar noch Backups auf einer USB-Festplatte, aber als ich dann endlich eine neue HDD gekauft hatte um das Raid-Array neu aufsetzen und zu Backups zurückspielen zu können, da hatte dann auch schon meine Backup-HDD den Geist aufgegeben. Da gingen dann leider unter anderem 10 Jahre an Heimfotos/-videos mit drauf.
Und einmal habe ich meine Truecrypt verschlüsselte Archiv-HDD so lange nicht mehr benutzt, dass ich mich da nicht mehr an mein Passwort erinnern konnte...
Und dann sind mir einmal innerhalb von 1-2 Jahren nacheinander 3 von 5 RAM-Riegeln langsam gestorben was dann quasi alles an Daten über viele Wochen unbemerkt korrumpiert hat, was irgendwie von dem Rechner kopiert/editiert wurde. Da hatte ich dann auch einige hunder GB an Daten auf dem NAS wo dann jede 50te Datei oder so defekt war. Ist mir aber auch erst aufgefallen, als dann nach Wochen die Bluescreens angefangen haben. Am Ende konnte ich dann 4 mal die identische Datei hashen und hatte jedes mal eine andere Prüfsumme...
Und das ganze hatte ich dann 3 mal...hätte ich gleich alle RAM-Riegel auf einmal austauschen sollen. Da lernt man dann auch Enterprise -Features wie ECC zu schätzen, was zwar langsamer ist, aber sich dafür die Fehler selbst korrigieren oder man wenigstens eine Warnung bekommt, wenn da Bitflips im RAM erkannt werden und man dem dann direkt auf den Grund geht anstatt sich über Woche alle Daten auf seinem ZFS Pool zu zerschießen. Seitdem kommt bei mir nichts mehr ins Haus was nicht ECC-RAM benutzt.

Also ja, ordentliche Backups, Versionierung und Datenintegrität ist teuer, aber wenn man erst einmal selbst wichtige Daten verloren hat, dann zahlt man auch gerne 4 oder 6-fachen Preis für eine Enterprise-Lösung, damit das nicht noch einmal passiert.

 

[justsomerandom]

Ja, es gibt viele Wege nach Rom.

Sicher habe ich auch "wichtige" bzw eher emotional kostbare Dokumente auf dem NAS liegen.

Das schöne an denen jedoch, diese liegen eh noch auf Medien, die mehrere hundert Jahre überdauern. Nennt man Papier! (ordentliche, trockene "Lagerung" vorrausgesetzt).

Aber wie bereits gesagt. Wenn man Paranoid genug ist, oder die Daten unverzichtbar sind, kann man wortwörtlich millionen von Euros ausgeben für wortwörtlich nur 1MB Daten.

Kommt halt drauf an was.

Du sagtest du hast die beiden Backup-Server bei bekannten. Sofern die über VLANs oder eigene phyische Router/Firewall getrennt sind ist das wohl weniger problematisch, aber falls die einfach nur mit an der Fritzbox oder hängen kann das auch schnell ein Problem sein. Wer weiß was deine bekannten dann da alles an ihren Win-Rechnern im selben Netz für eMail-Anhänge runterladen oder ungepatchte IoT-Devices im Netz haben.

Kann dein Puls hochjagen

Die stehen völlig unisoliert im Netzwerk. Aber da ist auch nichts drauf außer sshd und rsync.

Sicher hast du natürlich recht. Aber Ransomware/Trojaner/Viren etc die aktuelle(!) Sicherheitslöcher ausnutzen könnten um die Daten zu manipulieren, sind dann eher ein größeres Problem für alle anderen Server die im Internet erreichbar sind. Weil schlußendlich es hieße das es eins gibt.

Hätte ich wichtige Daten, die wirklich wichtig wären, dann geht es wirklich nichts über Papier, spezielle CD's die garantieren 50+ Jahre zu halten, Bandlaufwerke, etc.

Alles andere ist nur "Spielzeug". Und wenn man sich den Markt anguckt, ist es eh alles nur eine Verlagerung von Verantwortung. Nicht umsonst bezahlen gerne einige Unternehmen, die sich es leisten können, andere Unternehmen die dafür garantieren das deren Daten nicht verloren gehen. Oder bauen halt eigene Backupstrategien. Oder fahren sogar zweitgleisig.

Wenn man es runterbricht, ist keiner wirklich sicher vor irgendwas. Es ist immer nur eine Sache wie weit man es treibt, und dafür bereit ist in die Tasche zu greifen. Oder statistisch das Risiko zu minimieren.