Macht ZFS Sinn für mich?

[Skye]

Hallo in die Runde,

Beschäftige mich seit ein paar Jährchen mit dem Thema Proxmox und hab auch schon erfolgreich einen Server laufen.

Hier mal kurz die Eckdaten:

Das Mainboard ist ein: M11SDV-8C+-LN4F mit 64gb RAM
Das Gehäuse: SC721TQ-250B
2x Evo 850 mit je 500gb
1x evo 970 nvme mit 1tb
1x 2tb hdd für Backups

Nun beschäftige ich mich seit längerer Zeit mit dem Thema zfs und überlege ob es für meinen Fall überhaupt Sinn ergibt?

Ich habe ca. 5 vms und 7 cts laufen (Nextcloud, opnsense, Matrix, unifi, pihole etc.)

Bis jetz habe ich alle SSDs einfach als Directory eingebunden und die HDD an den Proxmox Backup Server durchgereicht und bin eigentlich von der Performance her ganz zufrieden.

Welche Vorteile hätte ich für mich wenn ich mir nun ein zfs raid erstelle? Redundanz benötige ich eigentlich nicht da ich meine Maschinen immer alle 4 Stunden über den Proxmox Backup Server sichere (der als VM in der Proxmox läuft).

Noch dazu müsste ich mir dann Enterprise SSDs besorgen die ja auch nicht allzu günstig sind. Auch die Snapshots die man mit zfs erstellen kann stellen für mich persönlich keinen Mehrwert dar.

Mir juckt es schon in den Fingern mir ein zfs raid (raidz1) aufzubauen aber ich sehe da eben für mich persönlich keinen Mehrwert. Habe ich noch einen weiteren Vorteil übersehen?

Vielen lieben Dank schonmal für eure Antworten

 

[Dunuin]

Mir juckt es schon in den Fingern mir ein zfs raid (raidz1) aufzubauen aber ich sehe da eben für mich persönlich keinen Mehrwert. Habe ich noch einen weiteren Vorteil übersehen?

Also 3 gute Gründe hätte ich da schon:

1.) Kompression auf Blockebene:
Du kannst für ZFS z.B. lz4 als Kompressionsverfahren wählen. Dann wird alles was irgendwie gespeichert wird, egal was es ist, da dies auf Block-Ebene passiert und nicht auf Datei-Ebene, komprimiert. Macht dann z.B. deine Nextcloud-Daten kleiner, auch wenn Nextcloud selbst z.B. keine Kompression unterstützen sollte. LZ4-Kompression ist toll, weil sie nicht auf die Performance geht. Wenn ich das richtig verstanden habe versucht der Algorithmus stichprobenartig eine Datei zu komprimieren. Lässt die sich gut komprimieren wird die über einen schnellen Algorithmus komprimiert. Würde ein Komprimieren nur wenig bringen, dann wird die Kompression einfach weggelassen. Spart dann wenn möglich Platz, macht das lesen/schreiben aber nicht langsamer...im Gegenteil...meist kann man sogar noch schneller Schreiben als ohne Kompression, da halt wegen Kompression weniger auf die Platten geschrieben werden muss und das Komprimieren schneller geht als was das zusätzliche Schreiben auf die Laufwerke dauern würde.

2.) Selbstheilendes Dateisystem:
Wenn du irgendeine Art von Parität nutzt (Mirror, Stripped Mirror oder raidz1/2/3) dann kann sich ZFS selbst heilen. Von Allem werden Prüfsummen erstellt. Regelmäßig (z.B. alle 30 Tage) führt dann ZFS einen Scrub durch, welcher einmal die Prüfsummen aller Daten neu berechnet. Weichen die neuen Prüfsummen von den alten Prüfsummen ab, dann weiß man, dass da eine Datei korrumpiert wurde und defekt ist. Dank der Parität kann Proxmox berechnen, wie die Datei war, als sie noch nicht kaputt war und kann den alten heilen Zustand wieder herstellen. ZFS heilt sich also quasi selbst.
Google mal nach "Bit Rot" oder "schleichendem Dateiverfall" dann verstehst du warum so etwas wichig ist und dir Backups nichts gegen korrumpierte Daten helfen sondern nur vor einem Totalausfall der Laufwerke schützen.
In der Kurzfassung: Hast du kein ZFS (oder BTRFS, CEPH etc) dann weiß dein Dateisystem nie, ob eine Datei noch heil ist oder nicht. Da kann eine Datei vor 2 Jahren kaputt gegangen sein, ohne das du das mitbekommen hast und seit 2 Jahren speicherst du in den Backups nur die kaputte Datei. Das letzte Backup mit einer heilen Version wurde längst durch neue Backups überschrieben. Trotz aktuellem Backup ist die Datei für dich also für immer verloren.
Bei ZFS kann dir so etwas nicht passieren. Spätestens beim regelmäßigen Scrub wird ZFS meckern und dir ganz genau sagen, welche Datei kaputt war und repariert wurde. So kannst du dann sicher sein, dass das was du ins Backup schreibst, auch wirklich heil ist.

3.) Replikation
Ich mag die Replikation. Ist super für Backups wenn du zwei ZFS Pools hast und bestimmte Ordner synchron halten willst. Läuft dann performant wie eine Synchronisation mit z.B. rsync, aber im Gegensatz dazu läuft hier alles auf Blockebene und die Snapshots werden genutzt und bleiben erhalten.

 

[Skye]

Hi Dunuin vielen Dank für deine Antwort. Das ist doch schonmal ein gutes Argument für mich was ich noch gar nicht am Schirm hatte.
dann hab ich nur noch das Problem das dass Board nur 4 sata Anschlüsse hat.

Es werden hier im Forum immer die IBM sata Controller empfohlen die man ja in den it Mode Flashen kann. Und noch eine andere dessen Name mir gerade entfallen ist. Da hab ich vor ein paar Tagen mal geschaut und die Kosten in Deutschland um die 200 Euro und die sind glaube ich auch viel zu lang als das ich sie ins Gehäuse einbauen könnte. Wie verhält sich das mit den „günstigen“ sata Controllern? Taugen die auch was?

 

[Dunuin]

Gebrauchte Dell PERC H310 bekommst du für 30-40€. Die lassen sich in den IT-Mode flashen und dann hast du einen "LSI 9211-8i". Kaufst du dann noch zwei Mini SAS (SFF-8087) zu 4x SATA Kabel kannst du da 8 SATA Laufwerke für ZFS anschließen.
Hatte mich mit Kabeln keine 40€ gekostet.

Guck z.B. mal hier wegen kompatiblen Modellen wegen IT-Mode flashen.

 

[Skye]

Habe gelesen das die Dell Karte um die 15 Watt zieht, das wäre ein Drittel von dem was der Server jetzt in der aktuellen config ingesamt benötigt.

Was ist denn von solchen Karten zu halten? Der Marvel Chip hat 1W und der Rest wird auch nicht so viel ziehen, gehe mal insgesamt von 3-5 Watt aus.
https://www.amazon.de/dp/B07NJ23Y4B/ref=cm_sw_r_oth_api_glt_i_NFY9EK39QZBDCAVNZYR9

 

[Dunuin]

Habe gelesen das die Dell Karte um die 15 Watt zieht, das wäre ein Drittel von dem was der Server jetzt in der aktuellen config ingesamt benötigt.

Was ist denn von solchen Karten zu halten? Der Marvel Chip hat 1W und der Rest wird auch nicht so viel ziehen, gehe mal insgesamt von 3-5 Watt aus.
https://www.amazon.de/dp/B07NJ23Y4B/ref=cm_sw_r_oth_api_glt_i_NFY9EK39QZBDCAVNZYR9

Naja, ist halt nicht mehr das neuste Modell und professionelle Hardware, die nicht alles an Rechenoperationen an die CPU auslagert, verbraucht halt auch etwas mehr. Dafür hast du aber eine echt zuverlässige Hardware die mit allen Unix/Linuxes super funktioniert und bestens supportet wird. Und nicht vergessen, dass da 8x HDDs drangehen. Da würden die 8 HDDs ja selbst schon gute 80W brauchen und dann sind die 15W schon wieder vernachlässigbar.
Der LSI 9211-8i ist übrigens mit 7W nominal und 15W max angegeben. Der H310 ist baugleich und sollte daher eigentlich nicht mehr brauchen. Laufen wird der wohl also eher mit rund 7W.

Der Marvel-Chip ist halt wieder Consumer-Zeugs. Da kannst du die gleiche Diskussion führen warum man eine Enterprise SSD statt einer Consumer SSD kaufen sollte oder ECC RAM statt billigem normalen RAM. Hat schon seinen Grund warum so eine LSI Raid-KArte neu hunderte von Euros kostet und du den Marvell für unter 30€ bekommst.

 

[Skye]

Mein Vorhaben wäre halt, eine SSD für das Proxmox System und eine HDD fürs Backup an diesen Controller anzuschließen. Mir ist durchaus bewusst das die Dell um Welten besser ist, aber für meinen Fall ist das eigentlich Käse.
Das ZFS Raid würde ich dann über die 4 onboard Sata Ports machen. Mehr Platz im Gehäuse habe ich eh nicht und Platz für ein größeres Gehäuse habe ich auch nicht xD

 

[Dunuin]

Ich würde Proxmox lieber über Onboard laufen lassen. Dann sparst du dir viel Arbeit weil von einer Addon-Karte zu Booten ist nicht immer ganz einfach. Weiterer Vorteil wäre PCI Passthrough, falls du den Server als NAS nutzen willst und bind-mount in LXCs nicht so wichtig ist. Dann könntest du Proxmox und VM-Storage als SSDs über Onboard anbinden, eine TrueNAS VM erstellen und den HBA mit allen HDDs direkt in die TrueNAS VM bringen, damit die VM direkt physisch ohne zusätzliche Virtualisierung und dessen Overhead auf die HDDs zugreifen kann. Den ZFS Pool erstellt man dann direkt in der VM anstatt auf dem Host und die TrueNAS VM teilt dann den Pool über NFS/SMB/iSCSI mit dem Host und allen anderen VMs oder Rechnern im Heimnetz.
Für sowas ist eine PCIe Karte immer super, da du den Onboard-Controller ja schlecht durchreichen kannst, da du dann keine Ports mehr für das System hättest. Da kann man ja keine einzelnen Ports durchreichen, sondern muss immer alle zusammen durchreichen.

 

[Skye]

Hm ok das ist natürlich auch ein Argument. Was ist von diesen LSI Karten zu halten die man auf eBay aus China schon geflasht und Neu für um die 40 Euro bekommt? Da denke ich mir schon meinen Teil wenn deutsche Händler die Dinger für knapp 200-300 Euro verkaufen und die Jungs aus Fernost nur einen Bruchteil dafür haben wollen….

Edit // Grad mal in die Anleitung vom Gehäuse geschaut (bin grad nicht daheim) und es sieht so aus als ob ich diese Karte nicht reinbekomme.
Also die Karte an sich schon aber die Kabel für die Sata Anschlüsse gehen nicht mit rein.

 

[Dunuin]

Hm ok das ist natürlich auch ein Argument. Was ist von diesen LSI Karten zu halten die man auf eBay aus China schon geflasht und Neu für um die 40 Euro bekommt? Da denke ich mir schon meinen Teil wenn deutsche Händler die Dinger für knapp 200-300 Euro verkaufen und die Jungs aus Fernost nur einen Bruchteil dafür haben wollen….

Ist nicht unüblich die gebraucht für 40€ zu bekommen. Das Ding ist halt, dass das teure LSI Karten sind die ein Rebranding von HP/Dell bekommen haben und dann abgespeckt mit der Firmware von Dell/HP laufen. Die Stecken zu Hauf in alten Dell/HP Servern die wegen alter entsorgt werden. Da die aber baugleich zu den LSI Karten sind, kann man da bei gewissen Modellen einfach die offizielle Firmware von LSI draufflashen und hat dann einen Raid-Controller/HBA mit vollem Funktionsumfang der nicht beschnitten ist.
Die kann man durchaus aus fertig in den IT-Mode geflasht kaufen, aber bei 40€ werden die halt auch gebraucht sein und nicht neu. Ich habe mir meine selbst geflasht. Ist etwas heikel und kompliziert, aber relativ gut online in Tutorials dokumentiert.
Finde ich aber nicht tragisch wenn die gebraucht sind. Da das Enterprise Hardware ist wurde die ja auf Zuverlässigkeit und Robustheit ausgelegt und sollte nicht so schnell kaputt gehen. Problematisch wird das eher nach einer Zeit mit dem Treibersupport im OS. Aber da industrielle Rechner ja auch nicht so gewechselt werden behalten die Betriebssysteme ziemlich lange den Support bei und im Gegensatz zu Consumer-Hardware gibt es Treiber für so gut wie alles. Wenn du z.B. eine TrueNAS VM betreiben willst, dann lässt du Unix und kein Linux laufen. Unix ist da ziemlich pingelig was die Hardware angeht da es selten auf Consumer-Hardware benutzt wird. Da gibt es extra Listen mit supporteter Hardware und solche billigen Consumer-Karten werden da halt einfach fast nie unterstützt. Und von Seiten der Hersteller gibt es oft auch keine Unix Treiber, da die sich einfach nicht den Aufwand machen wollen, da Unix einfach zu wenig benutzt wird.
Den Dell PREC H310 hatte ich mir z.B. extra für FreeNAS geholt, da der super damit läuft.

Edit // Grad mal in die Anleitung vom Gehäuse geschaut (bin grad nicht daheim) und es sieht so aus als ob ich diese Karte nicht reinbekomme.
Also die Karte an sich schon aber die Kabel für die Sata Anschlüsse gehen nicht mit rein.

Warum das? Die Kabel sehen so aus:

SFF-8087 kommt in den HBA und dann hast du ganz normale SATA Anschlüsse für die Laufwerke. Gibt die LSI KArten auch in verschiedenen Ausführungen. Bei manchen gehen die Kabel nach oben weg, bei anderen zur Seite:

 

[Skye]

Meinte das mit dem Platz, wenn die Kabel nach hinten rausgehen wird’s nicht gehen aber das es auch eine Variante gibt in der die Kabel nach oben rausgehen hört sich schonmal gut an. Muss mal eine Nacht drüber schlafen.
Ist es eigentlich auch möglich das man eine externe Festplatte mit usb an eine vm durchreicht? Dann könnte ich die ja für den proxmox Backup Server verwenden und könnte mir den sata Controller eigentlich sparen. Dann hätte ich 1x die Evo 850 für proxmox und würde mir noch 3x 2tb ssds holen für raidz1. Dann hätte ich alle 4 onboard sata Anschlüsse belegt und hab lange Zeit Ruhe was den Speicherplatz angeht. Eine Nas habe ich eigentlich schon.

 

[Dunuin]

Ist es eigentlich auch möglich das man eine externe Festplatte mit usb an eine vm durchreicht?

Ja, aber ist von der Performance und der Zuverlässigkeit nicht gerade das tollste. Die USB-zu-SATA-Controller die da verbaut sind machen gerne mal Probleme.

 

[Skye]

Werd das die Tage mal testen wie sich das mit der externen HDD verhält. Performance ist mir da nicht so wichtig.
Außerdem sichere ich eh einmal wöchentlich noch alles auf die Nas.
Hab jetz auch nichts extrem wichtiges laufen Sodas ich ne downtime schon vertragen könnte.

 

[bluesite]

ich hab zwei von diesen Controllern verbaut in zwei Server
https://www.ebay.de/itm/143554894523
funktionieren einwandfrei der Versand dauerte ca drei Wochen

dazu noch für den einen Server zwei von diesen Kabeln
https://www.ebay.de/itm/224412815046?_trkparms=ispr=1&hash=item34400bcec6:g:nLgAAOSwm8JgatMR&amdata=enc:AQAFAAACcBaobrjLl8XobRIiIML1V4Imu%2Fn%2BzU5L90Z278x5ickkgCVySCgrNFPU8Iu85TabMPyE1827jCn5jeykP09Wphq8CzLFXwLz7kTDczLkCzQL71grCLG2famynir73ajbgy0kwsNQA72DTn4lFXPG0TRdXdpGBuUMFRyRLVzqPMq8w4gHlBzIXouLnZl0CtL6wyCpHDRb7C3zR2fguNmY8o7lK0ypq2z3TXNfvkHieU39cBGrBSpHQJ1ImlLPu0UTKboy5Vt0vkz2245Xx5LmQassgZv%2BO2n8AOxGUKTBQXIxkWahUpLr5zwgMnyFNgwcGch%2Fbf84l1BzeKgY7E5pnxl%2FpveCHUlBAclgEh8dEbIn4mjzIWABLKWDuprpZOmYOa350PNIBPvP8%2B6fnf72LwzC8VVOLru1tlnVy0VJRYQmZsuEePCE5aVHeIWYSHJa4REUAsaEr2A8878DBLJkNvMMe1v%2B4ojSjH4sndot6wi0f35C7D8o8Yhln2OoWvaTCF%2FQ%2B676hm6q1FGKctS79Kvupu2lFTQT9H5cewdiab4n2TWJH6zn6cSr5hDa5r%2FZnsq3aDAXyG8WjgQMFEZOwheMVHjOUzPXBg0a7I75lkS7BdDovy3wEkLVAHHTqa%2BGInNq31thy79acryZw9QMEGu8rtMkBY4RQmfkw%2BHGUqbOrRqmgtc8M8PXZ%2FmoEIdXQbzRDk%2BVraUgxEGE%2FXttX1IqJUjREAVVRWwWhKYPHBm%2BXwApEOjb5I5qQKRZk0vlk%2BZpr3%2BTKDzzLEGG%2FZK%2BWozuuWWfGymnCDtBtPxIMBUVIsvcyuFYXfCFZYeAY%2BMPXQ%3D%3D|cksum:224412815046907a111653f9447fb84990c7a0a0b895|ampidL_CLK|clp:2334524

der zweite Server ist ein HP DL180 G6 und hat eine SAS Backplane (dieser ist nur der Ersatzserver da er mehr Strom braucht für Notfälle)
der erste Server ist ein älterer mit normalen Mainboard (und recht sparsam)