Anfängerfrage: was ist ZFS und wie setze ich es ein?
- Thread starter Reiter
- Start date
hi,
ZFS is ein filesystem, mit dem man features wie data compression und software raid hat.
lies bitte weiter auf unser documentation [0]
[0]: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_zfs
ZFS is ein filesystem, mit dem man features wie data compression und software raid hat.
lies bitte weiter auf unser documentation [0]
[0]: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_zfs
Den Artikel hier finde ich auch ganz nett für ein ZFS Basiswissen: https://arstechnica.com/information...01-understanding-zfs-storage-and-performance/
Aber deine Fragen sind da schon sehr unspezifisch und ZFS ist ein komplexes Thema über das ganze Bücher geschrieben werden.
Aber deine Fragen sind da schon sehr unspezifisch und ZFS ist ein komplexes Thema über das ganze Bücher geschrieben werden.
Last edited:
Danke für die Antworten…
ja sicher ist das sehr komplex, so wie ich das lese.
also geht es im Grunde darum das man mit zfs einen eigenen Pool hat um ein raid zu generieren und was ist wenn man zfs nicht einsetzt und eine sagen wir einfache proxmox Installation hat?
was bringt mir zfs für Vorteile das wäre die Frage
ja sicher ist das sehr komplex, so wie ich das lese.
also geht es im Grunde darum das man mit zfs einen eigenen Pool hat um ein raid zu generieren und was ist wenn man zfs nicht einsetzt und eine sagen wir einfache proxmox Installation hat?
was bringt mir zfs für Vorteile das wäre die Frage
z.b. auf dem doku link sieht man:
waeren die vorteile. bei einer "einfacher" installation brauchst du das vielleicht nicht unbedingt.
ein nachteil waere die RAM consumption, so z.b. wenn du wenig RAM auf der machine hast dann ist es vielleicht nicht vorteilhaft ZFS einzusetzen.
Was ich an ZFS am meisten zu schätzen weiß ist der Schutz vor schleichendem Dateiverfall (bit rot protection). Sagen wir du scheibst dir 1 Million Bilder bei dir auf die Disk. Dann wartest du 1 Jahr ohne eines der Bilder anzufassen. Würdest du erwarten das nach einem Jahr noch alle Bilder heil sind? Weil das ist normal nicht automatisch der Fall. Die meisten Dateisysteme kümmern sich nicht schleichenden Dateiverfall und die Dateien können dir unbemerkt über die Zeit verrotten und kaputt gehen. Es sind dann immer noch genau 1 Mio Bilder da, aber von diesen sind dann vielleicht 10 kaputt und das untere Drittel oder die untere Hälfte des Bildes sind dann einfach nur noch schwarz. Sowas fällt einem aber eben nicht sofort auf, da man sich nicht ständig seine Bilder anguckt. Daher der "schleichende" Dateiverfall. Fällt einem das erst nach Jahren auf, dann hat man wohl auch keine Backups mehr von den heilen Bildern, weil man unbemerkt über Jahre die kaputten Bilder in seine Backups geschrieben hat (und damit seine heilen Backups ersetzt hat).
Mit ZFS hat man das Problem nicht, da ZFS von Allem Prüfsummen erstellt und monatlich alles einmal durchgeht und prüft, ob die Daten immer noch exakt so sind, wie man sie damals gespeichert hat. Geht da dann heimlich eine Datei kaputt, dann fällt es spätestens nach einem Monat bei dem Test (Scrub Job) auf und ZFS wird einem melden, dass da was kaputt ist. Und hat man dann noch Paritätsdaten (Raid1/Raid10/Raid5/Raid6), dann hat man neben der kaputten Datei auch noch eine heile Kopie der Datei und ZFS wird automatisch die kaputte Datei reparieren, dass man wieder 2 heile Kopien der Dateien hat. Wenn einem die eigenen Daten wichtig sind, dann sollte man also ZFS oder ähnliche Dateisysteme in Kombination mit einem Raid mit Parität nutzen.
Ein anderes sehr nettes Feature ist Kompression auf Blockebene. Alles was du auf deine Disks schreibst wird standardmäßig komprimiert und nimmt so weniger Platz weg. Nochmehr Platz könnte man mit Deduplikation sparen, aber das frisst leider richtig RAM und wird daher selten verwendet.
Und dann kann ZFS noch Snapshots und Replikation. Damit kann man dann sehr einfach zu einem vorherigen Zustand der Daten zurückkehren oder seine Daten auf einen anderen Pool syncen, damit man ein Backup hat.
Was auch sehr nett kommt, wenn man HDDs benutzt, ist, dass man SSDs benutzen kann um die HDDs schneller zu machen (siehe "Special Device", "L2ARC" und "SLOG").
Und dann kann ZFS noch vieles anderes. Z.B. native Verschlüsselung, ...
Mit ZFS hat man das Problem nicht, da ZFS von Allem Prüfsummen erstellt und monatlich alles einmal durchgeht und prüft, ob die Daten immer noch exakt so sind, wie man sie damals gespeichert hat. Geht da dann heimlich eine Datei kaputt, dann fällt es spätestens nach einem Monat bei dem Test (Scrub Job) auf und ZFS wird einem melden, dass da was kaputt ist. Und hat man dann noch Paritätsdaten (Raid1/Raid10/Raid5/Raid6), dann hat man neben der kaputten Datei auch noch eine heile Kopie der Datei und ZFS wird automatisch die kaputte Datei reparieren, dass man wieder 2 heile Kopien der Dateien hat. Wenn einem die eigenen Daten wichtig sind, dann sollte man also ZFS oder ähnliche Dateisysteme in Kombination mit einem Raid mit Parität nutzen.
Ein anderes sehr nettes Feature ist Kompression auf Blockebene. Alles was du auf deine Disks schreibst wird standardmäßig komprimiert und nimmt so weniger Platz weg. Nochmehr Platz könnte man mit Deduplikation sparen, aber das frisst leider richtig RAM und wird daher selten verwendet.
Und dann kann ZFS noch Snapshots und Replikation. Damit kann man dann sehr einfach zu einem vorherigen Zustand der Daten zurückkehren oder seine Daten auf einen anderen Pool syncen, damit man ein Backup hat.
Was auch sehr nett kommt, wenn man HDDs benutzt, ist, dass man SSDs benutzen kann um die HDDs schneller zu machen (siehe "Special Device", "L2ARC" und "SLOG").
Und dann kann ZFS noch vieles anderes. Z.B. native Verschlüsselung, ...
Last edited:
16 GB RAM ist nicht so viel. 2GB braucht PVE und Faustformel für ZFS ist 2-4GB + 0.25-1GB RAM pro 1TB Rohkapazität der Disks. Und im Falle von aktivierter Deduplikation nochmal 5GB RAM pro 1TB an deduplizierten Daten. Sagen wir du willst zwei 20TB HDDs im raid1 mit Deduplikation nutzen, dann wären das schon 112-144GB RAM rein für ZFS.
2x 1TB SSDs ohne Deduplikation wären nur 2.5-6GB RAM für ZFS. Aber selbst dann hast du nur noch 8 GB für Gäste, weil ja PVE noch 2 GB will. Und du hast Virtualisierungsoverhead und willst noch etwas RAM für Caching haben (Writethrough z.B.), also kannst du vielleicht 6GB RAM an Gäste verteilen. Das reicht dann für 1x Win10 VM oder 3x Linux VM mit Desktop oder 12 mal Linux VM headless. Und das rein für das GastOS ohne irgendwelche zusatzlichen Anwendungen, was dann ja noch obendrauf kommt. Dann braucht das headless Linux vielleicht 0.5GB aber dann kommt noch eine Nextcloud-Installation mit 3.5GB oben drauf und man ist auch wieder bei 4GB fur die VM. So wirklich viel kannst du da jedenfalls nicht drauf laufen lassen, mit nur 16GB RAM, gerade wenn du ZFS nutzen willst.
Also beim Hypervisor sollte man echt beim Kauf nicht am RAM geizen.
2x 1TB SSDs ohne Deduplikation wären nur 2.5-6GB RAM für ZFS. Aber selbst dann hast du nur noch 8 GB für Gäste, weil ja PVE noch 2 GB will. Und du hast Virtualisierungsoverhead und willst noch etwas RAM für Caching haben (Writethrough z.B.), also kannst du vielleicht 6GB RAM an Gäste verteilen. Das reicht dann für 1x Win10 VM oder 3x Linux VM mit Desktop oder 12 mal Linux VM headless. Und das rein für das GastOS ohne irgendwelche zusatzlichen Anwendungen, was dann ja noch obendrauf kommt. Dann braucht das headless Linux vielleicht 0.5GB aber dann kommt noch eine Nextcloud-Installation mit 3.5GB oben drauf und man ist auch wieder bei 4GB fur die VM. So wirklich viel kannst du da jedenfalls nicht drauf laufen lassen, mit nur 16GB RAM, gerade wenn du ZFS nutzen willst.
Also beim Hypervisor sollte man echt beim Kauf nicht am RAM geizen.
Last edited:
Hi, auf sysops.tv gibts hunderte Videos zum Thema und Einsteigerkurse.
Auf cloudistboese.de gibts konkrete Live Kurse mit Erklärungen zu lange gehärteten Lösungen rund ums Thema Proxmox und ZFS.
Auf cloudistboese.de gibts konkrete Live Kurse mit Erklärungen zu lange gehärteten Lösungen rund ums Thema Proxmox und ZFS.
Was ich mal gelesen habe, und es hat sich bewarheitet (steht auch weiter Oben alles).
- Du sparst Dir den Raidcontroller (Preis).
- Musst jedoch mit RAM ausgleichen.
- Und dazu die gesamten Vorteile die Oben beschrieben sind.
- Also bei 32GB RAM... kommt dann darauf an welche Größe das ZFS hat und welche Ansprüche Deine VMs haben.
- Was hat Oma beim Kochen immer gesagt: Viel Fett hilft auch viel. + Haben ist besser als brauchen.
Ja, geht aber auch mit deutlich weniger. Ich habe hier auch Server, die haben 32TB Rohkapazität aber der ganze Server hat nur 16GB RAM, wovon dann bestimmt noch gute 6GB für Services und OS draufgehen. Und in manchen PVE Servern habe ich den ARC sogar auf 2-4GB gedrosselt, da ist die Rohkapazität dann aber auch unter 1TB und das Monitoring meckert ständig, dass der Dnode Cache voll ist.
Bessere Faustformel wäre meiner Meinung nach etwas wie 2-4GB + 0,25-1 GB RAM je 1TB Rohkapazität + 5GB RAM je 1TB deduplizierter Daten.
Aber ja. Mit RAM geizen sollte man bei ZFS nicht. Mehr ist da immer besser, sofern es das Budget hergibt.
Bessere Faustformel wäre meiner Meinung nach etwas wie 2-4GB + 0,25-1 GB RAM je 1TB Rohkapazität + 5GB RAM je 1TB deduplizierter Daten.
Aber ja. Mit RAM geizen sollte man bei ZFS nicht. Mehr ist da immer besser, sofern es das Budget hergibt.