Kopier Abbruch/Einbruch bei ZFS mit 2 SSD und Truenas

[Huppsy]

Hallo Freunde. Ich bin kein Profi und bin leider auch noch nicht im Netz fündig geworden daher habe ich mich entschlossen mich in diesem Forum zu registrieren.
Ich tüftle schon seit einiger Zeit mit Proxmox rum. Möchte so eine eierlegende Wollmilchsau basteln auf der Pihole läuft und ein kleines NAS(ohne Datensicherheit).
Folgendes Problem kurz erklärt.
Hardware ist ein einfacher I3 Rechner mit 32GB RAM und einer 256GB M.2 SSD für das OS.
Dann habe ich an den beiden internen Controller 2 SSD angeschlossen mit 1TB und 2 TB Speicher.
Als VM habe ich Truenas installiert und Proxmox ist die aktuellste Version.
Wenn ich jetzt unter Proxmox einen ZFS Pool Raidz erstelle aus den beiden SSD`s damit der Speicher als gesamtes Laufwerk mit knapp 3 TB genutzt werden kann dann funktioniert das auch. Wenn ich dann unter Truenas eine Freigabe erstelle auf diesem Pool und auf diese dann große Daten kopiere dann bricht nach ca 8 GB Datentransfer die Übertragung von Konstant 113mb/s ein auf 0 und tümpelt dann mit ein paar kb/s dahin und hängt sich auch teilweise auf.
Wenn ich keinen ZFS Pool erstelle und das ganze mit einer einzelnen SSD ausprobiere dann läuft der Kopiervorgang kontinuierlich bis zum Schluss durch.
Es muss also mit dem ZFS Pool zusammen hängen. Ich brauch auch keien ZFS Pool wenn ich anderweitig die beiden SSD als ein gesamtes Laufwerk nutzen könnte.

Ich benötige keine Sicherheit der Daten, ich wollte auch nicht zu viel schreiben und ich bin auch kein Profi sondern lediglich Nutzer der gerne rumspielt.
Vielleicht hat jemand eine Idee was ich noch ausprobieren könnte.
Vielen Dank und bitte steinigt mich nicht für meine Frage

 

[Falk R.]

Hi,

ein RaidZ ist quasi ein Raid5 und eigentlich brauchst du dafür mindestens 3 Disks.
Ein RaidZ ist daher eh nicht schnell und funktioniert anscheinend auch nicht richtig wenn du nicht genügend Disks hast.
Du solltest einfach einen Pool mit Single DIsk anlegen. Wenn du dann per zpool add weitere Disks in den Pool steckst, wird ein Span gebaut. Damit hast du keine Redundanz und die Performance einer Single DIsk.

 

[news]

Hallo Huppsy,

nun ZFS ist auf Datenintegrietät ausgelegt.
Es gibt einige Vorträge zu Oracle und ZFS im Netz, die sollte man sich anhören.

Ein performate kleines HDDs, SSDs und/oder NVME Setup kann wie folgt aussehen:
MyPool:
*RaidZ1-0* (minimum, besser RaidZ2-Z3)
hdd1.1 - hdd1.2 - hdd1.3
*RaidZ1-1* (minimum, besser RaidZ2-Z3)
hdd2.1 - hdd2.2 - hdd2.3

*Special Device*
*mirror* (minimum, besser RaidZ1-Z3)
ssd1.1 - ssd1.2 oder mit nvme1.1 - nvme1.2 (könnten auch Partitionen sein)

*Schreibcache – ZIL / LOG*
*LOG*
*mirror* (minimum, besser RaidZ1-Z3)
nvme2.1 - nvme2.2 (könnten auch Partitionen sein)

Ohne *ZIL / LOG* erreiche ich mit obiger Konfiguration eine Auslastung einer 2.5 GBit/s Ethernet Schnittstelle.
Der Schreibcache – ZIL / LOG über mindestens 2x NVME sorgt auch für eine sehr schnelles Schreiben auf den Pool, so dass die HDDs anschließend im Hintergrund beschrieben werden können.

Der Aufwand richtet sich immer nach den Zielen, Kosten, Platz, Geschwindigkeit oder Ausfallwahrscheinlichkeit!

Wie auch immer, das ist für mein Budget die optimale Konfiguration. Hätte ich noch Platz und Geld.
Würde der HDD Pool als RaidZ2 laufen lassen.

 

[Huppsy]

Hallo Danke für die schnelle Antwort.
Also ich habe eine SSD als ZFS Einzeldisk hinzugefügt.
Ergebnis: Gleiches Problem die Kopiergeschwindigkeit bricht nach ein paar Sekunden ein und geht auf 0
Dann hae ich nochmals die gleiche SSD (2TB) als Einzeldisk ZFS erstellt und mit zfs add die 2 SSD (1TB) hinzugefügt.
Der ZFS Pool war dann knap 3 TB groß.
Ergebnis: Gleiches Problem
Wenn ich eine der beiden SSD als Verzeichnis mit ext4 erstelle und dann in Truenas hinzufüge als Laufwerk dann kopiert er ohne jegliche Einbußen komplett fertig.
Es muss irgendwie an dem ZFS liegen.
Wie schon erwähnt ich brauche für dieses Projekt keine Redundanz
Beim erstellen des FZS Pool habe ich die Kompression auf ON gelassen und einmal auf LZ4 ohne Erfolg
Bei ashift habe ich den Wert 12 belassen

 

[news]

Also ein Stripe. Sorry, Du weist einfach nicht die Vorteile von ZFS zu schätzen. Klar braucht das mehr Verwaltungsaufwand. Aber für die Sicherheit der Daten ist mir das Wert.

Welche SSD Flash-Speichertype wird eingesetzt?
Sind das Server, Enterprise SSDs mit SDRam Chache?

Wenn ich lesen "für dieses Projekt keine Redundanz", dann sollte man sich die Datenspeicherung ganz ersparen!

Wenn schon dann mit MDAdmin mindesten ein Raid1 - Mirror anlegen und mit Ext4 formatieren.

Aber die billigen QLC SSD ohne SDRam Chache werden nie gut funktionieren!

 

[Huppsy]

Also ein Stripe. Sorry, Du weist einfach nicht die Vorteile von ZFS zu schätzen. Klar braucht das mehr Verwaltungsaufwand. Aber für die Sicherheit der Daten ist mir das Wert.

Welche SSD Flash-Speichertype wird eingesetzt?
Sind das Server, Enterprise SSDs mit SDRam Chache?

Wenn ich lesen "für dieses Projekt keine Redundanz", dann sollte man sich die Datenspeicherung ganz ersparen!

Wenn schon dann mit MDAdmin mindesten ein Raid1 - Mirror anlegen und mit Ext4 formatieren.

Aber die billigen QLC SSD ohne SDRam Chache werden nie gut funktionieren!

Sorry aber nochmal. Ich benötige keine Datensicherheit. Ist das strafbar?
Stink normale billige SSD werden verwendet. Ist das strafbar?
Ich bin kein Unternehmen sondern einfach nur eine privat Person die mit Proxmox rumspielt und sich amüsiert. Ist das strafbar?

Ich möchte ein einfaches simples NAS erstellen auf das ich Daten übers Netzwerk kopiere und mir ist das wurscht egal ob die verloren gehen und dazu möchte ich aus 2 vorhandenen stink normalen billigen SSD`s ein Gesamtlaufwerk von 3 TB erstellen und nicht 2 getrennte von 1TB und 2TB.

Das ist mein Ziel und sonst nichts. Ich baue mir kein Rechenzentrum

 

[tom]

Natürlich kann jeder sein NAS bauen wie er will, und dann halt auch mit den Konsequenzen leben.

ZFS funktioniert mit "normalen billigen SSDs" nicht wirklich. Am besten die genauen Specs schicken, unter "normal" versteht jeder was anderes.

 

[Ernst T.]

ZFS benötigt aufgrund seiner vielen Features nunmal viel mehr Ressourcen, und SSD/NVMEs die ein konstantes schreiben/lesen ermöglichen (Cache).

Und das können Consumer Geräte eben nicht. EXT4 funktioniert besser weil es da zb kein "copy-on-write" gibt.

Würde empfehlen: verkauf die 1 und die 2TB Pladde, hole dir dafür eine 4TB und verwende sie mit ext4 oder xfs!

 

[news]

Ok Huppsy, da sehen wir das unterschiedlich, ist ja kein Problem. Viel Erfolg mit ZFS.

 

[Falk R.]

Du kannst es ja einmal mit BTRFS versuchen, auch da kannst du einen Span bauen mit der Option „single“.
Da BTRFS ebenfalls COW Dateisystem ist, könnte auch da der Einbruch kommen, habe ich aber bisher noch nicht getestet.

 

[Huppsy]

Hallo Leute
Es ist schwierig in einem Forum immer alles genau zu schreiben mit wenig Wörtern und dann auch noch alles so rüber zu bringen wie man es meint.
Ich habe es tatsächlich Gestern geschafft das Problem zu lösen obwohl ich jetzt schon Wochen lang danach suche.
Ich hatte ja geschrieben das ich die beiden SSD unter Proxmox als Stripe oder Span zusammengefügt habe. Diese waren ja dann schon mit ZFS formatiert wenn ich das richtig deute.
Dann habe ich der VM Truenas dieses Stripe als Laufwerk hinzugefügt. Unter Truenas musste ich dann wieder ein LW erstellen aus diesem Pool.
Jetzt kam mir Gestern die Idee das ich ja doppelt gemoppelt habe und 2 ZFS Systeme am Laufen habe was ja bekanntlich viele Ressourcen verbraucht.
Mit Google habe ich dann gefunden wie man die einzelnen unpartitionierten Disks einfach an die VM durchreicht.

Das habe ich heute gemacht dann unter Truenas ein Stripe LW erstellt, hab jetzt meine knapp 3 TB und siehe da der Kopiervorgang läuft ohne jegliche Einbußen komplett durch.
Das wars scheinbar.
Vielen Dank euch trotzdem und ich denke das ich die ein oder andere Frage noch im Forum stellen werde.

 

[news]

Sei doch bitte so nett, deine Lösung genauer zu beschreiben. Danke.

 

[Huppsy]

Was genau soll ich genauer beschreiben?

 

[news]

Ich hatte das so verstanden Proxmox nutzt die SSD und wie hast Du diese dann "durch gereicht"?

 

[Falk R.]

Sei doch bitte so nett, deine Lösung genauer zu beschreiben. Danke.

Er hatte einen ZFS Pool im PVE erstellt und da eine virtuelle Disk für die TrueNAS VM.
In der VM hat er wiederum einen ZFS pool erstellt. Durch Unwissenheit was genau im Storagestack passiert hatte er vermutlich dadurch auch noch ein Missalignment der Daten zwischen den beiden ZFS Pools. Fazit, somit einen maximalen Overhead geschaffen, der die günstigen SSDs lahmlegt.

Wenn man eh ein System wie TrueNAS einsetzt, empfiehlt es sich immer, die Disks einfach durchzureichen.

 

[Huppsy]

Er hatte einen ZFS Pool im PVE erstellt und da eine virtuelle Disk für die TrueNAS VM.
In der VM hat er wiederum einen ZFS pool erstellt. Durch Unwissenheit was genau im Storagestack passiert hatte er vermutlich dadurch auch noch ein Missalignment der Daten zwischen den beiden ZFS Pools. Fazit, somit einen maximalen Overhead geschaffen, der die günstigen SSDs lahmlegt.

Wenn man eh ein System wie TrueNAS einsetzt, empfiehlt es sich immer, die Disks einfach durchzureichen.

So kann man es genau berschreiben!

 

[Dunuin]

Fürs nächste mal halt wirklich gleich eine einzelne größere TLC Consumer SSD holen und dann per Disk Passthrough in eine OpenMediaVault VM durchreichen, wenn man keinerlei Wert auf seine Daten legt. Ist nicht nur deutlich schneller, die SSD wird auch ein vielfaches so lange halten bevor sie wegstirbt und dann alle Daten weg sind.

 

[Huppsy]

Fürs nächste mal halt wirklich gleich eine einzelne größere TLC Consumer SSD holen und dann per Disk Passthrough in eine OpenMediaVault VM durchreichen, wenn man keinerlei Wert auf seine Daten legt. Ist nicht nur deutlich schneller, die SSD wird auch ein vielfaches so lange halten bevor sie wegstirbt und dann alle Daten weg sind.

Hallo, das war nicht meine Frage bei meinem Problem. Ich betreibe kein Rechenzentrum, ich habe keine hochwertige …Sammlung an Daten die wichtig sind, ich kaufe mir nicht für 200€ und mehr eine hochwertige SSD wenn ich zwei kostenlose SSD rumliegen habe. Ich kaufe mir auch keine extra Hardware wenn ich eine bestehende zu Hause habe. Ich installiere auch nicht OMV wenn ich Truenas lieber betreibe. Ich brauche auch keine extrem schnelle Datenübertragung wenn mir eine Gigabit Leitung reicht usw.
Mein Problem bestand ganz alleine auf einen selbst verursachten Fehler den ich letztendlich dann doch wiederum selbst gelöst habe.

 

[Dunuin]

Hallo, das war nicht meine Frage bei meinem Problem. Ich betreibe kein Rechenzentrum, ich habe keine hochwertige …Sammlung an Daten die wichtig sind, ich kaufe mir nicht für 200€ und mehr eine hochwertige SSD wenn ich zwei kostenlose SSD rumliegen habe. Ich kaufe mir auch keine extra Hardware wenn ich eine bestehende zu Hause habe. Ich installiere auch nicht OMV wenn ich Truenas lieber betreibe.

Ja, nur das TrueNAS eben ZFS nutzt, was nicht gut mit billigen Consumer SSDs klar kommt. Spricht ja nichts dagegen das an Hardware zu verwenden was man hat, dann muss man aber eben auch Einstriche bei der Software machen. TrueNAS mit seinem ZFS ist halt ein Enterprise Produkt für Enterprise Hardware. Will man da keine Enterprise Hardware nutzen, ist man halt besser bedient wenn man Software wie OMV nutzt, welche für Consumer und Consumer Hardware auslelegt ist.
Du kannst ja machen was du willst. Wenn du TrueNAS mit billigen SSDs und ohne ECC RAM nutzen willst kannst du das ja machen. Ist aber wie gesagt sehr suboptimal.
Wenn ich nur einen alten Fiesta habe und was transportieren will, dann muss ich mir nicht gleich einen neuen Sattelschlepper kaufen. Man sollte dann aber halt auch besser einen kleinen Anhänger nutzen und nicht versuchen einen 9-Tonnen-Auflieger an den Fiesta zu hängen und sich dann wundern, warum man nicht mehr als 10km/h schafft und warum der Motor nach kurzer Zeit wegstirbt. Weil jetzt ziehst du halt mit dem Fiesta den Auflieger.

Ich brauche auch keine extrem schnelle Datenübertragung wenn mir eine Gigabit Leitung reicht usw.
Mein Problem bestand ganz alleine auf einen selbst verursachten Fehler den ich letztendlich dann doch wiederum selbst gelöst habe.

Dann behalte aber besser die SSD Abnutzung im Auge. Weil da geht es nicht nur um Geschwindigkeit. Consumer SSDs haben eine höllische Abnutzung bei bestimmten Workloads wie Sync Writes und QLC SSDs sterben noch 3 mal schneller weg wie TLC SSDs. ZFS hat massiven Overhead und man muss sich nicht wundern, wenn da die SSD mit 180TB TBW Haltbarkeit wegen Write Amplification schon nach 6TB an Schreibvorgängen wegstirbt. Je nach Workload kann da die SSD ein paar Jahre halten oder auch schon in wenigen Monaten bis zum Ausfall abgenutzt sein.

 

[Huppsy]

Ja, nur das TrueNAS eben ZFS nutzt, was nicht gut mit billigen Consumer SSDs klar kommt. Spricht ja nichts dagegen das an Hardware zu verwenden was man hat, dann muss man aber eben auch Einstriche bei der Software machen. TrueNAS mit seinem ZFS ist halt ein Enterprise Produkt für Enterprise Hardware. Will man da keine Enterprise Hardware nutzen, ist man halt besser bedient wenn man Software wie OMV nutzt, welche für Consumer und Consumer Hardware auslelegt ist.
Du kannst ja machen was du willst. Wenn du TrueNAS mit billigen SSDs und ohne ECC RAM nutzen willst kannst du das ja machen. Ist aber wie gesagt sehr suboptimal.
Wenn ich nur einen alten Fiesta habe und was transportieren will, dann muss ich mir nicht gleich einen neuen Sattelschlepper kaufen. Man sollte dann aber halt auch besser einen kleinen Anhänger nutzen und nicht versuchen einen 9-Tonnen-Auflieger an den Fiesta zu hängen und sich dann wundern, warum man nicht mehr als 10km/h schafft und warum der Motor nach kurzer Zeit wegstirbt. Weil jetzt ziehst du halt mit dem Fiesta den Auflieger.


Dann behalte aber besser die SSD Abnutzung im Auge. Weil da geht es nicht nur um Geschwindigkeit. Consumer SSDs haben eine höllische Abnutzung bei bestimmten Workloads wie Sync Writes und QLC SSDs sterben noch 3 mal schneller weg wie TLC SSDs. ZFS hat massiven Overhead und man muss sich nicht wundern, wenn da die SSD mit 180TB TBW Haltbarkeit wegen Write Amplification schon nach 6TB an Schreibvorgängen wegstirbt. Je nach Workload kann da die SSD ein paar Jahre halten oder auch schon in wenigen Monaten bis zum Ausfall abgenutzt sein.

Sehr gut der Vergleich! Der würde jetzt passen wenn ich folgendes Thema erstellt hätte.
ich möchte aus billigen Mitteln ein professionelles Proxmox System erstellen das mir 100%ige Ausfallsicherheit bietet und absolut schnell ist.
dann währe der Vergleich mit deinem Fiesta angemessen.
ich wollte aber keine 9 Tonnen mit meinem Fiesta ziehen.
aber jetzt haben wir alles verstanden und alles ist gut