VM Raw Disk, kein Backup oder Konvertierung auf QEMU möglich

[sb-jw]

Ich habe noch nie eine Platte gesehen, deren normierte Werte "andersherum" arbeiteten. Obwohl https://de.wikipedia.org/wiki/Self-Monitoring,_Analysis_and_Reporting_Technology das anscheinend für möglich hält.

Enterprise SSDs tun das in der Regel. Die Samsung SM863 / PM883 (vermutlich auch die PM893) hat dafür die ID 177 "Wear_Leveling_Count", welcher hoch zählt.

"202 Percent_Lifetime_Ramin: Raw Value=3 Normalized=97" würde ich immer als "noch 97% verfügbar" lesen.

Ja, theoretisch könntest du da auch Recht haben, da die MX500 mit 1TB auch 360 TBW hat und erst ungefähr 4,66 TBW geschrieben sind (lt. LBA Written). Die Aussage von Crucial ist auch nicht eindeutig auf welchen Wert die sich beziehen, also auf "value" oder nicht. Auch revidieren die weiter unten Ihre Aussage auch wieder, weil manche Modell es auch anders nutzen. Ich habe insgesamt aber noch weitere FW Bugs bei Crucial im Netz gefunden, scheinbar kann es auch sein, dass sich der Counter überschlägt wenn er 0 erreicht hat und wieder von vorne zählt.

Die Platte scheint aber auf jeden Fall nen knacks zu haben.

Ich persönlich vertraue bei SSDs derzeit am meisten auf Samsung (SM863a, PM863, PM883, SM883), ansonsten habe ich auch noch ein paar wenige Seagate Nytro in Verwendung.

 

[Buddinski88]

Ich danke euch vielmals für eure weiteren Recherchen und Informationen. Auch wenn ich das mit der Berechnung nicht ganz verstehe

Da noch Garantie vorhanden ist, habe ich dazu mal den Shop angeschrieben.

"Blöderweise" habe ich im Eifer des Gefechts gleich wieder die selbe Platte gekauft. Ehrlicherweise habe ich - mit der Defekten - sechs dieser Platten im Einsatz und bisher noch keine Probleme gehabt.

Werde mir die anderen vorgeschlagenen Festplatten auch anschauen und vermutlich eine von diesen Modellen einbauen.

 

[Falk R.]

Diese SSD und ZFS ist eh keine gute Idee.
Bei den günstigen SSDs, bitte lieber etwas anderes benutzen als ZFS

 

[Buddinski88]

Diese SSD und ZFS ist eh keine gute Idee.
Bei den günstigen SSDs, bitte lieber etwas anderes benutzen als ZFS

Ok, die Frage ist dann nur wie ich das mit der Replication löse? Dazu ist laut der Dokumentation ja ZFS die notwendige Voraussetzung?

 

[Falk R.]

Ok, die Frage ist dann nur wie ich das mit der Replication löse? Dazu ist laut der Dokumentation ja ZFS die notwendige Voraussetzung?

Entweder „vernünftige“ SSDs mit ZFS oder man denkt sich etwas anderes aus. Ich nutze für mich lieber Ceph und habe auch Leute mit nem GlusterFS im Unterbau gesehen. Es gibt sooo viele Alternativen, da muss man klar definieren was das eigentliche Ziel ist. Viele haben Produkte oder Mechanismen im Kopf und versuchen das unbedingt umzusetzen. Am besten noch einmal wertfrei die Ziele definieren ( egal ob Replikation oder sowas ) und dann mal gucken welche Ideen die Leute im Forum oder woanders im Netz haben.

 

[sb-jw]

Auch wenn ich das mit der Berechnung nicht ganz verstehe

Relativ simple ^^

Die ID 246 "Total_LBAs_Written", die steht bei dir auf 10003388806, diesen Wert kannst du hier im Rechner (https://www.virten.net/2016/12/ssd-total-bytes-written-calculator/) einfach bei "Total LBAs Written" einfügen. Die restlichen Wert passen in der Regel. Das gibt dir die Auskunft, dass diese SSD bereits 4,66 TB geschrieben hat.

Du hast die "CT1000MX500SSD1", wenn du diese auf idealo eingibst und oben dann auf "Produktdetails" klickst kommst du zu einer Übersicht wo dann so was wie "max. Schreibvolumen (TBW) 360 TB" siehst. Damit weißt du, dass Crucial dir eine Garantie für 5 Jahre ODER erreichen des TBW gibt. Du weißt also nun, dass du 4,66 TB von 360 TB geschrieben hast. Wenn du nun 4,66 * 360 rechnest kommst du auf 0,01294 %, also 1,294 % genutzt. Theoretisch liegt das ungefähr auf der Hälfte von dem Wert von 3 % was die SSDs selbst sagt.

Grundsätzlich haben alle Flash Speicher eine erwartbare Lebensdauer. Es kommt dabei weniger auf die Laufzeit an sondern mehr auf die TBW, denn das ist die Abnutzung der Flash Zellen. Es heißt aber nicht, dass die dann direkt kaputt geht, meist sind noch mal 20 - 50 % mehr drin, aber die Wahrscheinlichkeit, dass die kaputt geht ist halt damit erhöht.

Werde mir die anderen vorgeschlagenen Festplatten auch anschauen und vermutlich eine von diesen Modellen einbauen.

Die PM883 960 GB bekommst du für um die 73 EUR derzeit als Neuware. Die hat auch 1366 TBW, also mal eben 1 PB mehr als deine Crucial für ungefähr nen 10er mehr. Vorallem hält die auch die Last deutlich besser und länger, hat geringere Latenzen etc.

 

[Buddinski88]

Mal noch eine andere Frage hinsichtlich ZFS und SSDs. Ich bin bei Reddit auf diesen Beitrag gestoßen. Macht es Sinn diese Parameter zu nutzen?

Quelle:

• remember to enable autotrim option on the pool
• use large ashift, at least 12. It will reduce write amplification
• use large recordsize on the filesystem, preferably something between 128K and 1M. It will also reduce write amplification
• remember to disable atime on the filesystems, so your file reads do not result in metadata writes

 

[ITT]

Hier im Forum gibts zu Hauf Meldungen bezüglich der Crucial MX500.
Wenn man sich die Mühe macht, VOR dem Kauf von Datenträger sich hier etwas zu informieren,
würde man schnell zu folgenden Tips kommen:

Verwende ausschliesslich Enterprise-SSD´s

Wie man auf die Idee kommt, in einen Server Low-Cost-SSD´s zu verbauen, werde ich nie verstehen.

Das wäre wie auf einen schweren Lastwagen aus Kostengründen Reifen eines Kleinwagen zu montieren und sich dann wundern, warum das nicht funktioniert

Einfach mal in der Suchfunktion Crucial MX500 eingeben und schon wäre man schlauer.

 

[Falk R.]

Mal noch eine andere Frage hinsichtlich ZFS und SSDs. Ich bin bei Reddit auf diesen Beitrag gestoßen. Macht es Sinn diese Parameter zu nutzen?

Quelle:

Das einzige was du beachten solltest: wenn die Recordsize so groß ist und du Workload mit kleinen IOs hast, steigt die Write Amplification, vor allem bei RaidZ wird das extrem.

 

[sb-jw]

Den folgenden Artikel habe ich nur überflogen und nicht vollständig gelesen, bin aber der Auffassung, dass dir der Artikel bzgl der Stripe Size grundlegende Infos geben kann, welche dir helfen das Thema selbst bewerten zu können.

https://ioflood.com/blog/optimal-raid-stripe-size-and-filesystem-readahead-for-raid-10/

 

[Buddinski88]

Hier im Forum gibts zu Hauf Meldungen bezüglich der Crucial MX500.
Wenn man sich die Mühe macht, VOR dem Kauf von Datenträger sich hier etwas zu informieren,
würde man schnell zu folgenden Tips kommen:

Verwende ausschliesslich Enterprise-SSD´s

Wie man auf die Idee kommt, in einen Server Low-Cost-SSD´s zu verbauen, werde ich nie verstehen.

Das wäre wie auf einen schweren Lastwagen aus Kostengründen Reifen eines Kleinwagen zu montieren und sich dann wundern, warum das nicht funktioniert

Einfach mal in der Suchfunktion Crucial MX500 eingeben und schon wäre man schlauer.

Das ist eine völlig legitime Bemerkung, die ich nachvollziehen kann. Vielen Dank dafür.

Vielleicht sollte ich hinzufügen, dass ich mich mit diesen Themen täglich weiterentwickle und letztendlich alles eine Frage des Geldes oder besser gesagt der Zeit ist. Die Familie sollte unter meinen "Interessen" nicht leiden, sondern im Idealfall davon profitieren. Deshalb verfüge ich vielleicht nicht über das gleiche Maß an Fachkenntnissen wie in meinem Beruf. Obwohl ich in der IT tätig bin, habe ich nichts mit Servern, Hardware und ähnlichem zu tun.

In diesem Sinne würde ich sagen, dass man aus seinen Fehlern lernt, und bisher hatte ich keine Probleme mit der MX500.

Ein paar Worte zu meinen Überlegungen im Hintergrund:

Die Leistung der NUCs reicht für meine selbst gehosteten Dienste und Automatisierung vollkommen aus. Mein Ziel war es, eine hochverfügbare Lösung zu haben, die beispielsweise Home Assistant automatisch wieder verfügbar macht. Daher die drei Platten im ZFS zur Replikation. ZFS ist für die "einfache" Replikation in Proxmox zwingend notwendig. Es dient also nicht wirklich der Datensicherung. Dafür ist TrueNAS mit Backups der VMs und Volumes der Docker-Container zuständig. Dann kommen noch die Funktionen, die TrueNAS selbst anbietet, wie Snapshots, etc. Ein Offsite-Backup für die wirklich wichtigen Daten ist in Planung.

Den folgenden Artikel habe ich nur überflogen und nicht vollständig gelesen, bin aber der Auffassung, dass dir der Artikel bzgl der Stripe Size grundlegende Infos geben kann, welche dir helfen das Thema selbst bewerten zu können.

https://ioflood.com/blog/optimal-raid-stripe-size-and-filesystem-readahead-for-raid-10/

Danke, den Artikel werde ich mir mal genauer anschauen.

 

[Falk R.]

Den folgenden Artikel habe ich nur überflogen und nicht vollständig gelesen, bin aber der Auffassung, dass dir der Artikel bzgl der Stripe Size grundlegende Infos geben kann, welche dir helfen das Thema selbst bewerten zu können.

https://ioflood.com/blog/optimal-raid-stripe-size-and-filesystem-readahead-for-raid-10/

Der Artikel ist gut, hilft aber nur bedingt bei ZFS. Wer ZFS kennt, kann die passenden parallelen ziehen, aber derjenige hat das Thema ZFS eh schon verstanden.
Ich hatte mal ein Video von Sysopstv gesehen, zum Thema Recordsize & co. Das hilft auch ganz viel beim verstehen.

 

[Buddinski88]

Mal ein anderer Ansatz, zumindest so lange ich noch keine Enterprise SSDs habe.

Warum habe ich die Volumes auf den SSDs mittels ZFS abgelegt? Ich wollte im Falle, dass einer der Nodes ausfällt, einer der anderen automatisch übernimmt.

Jetzt mein Gedanke/Frage:

Es geht ja - aktuell - um ein paar kleinere VMs und deren Volumes.
Ich habe TrueNas mit 3 x 14TB Seagate Exos X16 (RAIDZ1) im Einsatz.
Es spricht doch nichts dagegen darüber, ein NFS share für die volumes bereitzustellen?

Dann wäre die Replication auch möglich.

 

[sb-jw]

Ich habe TrueNas mit 3 x 14TB Seagate Exos X16 (RAIDZ1) im Einsatz.
Es spricht doch nichts dagegen darüber, ein NFS share für die volumes bereitzustellen?

Wenn es keine VM auf deinem Cluster ist (Henne / Ei und so) und du mit einem SPOF leben kannst, ist das ein möglicher Weg. Du musst aber auch bedenken, dass deine Netzwerkanbindung dann ein Bottleneck ist, es hängt dann auch von der I/O Last dieser VMs auf, die auf dem Storage laufen sollen.

Bei der ZFS Replikation verlierst vielleicht 5 Minuten, je nach Einstellung, beim Verlust des TrueNAS System verlierst du aber alles und das unwiderruflich.

 

[Buddinski88]

Wenn es keine VM auf deinem Cluster ist (Henne / Ei und so) und du mit einem SPOF leben kannst, ist das ein möglicher Weg. Du musst aber auch bedenken, dass deine Netzwerkanbindung dann ein Bottleneck ist, es hängt dann auch von der I/O Last dieser VMs auf, die auf dem Storage laufen sollen.

Bei der ZFS Replikation verlierst vielleicht 5 Minuten, je nach Einstellung, beim Verlust des TrueNAS System verlierst du aber alles und das unwiderruflich.

Oh man das ist einfach keine leichte Entscheidung.

Ich weigere mich nicht mehr Geld für "gescheite" SDDs (danke noch mal für deinen Input) auszugeben, aber ich suche nach einer halbwegs sicheren Lösung bis ich diese dann eben habe.

 

[Falk R.]

Wenn dein TrueNas vernünftige Hardware hat, kann man das machen, aber gerade dann immer schön Backups machen auf ein anderes Gerät.

 

[Buddinski88]

Wenn dein TrueNas vernünftige Hardware hat, kann man das machen, aber gerade dann immer schön Backups machen auf ein anderes Gerät.

Vernünftig ist vermutlich immer relativ betrachtet.

System: TrueNAS Scale 22.12.3.3
Motherboard: Changwang - Model CW-N6005-NAS
CPU: N6005 (4 cores, 3.3 GHz boost)
RAM: Corsair Crucial DDR4 64GB
PSU: Corsair RMX550x (Model 2021)
Case: Fractal Node 304 with custom front cover
Boot: 2x Crucial P3 1TB M.2
Storage: 3x Seagate Exos X16 14TB (Raid-Z1)

Sicherung auf einem anderen Gerät ist in dem Fall ein Cloudbackup, aber da bin ich auch noch nicht sicher welcher Anbieter Preis/Leistung der passende ist.

 

[sb-jw]

Also ich würde mit der Hardware im RZ nichts hosten, aber für zu Hause ist das aus meiner Sicht schon in Ordnung. Wenn du dazu ein angemessenes Backup hast ist doch alles cool. Jede Lösung hat Vor- und Nachteile, wenn du die ultimative sichere Lösung willst, wirst du auch ordentlich bezahlen müssen. Du musst für dich entscheiden was in Ordnung ist und was nicht.

Sicherung auf einem anderen Gerät ist in dem Fall ein Cloudbackup, aber da bin ich auch noch nicht sicher welcher Anbieter Preis/Leistung der passende ist.

Hetzner StorageBox.

 

[Falk R.]

Die StorageBox finde ich nicht so doll für Proxmox Backups. Ich habe für einen Kunden einen PBS auf nem Server bei Hetzner laufen. Das funktioniert wirklich gut, aber kostet natürlich auch gleich mehr.

 

[sb-jw]

Die StorageBox finde ich nicht so doll für Proxmox Backups.

Hatte jetzt nicht gelesen, dass es an PBS angebunden werden soll. Aber selbst wenn, bei einer 100Mbit DSL Leitung hast du ja eh nur 40 Mbit up, weshalb die Performance da auch gar kein Thema ist.
Ich gebe dir aber grundsätzlich recht, denn ich nutze die auch zum sichern unserer zentralen VM direkt aus Plesk heraus. Das funktioniert zu 95 % ohne Eingriff, aber manchmal muss ich das Backup neu triggern weil es nicht abgeschlossen werden konnte. Zu hause habe ich die auch eingebunden und sichere Daten von meiner NAS dorthin, da hatte ich bisher keine Probleme mit gehabt.

Aber 3,81 EUR für 1 TB Speicher ist dennoch unschlagbar billig, insofern kann man auch mit den paar Downsides leben finde ich.