[SOLVED] SSD gestorben - ZFS Einstellungen falsch?

S

SabineFranke

Member
Jul 15, 2019
3
0
21
26
Hallo liebe Forumsgemeinde,

ich "spiele" mit Proxmox nun seit Juni mit dem 8.x Release. Bin absolut begeistert, habe aber anscheinend bei der Einrichtung einen Fehler gemacht...

Ich nutze einen HM90 von minisforum als Hostsystem. Auf der internen NVMe habe ich das System installiert, 2 weitere Samsung EVO 870 QVO 1TB Platten dienen als Datastore (ZFS Raid 1).

Es laufen 3 Debian VMs - ein ioBroker für die Steuerung von Licht, Heizung usw, ein Dokumentenmanagement und wireguard.
Alles in allem (meiner Meinung nach) nicht wirklich viel - vor allem, da ich die alleinige Nutzerin bin.

Nach nur gut 2 Monaten bekam ich soeben folgende Meldung:
The number of checksum errors associated with a ZFS device exceeded acceptable levels. ZFS has marked the device as degraded

Ja, ich weiß, es sind consumer SSDs, aber nach nur 2 Monaten... das scheint mir ein arg kurzer Zeitraum, oder?!

Hätte ich bei der Installation das zfs noch in irgendeiner Weise weiter konfigurieren müssen? Oder habe ich einfach ggf nur eine Montags- Platte erwischt?

Danke für euren Input.

Beste Grüße
Bine
 
Das sind nicht nur Consumer SSDs, es sind QLC consumer SSDs, also so ziemlich das schlechteste was geht an SSDs. Sollte man eigentlich nicht im Server nutzen, erst recht nicht mit ZFS. Da hätte man lieber die 5€ drauflegen und dafür eine 1TB Evo mit TLC NAND holen sollen die ein mehrfaches so schnell ist und ein mehrfaches so lange hält. Oder für nochmal 18 Euro mehr dann gleich eine richtige 1TB Enterprise SSD von Samsungs aus der SM oder PM Serie mit PLP (z.B. die PM883 960GB für 77€), wie es dir jede Dokumentation empfiehlt, wenn man ZFS nutzen will.

Was sagt denn zpool status?
Und hast du mal ein Scrub laufen lassen mit zpool scrub DeinPoolName?
Mit smartctl -a /dev/DeineDisk solltest du auch mal die Abnutzung der Disk angucken.
Und ggf mal mit smartctl -t long /dev/DeineDisk einen langen Selbstest starten.
Samsung hat auch in letzer Zeit nicht gerade mit toller Firmware geglänzt (SSDs die sich selbst totschreiben, SSDs die mit Linux Kernel die Temperatur falsch auslesen und daher die Logs zusammen wegen Überhitzungsalarm, ...), dass es da auch nicht schaden kann zu gucken, ob man dessen Firmware updaten kann.
Und Checksum-Fehler kannst du auch durch fehlerhaften RAM haben, wenn du kein ECC-RAM gekauft hast, welcher selbst Fehler erkennen und korrigieren könnte. Kann auch nicht schaden da mal in ein Memtest86+ zu booten und das über Nacht laufen zu lassen.
 
Last edited:
Hallo und danke für die schnelle Antwort :)

Die Platten hatte ich tatsächlich noch rumliegen und nicht weiter drüber nachgedacht- da die Installation wirklich mega easy ist, hatte ich mir die Doku nicht wirklich angeschaut :-/ Naja wieder was gelernt....

Hier die Ergebnisse:
zpool scrub DeinPoolName
-> Hier kommt keine Ausgabe auf der Konsole. Allerdings habe ich gerade im Spamordner folgendes gefunden
Code: 
ZFS has finished a scrub:

eid: 11
class: scrub_finish
host: pve
time: 2023-08-13 00:27:45+0200
pool: local-zfs
state: ONLINE
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-9P
scan: scrub repaired 0B in 00:03:44 with 0 errors on Sun Aug 13 00:27:45 2023
config:
NAME STATE READ WRITE CKSUM
local-zfs ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ata-Samsung_SSD_870_EVO_1TB_S75CNX0W356910D ONLINE 2 0 0
ata-Samsung_SSD_870_EVO_1TB_S75CNX0W402215F ONLINE 0 0 0
errors: No known data errors
Warum die Mail aussortiert wurde, und die von gestern nicht... das ist auch eine sehr gute Frage...

smartctl -a /dev/DeineDisk (defekte Disk)
Code: 
smartctl -a /dev/sda
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.2.16-6-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Samsung based SSDs
Device Model:     Samsung SSD 870 EVO 1TB
Serial Number:    S75CNX0W356910D
LU WWN Device Id: 5 002538 f433405b1
Firmware Version: SVT03B6Q
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available, deterministic, zeroed
Device is:        In smartctl database 7.3/5319
ATA Version is:   ACS-4 T13/BSR INCITS 529 revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 1.5 Gb/s)
Local Time is:    Wed Aug 16 08:46:16 2023 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x53) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  85) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       1041
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       7
177 Wear_Leveling_Count     0x0013   099   099   000    Pre-fail  Always       -       3
179 Used_Rsvd_Blk_Cnt_Tot   0x0013   100   100   010    Pre-fail  Always       -       0
181 Program_Fail_Cnt_Total  0x0032   100   100   010    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   010    Old_age   Always       -       0
183 Runtime_Bad_Block       0x0013   100   100   010    Pre-fail  Always       -       0
187 Uncorrectable_Error_Cnt 0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0032   063   052   000    Old_age   Always       -       37
195 ECC_Error_Rate          0x001a   200   200   000    Old_age   Always       -       0
199 CRC_Error_Count         0x003e   099   099   000    Old_age   Always       -       32
235 POR_Recovery_Count      0x0012   099   099   000    Old_age   Always       -       2
241 Total_LBAs_Written      0x0032   099   099   000    Old_age   Always       -       4109959174
252 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
  256        0    65535  Read_scanning was never started
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
smartctl -a /dev/DeineDisk (intakte Disk)
Code: 
root@pve:~# smartctl -a /dev/sdb
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.2.16-6-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Samsung based SSDs
Device Model:     Samsung SSD 870 EVO 1TB
Serial Number:    S75CNX0W402215F
LU WWN Device Id: 5 002538 f4340282d
Firmware Version: SVT03B6Q
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available, deterministic, zeroed
Device is:        In smartctl database 7.3/5319
ATA Version is:   ACS-4 T13/BSR INCITS 529 revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Aug 16 08:46:52 2023 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x53) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  85) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       1041
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       7
177 Wear_Leveling_Count     0x0013   099   099   000    Pre-fail  Always       -       3
179 Used_Rsvd_Blk_Cnt_Tot   0x0013   100   100   010    Pre-fail  Always       -       0
181 Program_Fail_Cnt_Total  0x0032   100   100   010    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   010    Old_age   Always       -       0
183 Runtime_Bad_Block       0x0013   100   100   010    Pre-fail  Always       -       0
187 Uncorrectable_Error_Cnt 0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0032   064   053   000    Old_age   Always       -       36
195 ECC_Error_Rate          0x001a   200   200   000    Old_age   Always       -       0
199 CRC_Error_Count         0x003e   100   100   000    Old_age   Always       -       0
235 POR_Recovery_Count      0x0012   099   099   000    Old_age   Always       -       2
241 Total_LBAs_Written      0x0032   099   099   000    Old_age   Always       -       4109985262
252 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
  256        0    65535  Read_scanning was never started
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Was zum Glück sauber funktioniert ist mein Backup, von daher alles nur halb so schlimm (und eine Platte ist ja auch noch da).
Ich ordere dann mal 2x Samsung PM883 und bau den Pool neu auf.
Gibt es bei der Installation was zu beachten / einzustellen?

Danke.

Beste Grüße
Bine
 
Zum CRC_Error_Count aus meiner Erfahrung, liegt das am SATA Interface, bzw. den verwendeten SATA I -> III Kabeln.
Die könnten nicht der Norm SATA III entsprechen und/ oder sie wurden nicht weich und ohne knicke verlegt.
Ich meine wirklich mit keinen kleinen Radien oder noch schlimmer knicken.
Bei mir halb ein Austauschen gegen SATA III Kabel mit Clip von hoher Qualität und neu verlegen nach obigen Angaben.
 
Die Datenmenge liegt nur bei
4109959174×512÷1024^4 Byte ~ 1,91 TByte
im schreiben.
Alles kein Problem bei TLC, QLC verwende ich nicht!
 
news said:
Zum CRC_Error_Count aus meiner Erfahrung, liegt das am SATA Interface, bzw. den verwendeten SATA I -> III Kabeln.
Die könnten nicht der Norm SATA III entsprechen und/ oder sie wurden nicht weich und ohne knicke verlegt.
Ich meine wirklich mit keinen kleinen Radien oder noch schlimmer knicken.
Bei mir halb ein Austauschen gegen SATA III Kabel mit Clip von hoher Qualität und neu verlegen nach obigen Angaben.
Click to expand...

Die Kabel sind in dem System leider keine Standard SATA Kabel, sondern was speziell angepasstes- ich werde beim Neueinbau drauf achten, dass die sauber liegen.

Danke für euer feedback.

Beste Grüße
Bine
 
Sind laut smartctl auch "870 EVO" und keine "870 QVO", da ist es dann nicht ganz so wild mit Abnutzung und Performance, da TLC statt QLC Consumer SSDs. Immer noch nicht toll für ZFS, aber je nach Workload Teils für kleinere Homelabs ausreichend.

SabineFranke said:
zpool scrub DeinPoolName
-> Hier kommt keine Ausgabe auf der Konsole. Allerdings habe ich gerade im Spamordner folgendes gefunden
Click to expand...
Fortschritt und Ergebnisse musst du mit zpool status angucken. Das was du im Spam-Ordner hast sind Lesefehler und keine Checksumfehler was dann in der Tat meistens eher auf schlechte Kabel hindeutet.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back