Defekte NVMe ZFS1 Raid

goifalracer · Dec 2, 2024

Hallo, ich brächte bitte Eure Hilfe.
Seit Wochen habe ich immer wieder Probleme mit einem Backup einer VM.
Diese wird aufs NAS gespeichert.
Die NAS kann ich als Problem ausschliessen.
Das Backup wird mit einem I/O Error beendet.
Die betroffene NVMe hat PLP, ist also keine billige.
Das System läuft auf einem ZFS Raid 1 mit der besagten NVMe und einer 2.5 SSD ebenso mit PLP.

zpool status liefert keine Unregelmässigkeiten.

Smartctl -a liefert bei der NVMe eine hohe Anzahl von Error Counts.

Hier die Ausgabe#

Code:

root@nuc12:~# smartctl -a /dev/nvme0n1
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.8.12-4-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Number:                       KINGSTON SEDC1000BM8480G
Serial Number:                      50026B7686AB2C5A
Firmware Version:                   ECEK22.3
PCI Vendor/Subsystem ID:            0x2646
IEEE OUI Identifier:                0x0026b7
Total NVM Capacity:                 480,103,981,056 [480 GB]
Unallocated NVM Capacity:           0
Controller ID:                      1
NVMe Version:                       1.3
Number of Namespaces:               1
Namespace 1 Size/Capacity:          480,103,981,056 [480 GB]
Namespace 1 Formatted LBA Size:     512
Namespace 1 IEEE EUI-64:            0026b7 686ab2c5a0
Local Time is:                      Mon Dec  2 13:03:02 2024 CET
Firmware Updates (0x12):            1 Slot, no Reset required
Optional Admin Commands (0x001f):   Security Format Frmw_DL NS_Mngmt Self_Test
Optional NVM Commands (0x0054):     DS_Mngmt Sav/Sel_Feat Timestmp
Log Page Attributes (0x0a):         Cmd_Eff_Lg Telmtry_Lg
Maximum Data Transfer Size:         512 Pages
Warning  Comp. Temp. Threshold:     75 Celsius
Critical Comp. Temp. Threshold:     80 Celsius
Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +     8.92W       -        -    0  0  0  0        0       0
Supported LBA Sizes (NSID 0x1)
Id Fmt  Data  Metadt  Rel_Perf
 0 +     512       0         2
 1 -    4096       0         1
=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        43 Celsius
Available Spare:                    100%
Available Spare Threshold:          10%
Percentage Used:                    1%
Data Units Read:                    16,930,568 [8.66 TB]
Data Units Written:                 20,758,029 [10.6 TB]
Host Read Commands:                 210,446,916
Host Write Commands:                452,938,554
Controller Busy Time:               529
Power Cycles:                       8
Power On Hours:                     7,052
Unsafe Shutdowns:                   2
Media and Data Integrity Errors:    0
Error Information Log Entries:      52
Warning  Comp. Temperature Time:    0
Critical Comp. Temperature Time:    0
Error Information (NVMe Log 0x01, 16 of 63 entries)
Num   ErrCount  SQId   CmdId  Status  PELoc          LBA  NSID    VS
  0         52     0  0x0010  0x4004  0x028            0     0     -
  1         51     0  0x000f  0x4004      -            0     0     -
root@nuc12:~#

Die 2.5 Zoll SSD hat folgende Ausgabe.

Code:

root@nuc12:~# smartctl -a /dev/sda
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.8.12-4-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Device Model:     KINGSTON SEDC600M480G
Serial Number:    50026B768698A5B5
LU WWN Device Id: 5 0026b7 68698a5b5
Firmware Version: SCEKH5.1
User Capacity:    480,103,981,056 bytes [480 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available, deterministic, zeroed
Device is:        Not in smartctl database 7.3/5319
ATA Version is:   ACS-3 (minor revision not indicated)
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Mon Dec  2 13:04:59 2024 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (   30) seconds.
Offline data collection
capabilities:                    (0x79) SMART execute Offline immediate.
                                        No Auto Offline data collection support.                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        (   2) minutes.
Conveyance self-test routine
recommended polling time:        (   3) minutes.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x0032   100   100   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       7052
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       9
167 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -       0
168 Unknown_Attribute       0x0012   100   100   000    Old_age   Always       -       0
169 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -       0
170 Unknown_Attribute       0x0000   100   100   010    Old_age   Offline      -       71
172 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
173 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -       1966144
181 Program_Fail_Cnt_Total  0x0032   100   100   000    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0000   100   100   000    Old_age   Offline      -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0012   100   100   000    Old_age   Always       -       4
193 Unknown_SSD_Attribute   0x0000   100   100   000    Old_age   Offline      -       0
194 Temperature_Celsius     0x0022   057   052   000    Old_age   Always       -       43 (Min/Max 23/48)
195 Hardware_ECC_Recovered  0x0000   100   100   000    Old_age   Offline      -       100
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
199 UDMA_CRC_Error_Count    0x0032   100   100   000    Old_age   Always       -       0
207 Unknown_SSD_Attribute   0x0000   100   100   000    Old_age   Offline      -       0
218 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
231 Unknown_SSD_Attribute   0x0000   099   099   000    Old_age   Offline      -       99
232 Available_Reservd_Space 0x0013   100   100   000    Pre-fail  Always       -       0
233 Media_Wearout_Indicator 0x0032   100   100   000    Old_age   Always       -       20272
241 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       9897
242 Total_LBAs_Read         0x0032   100   100   000    Old_age   Always       -       8192
244 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -       30
245 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -       64
246 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -       1007880
SMART Error Log Version: 1
No Errors Logged
SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]
SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
root@nuc12:~#

Kann man sagen das die NVMe das Problem verursacht?
Bzw. was kann ich noch tun um den Fehler zu finden?
Die NVMe hat gerade einmal einen wareout von 1%.

Das Backup funktioniert mittlerweile gar nicht mehr, hab den Zeitplan jetzt deaktviert.
Das System läuft aber an sich stabil.

Danke schon mal....

goifalracer · Dec 2, 2024

Siehe Screenshot, dass liefert mir journalctl.

Falk R. · Dec 2, 2024

Hi,
die Kingston DC1000B ist eine Enterprise "BOOT" SSD, ohne PLP nur mit SLC Cache.
Somit ist die nicht viel besser als andere Consumer PRO SSDs.
Auch wenn da Enterprise dran steht, kann die natürlich defekte Zellen bekommen und das scheint hier der Fall zu sein.

goifalracer · Dec 3, 2024

Das ärgert mich jetzt wenn ich ehrlich bin, die war nicht billig und die war mit PLP deklariert.
Kannst du mir eine alternative gescheite NVMe mit 480 GB nennen?
Weil ich will die schnellstens ersetzen will.
Aktuell läuft das Backup wieder, keine Ahnung warum.

Was ich auch noch gefunden habe ist folgendes:
Ich habe mit

Code:

nvme error-log /dev/nvme0n1

die Error logs der NVMe angeschaut und lauter solche Einträge stehen drin.

Code:

root@nuc12:~# nvme error-log /dev/nvme0n1
Error Log Entries for device:nvme0n1 entries:63
.................
 Entry[ 0]
.................
error_count     : 52
sqid            : 0
cmdid           : 0x10
status_field    : 0x2002(Invalid Field in Command: A reserved coded value or an unsupported value in a defined field)
phase_tag       : 0
parm_err_loc    : 0x28
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0
.................
 Entry[ 1]
.................
error_count     : 51
sqid            : 0
cmdid           : 0xf
status_field    : 0x2002(Invalid Field in Command: A reserved coded value or an unsupported value in a defined field)
phase_tag       : 0
parm_err_loc    : 0xffff
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0
.................
 Entry[ 2]
.................
error_count     : 0
sqid            : 0
cmdid           : 0
status_field    : 0(Successful Completion: The command completed without error)
phase_tag       : 0
parm_err_loc    : 0
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0
.................
 Entry[ 3]
.................
error_count     : 0
sqid            : 0
cmdid           : 0
status_field    : 0(Successful Completion: The command completed without error)
phase_tag       : 0
parm_err_loc    : 0
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0

Das sieht alles nicht so kritisch aus.
Aber wenn du sagst, die NVMe hat Fehler, dann ist das so. Du hast mehr Erfahrung als ich.
Den irgendwo muss der I/O Fehler ja herkommen.

Mein Plan ist jetzt:
Neue NVMe kaufen.
mit

Code:

zpool replace

und weiteren Befehlen, die NVMe ersetzen.
Dann sollte das hoffentlich wieder sauber laufen.

Falk R. · Dec 3, 2024

goifalracer said:

Das ärgert mich jetzt wenn ich ehrlich bin, die war nicht billig und die war mit PLP deklariert.
Kannst du mir eine alternative gescheite NVMe mit 480 GB nennen?
Weil ich will die schnellstens ersetzen will.
Aktuell läuft das Backup wieder, keine Ahnung warum.

Was ich auch noch gefunden habe ist folgendes:
Ich habe mit

Code:

nvme error-log /dev/nvme0n1

die Error logs der NVMe angeschaut und lauter solche Einträge stehen drin.

Code:

root@nuc12:~# nvme error-log /dev/nvme0n1
Error Log Entries for device:nvme0n1 entries:63
.................
 Entry[ 0]
.................
error_count     : 52
sqid            : 0
cmdid           : 0x10
status_field    : 0x2002(Invalid Field in Command: A reserved coded value or an unsupported value in a defined field)
phase_tag       : 0
parm_err_loc    : 0x28
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0
.................
 Entry[ 1]
.................
error_count     : 51
sqid            : 0
cmdid           : 0xf
status_field    : 0x2002(Invalid Field in Command: A reserved coded value or an unsupported value in a defined field)
phase_tag       : 0
parm_err_loc    : 0xffff
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0
.................
 Entry[ 2]
.................
error_count     : 0
sqid            : 0
cmdid           : 0
status_field    : 0(Successful Completion: The command completed without error)
phase_tag       : 0
parm_err_loc    : 0
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0
.................
 Entry[ 3]
.................
error_count     : 0
sqid            : 0
cmdid           : 0
status_field    : 0(Successful Completion: The command completed without error)
phase_tag       : 0
parm_err_loc    : 0
lba             : 0
nsid            : 0
vs              : 0
trtype          : The transport type is not indicated or the error is not transport related.
cs              : 0
trtype_spec_info: 0

Das sieht alles nicht so kritisch aus.
Aber wenn du sagst, die NVMe hat Fehler, dann ist das so. Du hast mehr Erfahrung als ich.
Den irgendwo muss der I/O Fehler ja herkommen.

Mein Plan ist jetzt:
Neue NVMe kaufen.
mit

Code:

zpool replace

die NVMe ersetzen.
Dann sollte das hoffentlich wieder sauber laufen.

Wer hat die denn mit PLP deklariert?
Beim Hersteller steht nix davon.

Die Meldungen würde auch zu einem Firmwarebug passen. Schau mal ob es für deine SSD updates gibt.

Ich kaufe mir gern gebrauchte echte Enterprise SSDs. Enterprise Boot, sind din der Regel immer nur bessere Consumer SSDs. Erst ab 1DWPD hat man in der REgel eine mit PLP. Es gibt natürlich ausnahmen, aber am besten immer beim Hersteller schauen.

goifalracer · Dec 3, 2024

Da wo ich die gekauft hatte stand PLP, vielleicht haben die das einfach dazu geschrieben.

Um mal von einem andern Thema zu sprechen:
PMX mit ZFS ist geil, leider zerlegt es ja gerne Nvme,s.

Eigentlich möchte ich ja nur ein Raid 1, mit 2 VM,s und ein paar Container virtualsieren, sowie das automatsiche Backup kompletter VM,s aufs NAS.

Kann ich das mit Proxmox und nem Raid 1 ohne ZFS nicht auch bewerkstelligen?
Somit reichen dann normale Consumer Bauteile, oder siehst du das anders.?

Vielleicht komplett ohne Raid den PMX aufsetzen, weil ein Cold-Stand-By Rechner ist ja vorhanden.....

Johannes S · Dec 3, 2024

goifalracer said:
Da wo ich die gekauft hatte stand PLP, vielleicht haben die das einfach dazu geschrieben.

Um mal von einem andern Thema zu sprechen:
PMX mit ZFS ist geil, leider zerlegt es ja gerne Nvme,s.

Alle Datenspeicher sind Verbrauchsmaterial, die einen verenden früher, die anderen später. Man sollte also ein Backup haben und eine (getestete) Restoreprozedur plus ein wenig Geld für den Neukauf zurückgelegt

goifalracer said:
Eigentlich möchte ich ja nur ein Raid 1, mit 2 VM,s und ein paar Container virtualsieren, sowie das automatsiche Backup kompletter VM,s aufs NAS.

Kann ich das mit Proxmox und nem Raid 1 ohne ZFS nicht auch bewerkstelligen?

Ja mit BTRFS, auch wenn das aktuell noch experimentell ist:
https://pve.proxmox.com/wiki/Software_RAID

Eine andere (allerdings nicht unterstützte Variante!) wäre es, erst ein natives Debian zu installieren, darin das Software-RAID mit mdadm einzurichten und danach die Proxmox-Pakete:
https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_install_proxmox_ve_on_debian

Da muss man aber definitiv wissen, was man tut, um am Ende (bis auf das mdadm Setup) das gleiche Ergebnis zu haben wie mit einer normalen Installation: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_install_proxmox_ve_on_debian

Mir wäre es das nicht wert.

goifalracer said:
Somit reichen dann normale Consumer Bauteile, oder siehst du das anders.?

Vielleicht komplett ohne Raid den PMX aufsetzen, weil ein Cold-Stand-By Rechner ist ja vorhanden.....

Ist, sofern man ein Backup vom eigentlichen PMX-Betriebssytem macht, eine Option. Und das sollte man ja so oder so haben.

Ich selbst habe mein Betriebssystem auf Consumer-SSDS mit LVM und ext4. Meine eigentliche SSD für die VMs dagegen auf einer NVME (leider auch nicht Enterprise, war halt das was mit dem Mini-PCs mitgeliefert wurde) und ZFS. Warum: Ich wollte gerne die Möglichkeit haben die Daten replizieren zu können, was ja ohne ZFS nicht geht: https://pve.proxmox.com/wiki/Storage_Replication

Ich habe mich also mental darauf eingestellt, früher oder später die NVMEs und SSDs austauchen zu müssen (dann werden sie aber definitiv durch Enterprise-Hardware ersetzt werden!) und mache regelmäßige Backups von den VMs und meiner ProxmoxVE-Betriebssysteminstallation samt Konfiguration.

goifalracer · Dec 3, 2024

@johannes
Dann hast du aber den PBS auf Baremetall irgendwo extra laufen oder ist der auch virtualisiert.
PBS habe ich nicht.
Ich habe einen Cold Stand By neben dem Produktiv- System stehen (alles gebrauchte Hardware), darauf sind die gleichen LXC,s und VM,s. Im Fehlerfall, restore ich hier das Backup der letzten Nacht, hat zumindest im Test wunderbar geklappt...
HA mit Quorum, ist mir zu aufwendig, kann den Cold-Stand-By auch mit dem Handy wecken und die Restores auch darüber durchführen.

Ich habe mich jetzt nochmal etwas schlau gemacht:
Ohne ZFS so wie bei dir ist es mir auch nicht möglich Snapshots zu erstellen, dafür brauche ich ZFS?
Ich müsste also die VM immer anhalten und dann ein Backup machen.
Die anderen Vorschläge kommen für mich nicht in Frage (mdraid), ich möchte schon was was von Proxmox selbst auch unterstützt wird.

Ich habe mir jetzt nochmal eine m2 SSD bestellt, falls die besagte abraucht.

Jetzt noch eine Frage, sollte mir jetzt die SSD im ZFS Raid1 Verbund abrauchen, ist der Pool degraded, das System sollte aber ohne Probleme weiter laufen sofen die zweite SSd noch gut ist oder?

@Falk R.
Also es ist komisch, das Backup lief heute Nacht super ohne Probleme durch.
Die NVMe hat ca. 400 TBW, laut Ausgabe von smartctl -a sind bis jetzt nur 10.6 TB geschrieben worden.
Die Errors sind alles succes Einträge, vielleicht liegt es wirklich nur an der Firmware der Platte und die hat gar nichts.

Vielleicht liegt es an der NAS (Backupziel), diese habe ich gestern neugestartet und die Festplatten überprüft, auch ohne Fehler.
Es könnte theoretisch auch an der NAS, speziell die LAN Verbindung sein.
Aber dann sollte ja eigentlich im LOG ein Eintrag (timeout) oder so ähnlich sein.

beisser · Dec 3, 2024

Falk R. said:
Wer hat die denn mit PLP deklariert?
Beim Hersteller steht nix davon.

Die Meldungen würde auch zu einem Firmwarebug passen. Schau mal ob es für deine SSD updates gibt.

Ich kaufe mir gern gebrauchte echte Enterprise SSDs. Enterprise Boot, sind din der Regel immer nur bessere Consumer SSDs. Erst ab 1DWPD hat man in der REgel eine mit PLP. Es gibt natürlich ausnahmen, aber am besten immer beim Hersteller schauen.

Tatsächlich sagt Kingston, dass das Ding PLP hat.

Siehe https://www.kingston.com/datasheets/sedc1000b_de.pdf

Johannes S · Dec 3, 2024

goifalracer said:
@johannes
Dann hast du aber den PBS auf Baremetall irgendwo extra laufen oder ist der auch virtualisiert.

Virtualisiert auf meinen NAS. Genauer gesagt habe ich einen zusätzlichen Mini-PC, auf dem auch ein ProxmoxVE läuft, aber nicht als Teil des Clusters, sondern isoliert. Darauf läuft einmal TrueNAS Scale als NAS-Betriebssystem und der PBS(1) als Backupserver. Diese Backups werden durch einen auf einen netcup-vserver laufenden PBS gesynct fürs offsite-Backup.
Nicht optimal, aber fürs Homelab ok. Als zusätzliche Absicherung speichere ich einmal die Woche meine VMs als vzdump (damit auch ein Restore ohne PBS möglich ist) im NAS, auf einer externen Festplatte und auf einer hetzner storagebox. Die Storagebox nimmt auch die im NAS gespeicherten Daten als offsite-Backup auf.

goifalracer said:
PBS habe ich nicht.
Ich habe einen Cold Stand By neben dem Produktiv- System stehen (alles gebrauchte Hardware), darauf sind die gleichen LXC,s und VM,s. Im Fehlerfall, restore ich hier das Backup der letzten Nacht, hat zumindest im Test wunderbar geklappt...

Wie kriegst du die LXCs und VMs auf den cold-Standby? Gerade da würde sich der PBS anbieten, da könnten sich die Systeme gegenseitig sichern.

goifalracer said:
HA mit Quorum, ist mir zu aufwendig, kann den Cold-Stand-By auch mit dem Handy wecken und die Restores auch darüber durchführen.

Da ist was dran, was sehr viele Leute nicht bedenken. Die Leute richten sich einen Cluster ein, machen sich aber keine Gedanken darum, was das für Implikationen hat. Siehe Debatten, wo Leute wissen wollen, wie sie ein Quorum behalten, wenn sie einen Teil der Knoten zwecks Stromsparen abschalten wollen.

goifalracer said:
Ich habe mich jetzt nochmal etwas schlau gemacht:
Ohne ZFS so wie bei dir ist es mir auch nicht möglich Snapshots zu erstellen, dafür brauche ich ZFS?

Nein. Snapshots gehen mit allen Storage-Backends, für die das unterstützt wird:
https://pve.proxmox.com/wiki/Storage

Dafür hat ZFs aber diverse andere Komfortfunktionen, die in meinen Augen wichtigste ist die Möglichkeit zur Replikation zwischen Knoten und die Kompression auf Dateisystemebene. bitrot-Protection ist an und für sich auch cool, aber dafür muss man einen Mirror mit zwei Speichermedien haben.

goifalracer said:
Ich müsste also die VM immer anhalten und dann ein Backup machen.

Das ist weder beim PBS noch der nativen vzdump-Funktion nötig, die können beide VMs in snapshot-Modus backuppen. Das passiert auf qemu-Ebene und hat nichts mit dem VM-Snapshots zu tun (ja die Benamung ist verwirrend).

goifalracer said:
Jetzt noch eine Frage, sollte mir jetzt die SSD im ZFS Raid1 Verbund abrauchen, ist der Pool degraded, das System sollte aber ohne Probleme weiter laufen sofen die zweite SSd noch gut ist oder?

Genau, man sollte halt die Kaputte dann schnellstmöglichst austauschen, aber das ist ja eben die Idee bei RAID: Kein Ersatz für ein Backup, aber in Falle einer kaputten Platte einen unterbrechungsfreien Weiterbetrieb bis zum Austausch zu ermöglichen. Bei richtigen Servern kann man das dann auch im laufenden Betrieb machen. Bei der Hardware für den Heimgebrauch muss man den halt dafür einmal ausschalten

(1) Die PBS VM fungiert auch als qdevice für den zwei-Knoten-Cluster. Ja, das ganze ist kein professionelles Setup, was ich so in einer Firma betreiben würde.

goifalracer · Dec 3, 2024

Wie kriegst du die LXCs und VMs auf den cold-Standby? Gerade da würde sich der PBS anbieten, da könnten sich die Systeme gegenseitig sichern.

Ist schon länger her als ich das gemacht habe.
Einfach das Backupziel am ColdStandBy einbinden und dann das Backup der VM auswählen und auf Restore klicken.
Ich glaube so habe ich das mal zu Testzwecken gemacht.
Aktuell liegt am ColdStandBy eine gleiche VM wie am Produktiv Server:
Da gehe ich beim restoren genau so vor, mit dem Unterschied, dass ich beim restoren ainfach die VM überschreibe, habe ich gestern erst wieder gemacht weil ich mein Backup testen wollte, ob es noch funktioniert.

Kann es eiegentlich sein das ich über Monate Backups meiner VM erstelle und wenn ich die eines Tages benötige, ist es inkonsistent, also das Backup nicht mehr brauchbar, kann das bei ZFS auch passieren?
Aus diesem Grund habe ich gestern mal weider den worst-case simuliert und ein Backup zurückgespielt.

Falk R. · Dec 3, 2024

beisser said:
Tatsächlich sagt Kingston, dass das Ding PLP hat.

Siehe https://www.kingston.com/datasheets/sedc1000b_de.pdf

View attachment 78595

Dann gibt es wohl zwei verschiedene Modelle mit ähnlichem Namen. ich hatte einfach die Bezeichnung aus deinem SMART Auszug bei google eingegeben und auf der Seite von Kingston wo ich hingeleitet wurde, stand da nur SLC Cache statt PLP.
Sehr unschön wenn kingston da verschiedene Angaben macht.

beisser · Dec 3, 2024

Ich hatte nur nach dc1000b plp gegoogelt und das war der erste hit.
ich würde aber eh die microns vorziehen, auch wenn die dazu neigen warm zu werden.
oder halt gleich ne u.2.
die gibts wenigstens mit mehr als 960GB

goifalracer · Dec 3, 2024

Meinst du dieses Exemplar =

Micron 7450 PRO 480GB NVMe M.2 (22x80)Non-SED (MTFDKBA480TFR-1BC1ZABYYR)

Ich muss mir eh eine bestellen, und ich brauche ja die gleiche Größe damit ich die wieder in den Pool ersetzen kann oder?
Was ist ne u.2.? Kann ich die an nem normalen Sata Port dran hängen am Intel NUC?

beisser · Dec 3, 2024

das wäre die passende grösse, ja. die hat PLP und 800TBW was für 480GB kapazität bei einer read intensive ssd ganz ordentlich ist (ich glaube auch, dass es m.2 ssds nur als read intensive gibt).
falls die ssd temperaturbedingt drosseln sollte, müsste man halt mit einem kühlkörper für 2280 ssds nachhelfen, die gibts zuhauf am markt.

u.2 ssds sehen sata-ssds ähnlich, nur das sie etwas dicker sind und eine nvme-schnittstelle haben (daher der name u.2).
es gibt einfach adapter um aus einem m.2 nve-slot einen einzelnen u.2 anschluss zu machen.
z.b. das hier: https://www.delock.de/produkt/62984/merkmale.html

dazu braucht man dann allerdings sata-power von einem netzteil.
für einen nuc ist das also nichts, für einen normalen pc dagegen schon.

goifalracer · Dec 3, 2024

Dann werde ich mir die bestellen.
Wenn der IO Error noch mal auftritt dann ersetze ich die NVMe einfach. Irgendwo muss man ja mal anfangen.
Ich hab das ersetzen einer Disk im ZFS pool schon mal gemacht inklusive Bootloader rüberschreiben, ich denke an den Kommandos hat sich nichts geändert.
Falls doch Probleme auftreten melde ich mich einfach.

Danke...

goifalracer · Dec 11, 2024

Jetzt hätte ich mal versucht das Limit für die Übertragungsrate meines VM-Backups auf 20 MiB/s einzustellen.
Hab dann das Backup manuell gestartet und es war wieder in 6 Minuten fertig, mein PMX Server und die QNAP haben 1Gbit Ethernet.

Wenn ich 20MiB/s einstelle müsste doch mein Backup mit einer Größe von 36GB doch ca. eine halbe Stunde dauern? Es war aber wieder auf 6 Minuten fertig.
Muss ich da noch was anderes einstellen?
Grund: Ich habe die Vermutung das mein NAS manchmal nicht hinterherkommt, PMX meldet gelegentlich (timeouts).

Falk R. · Dec 11, 2024

Du limitierst ja nur die Netzwerk Bandbreite. Wenn da kaum Änderungen sind, überträgt er ja nicht viel.
Für mich klingt das klar nach einem Fehler im Host Speichersystem.

goifalracer · Dec 11, 2024

Du limitierst ja nur die Netzwerk Bandbreite. Wenn da kaum Änderungen sind, überträgt er ja nicht viel.

Ja aber ich dachte wenn ich da 20MiB/s einstelle, dann schreibt der PMX das Baup auf die NAs auch mit 20MiB/s?

Für mich klingt das klar nach einem Fehler im Host Speichersystem.

Du meinst wegen dem timeout Fehler?

Falk R. · Dec 11, 2024

goifalracer said:
Ja aber ich dachte wenn ich da 20MiB/s einstelle, dann schreibt der PMX das Baup auf die NAs auch mit 20MiB/s?

Mehr schreibt er auch nicht. Aber wenn er 500MB liest und nur 10MB Änderung schreiben muss, dann kann so ein Limit unter Umständen wenig wirkung zeigen.

goifalracer said:
Du meinst wegen dem timeout Fehler?

Auch weil du Probleme hast, wenn du das Netzwerk drosselst. Dann liegt es in der Regel am Quellspeicher. Warum auch immer.

Defekte NVMe ZFS1 Raid

Member

Member

Distinguished Member

Member

Distinguished Member

Member

Active Member

Member

Active Member

Active Member

Member

Distinguished Member

Active Member

Member

Micron 7450 PRO 480GB NVMe M.2 (22x80)Non-SED (MTFDKBA480TFR-1BC1ZABYYR)​

Active Member

Member

Member

Distinguished Member

Member

Distinguished Member

Micron 7450 PRO 480GB NVMe M.2 (22x80)Non-SED (MTFDKBA480TFR-1BC1ZABYYR)