ZFS degraded, brauche Hilfe

[Lueghi]

Ich möchte euch mal einen kleinen Zwischenstand geben:

Die beiden Platten vom rpool waren nicht mehr zu einer Zusammenarbeit mit einer neuen Platte zu bewegen, zuviele Datenfehler. Ich habe dann mit 2 neuen Platten proxmox komplett neu aufgesetzt. Da ich 2 NIC's habe (intern/extern) hat mich die Konfiguration des Netzwerkes ziemlich Zeit und Nerven gekostet. Ich wußte einfach nicht mehr, was ich damals gemacht hatte ...
proxmox läuft jetzt erst mal wieder so wie es soll. Aktuell versuche ich die Platten aus dem 2. Mirror zu tauschen. Das resilvern dauert wg. Datenfehlern auch länger ... hoffe, das wird noch halbswegs. Einige VM's/Container habe ich vom pbs schon zurückgespielt. Testweise einzelne gestartet, das sah erst mal gut aus. Aber ich warte bis der 2. Pool mal auf Stand ist.

Drückt mir bitte die Daumen ....

[edit] einen Vorteil hat das Ganze jedenfalls bisher: die neue Platten sind viel schneller. [/edit]

 

[micneu]

Ok, aber du hattest geschrieben, dass du Backups hast. Dann hättest du alle Pools neu aufbauen und die Backups einfach zurückspielen können.

 

[news]

Ich möchte euch mal einen kleinen Zwischenstand geben:

Die beiden Platten vom rpool waren nicht mehr zu einer Zusammenarbeit mit einer neuen Platte zu bewegen, zuviele Datenfehler. Ich habe dann mit 2 neuen Platten proxmox komplett neu aufgesetzt. Da ich 2 NIC's habe (intern/extern) hat mich die Konfiguration des Netzwerkes ziemlich Zeit und Nerven gekostet. Ich wußte einfach nicht mehr, was ich damals gemacht hatte ...
proxmox läuft jetzt erst mal wieder so wie es soll. Aktuell versuche ich die Platten aus dem 2. Mirror zu tauschen. Das resilvern dauert wg. Datenfehlern auch länger ... hoffe, das wird noch halbswegs. Einige VM's/Container habe ich vom pbs schon zurückgespielt. Testweise einzelne gestartet, das sah erst mal gut aus. Aber ich warte bis der 2. Pool mal auf Stand ist.

Drückt mir bitte die Daumen ....

[edit] einen Vorteil hat das Ganze jedenfalls bisher: die neue Platten sind viel schneller. [/edit]

Mal das ist mehr Sinn macht, wenn du deine vier Festplatten als ein ZFS Pool raid10 like betreibst und dann ein dataset für deinen vor VM und LXC anlegst. Da du ja keine SSDs oder NVMe als Special device verwenden wirst.

 

[pvenewbee]

bist Du Dir ganz sicher, dass daran die Festplatten Schuld sein sollen? Ein Mirror ist degraded. Ok, kommt vor. Vielleicht, wenn man es schleifen lässt, geht im Lauf der Jahre noch eine weitere Festplatte kaputt.

Aber das dann das Resilvering wegen Datenfehlern auf den „guten“ Platten scheitert, das ist ja eher zwei Sechser mit Superzahl gleichzeitig.

Wenn stattdessen überhitzte CPU, RAM-Fehler oder SATA-Kabel den Wurm reinbrächten, das wäre doch eher eine logische Erklärung.

Poste doch mal die Ausgabe von smartctl -a /dev/sda-sdd.

 

[Lueghi]

Sorry für die späte Antwort. Mein System läuft wieder wie es soll. Ich habe den 2. Pool komplett neu angelegt da es ein Backup von den wichtigen Daten gab. Habe auch alle HD-Slots noch mal ganz in Ruhe aus- und eingesteckt und es läuft jetzt wie geschmiert .

Die neuen HD's sind auch viieeel schneller, mein IO-Delay ist massiv gesunken bei größeren Datenmengen. Und der Speicherverbrauch liegt auch etwas niedriger als in der alten Installation. Von daher bin ich durchaus zufrieden auch wenn die HD-Preise aktuell zum heulen sind . Es hat mich zwar einiges an Zeit gekostet, aber es ist alles da. Zusätzlich habe ich noch ein Backup für die wichtigsten Daten des proxmox-Host als cron-Job eingerichtet. Der im vorigen Jahr eingerichtete pbs war natürlich Gold wert. Ohne den hätte ich ganz alt ausgesehen. Schade dass es für den pbs keine privat-use Subscritpion zu erträglichen Preisen gibt. Ich würde das sogar - neben der Subscrition für proxmox - investieren.

Ich danke allen die mich unterstützt haben und die an meinem Schicksal teilgenommen haben. Ich hoffe, ich habe jetzt mind. 5 Jahre Ruhe bevor ich mich wieder intensiv mit dem System auseinandersetzen muss .... .

 

[TErxleben]

Altes Problem. Je mehr HW involviert ist, desto höher ist die Ausfallwahrscheinlichkeit.
Sei es RAID, ZFS oder sonstwas. Ich sorge inzwischen lieber für verlässliche Backups, die in adäquater Zeit wieder hergestellt werden können. Ich btreibe auch keine Datacenter,

 

[proxuser77]

Altes Problem. Je mehr HW involviert ist, desto höher ist die Ausfallwahrscheinlichkeit.

Je mehr Hardware involviert ist, desto teurer wird es. Bei Disks in Mirrors ist es doppelt so teuer wie bei einzelnen Disks. Und doppelt so viele Disks bedeuten auch doppelt so viele Disks, die ausfallen können. Damit wird im schlimmsten Fall auch die Wartung mit Ersatzdisks doppelt so teuer. Und ja, wenn eine ausfällt, sollte man diese natürlich sofort ersetzen und nicht warten, bis auch die zweite Fehler wirft, da sich ab dann die Ausfallwahrscheinlicht des Systems tatsächlich massiv erhöht hat.

Zu keinem Zeitpunkt war Ausfallwahrscheinlichkeit des Systems jedoch höher als wenn man von Anfang an nur eine Disk benutzt hätte. Im schlechtesten Fall, wenn beide Disks gleichzeitig ausgefallen wären, wäre die Zeit bis zum Ausfall gleich lang gewesen wie bei nur einer Disk. Da die Wahrscheinlichkeit, dass das passiert, aber relativ gering ist, wäre die Ausfall*wahrscheinlichkeit* trotzdem geringer gewesen.

 

[TErxleben]

Je mehr Hardware involviert ist, desto teurer wird es. Bei Disks in Mirrors ist es doppelt so teuer wie bei einzelnen Disks. Und doppelt so viele Disks bedeuten auch doppelt so viele Disks, die ausfallen können. Damit wird im schlimmsten Fall auch die Wartung mit Ersatzdisks doppelt so teuer. Und ja, wenn eine ausfällt, sollte man diese natürlich sofort ersetzen und nicht warten, bis auch die zweite Fehler wirft, da sich ab dann die Ausfallwahrscheinlicht des Systems tatsächlich massiv erhöht hat.

Zu keinem Zeitpunkt war Ausfallwahrscheinlichkeit des Systems jedoch höher als wenn man von Anfang an nur eine Disk benutzt hätte. Im schlechtesten Fall, wenn beide Disks gleichzeitig ausgefallen wären, wäre die Zeit bis zum Ausfall gleich lang gewesen wie bei nur einer Disk. Da die Wahrscheinlichkeit, dass das passiert, aber relativ gering ist, wäre die Ausfall*wahrscheinlichkeit* trotzdem geringer gewesen.

Bei reinem Mirroring verdoppelst du die Kosten (zus. RAID-Controller mal ausgenommen). Du verbesserst damit die Verfügbarkeit. Die Ausfallwahrscheinlichkeit steigt natürlich pro verwendeter HW-Komponente. Kommt eben darauf an, welche Downtime akzeptabel ist. In Rechenzentren wird es günstiger, da ja keine nur duplizierende RAID-Level eingesetzt werden. Da hast du dann 10 kalte Ersatzplatten für 100 Platten im Einsatz. Was immer bleibt, ist die hohe Belastung der restlichen Platten beim resilvering.
Wie auch immer, kostet HA nicht zu knapp und erhöht die Komplexität.

 

[Lueghi]

...
Mache dich bitte auch mit dem zfs vdev special device als Mirror mit >=2 SSDs (sata3 reicht) bekannt.
Das erhöht die IOPs des gesamten Pools, da keine Metadaten mehr zusätzlich auf die HDDs geschrieben werden.
Besser und mehr 'ZFS Like' wäre es, den Pool mit 4x HDD ZFS Raid10 mit 2x SSDs anzulegen.
Dann kann man seine "Unterteilung" mit unterschiedlichen zfs dataset zfs create rpool/dataset realisieren.

Das mag ja alles richtig sein, aber ich habe nur 4 HDD-Slots. 2 zusätzliche SSD's bekomme ich nicht ohne weiteres angeschlossen.