ZFS degraded, brauche Hilfe

[Lueghi]

Hallo proxmox-Freunde,

mein proxmox (auf HP Microserver Gen8) läuft seit Jahren mit mehreren VM's und Containern klaglos und tut alles was ich von ihm erwarte . Bei einem Update auf VE 9.2.21 ist mir mehr oder weniger per Zufall aufgefallen, dass das ZFS-System ein Problem hat. Ich habe das System damals eingerichtet und mich nicht mehr groß damit beschäftigt daher stehe ich jetzt ewas auf dem Schlauch und weiß nicht so recht weiter. Daher hoffe ich auf die geballte Kompetenz hier ...

Mein System zeigt mir folgendes:






Besonders der rpool macht mir Sorgen, da hier schon eine Platte weg ist. Die Festplatten sind alle vom identischen Typ, die ursprünglich vorhandene Reserveplatte habe ich vor ca. 3 Jahren schon einsetzen müssen. Diesen Festplattentyp gibt es zwar noch (wenn auch zu ziemlich hohen Preisen) aber ich wollte eigentlich bei einem Austausch auf schnellere Platten gehen. Die verbauten sind doch recht lahm. Leider ist meine Wunschplatte (WD Gold 4TB) extrem teuer geworden. Kann man in einem ZFS auch ohne Probleme verschiedene Plattengrößen/-typen verwenden? Wenn ich das richtig sehe, komme ich um einen Austausch der Platten nicht herum. Für Vorschläge zu HDD-Alternativen bin auch auch offen.

Was wäre denn jetzt die sinnvolle Vorgehensweise um das Problem zu beheben? Benötige neben der Beschreibung u.U. auch ganz praktische Hilfe bzgl. der zu verwendenden Tools/Befehle. Das kann ich aber dann bei Bedarf auch noch erfragen.

Wenn weitere Informationen zur Hilfestellung fehlen, dann liefere ich die gerne nach.

 

[news]

Moin,

ich würde mir 2x Seagate IronWolf Pro NAS 4 TB CMR kaufen und Schritt für Schritt den ZFS Pool rpool ersetzen,
bitte die 80% Quota nicht vergessen zu setzen.

# https://www.alternate.de/Seagate/IronWolf-Pro-NAS-4-TB-CMR-Festplatte/html/product/1875119?sug=seagete pro nas

Dein Wiki ist OpenZFS.

zpool detach <pool-name> <dead-drive-name>
zpool attach <pool-name> <current-drive-name> <new-drive-name>

# https://openzfs.github.io/openzfs-docs/man/master/8/zpool-detach.8.html
# https://openzfs.github.io/openzfs-docs/man/master/8/zpool-attach.8.html

Da beim zfs rpool noch das BIOS und EFI Boot existiert, muss man aufpassen und nur die passenden Partitionen "anfassen".
# https://www.thomas-krenn.com/en/wiki/Boot-Device_Replacement_-_Change_of_Proxmox_ZFS_Mirror_Disk

Später kann man dann noch die zfs partionen der beiden neuen Platten auf ihr Maximum vergrößern und dieses auch für den zfs rpool nutzen.

Das ist aber eine weitere Storry..

 

[Lueghi]

Moin,

ich würde mir 2x Seagate IronWolf Pro NAS 4 TB CMR kaufen und Schritt für Schritt den ZFS Pool rpool ersetzen,
bitte die 80% Quota nicht vergessen zu setzen.
...

Vielen Dank für Deine Ausführungen und den HDD-Vorschlag . Ich erinnere mich gaaannnz schwach an die von Dir genannten Befehle.

Zu Quota habe ich aber noch eine Frage:
wenn ich das Partitionsschema mit sgdisk kopiere, dann sollte das doch von der Größe erst mal passen? Oder warum bzw. wann muss man den Quota-Befehl nutzen?

Viele Grüße
Lueghi

 

[news]

Nun das Setup von ZFS-Quota, so wie ich das nutze, zeigte ich noch nicht.

ZFS allgemeine und im speziellen. das auf nur HDDs läuft, darf nie volllaufen, denn dann steht das gesamte System.
So setzt man einfach Quota von ca. 80 % auf den gesamten Pool, um diesen Bereich, bei Problem einfach dem System wieder zur Verfügung zu stellen.
Denn auch beim Löschen müssen Daten neu geschrieben werden - ohne freien Platz - "dead lock".

# ich mache das global so für z.B. den rpool:
zfs create rpool/quota
zfs set refreservation=<20% max-pool-size> rpool

# z.B.:
zfs set refreservation=200G rpool # 1 GB HDD, usw.

# no space left:
zfs set refreservation=none rpool
# oder
zfs set refreservation=1G rpool # was im Augenblick dann passend erscheint.

Mache dich bitte auch mit dem zfs vdev special device als Mirror mit >=2 SSDs (sata3 reicht) bekannt.
Das erhöht die IOPs des gesamten Pools, da keine Metadaten mehr zusätzlich auf die HDDs geschrieben werden.
Besser und mehr 'ZFS Like' wäre es, den Pool mit 4x HDD ZFS Raid10 mit 2x SSDs anzulegen.
Dann kann man seine "Unterteilung" mit unterschiedlichen zfs dataset zfs create rpool/dataset realisieren.

 

[micneu]

@Lueghi Ich gehe davon aus, dass du eine aktuelle Datensicherung hast. Dann musst du dir vermutlich keine großen Sorgen machen. Wie bereits vorgeschlagen, solltest du die Festplatten anschließend Schritt für Schritt ersetzen.

 

[ThoSo]

@Lueghi Ich gehe davon aus, dass du eine aktuelle Datensicherung hast. Dann musst du dir vermutlich keine großen Sorgen machen. Wie bereits vorgeschlagen, solltest du die Festplatten anschließend Schritt für Schritt ersetzen.

Das wäre schon sinnvoll - ansonsten wäre das der erste Schritt jetzt!

Die Festplatten sind alle vom identischen Typ, die ursprünglich vorhandene Reserveplatte habe ich vor ca. 3 Jahren schon einsetzen müssen.

Wenn man schon seine vorhanden Reserveplatten nicht gegen neu ersetzt, wenn die zum Einsatz kommen...