[solved] ZFS mirror mit boot partition (grub) HD tauschen

[Lueghi]

Nach langer Zeit eines absolut störungfreien Betriebes brauche ich mal wieder etwas HIlfe ....

Aus dem ZFS mirror hat eine Platte Probleme und geht mehr oder weniger regelmäßig in den Status faulted:

The number of I/O errors associated with a ZFS device exceeded
acceptable levels. ZFS has marked the device as faulted.

Ein zpool clear aktiviert die HD wieder, das hält aber nicht lange an. Die Platte will wohl getauscht werden. Die neue Platte ist eine identische "Reserve"-Platte.

Ich habe nach entsprechender Anleitung zum Tauschen gesucht. Da gibt es auch einiges was ich gefunden habe (u.a. https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen). Bin mir aber nicht so ganz sicher was ich da verwenden soll, denn ich habe ja auch weitere Partitionen wg. grub.



Da hat es in der Anfangsphase nach einem pve-Update ziemliche Probleme gegeben und die möchte ich natürlich gerne vermeiden.

Gibt es ein gutes, zuverlässiges Kochrezept zur Vorgehensweise? Oder kann ich oben genannte relativ gefahrlos verwenden?

Hintergrund zu mir: ich bin kein proxmox-Profi sondern nutze das System um meine verschiedenen VM's und Container zu betreiben (was auch gut funktioniert). Linux ist kein Fremdwort für mich und die Konsole kann ich auch bedienen. Aber bei so Besonderheiten stosse ich recht schnell an meine Grenzen ...

Gruß Stefan

 

[Dunuin]

Gibt es ein gutes, zuverlässiges Kochrezept zur Vorgehensweise?

Siehe Abschnitt "Replacing a failed bootable Device" im Wiki: https://pve.proxmox.com/wiki/ZFS_on_Linux#_zfs_administration

 

[Lueghi]

Siehe Abschnitt "Replacing a failed bootable Device" im Wiki: https://pve.proxmox.com/wiki/ZFS_on_Linux#_zfs_administration

Danke für den Link. Das hatte ich noch nicht gefunden.
Danach sind das ja "nur" 4 Befehle um die Platten zu tauschen. Ist das wirklich so einfach oder gibt es da noch irgendwelche Vorbereitungen die in dem Abschnitt "changing a failed bootable device" nicht aufgeführt sind weil sie selbstverständlich - für Profis - gehaltenl werden?
Gruß Stefan

 

[Dunuin]

Danach sind das ja "nur" 4 Befehle um die Platten zu tauschen. Ist das wirklich so einfach oder gibt es da noch irgendwelche Vorbereitungen die in dem Abschnitt "changing a failed bootable device" nicht aufgeführt sind weil sie selbstverständlich - für Profis - gehaltenl werden?

Nein, außer mit ls -la /dev/disk/by-id die eindeutigen Namen der alten und neuen Disks/Partitionen herausfinden ist da nichts weiter ("/dev/sda3" usw sollte man ja besser nicht nutzen).

 

[ubu]

Get Zpool Status:

zpool status


Copy Partitions from working to new disk:

sfdisk -d /dev/nvme2n1 |sfdisk /dev/nvme3n1

Replace Disk, give ZFS Partition
zpool replace zp_pve 1414275488282 /dev/disk/by-id/nvme-SAMSUNG-part3


Check status, should resilver:
zpool status


Rewite Bootloader:
proxmox-boot-tool format /dev/disk/by-id/nvme-SAMSUNG-part2
proxmox-boot-tool init /dev/disk/by-id/nvme-SAMSUNG-part2
proxmox-boot-tool status

Clean /etc/kernel/proxmox-boot-uuids

proxmox-boot-tool status
proxmox-boot-tool refresh
proxmox-boot-tool clean

 

[Lueghi]

Get Zpool Status:

zpool status


Copy Partitions from working to new disk:

sfdisk -d /dev/nvme2n1 |sfdisk /dev/nvme3n1

Replace Disk, give ZFS Partition
zpool replace zp_pve 1414275488282 /dev/disk/by-id/nvme-SAMSUNG-part3


Check status, should resilver:
zpool status


Rewite Bootloader:
proxmox-boot-tool format /dev/disk/by-id/nvme-SAMSUNG-part2
proxmox-boot-tool init /dev/disk/by-id/nvme-SAMSUNG-part2
proxmox-boot-tool status

Clean /etc/kernel/proxmox-boot-uuids

proxmox-boot-tool status
proxmox-boot-tool refresh
proxmox-boot-tool clean

Da sind aber ein paar Befehle für den boot per UEFI drin, oder? Ich habe nur grub ...

 

[Lueghi]

Nein, außer mit ls -la /dev/disk/by-id die eindeutigen Namen der alten und neuen Disks/Partitionen herausfinden ist da nichts weiter ("/dev/sda3" usw sollte man ja besser nicht nutzen).

Das bezieht sich aber nur auf den zpool replace - Befehl, oder?

 

[Dunuin]

Das bezieht sich aber nur auf den zpool replace - Befehl, oder?

Nein, auf alle außer "proxmox-boot-tool status".

 

[Lueghi]

Nein, auf alle außer "proxmox-boot-tool status".

Jetzt hast Du mich aber etwas verwirrt:

Ich boote doch nur mit grub und da kann ich die proxmox-boot-tools doch gar nicht nutzen .... ???
Und bei den sgdisk-Befehlen nutze ich doch auch nur die Devicenamen (dev/sda) oder muss/sollte ich hier auch die by-id-Namen nehmen?

 

[Dunuin]

Ich boote doch nur mit grub und da kann ich die proxmox-boot-tools doch gar nicht nutzen .... ???

Auch bei "grub-install <new disk>" musst du ja die neue Disk angeben und dafür am besten vorher die eindeutige ID herausfinden. Also bei...

ls -la /dev/disk/by-id
total 0
drwxr-xr-x 2 root root 700 Nov  9 21:14 .
drwxr-xr-x 8 root root 160 Nov  8 13:03 ..
lrwxrwxrwx 1 root root   9 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN -> ../../sda
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part1 -> ../../sda1
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part2 -> ../../sda2
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part3 -> ../../sda3
lrwxrwxrwx 1 root root   9 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN -> ../../sdb
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part1 -> ../../sdb1
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part2 -> ../../sdb2
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part3 -> ../../sdb3
...

...die Befehle...

sgdisk /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN -R /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN
sgdisk -G /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN
zpool replace -f <pool> /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part3 /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part3
grub-install /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN

...wenn "ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN" die heile Disk ist und "ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN" die neue Disk und Grub verwendet wird.

Aber ja...vorallem wäre die eindeutige ID bei dem "zpool replace"-Befehl wichtig, dass man da später leichter die Disk identifizieren kann, wenn man ein "zpool status" aufrufen muss. Ist ja schöner wenn man sieht welches SSD Modell mit welcher Seriennummer da ausgefallen ist oder Fehler hat, als wenn da nur ein nichtssagendes "sda" steht. Dann baut man auch nicht ausversehen die noch heile Disk aus.

 

[Lueghi]

Auch bei "grub-install <new disk>" musst du ja die neue Disk angeben und dafür am besten vorher die eindeutige ID herausfinden. Also bei...

ls -la /dev/disk/by-id
total 0
drwxr-xr-x 2 root root 700 Nov  9 21:14 .
drwxr-xr-x 8 root root 160 Nov  8 13:03 ..
lrwxrwxrwx 1 root root   9 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN -> ../../sda
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part1 -> ../../sda1
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part2 -> ../../sda2
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part3 -> ../../sda3
lrwxrwxrwx 1 root root   9 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN -> ../../sdb
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part1 -> ../../sdb1
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part2 -> ../../sdb2
lrwxrwxrwx 1 root root  10 Nov  8 13:04 ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part3 -> ../../sdb3
...

...die Befehle...

sgdisk /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN -R /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN
sgdisk -G /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN
zpool replace -f <pool> /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN-part3 /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN-part3
grub-install /dev/disk/by-id/ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN

...wenn "ata-INTEL_SSDSC2BA200G4_BTHV5463013V200MGN" die heile Disk ist und "ata-INTEL_SSDSC2BA200G4_BTHV514406A4200MGN" die neue Disk und Grub verwendet wird.

Aber ja...vorallem wäre die eindeutige ID bei dem "zpool replace"-Befehl wichtig, dass man da später leichter die Disk identifizieren kann, wenn man ein "zpool status" aufrufen muss. Ist ja schöner wenn man sieht welches SSD Modell mit welcher Seriennummer da ausgefallen ist oder Fehler hat, als wenn da nur ein nichtssagendes "sda" steht. Dann baut man auch nicht ausversehen die noch heile Disk aus.

Ganz herzlichen Dank für Deine Ausführungen.
Da sieht man mal wieder wie schwierig es ist, eine Anleitung so zu schreiben, dasss sie für ALLE (auch für Einäugige ) verständlich ist. Da wäre ich jetzt echt reingefallen ...
Dann will ich morgen mal den Versuch starten und hoffen, dass ich alles richtig mache ....

Bei den SMART-Parametern kann ich als Laie nicht viel erkennen:



Gibt es da einen Parameter der auf die Schreibprobleme hindeutet?

Gruß Stefan

 

[Dunuin]

Gibt es da einen Parameter der auf die Schreibprobleme hindeutet?

Sieht für mich erstmal ok aus, auch wenn die Disk natürlich schon einiges an Laufzeit (3 Jahre) hinter sich hat.

 

[ubu]

Sorry, wenn du grub nutzt ist der proxmox-boot-tool Teil natürlich falsch, grub-install stattdessen

 

[Lueghi]

Habe heute den Versuch gestartet um die HD zu tauschen: ich bin leider kläglich gescheitert

Habe den Server runtergefahren und die HD's getauscht. Beim Booten hat er dann den grub nicht gefunden und ist hängen geblieben. Habe dann die alte HD wieder eingebaut und dann hat das System auch wieder gebootet ....

Da kam aus den hintersten Ecken meines Gedächtnisses eine ganz vage Info: meine Hardware HP Microserver Gen8 kann nur von sda booten. Also gute HD sdb in Steckplatz 1, neue HD auf Steckplatz 2. System bootet weiter wie vorher, kann dann aber /dev/md0 nicht finden. Bei meinen im 1. Thread erwähnten Bootproblemen nach einem proxmox-Update habe ich mit externer fachlichen Unterstützung auch die Bootpartition in einem md0 eingerichtet. Das scheint mir jetzt bei dem Austausch ein Problem zu machen.

Ausgabe von mdadm --detail /dev/md0:

/dev/md0:
           Version : 1.2
     Creation Time : Wed Mar 17 17:17:59 2021
        Raid Level : raid1
        Array Size : 523264 (511.00 MiB 535.82 MB)
     Used Dev Size : 523264 (511.00 MiB 535.82 MB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sat Nov 11 20:35:23 2023
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : proxmox:0  (local to host proxmox)
              UUID : cab33f4c:af5f8e29:ffcb42f8:b802d7ea
            Events : 133

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       1       8       18        1      active sync   /dev/sdb2

Habe die schlechte HD aktuell wieder eingebaut, damit ich zumindest das System wieder nutzen kann auch wenn das ZFS jetzt nicht im Mirror läuft.

Ist das Problem mit Eurer Hilfe in den Griff zu bekommen oder muss ich wieder externe, bezahlte Hilfe in Anspruch nehmen? Von mdadm habe ich nämlich absolut keine Ahnung ....

Gruß Stefan

 

[Lueghi]

Sieht für mich erstmal ok aus, auch wenn die Disk natürlich schon einiges an Laufzeit (3 Jahre) hinter sich hat.

Sind 3 Jahre wirklich viel für eine NAS-Platte?

 

[Dunuin]

Sind 3 Jahre wirklich viel für eine NAS-Platte?

Naja, nicht viel, aber schon der Bereich wo die Platten anfangen häufiger auszufallen.

Da kam aus den hintersten Ecken meines Gedächtnisses eine ganz vage Info: meine Hardware HP Microserver Gen8 kann nur von sda booten. Also gute HD sdb in Steckplatz 1, neue HD auf Steckplatz 2. System bootet weiter wie vorher, kann dann aber /dev/md0 nicht finden. Bei meinen im 1. Thread erwähnten Bootproblemen nach einem proxmox-Update habe ich mit externer fachlichen Unterstützung auch die Bootpartition in einem md0 eingerichtet. Das scheint mir jetzt bei dem Austausch ein Problem zu machen.

Ausgabe von mdadm --detail /dev/md0:

/dev/md0:
Version : 1.2
Creation Time : Wed Mar 17 17:17:59 2021
Raid Level : raid1
Array Size : 523264 (511.00 MiB 535.82 MB)
Used Dev Size : 523264 (511.00 MiB 535.82 MB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent

Update Time : Sat Nov 11 20:35:23 2023
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

Consistency Policy : resync

Name : proxmox:0 (local to host proxmox)
UUID : cab33f4c:af5f8e29:ffcb42f8:b802d7ea
Events : 133

Number Major Minor RaidDevice State
0 8 2 0 active sync /dev/sda2
1 8 18 1 active sync /dev/sdb2

Habe die schlechte HD aktuell wieder eingebaut, damit ich zumindest das System wieder nutzen kann auch wenn das ZFS jetzt nicht im Mirror läuft.

Ist das Problem mit Eurer Hilfe in den Griff zu bekommen oder muss ich wieder externe, bezahlte Hilfe in Anspruch nehmen? Von mdadm habe ich nämlich absolut keine Ahnung ....

Was genau war denn da der Sinn?
Entweder du nutzt grub was im Kopf der Disk ist oder in partition 1 oder du nutzt systemd-boot, was dann Partition 2 als ESP nutzt. Im ersteren Fall brauchst du ja eigentlich keinen Mirror von der zweiten Partition und in letztem auch nicht, da die ungespiegelten ESPs über das proxmox-boot-tool synchron gehalten werden.

Du hast da jetzt jedenfalls kein Standardsetup mehr laufen weil PVE mdraid vermeidet.

 

[Lueghi]

Naja, nicht viel, aber schon der Bereich wo die Platten anfangen häufiger auszufallen.


Was genau war denn da der Sinn?
Entweder du nutzt grub was im Kopf der Disk ist oder in partition 1 oder du nutzt systemd-boot, was dann Partition 2 als ESP nutzt. Im ersteren Fall brauchst du ja eigentlich keinen Mirror von der zweiten Partition und in letztem auch nicht, da die ungespiegelten ESPs über das proxmox-boot-tool synchron gehalten werden.

Du hast da jetzt jedenfalls kein Standardsetup mehr laufen weil PVE mdraid vermeidet.

Den Sinn kann ich Dir nicht (mehr) nennen. Damals hat ein Update von proxmox-Komponenten mir den boot zerstört. Da gab es mal Probleme, kann auch sein, dass das noch mit meiner Hardware zusammenhing. Ich kriege das nicht mehr auf die Reihe. Daraufhin ist das dann so eingerichtet worden und hat problemlos bis jetzt alle Updaten überlebt.

 

[ubu]

Hallo Lueghi,

wie sieht dein Partitionsschema aus, benutzt du BIOS oder UEFI boot? Für /boot oder EFI solltest du (wenn überhaupt) Superblock-Format 0.9 verwenden, da dieses die Raid Info ans Ende der Partition packt. (https://raid.wiki.kernel.org/index.php/RAID_superblock_formats)
Für EFI wird SW Raid nicht empfohlen (geht aber).
Wenn du über EFI bootest wäre es möglicherweise das beste auf proxmox-boot-tool umzustellen, das schreibt kernel und initrd auf beiden Platten in die /boot/EFI Partition

 

[Lueghi]

Hallo proxmox-Freunde,

ich habe es doch noch geschafft: die neue Platte läuft . Es hat trotz meines Halb-Wissens funktioniert !

Ich habe mich nach meinem letzten Beitrag zu dem Thema noch mal etwas genauer mit meiner Installation auseinander gesetzt, viel im Internet - vielen Dank auch noch mal an die User mit den Links zu entsprechenden Beschreibungen - gelesen und mich letztendlich an die Umsetzung gewagt. Im Folgenden möchte ich meinen Lösungsweg etwas beschreiben, vielleicht hilft es ja mal jemandem ...

Ausgangslage:

• 2x identische HDD's, als ZFS-Mirror (rpool)
• gebootet wird über grub
• Schacht 1 (sda): ist bootfähig, 3 Partitionen (boot:sda1, EFI:sda2 und ZFS:sda3) und ist die HDD mit den Write-Errors in der ZFS-Partition
• Schacht 2 (sdb): intakte Platte mit den identischen Partitionen wie sda
• Software-Raid md0 mit sda2 und sdb2 (EFI-Partitionen); vermute eine Konfiguration mit Verweis auf grub in der boot-Partition (mit dem Booten von EFI hatte ich ja mal Probleme auf der Hardware und da hat mir ein Linux-Profi das so eingerichtet; ich VERMUTE, er hat den Bootvorgang updateresistent auf grub umkonfiguriert und durch md0 sichergestellt, dass grub immer zum Einsatz kommt, egal welche Platte im Boot-Schacht steckt)

Hatte ja früher schon beschrieben, was ich alles schon versucht habe und welche Fehler dabei aufgetreten sind.

• 1. Schritt: tausch der HDD in den Schächten (da nur Schacht 1 bootfähig ist)
  ---> System bootet ordnungsgemäß
  ---> defekte HDD ist jetzt /dev/sdb, gute HDD ist jetzt /dev/sda

• 2. Schritt: in md0 sdb2 im Raid deaktiviert (sdb2 liegt ja auf der defekten Platte)
  

  mdadm --manage /dev/md0 --fail /dev/sdb2
  mdadm /def/md0/ -r /dev/sdb2

  ---> System bootet auch mit ausgebauter sdb2, das ist ein Fortschritt zu den ersten Versuchen

• 3. Schritt: in Schacht 2 die neue, identische "Reserve"-HDD eingebaut
  ---> System bootet ganz normal und zeigt die neue, leere HDD auch korrekt an

• 4. Schritt: Partitionstabelle von guter HDD auf die neue, leere HDD übertragen
  

  sgdisk /dev/sba -R /dev/sdb

• 5. Schritt: neue GUID's auf der neuen Platte erzeugt
  

  sgdisk -G /dev/sdb

• 6. Schritt: Austausch der kaputten ZFS-Partition gegen die neue
  

  zpool replace -f rpool  /dev/disk/by-id/ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N2AYH4ZV-part3 /dev/disk/by-id/ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N7TUYP5V-part3

  ---> nach einem - langen - resilver-Vorgang ist der ZFS-Mirror wieder aktiv und korrekt
  ---> die Freude war sehr groß

• 7. Schritt: Installation von grub auf der neuen Platte
  

  grub-install /dev/sdb2

• 8. Schritt: wieder einbinden der neuen EFI-Partition in md0
  

  mdadm /dev/md0 -a /dev/sdb2

  ---> sda2 wird auf sdb2 gespiegelt

Und zu guter Letzt: auch ein Reboot des Systems verlief "unauffällig" normal .

Mein Resumee: proxmox ist ein geiles System!

 

[ubu]

Hallo proxmox-Freunde,

ich habe es doch noch geschafft: die neue Platte läuft . Es hat trotz meines Halb-Wissens funktioniert !

Ich habe mich nach meinem letzten Beitrag zu dem Thema noch mal etwas genauer mit meiner Installation auseinander gesetzt, viel im Internet - vielen Dank auch noch mal an die User mit den Links zu entsprechenden Beschreibungen - gelesen und mich letztendlich an die Umsetzung gewagt. Im Folgenden möchte ich meinen Lösungsweg etwas beschreiben, vielleicht hilft es ja mal jemandem ...

Ausgangslage:

• 2x identische HDD's, als ZFS-Mirror (rpool)
• gebootet wird über grub
• Schacht 1 (sda): ist bootfähig, 3 Partitionen (boot:sda1, EFI:sda2 und ZFS:sda3) und ist die HDD mit den Write-Errors in der ZFS-Partition
• Schacht 2 (sdb): intakte Platte mit den identischen Partitionen wie sda
• Software-Raid md0 mit sda2 und sdb2 (EFI-Partitionen); vermute eine Konfiguration mit Verweis auf grub in der boot-Partition (mit dem Booten von EFI hatte ich ja mal Probleme auf der Hardware und da hat mir ein Linux-Profi das so eingerichtet; ich VERMUTE, er hat den Bootvorgang updateresistent auf grub umkonfiguriert und durch md0 sichergestellt, dass grub immer zum Einsatz kommt, egal welche Platte im Boot-Schacht steckt)

Hatte ja früher schon beschrieben, was ich alles schon versucht habe und welche Fehler dabei aufgetreten sind.

• 1. Schritt: tausch der HDD in den Schächten (da nur Schacht 1 bootfähig ist)
  ---> System bootet ordnungsgemäß
  ---> defekte HDD ist jetzt /dev/sdb, gute HDD ist jetzt /dev/sda

• 2. Schritt: in md0 sdb2 im Raid deaktiviert (sdb2 liegt ja auf der defekten Platte)
  

  mdadm --manage /dev/md0 --fail /dev/sdb2
  mdadm /def/md0/ -r /dev/sdb2

  ---> System bootet auch mit ausgebauter sdb2, das ist ein Fortschritt zu den ersten Versuchen

• 3. Schritt: in Schacht 2 die neue, identische "Reserve"-HDD eingebaut
  ---> System bootet ganz normal und zeigt die neue, leere HDD auch korrekt an

• 4. Schritt: Partitionstabelle von guter HDD auf die neue, leere HDD übertragen
  

  sgdisk /dev/sba -R /dev/sdb

• 5. Schritt: neue GUID's auf der neuen Platte erzeugt
  

  sgdisk -G /dev/sdb

• 6. Schritt: Austausch der kaputten ZFS-Partition gegen die neue
  

  zpool replace -f rpool  /dev/disk/by-id/ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N2AYH4ZV-part3 /dev/disk/by-id/ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N7TUYP5V-part3

  ---> nach einem - langen - resilver-Vorgang ist der ZFS-Mirror wieder aktiv und korrekt
  ---> die Freude war sehr groß

• 7. Schritt: Installation von grub auf der neuen Platte
  

  grub-install /dev/sdb2

• 8. Schritt: wieder einbinden der neuen EFI-Partition in md0
  

  mdadm /dev/md0 -a /dev/sdb2

  ---> sda2 wird auf sdb2 gespiegelt

Und zu guter Letzt: auch ein Reboot des Systems verlief "unauffällig" normal .

Mein Resumee: proxmox ist ein geiles System!

Genau meine Meinung