raidz2 Disk ersetzen

aaron · Apr 29, 2020

Kannst du bitte mal den Output von lsblk zeigen? Irgendwas ist mit den Partitionen Schief gelaufen.
Bitte auch ein zpool status.

vikozo · Apr 29, 2020

Code:

# lsblk
NAME      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda         8:0    0   5.5T  0 disk
tqsda1      8:1    0  1007K  0 part
tqsda2      8:2    0   512M  0 part
mqsda3      8:3    0   5.5T  0 part
sdb         8:16   0   5.5T  0 disk
tqsdb1      8:17   0  1007K  0 part
tqsdb2      8:18   0   512M  0 part
mqsdb3      8:19   0   5.5T  0 part
sdc         8:32   0   5.5T  0 disk
tqsdc1      8:33   0  1007K  0 part
tqsdc2      8:34   0   512M  0 part
mqsdc3      8:35   0   5.5T  0 part
sdd         8:48   0   5.5T  0 disk
tqsdd1      8:49   0   5.5T  0 part
mqsdd9      8:57   0     8M  0 part
zd0       230:0    0    20G  0 disk
tqzd0p1   230:1    0   243M  0 part
tqzd0p2   230:2    0     1K  0 part
mqzd0p5   230:5    0  19.8G  0 part
zd16      230:16   0    20G  0 disk
tqzd16p1  230:17   0   243M  0 part
tqzd16p2  230:18   0     1K  0 part
mqzd16p5  230:21   0  19.8G  0 part
zd32      230:32   0    12G  0 disk
tqzd32p1  230:33   0   243M  0 part
tqzd32p2  230:34   0     1K  0 part
mqzd32p5  230:37   0  11.8G  0 part
zd48      230:48   0    10G  0 disk
tqzd48p1  230:49   0     9G  0 part
tqzd48p2  230:50   0     1K  0 part
mqzd48p5  230:53   0  1022M  0 part
zd64      230:64   0    75G  0 disk
tqzd64p1  230:65   0   243M  0 part
tqzd64p2  230:66   0     1K  0 part
mqzd64p5  230:69   0  74.8G  0 part
zd80      230:80   0   100G  0 disk
tqzd80p1  230:81   0   243M  0 part
tqzd80p2  230:82   0     1K  0 part
mqzd80p5  230:85   0  99.8G  0 part
zd96      230:96   0   2.3T  0 disk
zd112     230:112  0    50G  0 disk
tqzd112p1 230:113  0   243M  0 part
tqzd112p2 230:114  0     1K  0 part
tqzd112p3 230:115  0    15G  0 part
tqzd112p4 230:116  0    25G  0 part
mqzd112p5 230:117  0   9.8G  0 part
zd128     230:128  0   2.5G  0 disk
zd144     230:144  0   450G  0 disk
tqzd144p1 230:145  0 434.4G  0 part
tqzd144p2 230:146  0   7.8G  0 part
mqzd144p3 230:147  0   7.8G  0 part
zd160     230:160  0   250G  0 disk
tqzd160p1 230:161  0   243M  0 part
tqzd160p2 230:162  0     1K  0 part
mqzd160p5 230:165  0 249.8G  0 part
zd176     230:176  0   350G  0 disk
zd192     230:192  0    25G  0 disk
tqzd192p1 230:193  0   243M  0 part
tqzd192p2 230:194  0     1K  0 part
tqzd192p3 230:195  0    15G  0 part
mqzd192p5 230:197  0   9.8G  0 part
zd208     230:208  0    50G  0 disk
zd224     230:224  0    20G  0 disk
tqzd224p1 230:225  0   243M  0 part
tqzd224p2 230:226  0     1K  0 part
mqzd224p5 230:229  0  19.8G  0 part
zd240     230:240  0   2.5G  0 disk

Code:

# zpool status
  pool: rpool
state: DEGRADED
status: One or more devices could not be used because the label is missing or
        invalid.  Sufficient replicas exist for the pool to continue
        functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub repaired 0B in 0 days 00:07:40 with 0 errors on Sun Feb  9 00:31:41 2020
config:

        NAME                                        STATE     READ WRITE CKSUM
        rpool                                       DEGRADED     0     0     0
          raidz2-0                                  DEGRADED     0     0     0
            ata-ST6000NM0115-1YZ110_ZAD9ATFR-part3  ONLINE       0     0     0
            ata-TOSHIBA_HDWT360_8910A001FB1G-part3  ONLINE       0     0     0
            ata-TOSHIBA_HDWE160_49PRK0P9FB8G-part3  ONLINE       0     0     0
            3721057395899690472                     UNAVAIL      0     0     0  was /dev/disk/by-id/ata-ST6000VN0033-2EE110_ZAD9Z7RQ-part3

errors: No known data errors

aaron · Apr 29, 2020

Kannst du das ganze bitte in [ CODE ] [ /CODE ] Blöcke setzen damit das lesbar wird? (ohne Leerzeichen innerhalb der eckigen Klammern).

vikozo · Apr 29, 2020

angepasst

aaron · Apr 29, 2020

Code:

NAME      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda         8:0    0   5.5T  0 disk
├─sda1      8:1    0  1007K  0 part
├─sda2      8:2    0   512M  0 part
└─sda3      8:3    0   5.5T  0 part
sdb         8:16   0   5.5T  0 disk
├─sdb1      8:17   0  1007K  0 part
├─sdb2      8:18   0   512M  0 part
└─sdb3      8:19   0   5.5T  0 part
sdc         8:32   0   5.5T  0 disk
├─sdc1      8:33   0  1007K  0 part
├─sdc2      8:34   0   512M  0 part
└─sdc3      8:35   0   5.5T  0 part
sdd         8:48   0   5.5T  0 disk
├─sdd1      8:49   0   5.5T  0 part
└─sdd9      8:57   0     8M  0 part

Wieso bei deinem Output `tq` und `mq` statt der Rahmenzeichen, wie ich sie nachträglich eingefügt habe, ist auch interessant.

Was man hier jetzt gut sieht ist dass, `sdd` nur zwei Partitionen hat (grundsätzlich werden diese so erstellt wenn man eine ganze Festplatte ZFS gibt.
Wenn das mit dem Partitionstabelle richtig funktioniert hätte, sollte es wie bei den oberen 3 Festplatten ausschauen.

War die `sdd` evtl. schon mal Teil eines anderen Pools?

vikozo · Apr 29, 2020

@aaron die Disk habe ich als ersatz vor ein paar Tagen erhalten, als ersatz für eine Defekt gelieferte - ausgetauscht!

könnte man die Disk reinitialisieren?

aaron · Apr 29, 2020

Hmm, versuch die Schritte bis zum zpool replace nochmal, und Check ob die Festplatte dann die 3 Partitionen hat. Beim Replace musst du dann die dritte Partition angeben.

Ich bin mir nicht sicher ob dieser Befehl die vorherigen Schritte zunichte gemacht hat: # zpool replace rpool /dev/sdd

vikozo · Apr 29, 2020

Code:

root@pve-04:~# sgdisk --replicate=/dev/sdd /dev/sda
The operation has completed successfully.
root@pve-04:~#  sgdisk --randomize-guids /dev/sdd
The operation has completed successfully.
root@pve-04:~# grub-install /dev/sdd
Installing for i386-pc platform.
Installation finished. No error reported.

Code:

# lsblk
NAME      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda         8:0    0   5.5T  0 disk
sda1      8:1    0  1007K  0 part
sda2      8:2    0   512M  0 part
sda3      8:3    0   5.5T  0 part
sdb         8:16   0   5.5T  0 disk
sdb1      8:17   0  1007K  0 part
sdb2      8:18   0   512M  0 part
sdb3      8:19   0   5.5T  0 part
sdc         8:32   0   5.5T  0 disk
sdc1      8:33   0  1007K  0 part
sdc2      8:34   0   512M  0 part
sdc3      8:35   0   5.5T  0 part
sdd         8:48   0   5.5T  0 disk
sdd1      8:49   0  1007K  0 part
sdd2      8:50   0   512M  0 part
sdd3      8:51   0   5.5T  0 part

würde ja jetzt besser aussehen

Code:

# ls ata-ST6000VN0033* -alth
lrwxrwxrwx 1 root root 10 Apr 29 14:42 ata-ST6000VN0033-2EE110_ZADAFYXN-part3 -> ../../sdd3
lrwxrwxrwx 1 root root 10 Apr 29 14:42 ata-ST6000VN0033-2EE110_ZADAFYXN-part2 -> ../../sdd2
lrwxrwxrwx 1 root root 10 Apr 29 14:42 ata-ST6000VN0033-2EE110_ZADAFYXN-part1 -> ../../sdd1
lrwxrwxrwx 1 root root  9 Apr 29 14:42 ata-ST6000VN0033-2EE110_ZADAFYXN -> ../../sdd

auch hier taucht die Disk mit part3 auf

vikozo · Apr 29, 2020

@aaron
ich denke jetzt kommt es gut!

Code:

# zpool status
  pool: rpool
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Wed Apr 29 15:12:32 2020
        1.67G scanned at 44.9M/s, 9.56M issued at 258K/s, 6.98T total
        0B resilvered, 0.00% done, no estimated completion time
config:

        NAME                                          STATE     READ WRITE CKSUM
        rpool                                         DEGRADED     0     0     0
          raidz2-0                                    DEGRADED     0     0     0
            ata-ST6000NM0115-1YZ110_ZAD9ATFR-part3    ONLINE       0     0     0
            ata-TOSHIBA_HDWT360_8910A001FB1G-part3    ONLINE       0     0     0
            ata-TOSHIBA_HDWE160_49PRK0P9FB8G-part3    ONLINE       0     0     0
            replacing-3                               DEGRADED     0     0     0
              3721057395899690472                     UNAVAIL      0     0     0  was /dev/disk/by-id/ata-ST6000VN0033-2EE110_ZAD9Z7RQ-part3
              ata-ST6000VN0033-2EE110_ZADAFYXN-part3  ONLINE       0     0     0

errors: No known data errors

aaron · Apr 29, 2020

Das schaut eindeutig besser aus.

vikozo · Apr 29, 2020

@aaron vielen Dank für deine Geduld - eventuell müsste man das wiki ein wenig anpassen ;-)

vikozo · Apr 30, 2020

@aaron nochmals vielen Dank
aber ist es normal das es 19 Stunden dauert?

Code:

# zpool status
  pool: rpool
 state: ONLINE
  scan: resilvered 1.58T in 0 days 19:42:07 with 0 errors on Thu Apr 30 10:54:39 2020
config:

        NAME                                        STATE     READ WRITE CKSUM
        rpool                                       ONLINE       0     0     0
          raidz2-0                                  ONLINE       0     0     0
            ata-ST6000NM0115-1YZ110_ZAD9ATFR-part3  ONLINE       0     0     0
            ata-TOSHIBA_HDWT360_8910A001FB1G-part3  ONLINE       0     0     0
            ata-TOSHIBA_HDWE160_49PRK0P9FB8G-part3  ONLINE       0     0     0
            ata-ST6000VN0033-2EE110_ZADAFYXN-part3  ONLINE       0     0     0

errors: No known data errors

gruss
vinc

aaron · Apr 30, 2020

vikozo said:
aber ist es normal das es 19 Stunden dauert?

Ich persönlich hab zu wenig Erfahrung mit resilvern um da eine Aussage zu treffen. Kommt sicher auch drauf an wie sehr das System unter Last stand während dessen, CPU als auch normale IO im Pool.

Search

Search

raidz2 Disk ersetzen

aaron

Proxmox Staff Member

vikozo

Renowned Member

aaron

Proxmox Staff Member

vikozo

Renowned Member

aaron

Proxmox Staff Member

vikozo

Renowned Member

aaron

Proxmox Staff Member

vikozo

Renowned Member

vikozo

Renowned Member

aaron

Proxmox Staff Member

vikozo

Renowned Member

vikozo

Renowned Member

aaron

Proxmox Staff Member