[SOLVED] ZFS Health Status

[OsvaldoP]

Hy

auch wenn es vlt nicht ganz zum PBS passt hoffe ich jemand kann mir kurz auf die Sprünge helfen!

Wir haben ein PBS mit einem zfs mirrow bei welchem eine Disk defekt wurde.
Die Disk wurde mit div Schritten versucht neu einzuhängen.

zpool offline zfs01 12212970603195174488
zpool detach zfs01 12212970603195174488
zpool add zfs01 sdb
zpool scrub zfs01

Anschließend ist ein Scrub gelaufen und das zfs wird als healthy angesehen

zpool status -v zfs01
  pool: zfs01
 state: ONLINE
  scan: scrub repaired 0B in 06:06:02 with 0 errors on Mon Dec 13 17:39:43 2021
config:

        NAME        STATE     READ WRITE CKSUM
        zfs01       ONLINE       0     0     0
          sda       ONLINE       0     0     0
          sdb       ONLINE       0     0     0

errors: No known data errors

Nun wollte ich wissen ob wirklich alle Daten resilvert wurden und denke dies kann ich wie folgt prüfen

 zpool iostat -v zfs01
              capacity     operations     bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
zfs01       3.00T  22.4T    173      8  53.6M  1.36M
  sda       2.95T  9.77T    163      3  52.8M   586K
  sdb       52.0G  12.7T      9      4   741K   813K
----------  -----  -----  -----  -----  -----  -----

Der Datastore hat derzeit eine Auslastung von ca 3TB
Wenn ich dies korrekt interpretiere sind am sda 2,95TB geschrieben
Jedoch am sdb nur 52GB

Könnte es sein, dass ich mit den Commands den mirrow zerstört habe und die Daten nun nicht mehr gespiegelt sind?


Sorry für die blöde Frage aber zfs ist noch recht neu und möchte einfach sicher gehen


Danke & sg
Roland

 

[t.lamprecht]

Hi,

Wir haben ein PBS mit einem zfs mirrow bei welchem eine Disk defekt wurde.
Die Disk wurde mit div Schritten versucht neu einzuhängen.

zpool offline zfs01 12212970603195174488
zpool detach zfs01 12212970603195174488
zpool add zfs01 sdb
zpool scrub zfs01

Könnte es sein, dass ich mit den Commands den mirrow zerstört habe und die Daten nun nicht mehr gespiegelt sind?

Ja scheint so, kaputte Disken sollten mit dem zpool replace Kommando getauscht werden.
https://pbs.proxmox.com/docs/sysadmin.html#changing-a-failed-device

Der einfachste weg zurzeit um den Mirror wiederherzustellen bzw. auszubalancieren ist die Daten nochmal zu schreiben, also entweder:

1. Den gesamten datastore Kopieren, etwa mit rsync einen ersten Sync, dann die proxmox-backup.service und proxmox-backup-proxy.service Services zu stoppen, um dann noch ein sauberen delta-sync zu machen, dann altes Datastore Verzeichnis umbenennen zu "name.bak" o.ä, und die Kopie aufs den richtigen Pfad zu verschieben. PBS Services wieder starten und Kontrollieren ob alles OK ist (etwa ein GC rennen lassen und ein paar Backups verifizieren). Falls alles OK ist kann das alte "name.bak" Verzeichnis, welches nun nicht mehr benötigt wird, gelöscht werden
2. Ähnliches Prinzip, aber ZFS Send / Receive anstatt rsync/cp Kopie, siehe etwa https://serverfault.com/a/859223/502191

 

[OsvaldoP]

Hy

sowas in der Art dachte ich mir schon.

Wäre es möglich alle PBS Dienste zu stoppen den Ordner umzubenennen und dann mit rscnc wieder in den richtigen Pfad synchen/kopieren und anschließend den umbenannten Ordner wieder löschen?

sg
Roland

 

[t.lamprecht]

Wäre es möglich alle PBS Dienste zu stoppen den Ordner umzubenennen und dann mit rscnc wieder in den richtigen Pfad synchen/kopieren und anschließend den umbenannten Ordner wieder löschen?

Ist mehr oder weniger genau der Ansatz den ich in 1. vorschlage Zwei inkrementelle rsyncs haben den Vorteil das während des ersten die PBS Dienste noch laufen können, der zweite Sync sollte dann relativ kurz dauern.

 

[t.lamprecht]

Ein scrub rebalanced nicht, es überprüft alle Daten und, falls möglich, repariert Fehler.

 

[OsvaldoP]

Hy

Danke für die Info, ich werde den Ordner umbenennen und dann die Daten zurückkopieren.
proxmox-backup.service und proxmox-backup-proxy.service sind gestoppt aber irgendwas anderes blockiert derzeit noch

mv: cannot move '/mnt/datastore/zfs01/' to '/mnt/datastore/zfs-tmp/zfs01': Device or resource busy

 

[t.lamprecht]

Hmm, sonst sollte da kein daemon was machen, evtl. mit lsof +D /mnt/datastore/zfs01/ nachschauen welche Prozesse offene Dateien dort haben.

 

[OsvaldoP]

Hy

lsof +D /mnt/datastore/zfs01/ hab ich schon probiert. Ergab keine leider Ergebnisse.
Habe nun jeden Ordner u Files unter /zfs01 kopiert, das scheint zu gehen. Derzeit wird .chuncks kopiert.

Ich meld mich dann

Danke

 

[OsvaldoP]

Hy

denke es schaut gut aus. Werd noch ein paar Restores testen

sg
u vD