[SOLVED] ZFS Health Status

Mar 30, 2020
137
16
23
43
Hy

auch wenn es vlt nicht ganz zum PBS passt hoffe ich jemand kann mir kurz auf die Sprünge helfen!

Wir haben ein PBS mit einem zfs mirrow bei welchem eine Disk defekt wurde.
Die Disk wurde mit div Schritten versucht neu einzuhängen.
Code:
zpool offline zfs01 12212970603195174488
zpool detach zfs01 12212970603195174488
zpool add zfs01 sdb
zpool scrub zfs01

Anschließend ist ein Scrub gelaufen und das zfs wird als healthy angesehen

Code:
zpool status -v zfs01
  pool: zfs01
 state: ONLINE
  scan: scrub repaired 0B in 06:06:02 with 0 errors on Mon Dec 13 17:39:43 2021
config:

        NAME        STATE     READ WRITE CKSUM
        zfs01       ONLINE       0     0     0
          sda       ONLINE       0     0     0
          sdb       ONLINE       0     0     0

errors: No known data errors

Nun wollte ich wissen ob wirklich alle Daten resilvert wurden und denke dies kann ich wie folgt prüfen

Code:
 zpool iostat -v zfs01
              capacity     operations     bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
zfs01       3.00T  22.4T    173      8  53.6M  1.36M
  sda       2.95T  9.77T    163      3  52.8M   586K
  sdb       52.0G  12.7T      9      4   741K   813K
----------  -----  -----  -----  -----  -----  -----

Der Datastore hat derzeit eine Auslastung von ca 3TB
Wenn ich dies korrekt interpretiere sind am sda 2,95TB geschrieben
Jedoch am sdb nur 52GB

Könnte es sein, dass ich mit den Commands den mirrow zerstört habe und die Daten nun nicht mehr gespiegelt sind?


Sorry für die blöde Frage aber zfs ist noch recht neu und möchte einfach sicher gehen


Danke & sg
Roland
 
Hi,
Wir haben ein PBS mit einem zfs mirrow bei welchem eine Disk defekt wurde.
Die Disk wurde mit div Schritten versucht neu einzuhängen.
Code:
zpool offline zfs01 12212970603195174488
zpool detach zfs01 12212970603195174488
zpool add zfs01 sdb
zpool scrub zfs01
Könnte es sein, dass ich mit den Commands den mirrow zerstört habe und die Daten nun nicht mehr gespiegelt sind?
Ja scheint so, kaputte Disken sollten mit dem zpool replace Kommando getauscht werden.
https://pbs.proxmox.com/docs/sysadmin.html#changing-a-failed-device

Der einfachste weg zurzeit um den Mirror wiederherzustellen bzw. auszubalancieren ist die Daten nochmal zu schreiben, also entweder:

1. Den gesamten datastore Kopieren, etwa mit rsync einen ersten Sync, dann die proxmox-backup.service und proxmox-backup-proxy.service Services zu stoppen, um dann noch ein sauberen delta-sync zu machen, dann altes Datastore Verzeichnis umbenennen zu "name.bak" o.ä, und die Kopie aufs den richtigen Pfad zu verschieben. PBS Services wieder starten und Kontrollieren ob alles OK ist (etwa ein GC rennen lassen und ein paar Backups verifizieren). Falls alles OK ist kann das alte "name.bak" Verzeichnis, welches nun nicht mehr benötigt wird, gelöscht werden
2. Ähnliches Prinzip, aber ZFS Send / Receive anstatt rsync/cp Kopie, siehe etwa https://serverfault.com/a/859223/502191
 
Hy

sowas in der Art dachte ich mir schon.

Wäre es möglich alle PBS Dienste zu stoppen den Ordner umzubenennen und dann mit rscnc wieder in den richtigen Pfad synchen/kopieren und anschließend den umbenannten Ordner wieder löschen?

sg
Roland
 
Wäre es möglich alle PBS Dienste zu stoppen den Ordner umzubenennen und dann mit rscnc wieder in den richtigen Pfad synchen/kopieren und anschließend den umbenannten Ordner wieder löschen?
Ist mehr oder weniger genau der Ansatz den ich in 1. vorschlage ;) Zwei inkrementelle rsyncs haben den Vorteil das während des ersten die PBS Dienste noch laufen können, der zweite Sync sollte dann relativ kurz dauern.
 
Hy

Danke für die Info, ich werde den Ordner umbenennen und dann die Daten zurückkopieren.
proxmox-backup.service und proxmox-backup-proxy.service sind gestoppt aber irgendwas anderes blockiert derzeit noch

mv: cannot move '/mnt/datastore/zfs01/' to '/mnt/datastore/zfs-tmp/zfs01': Device or resource busy
 
Hy

lsof +D /mnt/datastore/zfs01/ hab ich schon probiert. Ergab keine leider Ergebnisse.
Habe nun jeden Ordner u Files unter /zfs01 kopiert, das scheint zu gehen. Derzeit wird .chuncks kopiert.

Ich meld mich dann

Danke
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!