[TUTORIAL] ZFS Anleitung

[fireon]

Nachdem ich leider wenig Zeit habe meine geschriebene Anleitung in das Proxmoxwiki in Englisch zu mergen, stelle ich sie mal hier rein. Wird sicherlich einigen helfen.

lg

 

[maxprox]

Hi Fireon,

klasse, das habe ich gebraucht, habe nämlich -ähnlich wie bei dir- ein Mini-Produktivsystem mit einem ZFS Raid1 bei der nach wenigen Wochen eine Festplatte ausgestiegen ist.

root@mariaprox:/var/lib/vz# smartctl /dev/sda -a
...
Device Model:  ST2000NM0033
Serial Number:  S1X054LM
LU WWN Device Id: 5 000c50 074ae6844
Firmware Version: SN03
User Capacity:  137,438,952,960 bytes [137 GB]
Sector Size:  512 bytes logical/physical
Rotation Rate:  7200 rpm
Device is:  Not in smartctl database [for details use: -P showall]
ATA Version is:  ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 3.0, 6.0 Gb/s
Local Time is:  Thu Jul 28 22:01:39 2016 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Read SMART Data failed: scsi error badly formed scsi parameters

=== START OF READ SMART DATA SECTION ===
SMART Status command failed: scsi error badly formed scsi parameters
SMART overall-health self-assessment test result: UNKNOWN!
SMART Status, Attributes and Thresholds cannot be read.

Read SMART Log Directory failed: scsi error badly formed scsi parameters

Read SMART Error Log failed: scsi error badly formed scsi parameters

Read SMART Self-test Log failed: scsi error badly formed scsi parameters

Selective Self-tests/Logging not supported

und

root@mariaprox:/var/lib/vz# zpool status
  pool: rpool
state: DEGRADED
status: One or more devices could not be used because the label is missing or
  invalid.  Sufficient replicas exist for the pool to continue
  functioning in a degraded state.
action: Replace the device using 'zpool replace'.
  see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: none requested
config:

  NAME  o  STATE  READ WRITE CKSUM
  rpool  DEGRADED  0  0  0
  mirror-0  DEGRADED  0  0  0
  18152550054854844752  UNAVAIL  0  0  0  was /dev/sda2
  sdb2  ONLINE  0  0  0

Diese will ich übernächste Woche ersetzen, inkl. neuem SATA-Kabel.
Da hilft mir deine Anleitung sehr. Danke!

Und gerade die gegenwärtig unterschiedlichen Sektorgrößen haben mich auch schon mehrfach umgetrieben, siehe auch:
https://hardforum.com/threads/zfs-and-512n-vs-512e-vs-4kn-drives.1894216/
zB bei Hitachi / HGST gibt es die gleichen Serverfestplatten mit unterschiedlichen Sektorgrößen:

die HUS724040ALA640 4 TB Ultrastar hat 512n
die HUS724040ALE640 4 TB Ultrastar hat 512e

Wie du schon schreibst haben die ganz neuen 4k.
Frage: Was passiert denn bei einer Proxmox Neuinstallation per Installer GUI? Wie stellt sich hier das ZFS ein?
Oder mit anderen Worten: genau verstehe ich dein ersten Abschnitt noch nicht.
Ich versuch's mal: bei 512n stellt sich ZFS auf 512n ein => alles gut
bei 4k(n) stellt sich ZFS auf 4k ein => alles gut
ABER bei 512e mit 4096 physical richtet sich ZFS auf 512Bytes aus => NICHT gut - hier müsste man Hand anlegen(?)

Frage zum Ersetzen bei einem rpool:
du beschreibst zuerst (kein rpool) den tausch mit dem Dreierschritt zpool offline -detach und -attach usw.
Will ich in einem rpool, wie bei meinem ZFS Raid1 eine "DEGRADED" Festplatte ersetzen, muss ich:
-ohne vorheriges "zpool offline" als erstes die "DEGRADED" Festplatte physisch gegen die neue ersetzen
-mit sgdisk -R und sgdisk -G Partitionierung kopieren und UUIDs individualisieren
-mit "zpool replace -f rpool 'neueUUID' 'neueUUID'" erfolgt die eigentliche Ersetzung und der Resilverprozess
==> EDIT:, das muss sicher "zpool replace -f rpool 'alteUUID' 'neueUUID'" heisen
-wenn der resilver progress abgeschlossen ist noch Grub neu schreiben
-fertig(?)

In der Oracle Doku:
https://docs.oracle.com/cd/E24841_01/html/820-2313/ghzvz.html
steht gleich zu beginn, dass hier teilweise auch erst offline geschaltet werden soll
und da gibt es noch den Befehl

cfgadm -c unconfigure
cfgadm -c configure

Den gibt es wohl nur bei Solaris und BSD.

Letzte kleine Anmerkungen:
Du erklärst in deiner Zusammenfassung zu beginn, was die ashift values bedeuten:
(29 =512) bei (2^9 =512) wäre es noch schneller klar ;-)
In der letzten Zeile auf Seite 2 schreibst du "zfs status" meinst aber "zpool status"

Klasse Anleitung (und sogar in deutsch)
Vielen Dank!

 

[fireon]

Wie du schon schreibst haben die ganz neuen 4k.
Frage: Was passiert denn bei einer Proxmox Neuinstallation per Installer GUI? Wie stellt sich hier das ZFS ein?
Oder mit anderen Worten: genau verstehe ich dein ersten Abschnitt noch nicht.
Ich versuch's mal: bei 512n stellt sich ZFS auf 512n ein => alles gut
bei 4k(n) stellt sich ZFS auf 4k ein => alles gut
ABER bei 512e mit 4096 physical richtet sich ZFS auf 512Bytes aus => NICHT gut - hier müsste man Hand anlegen(?)

Gute Frage, wir nehmen jetzt immer nur 4k Platten. Die 512 waren mal ein Ausrutscher beim Kauf.

 

[fireon]

Update angehängt.