[TUTORIAL] ZFS Anleitung

fireon

Well-Known Member
Oct 25, 2010
3,049
190
63
Austria/Graz
iteas.at
Nachdem ich leider wenig Zeit habe meine geschriebene Anleitung in das Proxmoxwiki in Englisch zu mergen, stelle ich sie mal hier rein. Wird sicherlich einigen helfen.

lg
 

Attachments

Hi Fireon,

klasse, das habe ich gebraucht, habe nämlich -ähnlich wie bei dir- ein Mini-Produktivsystem mit einem ZFS Raid1 bei der nach wenigen Wochen eine Festplatte ausgestiegen ist.

Code:
root@mariaprox:/var/lib/vz# smartctl /dev/sda -a
...
Device Model:  ST2000NM0033
Serial Number:  S1X054LM
LU WWN Device Id: 5 000c50 074ae6844
Firmware Version: SN03
User Capacity:  137,438,952,960 bytes [137 GB]
Sector Size:  512 bytes logical/physical
Rotation Rate:  7200 rpm
Device is:  Not in smartctl database [for details use: -P showall]
ATA Version is:  ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 3.0, 6.0 Gb/s
Local Time is:  Thu Jul 28 22:01:39 2016 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Read SMART Data failed: scsi error badly formed scsi parameters

=== START OF READ SMART DATA SECTION ===
SMART Status command failed: scsi error badly formed scsi parameters
SMART overall-health self-assessment test result: UNKNOWN!
SMART Status, Attributes and Thresholds cannot be read.

Read SMART Log Directory failed: scsi error badly formed scsi parameters

Read SMART Error Log failed: scsi error badly formed scsi parameters

Read SMART Self-test Log failed: scsi error badly formed scsi parameters

Selective Self-tests/Logging not supported
und
Code:
root@mariaprox:/var/lib/vz# zpool status
  pool: rpool
state: DEGRADED
status: One or more devices could not be used because the label is missing or
  invalid.  Sufficient replicas exist for the pool to continue
  functioning in a degraded state.
action: Replace the device using 'zpool replace'.
  see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: none requested
config:

  NAME  o  STATE  READ WRITE CKSUM
  rpool  DEGRADED  0  0  0
  mirror-0  DEGRADED  0  0  0
  18152550054854844752  UNAVAIL  0  0  0  was /dev/sda2
  sdb2  ONLINE  0  0  0

Diese will ich übernächste Woche ersetzen, inkl. neuem SATA-Kabel.
Da hilft mir deine Anleitung sehr. Danke!

Und gerade die gegenwärtig unterschiedlichen Sektorgrößen haben mich auch schon mehrfach umgetrieben, siehe auch:
https://hardforum.com/threads/zfs-and-512n-vs-512e-vs-4kn-drives.1894216/
zB bei Hitachi / HGST gibt es die gleichen Serverfestplatten mit unterschiedlichen Sektorgrößen:

Code:
die HUS724040ALA640 4 TB Ultrastar hat 512n
die HUS724040ALE640 4 TB Ultrastar hat 512e
Wie du schon schreibst haben die ganz neuen 4k.
Frage: Was passiert denn bei einer Proxmox Neuinstallation per Installer GUI? Wie stellt sich hier das ZFS ein?
Oder mit anderen Worten: genau verstehe ich dein ersten Abschnitt noch nicht.
Ich versuch's mal: bei 512n stellt sich ZFS auf 512n ein => alles gut
bei 4k(n) stellt sich ZFS auf 4k ein => alles gut
ABER bei 512e mit 4096 physical richtet sich ZFS auf 512Bytes aus => NICHT gut - hier müsste man Hand anlegen(?)

Frage zum Ersetzen bei einem rpool:
du beschreibst zuerst (kein rpool) den tausch mit dem Dreierschritt zpool offline -detach und -attach usw.
Will ich in einem rpool, wie bei meinem ZFS Raid1 eine "DEGRADED" Festplatte ersetzen, muss ich:
-ohne vorheriges "zpool offline" als erstes die "DEGRADED" Festplatte physisch gegen die neue ersetzen
-mit sgdisk -R und sgdisk -G Partitionierung kopieren und UUIDs individualisieren
-mit "zpool replace -f rpool 'neueUUID' 'neueUUID'" erfolgt die eigentliche Ersetzung und der Resilverprozess
==> EDIT:, das muss sicher "zpool replace -f rpool 'alteUUID' 'neueUUID'" heisen
-wenn der resilver progress abgeschlossen ist noch Grub neu schreiben
-fertig(?)

In der Oracle Doku:
https://docs.oracle.com/cd/E24841_01/html/820-2313/ghzvz.html
steht gleich zu beginn, dass hier teilweise auch erst offline geschaltet werden soll
und da gibt es noch den Befehl
Code:
cfgadm -c unconfigure
cfgadm -c configure
Den gibt es wohl nur bei Solaris und BSD.

Letzte kleine Anmerkungen:
Du erklärst in deiner Zusammenfassung zu beginn, was die ashift values bedeuten:
(29 =512) bei (2^9 =512) wäre es noch schneller klar ;-)
In der letzten Zeile auf Seite 2 schreibst du "zfs status" meinst aber "zpool status"

Klasse Anleitung (und sogar in deutsch)
Vielen Dank!
 
Last edited:

fireon

Well-Known Member
Oct 25, 2010
3,049
190
63
Austria/Graz
iteas.at
Wie du schon schreibst haben die ganz neuen 4k.
Frage: Was passiert denn bei einer Proxmox Neuinstallation per Installer GUI? Wie stellt sich hier das ZFS ein?
Oder mit anderen Worten: genau verstehe ich dein ersten Abschnitt noch nicht.
Ich versuch's mal: bei 512n stellt sich ZFS auf 512n ein => alles gut
bei 4k(n) stellt sich ZFS auf 4k ein => alles gut
ABER bei 512e mit 4096 physical richtet sich ZFS auf 512Bytes aus => NICHT gut - hier müsste man Hand anlegen(?)
Gute Frage, wir nehmen jetzt immer nur 4k Platten. Die 512 waren mal ein Ausrutscher beim Kauf.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!