Bei PVE 8 Installation ZFS defekt, PVE 7 Installation geht ohne Probleme

de_Ramon · Jul 25, 2023

Hallo,

ich habe mein Leid schon im englischen Forum geklagt, aber da interessiert es wohl niemanden....
https://forum.proxmox.com/threads/z...install-after-reboot-on-v7-4-it-works.131098/
https://forum.proxmox.com/threads/f...s-is-used-and-crashes-on-reboot-weird.130951/

Bin mit meinem Latein am Ende.
Ich habe auf einem alten NetApp-Diskshelf die Platten auf 512 Byte low-level-formatiert und kann dich auch nutzen unter Linux / Windows. Hardware ist also ok.

Wenn ich PVE 7oder 8 installiere, erscheinen die Platten "ganz" normal eingereiht im System:

Code:

# lsblk -d -o VENDOR,MODEL,SERIAL,HCTL,SIZE,PHY-SEC,LOG-SEC,NAME | sed -e "`ls -1d /sys/class/enclosure/*/*/device/block/*|sed "s+.*enclosure/\(.*\)/device/block/\(.*\)+s-\2\\$-\2 \1-+"`"
VENDOR   MODEL                 SERIAL                           HCTL         SIZE PHY-SEC LOG-SEC NAME
LSI      RAID_5_6_SAS_6G       00b98e2f23aff7c827a0ba0001570003 0:2:0:0      1.4T    4096     512 sda
LSI      RAID_5_6_SAS_6G       0035534f2805f8c827a0ba0001570003 0:2:1:0    278.9G    4096     512 sdb
NETAPP   X477_SMEGX04TA07      S1Z2ZM13                         1:0:0:0      3.6T     512     512 sdc 1:0:24:0/0
NETAPP   X477_SMEGX04TA07      S1Z2ZLQ0                         1:0:1:0      3.6T     512     512 sdd 1:0:24:0/1
NETAPP   X477_SMEGX04TA07      S1Z2ZFGP                         1:0:2:0      3.6T     512     512 sde 1:0:24:0/2
NETAPP   X477_SMEGX04TA07      S1Z2ZGJ4                         1:0:3:0      3.6T     512     512 sdf 1:0:24:0/3
NETAPP   X477_SMEGX04TA07      S1Z2ZFGY                         1:0:4:0      3.6T     512     512 sdg 1:0:24:0/4
NETAPP   X477_SMEGX04TA07      S1Z2ZLTS                         1:0:5:0      3.6T     512     512 sdh 1:0:24:0/5
NETAPP   X477_SMEGX04TA07      S1Z2ZFML                         1:0:6:0      3.6T     512     512 sdi 1:0:24:0/6
NETAPP   X477_SMEGX04TA07      S1Z2ZLYY                         1:0:7:0      3.6T     512     512 sdj 1:0:24:0/7
NETAPP   X477_SMEGX04TA07      S1Z2ZNHN                         1:0:8:0      3.6T     512     512 sdk 1:0:24:0/8
NETAPP   X477_SMEGX04TA07      S1Z2ZFME                         1:0:9:0      3.6T     512     512 sdl 1:0:24:0/9
NETAPP   X477_SMEGX04TA07      S1Z2ZF7V                         1:0:10:0     3.6T     512     512 sdm 1:0:24:0/10
NETAPP   X477_SMEGX04TA07      S1Z2ZLG2                         1:0:11:0     3.6T     512     512 sdn 1:0:24:0/11
NETAPP   X477_SMEGX04TA07      S1Z2YGVY                         1:0:12:0     3.6T     512     512 sdo 1:0:24:0/12
NETAPP   X477_SMEGX04TA07      S1Z2ZFRJ                         1:0:13:0     3.6T     512     512 sdp 1:0:24:0/13
HL-DT-ST HL-DT-ST_DVDRAM_GT80N B3GRNC1041458                    3:0:0:0     1024M     512     512 sr0
KVM      vmDisk-CD             212052060601                     10:0:0:0    1024M     512     512 sr1
NETAPP   X477_SMEGX04TA07      S1Z2ZM0Z                         1:0:14:0     3.6T     512     512 sdq 1:0:24:0/14
NETAPP   X477_SMEGX04TA07      S1Z2ZFDH                         1:0:15:0     3.6T     512     512 sdr 1:0:24:0/15
NETAPP   X477_SMEGX04TA07      S1Z2YHCZ                         1:0:16:0     3.6T     512     512 sds 1:0:24:0/16
NETAPP   X477_SMEGX04TA07      S1Z2YH4S                         1:0:17:0     3.6T     512     512 sdt 1:0:24:0/17
NETAPP   X477_SMEGX04TA07      S1Z2ZF6B                         1:0:18:0     3.6T     512     512 sdu 1:0:24:0/18
NETAPP   X477_SMEGX04TA07      S1Z2ZH23                         1:0:19:0     3.6T     512     512 sdv 1:0:24:0/19
NETAPP   X477_SMEGX04TA07      S1Z2YFVA                         1:0:20:0     3.6T     512     512 sdw 1:0:24:0/20
NETAPP   X477_SMEGX04TA07      S1Z2YGVX                         1:0:21:0     3.6T     512     512 sdx 1:0:24:0/21
NETAPP   X477_SMEGX04TA07      S1Z2YGZ5                         1:0:22:0     3.6T     512     512 sdy 1:0:24:0/22
NETAPP   X477_SMEGX04TA07      S1Z2YHB5                         1:0:23:0     3.6T     512     512 sdz 1:0:24:0/23

Wenn ich dann über die WebGUI ZFS einrichte klappt das auch gut. ZFS Pool intakt.

Dann kommt jedoch das, was in nicht verstehe:

Nach dem Neustart werden die Platten "neu geordnet" und die erscheinen nicht mehr unter dem "/sys/class/enclosure/" was doof ist, da man so ja schön nachvollziehen kann, in welchem Slot die Platte steckt:
Hier die Ausgabe nach ZFS einrichten und erstem Reboot unter PVE 7 und 8 identisch

Code:

lsblk -d -o VENDOR,MODEL,SERIAL,HCTL,SIZE,PHY-SEC,LOG-SEC,NAME | sed -e "`ls -1d /sys/class/enclosure/*/*/device/block/*|sed "s+.*enclosure/\(.*\)/device/block/\(.*\)+s-\2\\$-\2 \1-+"`" | grep -i netapp
ls: cannot access '/sys/class/enclosure/*/*/device/block/*': No such file or directory
NETAPP   X477_SMEGX04TA07      S1Z2ZM13                         1:0:26:0     3.6T     512     512 sdab
NETAPP   X477_SMEGX04TA07      S1Z2ZLQ0                         1:0:27:0     3.6T     512     512 sdac
NETAPP   X477_SMEGX04TA07      S1Z2ZFGY                         1:0:28:0     3.6T     512     512 sdad
NETAPP   X477_SMEGX04TA07      S1Z2ZLTS                         1:0:29:0     3.6T     512     512 sdae
NETAPP   X477_SMEGX04TA07      S1Z2ZNHN                         1:0:30:0     3.6T     512     512 sdaf
NETAPP   X477_SMEGX04TA07      S1Z2YGVY                         1:0:31:0     3.6T     512     512 sdag
NETAPP   X477_SMEGX04TA07      S1Z2YHCZ                         1:0:32:0     3.6T     512     512 sdah
NETAPP   X477_SMEGX04TA07      S1Z2YFVA                         1:0:33:0     3.6T     512     512 sdai
NETAPP   X477_SMEGX04TA07      S1Z2ZFGP                         1:0:34:0     3.6T     512     512 sdaj
NETAPP   X477_SMEGX04TA07      S1Z2ZGJ4                         1:0:35:0     3.6T     512     512 sdak
NETAPP   X477_SMEGX04TA07      S1Z2ZFML                         1:0:36:0     3.6T     512     512 sdal
NETAPP   X477_SMEGX04TA07      S1Z2ZLYY                         1:0:37:0     3.6T     512     512 sdam
NETAPP   X477_SMEGX04TA07      S1Z2ZFME                         1:0:38:0     3.6T     512     512 sdan
NETAPP   X477_SMEGX04TA07      S1Z2ZF7V                         1:0:39:0     3.6T     512     512 sdao
NETAPP   X477_SMEGX04TA07      S1Z2ZLG2                         1:0:40:0     3.6T     512     512 sdap
NETAPP   X477_SMEGX04TA07      S1Z2ZFRJ                         1:0:41:0     3.6T     512     512 sdaq
NETAPP   X477_SMEGX04TA07      S1Z2ZM0Z                         1:0:42:0     3.6T     512     512 sdar
NETAPP   X477_SMEGX04TA07      S1Z2ZFDH                         1:0:43:0     3.6T     512     512 sdas
NETAPP   X477_SMEGX04TA07      S1Z2YH4S                         1:0:44:0     3.6T     512     512 sdat
NETAPP   X477_SMEGX04TA07      S1Z2ZF6B                         1:0:45:0     3.6T     512     512 sdau
NETAPP   X477_SMEGX04TA07      S1Z2ZH23                         1:0:46:0     3.6T     512     512 sdav
NETAPP   X477_SMEGX04TA07      S1Z2YGVX                         1:0:47:0     3.6T     512     512 sdaw
NETAPP   X477_SMEGX04TA07      S1Z2YGZ5                         1:0:48:0     3.6T     512     512 sdax
NETAPP   X477_SMEGX04TA07      S1Z2YHB5                         1:0:49:0     3.6T     512     512 sday

Der Unterschied ist dann jedoch, dass unter PVE 7 der Pool noch intakt ist, unter 8 es so aussieht:

Code:

# zpool status
  pool: pve-pool-01
 state: SUSPENDED
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-HC
config:

        NAME                        STATE     READ WRITE CKSUM
        pve-pool-01                 ONLINE       0     0     0
          raidz2-0                  ONLINE       0    24     0
            scsi-35000c50099acb2b3  ONLINE       3     8     0
            scsi-35000c50099acd897  ONLINE       3     8     0
            scsi-35000c50099b03c9f  ONLINE       3     6     0
            scsi-35000c50099afd167  ONLINE       3     6     0
            scsi-35000c50099b06867  ONLINE       3     4     0
            scsi-35000c50099acc6db  ONLINE       3     4     0
            scsi-35000c50099b03067  ONLINE       3     2     0
            scsi-35000c50099acb9fb  ONLINE       0     0     0
            scsi-35000c50099ac1a63  ONLINE       0     0     0
            scsi-35000c50099b030cb  ONLINE       3     2     0
            scsi-35000c50099b05013  ONLINE       3     2     0
            scsi-35000c50099acf193  ONLINE       3     4     0
            scsi-35000c50099ad1ed7  ONLINE       3     6     0
            scsi-35000c50099b0060b  ONLINE       3     6     0
            scsi-35000c50099acb317  ONLINE       3    10     0
            scsi-35000c50099b03fe3  ONLINE       3    10     0
            scsi-35000c50099acf2bf  ONLINE       3    12     0
            scsi-35000c50099ad183f  ONLINE       3     8     0
            scsi-35000c50099b054ef  ONLINE       3     6     0
            scsi-35000c50099afa22b  ONLINE       3     4     0
            scsi-35000c50099ae007b  ONLINE       3     2     0
            scsi-35000c50099ad1ea7  ONLINE       3     4     0
            scsi-35000c50099ad15cb  ONLINE       3     6     0
            scsi-35000c50099acf82f  ONLINE       3     6     0
errors: List of errors unavailable: pool I/O is currently suspended

Das resilvering mittels zpool clear klappt ohne Probleme, aber das kann ja nicht der Sinn der Übung sein ;-)

Meine Fragen:
- Warum wirft ZFS die Platten aus dem "Shelf" und benennt diese neu?
- Warum ist der Pool unter PVE8 defekt?

Ich hoffe hier kann mir jemand helfen.

Grüße,
ramon

Falk R. · Jul 26, 2023

Die Disks bekommen neue Disk Nummern, was ich auch etwas komisch finde:

de_Ramon said:
NETAPP X477_SMEGX04TA07 S1Z2ZM13 1:0:0:0 3.6T 512 512 sdc 1:0:24:0/0
NETAPP X477_SMEGX04TA07 S1Z2ZLQ0 1:0:1:0 3.6T 512 512 sdd 1:0:24:0/1
NETAPP X477_SMEGX04TA07 S1Z2ZFGP 1:0:2:0 3.6T 512 512 sde 1:0:24:0/2
.....

ich habe mal etwas eingekürzt zur besseren Vergleichbarkeit.

de_Ramon said:
NETAPP X477_SMEGX04TA07 S1Z2ZM13 1:0:26:0 3.6T 512 512 sdab
NETAPP X477_SMEGX04TA07 S1Z2ZLQ0 1:0:27:0 3.6T 512 512 sdac
NETAPP X477_SMEGX04TA07 S1Z2ZFGY 1:0:28:0 3.6T 512 512 sdad
.....

Ich sehe die Disks sind immer noch an Controller 1, Target 0, aber die Disk 0 ist plötzlich Disk 26, daher die neue ID sdab.
Ich habe sowas bisher noch nicht gesehen und würde erst einmal Richtung Controller tippen.
Was für ein Controller/HBA hast du denn wo das Shelf dran steckt? Wenn es kein HBA ist, wie sieht die Konfiguration des Controllers aus?

de_Ramon · Jul 26, 2023

Hallo Falk,

vielen Dank für deine Antwort.

Ich habe HBA-Modus geflasht auf die Dinger. Das Shelf hängt an dem laut lspci:

02:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

Also Standard würde ich sagen und das seltsame ist ja: es ist erst nach dem Reboot und auch nur, wenn ZFS aktiviert ist!?!?

Bei PVE 7 und PVE 8, aber bei PVE 8 verkackt das ZFS.

Komplette Ausgabe DMESG:

dmesg mit ZFS und der "Umbenennung" der Platten:
https://pastebin.com/erzdhrVE

dmesg ohne ZFS, Platten normal:
https://pastebin.com/4B4cngQU

Ich verstehe das nicht. Das Problem müssten ja dann ggf. mehr Leute haben, oder sind viele noch auf v7?

cu,
ramon

Falk R. · Jul 26, 2023

de_Ramon said:
Hallo Falk,

vielen Dank für deine Antwort.

Ich habe HBA-Modus geflasht auf die Dinger. Das Shelf hängt an dem laut lspci:

02:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

Also Standard würde ich sagen und das seltsame ist ja: es ist erst nach dem Reboot und auch nur, wenn ZFS aktiviert ist!?!?

Bei PVE 7 und PVE 8, aber bei PVE 8 verkackt das ZFS.

Komplette Ausgabe DMESG:

dmesg mit ZFS und der "Umbenennung" der Platten:
https://pastebin.com/erzdhrVE

dmesg ohne ZFS, Platten normal:
https://pastebin.com/4B4cngQU

Ich verstehe das nicht. Das Problem müssten ja dann ggf. mehr Leute haben, oder sind viele noch auf v7?

cu,
ramon

Hi Ramon,
ich habe vom Log lesen nicht so viel Ahnung, aber mir ist da eine Meldung ins Auge gesprungen:
FAILED Result: hostbyte=DID_NO_CONNECT
Das wundert mich etwas, weil ich diese Meldung nur von Multipath Systemen kenne, wenn einzelne Pfade nicht funktionieren.
Auf jeden Fall meckert er an, dass die Disks (korrekt by ID und nicht über sdx) nicht angesprochen werden können.
Da ist etwas Faul im System, hast du eventuell multipath installiert und kein sauberes masking?

de_Ramon · Jul 26, 2023

Hallo Falk,

hmm, ich habe das Shelf nur mit einem SAS-Kabel angeschlossen. Klar, das Shelf kann redundant angefahren werden.
Aber warum kommt das System aus dem Tritt? Habe noch einen zweiten HBA im System verbaut, an dem ein einzelner LTO-8 Streamer hängt, mit den ich ein wenig LTFS testen möchte (PBS ist auf getrenntem System installiert).

Hmm, kann ich das deaktivieren? Warum wird das aber nur aktiviert, wenn ZFS aktiv genutzt wird?

Eventuell schaue ich mal, ob ein Umstecken der Kabel was bringt in anderen Port.

Danke für den Hinweis!

cu,
ramon

Falk R. · Jul 26, 2023

Gib mal multipath -l ein. Wenn du da einen Output bekommst, ist multipath aktiv.
Erklären kann ich mir das gerade auch nicht. Eventuell hat es auch etwas mit dem Expander im Enclosure zu tun.

de_Ramon · Jul 27, 2023

Guten Morgen Falk,

Code:

# multipath -l
-bash: multipath: command not found

Schnell installiert, da ist mir auch gleich noch aufgefallen, dass es sich nicht um ein UEFI-System handelt, aber das dürfte ja keine Probleme hier machen...

Code:

apt install multipath-tools
...
Running hook script 'zz-proxmox-boot'..
Re-executing '/etc/kernel/postinst.d/zz-proxmox-boot' in new private mount namespace..
No /etc/kernel/proxmox-boot-uuids found, skipping ESP sync.
Couldn't find EFI system partition. It is recommended to mount it to /boot or /efi.
Alternatively, use --esp-path= to specify path to mount point.

Ausgabe leer.

Code:

# multipath -l
#

Ich stecke jetzt mal noch alle Kabel um und schaue ob das was bringt...

Auch das hat leider nichts gebracht. Aus unbekannten Gründen werden die Platten "neu eingelesen" / der Kontroller neu initialisiert oder sonst was... ABER nur wenn ZFS genutzt wird!

Werfe ich den Pool wieder raus und starte neu, ist aller wieder normal:

Code:

# lsblk -d -o VENDOR,MODEL,SERIAL,HCTL,SIZE,PHY-SEC,LOG-SEC,NAME | sed -e "`ls -1d /sys/class/enclosure/*/*/device/block/*|sed "s+.*enclosure/\(.*\)/device/block/\(.*\)+s-\2\\$-\2 \1-+"`" | grep -i netapp
NETAPP   X477_SMEGX04TA07      S1Z2ZM13                         1:0:0:0      3.6T     512     512 sdc 1:0:24:0/0
NETAPP   X477_SMEGX04TA07      S1Z2ZLQ0                         1:0:1:0      3.6T     512     512 sdd 1:0:24:0/1
NETAPP   X477_SMEGX04TA07      S1Z2ZFGP                         1:0:2:0      3.6T     512     512 sde 1:0:24:0/2
NETAPP   X477_SMEGX04TA07      S1Z2ZGJ4                         1:0:3:0      3.6T     512     512 sdf 1:0:24:0/3
NETAPP   X477_SMEGX04TA07      S1Z2ZFGY                         1:0:4:0      3.6T     512     512 sdg 1:0:24:0/4
NETAPP   X477_SMEGX04TA07      S1Z2ZLTS                         1:0:5:0      3.6T     512     512 sdh 1:0:24:0/5
NETAPP   X477_SMEGX04TA07      S1Z2ZFML                         1:0:6:0      3.6T     512     512 sdi 1:0:24:0/6
NETAPP   X477_SMEGX04TA07      S1Z2ZLYY                         1:0:7:0      3.6T     512     512 sdj 1:0:24:0/7
NETAPP   X477_SMEGX04TA07      S1Z2ZNHN                         1:0:8:0      3.6T     512     512 sdk 1:0:24:0/8
NETAPP   X477_SMEGX04TA07      S1Z2ZFME                         1:0:9:0      3.6T     512     512 sdl 1:0:24:0/9
NETAPP   X477_SMEGX04TA07      S1Z2ZF7V                         1:0:10:0     3.6T     512     512 sdm 1:0:24:0/10
NETAPP   X477_SMEGX04TA07      S1Z2ZLG2                         1:0:11:0     3.6T     512     512 sdn 1:0:24:0/11
NETAPP   X477_SMEGX04TA07      S1Z2YGVY                         1:0:12:0     3.6T     512     512 sdo 1:0:24:0/12
NETAPP   X477_SMEGX04TA07      S1Z2ZFRJ                         1:0:13:0     3.6T     512     512 sdp 1:0:24:0/13
NETAPP   X477_SMEGX04TA07      S1Z2ZM0Z                         1:0:14:0     3.6T     512     512 sdq 1:0:24:0/14
NETAPP   X477_SMEGX04TA07      S1Z2ZFDH                         1:0:15:0     3.6T     512     512 sdr 1:0:24:0/15
NETAPP   X477_SMEGX04TA07      S1Z2YHCZ                         1:0:16:0     3.6T     512     512 sds 1:0:24:0/16
NETAPP   X477_SMEGX04TA07      S1Z2YH4S                         1:0:17:0     3.6T     512     512 sdt 1:0:24:0/17
NETAPP   X477_SMEGX04TA07      S1Z2ZF6B                         1:0:18:0     3.6T     512     512 sdu 1:0:24:0/18
NETAPP   X477_SMEGX04TA07      S1Z2ZH23                         1:0:19:0     3.6T     512     512 sdv 1:0:24:0/19
NETAPP   X477_SMEGX04TA07      S1Z2YFVA                         1:0:20:0     3.6T     512     512 sdw 1:0:24:0/20
NETAPP   X477_SMEGX04TA07      S1Z2YGVX                         1:0:21:0     3.6T     512     512 sdx 1:0:24:0/21
NETAPP   X477_SMEGX04TA07      S1Z2YGZ5                         1:0:22:0     3.6T     512     512 sdy 1:0:24:0/22
NETAPP   X477_SMEGX04TA07      S1Z2YHB5                         1:0:23:0     3.6T     512     512 sdz 1:0:24:0/23

Das ZFS beeinflusst wohl den Bootvorgang "negativ"

Danke!

cu,
ramon

Falk R. · Jul 27, 2023

Ich kann mir das nicht erklären. Hast du mal die Suchmaschine deiner Wahl gefragt, ob jemand das Phänomen mit den neuen Namen für die Disks kennt?

de_Ramon · Jul 28, 2023

Hi Falk,

ja, aber war nix zu finden außer exotischen Dingen um Controller, etc.

Bin jetzt stufenweise vorgegangen und habe folgendes rausgefunden:

PVE 8 importiert den Pool richtig, wenn ich die folgenden Dienste deaktivere:

Code:

systemctl disable zfs-import-scan.service
systemctl disable zfs-import-cache.service

Dann sind noch diese aktiv, bzw. werden gestartet beim Boot:

Code:

ls /etc/systemd/system/zfs*
/etc/systemd/system/zfs-import.target.wants:
'zfs-import@pve\x2dpool\x2d01.service'

/etc/systemd/system/zfs.target.wants:
zfs-import.target  zfs-mount.service  zfs-share.service  zfs-volumes.target  zfs-zed.service

/etc/systemd/system/zfs-volumes.target.wants:
zfs-volume-wait.service

Seltsam ist, wie jetzt die Platten im Pool benannt sind:

Code:

# zpool status
  pool: pve-pool-01
 state: ONLINE
  scan: resilvered 9K in 00:00:00 with 0 errors on Fri Jul 28 11:14:19 2023
config:

        NAME                                        STATE     READ WRITE CKSUM
        pve-pool-01                                 ONLINE       0     0     0
          raidz1-0                                  ONLINE       0     0     0
            scsi-35000c50099acb2b3                  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZLQ0  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZFGP  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZGJ4  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZFGY  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZLTS  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZFML  ONLINE       0     0     0
            scsi-35000c50099acb9fb                  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZNHN  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZFME  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZF7V  ONLINE       0     0     0
            scsi-35000c50099acf193                  ONLINE       0     0     0
            scsi-35000c50099ad1ed7                  ONLINE       0     0     0
            scsi-35000c50099b0060b                  ONLINE       0     0     0
            scsi-35000c50099acb317                  ONLINE       0     0     0
            scsi-35000c50099b03fe3                  ONLINE       0     0     0
            scsi-35000c50099acf2bf                  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2YH4S  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2ZF6B  ONLINE       0     0     0
            scsi-35000c50099afa22b                  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2YFVA  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2YGVX  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2YGZ5  ONLINE       0     0     0
            scsi-SNETAPP_X477_SMEGX04TA07_S1Z2YHB5  ONLINE       0     0     0

errors: No known data errors

Aber die Platten werden auch mit den Shelf-Daten angezeigt:

Code:

# lsblk -d -o VENDOR,MODEL,SERIAL,HCTL,SIZE,WWN,PHY-SEC,LOG-SEC,NAME | sed -e "`ls -1d /sys/class/enclosure/*/*/device/block/*|sed "s+.*enclosure/\(.*\)/device/block/\(.*\)+s-\2\\$-\2 \1-+"`" | grep -i netapp
NETAPP   X477_SMEGX04TA07      S1Z2ZM13                         1:0:0:0      3.6T 0x5000c50099acb2b3                     512     512 sdc 1:0:24:0/0
NETAPP   X477_SMEGX04TA07      S1Z2ZLQ0                         1:0:1:0      3.6T 0x5000c50099acd897                     512     512 sdd 1:0:24:0/1
NETAPP   X477_SMEGX04TA07      S1Z2ZFGP                         1:0:2:0      3.6T 0x5000c50099b03c9f                     512     512 sde 1:0:24:0/2
NETAPP   X477_SMEGX04TA07      S1Z2ZGJ4                         1:0:3:0      3.6T 0x5000c50099afd167                     512     512 sdf 1:0:24:0/3
NETAPP   X477_SMEGX04TA07      S1Z2ZFGY                         1:0:4:0      3.6T 0x5000c50099b06867                     512     512 sdg 1:0:24:0/4
NETAPP   X477_SMEGX04TA07      S1Z2ZLTS                         1:0:5:0      3.6T 0x5000c50099acc6db                     512     512 sdh 1:0:24:0/5
NETAPP   X477_SMEGX04TA07      S1Z2ZFML                         1:0:6:0      3.6T 0x5000c50099b03067                     512     512 sdi 1:0:24:0/6
NETAPP   X477_SMEGX04TA07      S1Z2ZLYY                         1:0:7:0      3.6T 0x5000c50099acb9fb                     512     512 sdj 1:0:24:0/7
NETAPP   X477_SMEGX04TA07      S1Z2ZNHN                         1:0:8:0      3.6T 0x5000c50099ac1a63                     512     512 sdk 1:0:24:0/8
NETAPP   X477_SMEGX04TA07      S1Z2ZFME                         1:0:9:0      3.6T 0x5000c50099b030cb                     512     512 sdl 1:0:24:0/9
NETAPP   X477_SMEGX04TA07      S1Z2ZF7V                         1:0:10:0     3.6T 0x5000c50099b05013                     512     512 sdm 1:0:24:0/10
NETAPP   X477_SMEGX04TA07      S1Z2ZLG2                         1:0:11:0     3.6T 0x5000c50099acf193                     512     512 sdn 1:0:24:0/11
NETAPP   X477_SMEGX04TA07      S1Z2YGVY                         1:0:12:0     3.6T 0x5000c50099ad1ed7                     512     512 sdo 1:0:24:0/12
NETAPP   X477_SMEGX04TA07      S1Z2ZFRJ                         1:0:13:0     3.6T 0x5000c50099b0060b                     512     512 sdp 1:0:24:0/13
NETAPP   X477_SMEGX04TA07      S1Z2ZM0Z                         1:0:14:0     3.6T 0x5000c50099acb317                     512     512 sdq 1:0:24:0/14
NETAPP   X477_SMEGX04TA07      S1Z2ZFDH                         1:0:15:0     3.6T 0x5000c50099b03fe3                     512     512 sdr 1:0:24:0/15
NETAPP   X477_SMEGX04TA07      S1Z2YHCZ                         1:0:16:0     3.6T 0x5000c50099acf2bf                     512     512 sds 1:0:24:0/16
NETAPP   X477_SMEGX04TA07      S1Z2YH4S                         1:0:17:0     3.6T 0x5000c50099ad183f                     512     512 sdt 1:0:24:0/17
NETAPP   X477_SMEGX04TA07      S1Z2ZF6B                         1:0:18:0     3.6T 0x5000c50099b054ef                     512     512 sdu 1:0:24:0/18
NETAPP   X477_SMEGX04TA07      S1Z2ZH23                         1:0:19:0     3.6T 0x5000c50099afa22b                     512     512 sdv 1:0:24:0/19
NETAPP   X477_SMEGX04TA07      S1Z2YFVA                         1:0:20:0     3.6T 0x5000c50099ae007b                     512     512 sdw 1:0:24:0/20
NETAPP   X477_SMEGX04TA07      S1Z2YGVX                         1:0:21:0     3.6T 0x5000c50099ad1ea7                     512     512 sdx 1:0:24:0/21
NETAPP   X477_SMEGX04TA07      S1Z2YGZ5                         1:0:22:0     3.6T 0x5000c50099ad15cb                     512     512 sdy 1:0:24:0/22
NETAPP   X477_SMEGX04TA07      S1Z2YHB5                         1:0:23:0     3.6T 0x5000c50099acf82f                     512     512 sdz 1:0:24:0/23

Ist nur die Frage, ob das über Updates hinweg stabil bleibt.....

Vielleicht können die Entwickler das mal beurteilen?

Erstmal schönes Wochenende

ramon

Search

Search

Bei PVE 8 Installation ZFS defekt, PVE 7 Installation geht ohne Probleme

de_Ramon

Member

Falk R.

Distinguished Member

de_Ramon

Member

Falk R.

Distinguished Member

de_Ramon

Member

Falk R.

Distinguished Member

de_Ramon

Member

Falk R.

Distinguished Member

de_Ramon

Member