Email mit DegradedArray event on /dev/md126:pve01

MickyF · Monday at 11:40

Ich habe soeben zwei Emails mit im Titel gennanten Betreff von meinem PVE erhalten: DegradedArray event on /dev/md126

ve01 und gleiches für /dev/md125

This is an automatically generated mail message.
DegradedArray event detected on md device /dev/md126
The /proc/mdstat file currently contains the following:

Personalities : [raid0] [raid1] [raid4] [raid5] [raid6] [raid10] [linear]
md125 : active (auto-read-only) raid1 zd112p1[0]
8387584 blocks super 1.2 [26/1] [U_________________________]

md126 : active (auto-read-only) raid1 zd112p2[0]
2096128 blocks super 1.2 [26/1] [U_________________________]

md127 : active (auto-read-only) raid1 zd112p5[0]
22827328 blocks super 1.2 [1/1]

unused devices: <none>

Muss ich mir Sorgen machen, denn augenscheinlich läuft alles wie erwartet und ein Array habe ich mMn nach nur mit zwei nVME erstellt, nämlich ein ZFS-Mirror und da behauptet das UI:

Was ist dann /dev/md125 und md126?

Impact · Monday at 11:42

PVE erstellt kein MDRAID und unterstützt/empfiehlt es auch nicht.
Teile bitte

Bash:

lsblk -o+FSTYPE,LABEL,MODEL

MickyF · Monday at 11:44

Gerne

Code:

NAME               MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS     FSTYPE            LABEL                      MODEL
sda                  8:0    0   3.6T  0 disk                                                               WDC WD40EFPX-68C6CN0
└─sda1               8:1    0   3.6T  0 part  /mnt/pve/backup ext4                                         
zd0                230:0    0     1M  0 disk                                                               
zd16               230:16   0    32G  0 disk                                                               
├─zd16p1           230:17   0   100M  0 part                  vfat                                         
├─zd16p2           230:18   0    16M  0 part                                                               
├─zd16p3           230:19   0  31.2G  0 part                  ntfs                                         
└─zd16p4           230:20   0   751M  0 part                  ntfs                                         
zd32               230:32   0     4M  0 disk                                                               
zd48               230:48   0    32G  0 disk                                                               
├─zd48p1           230:49   0     1M  0 part                                                               
├─zd48p2           230:50   0   513M  0 part                  vfat                                         
└─zd48p3           230:51   0  31.5G  0 part                  ext4                                         
zd64               230:64   0     8G  0 disk                                                               
├─zd64p1           230:65   0   512M  0 part                  ext4                                         
├─zd64p2           230:66   0    32M  0 part                  vfat                                         
├─zd64p3           230:67   0 494.6M  0 part                  swap                                         
└─zd64p4           230:68   0     7G  0 part                  ext4                                         
zd80               230:80   0     7G  0 disk                                                               
├─zd80p1           230:81   0     1M  0 part                                                               
├─zd80p2           230:82   0     1G  0 part                  ext4                                         
└─zd80p3           230:83   0     6G  0 part                  LVM2_member                                 
zd96               230:96   0  1000M  0 disk                                                               
├─zd96p1           230:97   0    50M  0 part                  vfat              ARC1                       
├─zd96p2           230:98   0    50M  0 part                  ext2              ARC2                       
└─zd96p3           230:99   0   899M  0 part                  ext4              ARC3                       
zd112              230:112  0    32G  0 disk                                                               
├─zd112p1          230:113  0     8G  0 part                  linux_raid_member SynologyNAS:0             
│ └─md125            9:125  0     8G  0 raid1                 ext4              1.44.1-72806               
├─zd112p2          230:114  0     2G  0 part                  linux_raid_member SynologyNAS:1             
│ └─md126            9:126  0     2G  0 raid1                 swap                                         
├─zd112p3          230:115  0     1K  0 part                                                               
└─zd112p5          230:117  0  21.8G  0 part                  linux_raid_member Themse:2                   
  └─md127            9:127  0  21.8G  0 raid1                 LVM2_member                                 
    ├─vg1-syno_vg_reserved_area
    │              252:7    0    12M  0 lvm                                                               
    └─vg1-volume_1 252:8    0    10G  0 lvm                   btrfs             2025.03.17-19:04:42 v72806
zd128              230:128  0    32G  0 disk                                                               
├─zd128p1          230:129  0   500M  0 part                  ntfs              System-reserviert         
└─zd128p2          230:130  0  31.5G  0 part                  ntfs                                         
zd144              230:144  0     1M  0 disk                                                               
zd160              230:160  0    24G  0 disk                                                               
├─zd160p1          230:161  0   600M  0 part                  vfat                                         
├─zd160p2          230:162  0     1G  0 part                  ext4                                         
└─zd160p3          230:163  0  22.4G  0 part                  btrfs             fedora                     
zd176              230:176  0    32G  0 disk                                                               
├─zd176p1          230:177  0     1M  0 part                                                               
├─zd176p2          230:178  0   513M  0 part                  vfat                                         
└─zd176p3          230:179  0  31.5G  0 part                  ext4                                         
zd192              230:192  0     1M  0 disk                                                               
zd208              230:208  0    44G  0 disk                                                               
├─zd208p1          230:209  0   100M  0 part                  vfat                                         
├─zd208p2          230:210  0    16M  0 part                                                               
└─zd208p3          230:211  0  43.9G  0 part                  ntfs                                         
zd224              230:224  0     4M  0 disk                                                               
nvme0n1            259:0    0   1.9T  0 disk                                                               Lexar SSD NM790 2TB
├─nvme0n1p1        259:6    0   1.9T  0 part                  zfs_member        local-zfs                 
└─nvme0n1p9        259:7    0     8M  0 part                                                               
nvme1n1            259:1    0   1.9T  0 disk                                                               Lexar SSD NM790 2TB
├─nvme1n1p1        259:8    0   1.9T  0 part                  zfs_member        local-zfs                 
└─nvme1n1p9        259:9    0     8M  0 part                                                               
nvme2n1            259:2    0 931.5G  0 disk                                                               Samsung SSD 980 1TB
├─nvme2n1p1        259:3    0  1007K  0 part                                                               
├─nvme2n1p2        259:4    0     1G  0 part  /boot/efi       vfat                                         
└─nvme2n1p3        259:5    0   930G  0 part                  LVM2_member                                 
  ├─pve-swap       252:0    0    48G  0 lvm   [SWAP]          swap                                         
  ├─pve-root       252:1    0    96G  0 lvm   /               ext4                                         
  ├─pve-data_tmeta 252:2    0   7.7G  0 lvm                                                               
  │ └─pve-data-tpool
  │   │            252:4    0 754.6G  0 lvm                                                               
  │   ├─pve-data   252:5    0 754.6G  1 lvm                                                               
  │   ├─pve-vm--101--disk--0
  │   │            252:6    0     8G  0 lvm                   ext4                                         
  │   └─pve-vm--100--disk--0
  │                252:9    0     2G  0 lvm                   ext4                                         
  └─pve-data_tdata 252:3    0 754.6G  0 lvm                                                               
    └─pve-data-tpool
      │            252:4    0 754.6G  0 lvm                                                               
      ├─pve-data   252:5    0 754.6G  1 lvm                                                               
      ├─pve-vm--101--disk--0
      │            252:6    0     8G  0 lvm                   ext4                                         
      └─pve-vm--100--disk--0
                   252:9    0     2G  0 lvm                   ext4

MickyF · Monday at 11:47

Ich habe da tatsächlich mal mit mdraid experimentiert bevor ich dann auf ZFS "umgestiegen" bin. Scheint mir also etwas Altlast zu sein

Die Frage ist jetzt, wie werde ich diesen Ballast wieder los? Übrigens Danke, dass du hier erneut einspringst

Edit:
Daher kommts wahrscheinlich :

#cat /proc/mdstat
Personalities : [raid0] [raid1] [raid4] [raid5] [raid6] [raid10] [linear]
md125 : active (auto-read-only) raid1 zd112p1[0]
8387584 blocks super 1.2 [26/1] [U_________________________]

md126 : active (auto-read-only) raid1 zd112p2[0]
2096128 blocks super 1.2 [26/1] [U_________________________]

md127 : active (auto-read-only) raid1 zd112p5[0]
22827328 blocks super 1.2 [1/1]

Impact · Monday at 11:53

Das ist eine ziemlich seltsame und komplizierte Konstellation und ich habe MDADM schon sein sicher 15 Jahren nicht mehr genutzt.
Du kannst so eventuell finden welches ZVOL zd112 ist.

Bash:

ls -l /dev/zvol/local-zfs/

Ich würde mal schauen ob du dieses ZVOL überhaupt benutzt. Ich denke nicht denn das sind alles so kleine Partitionen aber ich bin mir unsicher.

MickyF · Monday at 11:57

Nein, die hierbei angezeigte Liste enthält weder /dev/md125 noch md126 und auch nicht md127.

Das waren, wie gesagt, ein paar Versuche ein Raid zu erstellen, aus den beiden nVMEs, bin dann aber auf ein Zfs-Mirror umgestiegen.

Die Frage ist jetzt, wie werd ich die drei Devices wieder lose, damit zukünftig diese Mails ausbleiben?
Muss ja irgendwie mit dem Befehl

Code:

mdadm

gehen

aaron · Monday at 12:25

Das sieht mir nach eine VM aus die Synology betreibt und für sich ein MD Raid aufgesetzt hat?

Code:

zd112              230:112  0    32G  0 disk                                                              
├─zd112p1          230:113  0     8G  0 part                  linux_raid_member SynologyNAS:0            
│ └─md125            9:125  0     8G  0 raid1                 ext4              1.44.1-72806              
├─zd112p2          230:114  0     2G  0 part                  linux_raid_member SynologyNAS:1            
│ └─md126            9:126  0     2G  0 raid1                 swap                                        
├─zd112p3          230:115  0     1K  0 part                                                              
└─zd112p5          230:117  0  21.8G  0 part                  linux_raid_member Themse:2                  
  └─md127            9:127  0  21.8G  0 raid1                 LVM2_member                                
    ├─vg1-syno_vg_reserved_area
    │              252:7    0    12M  0 lvm                                                              
    └─vg1-volume_1 252:8    0    10G  0 lvm                   btrfs             2025.03.17-19:04:42 v72806

Wenn nun die MD tools am Host nachträglich installiert werden, scheint es das zu finden und darauf zu reagieren.

Ich würde die Tools am Host wieder deinstallieren und mal neustarten. Dann sollte der Proxmox VE Host das wieder in Ruhe lassen.

Da wir, wie schon von @Impact erwähnt, MD Raid nicht unterstützen und deshalb auch die jeweiligen Tools nicht mitliefern, ist das ein nicht getestetes Szenario, wenn ein Gast der auf ZFS liegt ein MD RAID erstellt.
Evtl. gibt es eine Möglichkeit, wie bei LVM, Filter zu definieren, welche Blockdevs nicht nach MD RAIDs gescannt werden sollen. Aber ich habe da jetzt nicht recherchiert.

MickyF · Monday at 13:29

Ich hab tatsächlich die MDM Tools zu dem Zeitpunkt installiett, als ich nach einer Internet Anleitung, nach Youtuber Dennis Schröder, aus den beiden nVME ein Raid erstellen wollte.

Als dies jedoch scheiterte, bin ich davon abgerückt und habe ZFS-Mirror verwendet.

Code:

zd112              230:112  0    32G  0 disk                                                               
├─zd112p1          230:113  0     8G  0 part                  linux_raid_member SynologyNAS:0              
│ └─md125            9:125  0     8G  0 raid1                 ext4              1.44.1-72806               
├─zd112p2          230:114  0     2G  0 part                  linux_raid_member SynologyNAS:1              
│ └─md126            9:126  0     2G  0 raid1                 swap                                         
├─zd112p3          230:115  0     1K  0 part                                                               
└─zd112p5          230:117  0  21.8G  0 part                  linux_raid_member Themse:2                   
  └─md127            9:127  0  21.8G  0 raid1                 LVM2_member                                  
    ├─vg1-syno_vg_reserved_area
    │              252:7    0    12M  0 lvm                                                                
    └─vg1-volume_1 252:8    0    10G  0 lvm                   btrfs             2025.03.17-19:04:42 v72806

Das sieht mir sehr nach einer VM aus in der ein Synology DSM läuft.

Da ich ein Backup habe, würde ich es Mal riskieren ZD112 zu löschen.
@aaron Hast du vielleicht ein Kommando zur Hand, wie ich diese Löschung durchführen kann?

aaron · Monday at 13:55

MickyF said:
Da ich ein Backup habe, würde ich es Mal riskieren ZD112 zu löschen.

Das ist eine virtuelle Disk einer deiner VMs!
Mit `ls -l /dev/zvol/local-zfs` wirst du sehen, welche virtuelle disk (bzw. ZFS Dataset) auf `zd112` zeigt. Evtl. musst du den Pfad noch an den Pool Namen und evtl. sub Datasets anpassen.
Am Namen erkennst du die VMID. vm-XXX-disk-Y, wo XXX die VMID der VM ist.

Lass das also am besten wie es ist, wenn da noch nichts korrumpiert wurde. Entferne die MD tools mit `apt remove <PaketName der laut anleitung installiert wurde>` und starte den Host durch.
Falls danach die Synology VM dann doch Probleme macht, kannst du sie immer noch von einem Backup zurückspielen.

MickyF · Monday at 14:10

Prjma, Danke für den Vorschlag. Habs deinstalliert und starte demnächst durch.

Btw. ich erhalte die VM ID108 und dies ist genau wie ich vermutet habe die VM in der akt. Synology DSM läuft.

Code:

lrwxrwxrwx 1 root root 11 Jan 17 11:19 vm-108-disk-1 -> ../../zd112
lrwxrwxrwx 1 root root 13 Jan 17 11:25 vm-108-disk-1-part1 -> ../../zd112p1
lrwxrwxrwx 1 root root 13 Jan 17 11:25 vm-108-disk-1-part2 -> ../../zd112p2
lrwxrwxrwx 1 root root 13 Jan 17 11:25 vm-108-disk-1-part3 -> ../../zd112p3
lrwxrwxrwx 1 root root 13 Jan 17 11:25 vm-108-disk-1-part5 -> ../../zd112p5

Impact · Monday at 14:14

Ja, klar. Nun macht das mehr Sinn. Dann sollte PVE mit den Festplatten/ZVOLs eh nichts anstellen.
Bedenke dass davon abgeraten wird, CoW Dateisysteme wie ZFS und BTRFS aufeinander laufen zu lassen.

MickyF · Monday at 14:19

Impact said:
Ja, klar. Nun macht das mehr Sinn. Dann sollte PVE mit den Festplatten eh nichts anstellen.
Bedenke dass davon abgeraten wird, CoW Dateisysteme wie ZFS und BTRFS aufeinander laufen zu lassen.

Ich hab schon Mal davon gelesen. Ich bin mir halt nicht bewusst, hier Btrfs irgendwann auch nur ansatzweise aktiviert bzw. bewusst eingesetzt zu haben.
Wie geschrieben, habe ich Mal mit Raid-1 experimentiert, dies danach aber wieder verworfen.

Möglicherweise hat sich dann bei der Rücksicherung aus dem Backup speziell die VM108 irgendwie doch Restbestände zu nutzen. Auch wenn ich mit dieser VM absolut keine Schwierigkeiten beobachten und zudem, keine der anderen VM (Disks) etwas gleichartiges nach deren Rücksicherung gemacht hat.

Search

Search

Email mit DegradedArray event on /dev/md126:pve01

MickyF

Member

Impact

Famous Member

MickyF

Member

MickyF

Member

Impact

Famous Member

MickyF

Member

aaron

Proxmox Staff Member

MickyF

Member

aaron

Proxmox Staff Member

MickyF

Member

Impact

Famous Member

MickyF

Member

We value your privacy