[SOLVED] zfs mirror werden nach reboot nicht mehr automatisch gemountet

hecky456

Member
Feb 6, 2020
15
3
8
Hallo zusammen,

leider stehe ich mal wieder vor einem kleinen Problem und hoffe ihr könnt mir Tipps geben...

Ich bin vor kurzem mit meiner pve Installation auf neue Hardware umgezogen. Hatte im neuen Server für die Daten zunächst nur zwei 4TB Platten als zfs mirror drin auf die ich die Daten des alten Servers rüber gezogen habe (plus natürlich ein Backup auf einer USB-Platte).
Soweit kein Problem. Als ich dann die restlichen Platten vom alten Server in den neuen umgebaut habe (2x3TB als mirror und 2x2TB als mirror) wurde der erste mirror (2x4TB) nicht mehr automatisch gemountet. Ein mounten mit "mount -O -a" geht manuell.
Dachte zunächst, da ist er vielleicht durch die neuen Platten irgendwie durcheinander gekommen und habe die Daten auf die beiden anderen mirrors (2x3TB und 2x2TB) verteilt. Nach einem erneuten Reboot wird jetzt aber auch der 2x3TB mirror nicht mehr automatisch gemountet!

Hier die Ausgabe von "zfs mount" nach "mount -O -a":
rpool/ROOT/pve-1 / rpool /rpool rpool/data /rpool/data rpool/ROOT /rpool/ROOT rpool/data/subvol-103-disk-0 /rpool/data/subvol-103-disk-0 rpool/data/subvol-300-disk-0 /rpool/data/subvol-300-disk-0 rpool/data/subvol-115-disk-0 /rpool/data/subvol-115-disk-0 rpool/data/subvol-100-disk-0 /rpool/data/subvol-100-disk-0 rpool/data/subvol-110-disk-0 /rpool/data/subvol-110-disk-0 rpool/data/subvol-105-disk-0 /rpool/data/subvol-105-disk-0 rpool/data/subvol-102-disk-0 /rpool/data/subvol-102-disk-0 rpool/data/subvol-111-disk-0 /rpool/data/subvol-111-disk-0 rpool/data/subvol-114-disk-0 /rpool/data/subvol-114-disk-0 rpool/data/subvol-116-disk-0 /rpool/data/subvol-116-disk-0 rpool/data/subvol-113-disk-0 /rpool/data/subvol-113-disk-0 rpool/data/subvol-112-disk-0 /rpool/data/subvol-112-disk-0 rpool/data/subvol-121-disk-0 /rpool/data/subvol-121-disk-0 rpool/data/subvol-120-disk-0 /rpool/data/subvol-120-disk-0 zfsVMs /zfsVMs zfs2TB /zfs2TB zfs2TB/subvol-120-disk-0 /zfs2TB/subvol-120-disk-0 zfs2TB/subvol-120-disk-1 /zfs2TB/subvol-120-disk-1 zfs3TB /zfs3TB zfs4TB /zfs4TB zfs3TB/subvol-106-disk-0 /zfs3TB/subvol-106-disk-0 zfs4TB/subvol-113-disk-0 /zfs4TB/subvol-113-disk-0 zfs4TB/subvol-104-disk-1 /zfs4TB/subvol-104-disk-1 zfs4TB/subvol-104-disk-0 /zfs4TB/subvol-104-disk-0 zfs4TB/subvol-105-disk-0 /zfs4TB/subvol-105-disk-0 zfs4TB/subvol-101-disk-0 /zfs4TB/subvol-101-disk-0

und hier meine storage.cfg:
dir: local path /var/lib/vz content vztmpl,iso,backup zfspool: local-zfs pool rpool/data content rootdir,images sparse 1 zfspool: zfsVMs pool zfsVMs content rootdir,images mountpoint /zfsVMs nodes proxmox zfspool: zfs4TB pool zfs4TB content images,rootdir mountpoint /zfs4TB nodes proxmox nfs: pveNFS export /mnt/nfs path /mnt/pve/pveNFS server 10.18.2.176 content rootdir,iso,vztmpl,snippets,images,backup maxfiles 3 zfspool: zfs2TB pool zfs2TB content rootdir,images mountpoint /zfs2TB nodes proxmox zfspool: zfs3TB pool zfs3TB content images,rootdir mountpoint /zfs3TB nodes proxmox dir: USB2TB path /mnt/pve/USB2TB content rootdir,iso,backup,snippets,images,vztmpl is_mountpoint 1 nodes proxmox

Zur Erklärung:
- das System liegt derzeit auf einer ssd die noch durch eine zweite zu einem mirror erweitert werden soll (muss ich noch machen)
- USB2TB ist noch eine zusätzliche USB Platte für gelegentliche Backups
- zfsVMs ist ebenfalls eine ssd die noch durch eine zweite zu einem stripe erweitert werden soll (muss ich auch noch machen)
- pveNFS ist ein nfs-storage in einem lxc container, war zum kopieren der Daten von alten auf den neuen Server und wird jetzt für snapshots genutzt

Das einzige das derzeit auf zfs3TB liegt ist ein container mit einer seafile Installation und einem 200Gb subvol als rootdisk (diese lag vorher auf zfs4TB als dieses plötzlich nicht mehr gemountet wurde!)

Hier noch die conf des containers:
arch: amd64 cores: 4 hostname: pveSeafile memory: 2048 net0: name=eth0,bridge=vmbr0,firewall=1,gw=10.18.2.1,hwaddr=26:F1:32:67:67:33,ip=10.18.2.221/24,type=veth onboot: 1 ostype: ubuntu rootfs: zfs3TB:subvol-106-disk-0,size=200G swap: 2048

"zfs set overlay=on zfs4TB" wie hier https://forum.proxmox.com/threads/mount-zfs-when-directory-not-empty.29657/page-2 beschrieben hat leider auch nicht geholfen.

Würde mich über jegliche Tipps freuen!
Vielen Dank und viele Grüße
 
Last edited:
Hey,
danke für deine Unterstützung!

nach "mount -O -a" folgendes:

● zfs.target - ZFS startup target Loaded: loaded (/lib/systemd/system/zfs.target; enabled; vendor preset: enabled) Active: active since Fri 2020-02-28 06:16:37 CET; 4h 29min ago Feb 28 06:16:37 proxmox systemd[1]: Reached target ZFS startup target.

Oder ist es nach dem Reboot ohne manuelles mounten interessant?

Viele Grüße
 
Hallo zusammen,

hat noch jemand eine Idee? Komme leider einfach nicht weiter...

Viele Grüße
 
Hey, danke!
Werde es versuchen sobald wieder ein reboot möglich ist (derzeit läuft ein Kopiervorgang von 3,5Tb).

Viele Grüße
 
Hallo,

hat leider nicht geholfen. Nach einem Reboot gibt "zfs mount" folgendes aus:
root@proxmox:~# zfs mount rpool/ROOT/pve-1 / rpool /rpool rpool/data /rpool/data rpool/ROOT /rpool/ROOT rpool/data/subvol-100-disk-0 /rpool/data/subvol-100-disk-0 rpool/data/subvol-113-disk-0 /rpool/data/subvol-113-disk-0 rpool/data/subvol-103-disk-0 /rpool/data/subvol-103-disk-0 rpool/data/subvol-105-disk-0 /rpool/data/subvol-105-disk-0 rpool/data/subvol-110-disk-0 /rpool/data/subvol-110-disk-0 rpool/data/subvol-114-disk-0 /rpool/data/subvol-114-disk-0 rpool/data/subvol-102-disk-0 /rpool/data/subvol-102-disk-0 rpool/data/subvol-120-disk-0 /rpool/data/subvol-120-disk-0 rpool/data/subvol-112-disk-0 /rpool/data/subvol-112-disk-0 rpool/data/subvol-116-disk-0 /rpool/data/subvol-116-disk-0 rpool/data/subvol-111-disk-0 /rpool/data/subvol-111-disk-0 rpool/data/subvol-115-disk-0 /rpool/data/subvol-115-disk-0 rpool/data/subvol-121-disk-0 /rpool/data/subvol-121-disk-0 rpool/data/subvol-300-disk-0 /rpool/data/subvol-300-disk-0 zfs2TB /zfs2TB zfs2TB/subvol-120-disk-0 /zfs2TB/subvol-120-disk-0 zfs2TB/subvol-120-disk-1 /zfs2TB/subvol-120-disk-1 zfsVMs /zfsVMs

nach einem "zfs mount -a" dann:

root@proxmox:~# zfs mount rpool/ROOT/pve-1 / rpool /rpool rpool/data /rpool/data rpool/ROOT /rpool/ROOT rpool/data/subvol-100-disk-0 /rpool/data/subvol-100-disk-0 rpool/data/subvol-113-disk-0 /rpool/data/subvol-113-disk-0 rpool/data/subvol-103-disk-0 /rpool/data/subvol-103-disk-0 rpool/data/subvol-105-disk-0 /rpool/data/subvol-105-disk-0 rpool/data/subvol-110-disk-0 /rpool/data/subvol-110-disk-0 rpool/data/subvol-114-disk-0 /rpool/data/subvol-114-disk-0 rpool/data/subvol-102-disk-0 /rpool/data/subvol-102-disk-0 rpool/data/subvol-120-disk-0 /rpool/data/subvol-120-disk-0 rpool/data/subvol-112-disk-0 /rpool/data/subvol-112-disk-0 rpool/data/subvol-116-disk-0 /rpool/data/subvol-116-disk-0 rpool/data/subvol-111-disk-0 /rpool/data/subvol-111-disk-0 rpool/data/subvol-115-disk-0 /rpool/data/subvol-115-disk-0 rpool/data/subvol-121-disk-0 /rpool/data/subvol-121-disk-0 rpool/data/subvol-300-disk-0 /rpool/data/subvol-300-disk-0 zfs2TB /zfs2TB zfs2TB/subvol-120-disk-0 /zfs2TB/subvol-120-disk-0 zfs2TB/subvol-120-disk-1 /zfs2TB/subvol-120-disk-1 zfsVMs /zfsVMs zfs4TB /zfs4TB zfs4TB/subvol-105-disk-0 /zfs4TB/subvol-105-disk-0 zfs3TB /zfs3TB zfs3TB/subvol-106-disk-0 /zfs3TB/subvol-106-disk-0 zfs4TB/subvol-101-disk-0 /zfs4TB/subvol-101-disk-0 zfs4TB/subvol-113-disk-0 /zfs4TB/subvol-113-disk-0 zfs3TB/subvol-105-disk-0 /zfs3TB/subvol-105-disk-0

Bin ratlos...
Gibt´s da nicht irgendwo ein Logfile aus dem man schlauer werden könnte? Finde im Netz leider nichts...
 
Hi,

hatte es direkt vom ISO installiert.
Genau das war das Problem!

Die Lösung war:
zpool set cachefile=/etc/zfs/zpool.cache POOLNAME für jeden betroffenen Pool
update initramfs: update-initramfs -u -k all
reboot

Vielen Dank für eure Unterstützung!
 
  • Like
Reactions: oguz

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!