Hi,
ich habe leider ein Problem mit dem ZFS Import nach Reboot und finde bislang keine Lösung.
Ausgangslage:
Problem:
Lösungversuche ohne Erfolg:
Ich denke es liegt ja vermutlich daran, dass es externe SSDs sind und wann die geladen werden, aber mir fällt jetzt nichts mehr ein wie man das sauber lösen könnte.
Irgendwelche Vorschläge?
Gruß Florian
ich habe leider ein Problem mit dem ZFS Import nach Reboot und finde bislang keine Lösung.
Ausgangslage:
- PVE 8.4.14 läuft auf einem Intel NUC 13.
- Host läuft auf ZFS Single Disk mit Standardbenennung "rpool"
- Ich habe dann 4 SSDs in einem externen Gehäuse (nur JBOD kein Raid) über TB/USB4 angeschlossen.
- Die Disks werden auch erkannt und ich konnte problemlos einen neuen zpool ("vault") mit Raid Z1 erstellen und bis zum Reboot läuft das auch immer ohne Fehler.
Code:
root@pve:~# zpool status -P vault
pool: vault
state: ONLINE
config:
NAME STATE READ WRITE CKSUM
vault ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
/dev/disk/by-id/nvme-KLEVV_CRAS_C910_M.2_NVMe_SSD_4TB_2025061102001803-part1 ONLINE 0 0 0
/dev/disk/by-id/nvme-KLEVV_CRAS_C910_M.2_NVMe_SSD_4TB_2025061102001804-part1 ONLINE 0 0 0
/dev/disk/by-id/nvme-KLEVV_CRAS_C910_M.2_NVMe_SSD_4TB_2025061102001821-part1 ONLINE 0 0 0
/dev/disk/by-id/nvme-KLEVV_CRAS_C910_M.2_NVMe_SSD_4TB_2025061102001905-part1 ONLINE 0 0 0
errors: No known data errors
Code:
root@pve:~# boltctl list
● TerraMaster TDAS
├─ type: peripheral
├─ name: TDAS
├─ vendor: TerraMaster
├─ uuid: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
├─ generation: USB4
├─ status: authorized
│ ├─ domain: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
│ ├─ rx speed: 40 Gb/s = 2 lanes * 20 Gb/s
│ ├─ tx speed: 40 Gb/s = 2 lanes * 20 Gb/s
│ └─ authflags: none
├─ authorized: Sat 22 Nov 2025 12:09:06 AM UTC
├─ connected: Sat 22 Nov 2025 12:08:30 AM UTC
└─ stored: Sat 15 Nov 2025 09:15:48 PM UTC
├─ policy: iommu
└─ key: noProblem:
- Nach jedem Reboot ist der pool "vault" verschwunden und Container/VMs, die den Speicherplatz nutzen laufen auf einen Fehler
- Manueller Import funktioniert reproduzierbar ohne Probleme
zpool import vault
Code:
root@pve:~# systemctl | grep zfs
zfs-import-cache.service loaded active exited Import ZFS pools by cache file
● zfs-import@vault.service loaded failed failed Import ZFS pool vault
zfs-mount.service loaded active exited Mount ZFS filesystems
zfs-share.service loaded active exited ZFS file system shares
zfs-volume-wait.service loaded active exited Wait for ZFS Volume (zvol) links in /dev
zfs-zed.service loaded active running ZFS Event Daemon (zed)
system-zfs\x2dimport.slice loaded active active Slice /system/zfs-import
zfs-import.target loaded active active ZFS pool import target
zfs-volumes.target loaded active active ZFS volumes are ready
zfs.target loaded active active ZFS startup target
Code:
root@pve:~# systemctl | grep vault
sys-devices-pci0000:00-0000:00:07.0-0000:02:00.0-0000:03:00.0-0000:04:00.0-nvme-nvme1-nvme1n1-nvme1n1p1.device loaded active plugged KLEVV CRAS C910 M.2 NVMe SSD 4TB vault
sys-devices-pci0000:00-0000:00:07.0-0000:02:00.0-0000:03:01.0-0000:05:00.0-nvme-nvme2-nvme2n1-nvme2n1p1.device loaded active plugged KLEVV CRAS C910 M.2 NVMe SSD 4TB vault
sys-devices-pci0000:00-0000:00:07.0-0000:02:00.0-0000:03:02.0-0000:06:00.0-nvme-nvme3-nvme3n1-nvme3n1p1.device loaded active plugged KLEVV CRAS C910 M.2 NVMe SSD 4TB vault
sys-devices-pci0000:00-0000:00:07.0-0000:02:00.0-0000:03:03.0-0000:07:00.0-nvme-nvme4-nvme4n1-nvme4n1p1.device loaded active plugged KLEVV CRAS C910 M.2 NVMe SSD 4TB vault
vault.mount loaded active mounted /vault
● zfs-import@vault.service loaded failed failed Import ZFS pool vault
Code:
root@pve:~# systemctl status zfs-import@vault.service
× zfs-import@vault.service - Import ZFS pool vault
Loaded: loaded (/lib/systemd/system/zfs-import@.service; enabled; preset: enabled)
Active: failed (Result: exit-code) since Sat 2025-11-22 01:09:03 CET; 13h ago
Docs: man:zpool(8)
Process: 912 ExecStart=/sbin/zpool import -N -d /dev/disk/by-id -o cachefile=none vault (code=exited, status=1/FAILURE)
Main PID: 912 (code=exited, status=1/FAILURE)
CPU: 11ms
Nov 22 01:09:03 pve systemd[1]: Starting zfs-import@vault.service - Import ZFS pool vault...
Nov 22 01:09:03 pve zpool[912]: cannot import 'vault': no such pool available
Nov 22 01:09:03 pve systemd[1]: zfs-import@vault.service: Main process exited, code=exited, status=1/FAILURE
Nov 22 01:09:03 pve systemd[1]: zfs-import@vault.service: Failed with result 'exit-code'.
Nov 22 01:09:03 pve systemd[1]: Failed to start zfs-import@vault.service - Import ZFS pool vault.Lösungversuche ohne Erfolg:
- Cache-File neue erstellen hatte keinen Effekt
zpool set cachefile=/etc/zfs/zpool.cache rpoolzpool set cachefile=/etc/zfs/zpool.cache vaultupdate-initramfs -k all -u
- Kernel commandline
rootdelay=10hatte keinen Effekt. Hab auch mal 30s. getestet mit demselben Ergebnis. - Der zfs-import@vault.service existiert, wie man oben sieht, läuft aber auf einen Fehler
Ich denke es liegt ja vermutlich daran, dass es externe SSDs sind und wann die geladen werden, aber mir fällt jetzt nichts mehr ein wie man das sauber lösen könnte.
Irgendwelche Vorschläge?
Gruß Florian