[SOLVED] ZFS-Pool wird nicht importiert - mal wieder-

G

gustel

Member
Feb 16, 2021
75
4
13
Hallo liebe Forengemeinde,

ich habe schon wieder ein Problem mit meinem ZFS-Pool Import beim Booten.
Dieses Mal komme ich wenigstens über ssh auf den PVE-Server.
Ich habe auch keine Ahnung was ich dieses Mal verstellt habe. Alles was mir heute Morgen schon spanisch vor kam, dass mir der PVE bzw. NUT ab 3:30 Uhr (nach meinem täglichen PBS-Backup) alle 7 Min. eine E-Mail geschickt hat, weil meine USV nicht mehr erreichbar war.
Die Weboberfläche war ebenfalls erreichbar und mit etwas Unwohlsein habe ich dann die
USB-Kabel geprüft und den PVE neu gestartet.
Dann ging nichts mehr.
journalctl -b zeigt mir unter anderem auch Probleme mit dem Netzwerk an (bond1).
Ich habe vor ca. 3-4 Wochen eine 4 Port LAN PCIe-Karte eingebaut, dass alte bond entfernt und alle 4 Ports mit LACP über die PCIe laufen lassen. Hat eigentlich auch gut funktioniert, der Switch (unifi US-24-G1) kann LACP und reboot´s haben auch keine Probleme bereitet.

Ich hoffe, Ihr könnt mir weiterhelfen, ich hänge mal wieder fest ☹

Vielen Dank!!

pool: vmfs
state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
the pool may no longer be accessible by software that does not support
the features. See zpool-features(5) for details.
scan: scrub repaired 0B in 00:05:46 with 0 errors on Sun Nov 14 00:29:47 2021
config:

NAME STATE READ WRITE CKSUM
vmfs ONLINE 0 0 0
nvme-Samsung_SSD_970_EVO_1TB_S5H9NS0NA85234E ONLINE 0 0 0

errors: No known data errors

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=16358304k,nr_inodes=4089576,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=3277240k,mode=755)
/dev/mapper/pve-root on / type ext4 (rw,relatime,errors=remount-ro)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup2 on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
efivarfs on /sys/firmware/efi/efivars type efivarfs (rw,nosuid,nodev,noexec,relatime)
none on /sys/fs/bpf type bpf (rw,nosuid,nodev,noexec,relatime,mode=700)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=44,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=18815)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
sunrpc on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
configfs on /sys/kernel/config type configfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
/dev/sdc1 on /mnt/multimedia type ext4 (rw,relatime)
/dev/sdd1 on /mnt/tv type ext4 (rw,relatime)
/dev/sdb1 on /mnt/daten type ext4 (rw,relatime)
vmfs on /vmfs type zfs (rw,xattr,noacl)
vmfs/subvol-100-disk-0 on /vmfs/subvol-100-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-101-disk-0 on /vmfs/subvol-101-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-104-disk-0 on /vmfs/subvol-104-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-106-disk-0 on /vmfs/subvol-106-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-102-disk-0 on /vmfs/subvol-102-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-117-disk-0 on /vmfs/subvol-117-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-108-disk-0 on /vmfs/subvol-108-disk-0 type zfs (rw,xattr,posixacl)
vmfs/subvol-103-disk-0 on /vmfs/subvol-103-disk-0 type zfs (rw,xattr,posixacl)
lxcfs on /var/lib/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
tmpfs on /run/user/1000 type tmpfs (rw,nosuid,nodev,relatime,size=3277236k,mode=700,uid=1000,gid=1001)

und die gekürzte journalctl -b

Nov 23 23:07:47 proxmox systemd-udevd[483]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.
Nov 23 23:07:47 proxmox kernel: iwlwifi 0000:08:00.0 wlp8s0: renamed from wlan0
Nov 23 23:07:47 proxmox kernel: Adding 8388604k swap on /dev/mapper/pve-swap. Priority:-2 extents:1 across:8388604k SSFS
Nov 23 23:07:47 proxmox systemd[1]: Activated swap /dev/pve/swap.
Nov 23 23:07:47 proxmox systemd[1]: Reached target Swap.
Nov 23 23:07:47 proxmox systemd-udevd[488]: Using default interface naming scheme 'v240'.
Nov 23 23:07:47 proxmox systemd[1]: Started udev Wait for Complete Device Initialization.
Nov 23 23:07:47 proxmox systemd[1]: Started Helper to synchronize boot up for ifupdown.
Nov 23 23:07:47 proxmox systemd[1]: Starting Import ZFS pools by cache file...
Nov 23 23:07:47 proxmox systemd[1]: Starting Import ZFS pool vmfs...
Nov 23 23:07:47 proxmox systemd-fsck[649]: /dev/sdc1: clean, 18071/244195328 files, 599009636/976754176 blocks
Nov 23 23:07:47 proxmox systemd-fsck[651]: tv: clean, 76/244195328 files, 66346688/976754176 blocks
Nov 23 23:07:47 proxmox systemd-fsck[652]: hdd-int: clean, 1344430/244191232 files, 1012724008/1953506304 blocks
Nov 23 23:07:47 proxmox lvm[650]: 10 logical volume(s) in volume group "pve" now active
Nov 23 23:07:47 proxmox systemd[1]: Started File System Check on /dev/disk/by-uuid/3dee70c0-6fb0-4a7b-a743-8cd9cc3d23fa.
Nov 23 23:07:47 proxmox systemd[1]: mnt-tv.mount: Directory /mnt/tv to mount over is not empty, mounting anyway.
Nov 23 23:07:47 proxmox systemd[1]: Mounting /mnt/tv...
Nov 23 23:07:47 proxmox systemd[1]: Started File System Check on /dev/disk/by-uuid/44bd59c9-03ef-4d4f-ba52-a9144666e6dd.
Nov 23 23:07:47 proxmox systemd[1]: Mounting /mnt/daten...
Nov 23 23:07:47 proxmox systemd[1]: Started LVM event activation on device 8:3.
Nov 23 23:07:47 proxmox zpool[663]: cannot import 'vmfs': no such pool available
Nov 23 23:07:47 proxmox systemd[1]: Started File System Check on /dev/disk/by-uuid/5258a109-ecd6-4a59-89c4-08b4adb59e69.
Nov 23 23:07:47 proxmox systemd[1]: Mounting /mnt/multimedia...
Nov 23 23:07:47 proxmox systemd[1]: zfs-import@vmfs.service: Main process exited, code=exited, status=1/FAILURE
Nov 23 23:07:47 proxmox systemd[1]: zfs-import@vmfs.service: Failed with result 'exit-code'.
Nov 23 23:07:47 proxmox systemd[1]: Failed to start Import ZFS pool vmfs.
Nov 23 23:07:47 proxmox systemd[1]: Mounted /mnt/multimedia.
Nov 23 23:07:47 proxmox kernel: EXT4-fs (sdc1): mounted filesystem with ordered data mode. Opts: (null)
Nov 23 23:07:47 proxmox systemd[1]: Mounted /mnt/tv.
Nov 23 23:07:47 proxmox kernel: EXT4-fs (sdd1): mounted filesystem with ordered data mode. Opts: (null)
Nov 23 23:07:47 proxmox kernel: EXT4-fs (sdb1): mounted filesystem with ordered data mode. Opts: (null)
Nov 23 23:07:47 proxmox systemd[1]: Mounted /mnt/daten.
Nov 23 23:07:47 proxmox kernel: zd0: p1 p2 p3
Nov 23 23:07:47 proxmox kernel: zd32: p1 p2
Nov 23 23:07:47 proxmox kernel: zd48: p1 p2 p3 p4
Nov 23 23:07:47 proxmox kernel: zd64: p1 p2 < p5 >
Nov 23 23:07:47 proxmox kernel: zd80: p1 p2
Nov 23 23:07:47 proxmox kernel: zd96: p1 p2 < p5 >
Nov 23 23:07:47 proxmox kernel: zd112: p1 p2 p3
Nov 23 23:07:47 proxmox systemd[1]: Started Import ZFS pools by cache file.
Nov 23 23:07:47 proxmox systemd[1]: Reached target ZFS pool import target.
Nov 23 23:07:47 proxmox systemd[1]: Starting Mount ZFS filesystems...
Nov 23 23:07:47 proxmox systemd[1]: Starting Wait for ZFS Volume (zvol) links in /dev...
Nov 23 23:07:47 proxmox systemd[1]: Started Mount ZFS filesystems.
Nov 23 23:07:47 proxmox systemd[1]: Reached target Local File Systems.
Nov 23 23:07:47 proxmox systemd[1]: Condition check resulted in Commit a transient machine-id on disk being skipped.
Nov 23 23:07:47 proxmox systemd[1]: Starting Set console font and keymap...
Nov 23 23:07:47 proxmox systemd[1]: Starting Load AppArmor profiles...
Nov 23 23:07:47 proxmox systemd[1]: Starting Create Volatile Files and Directories...
Nov 23 23:07:47 proxmox systemd[1]: Starting Proxmox VE firewall logger...
Nov 23 23:07:47 proxmox systemd[1]: Starting Proxmox VE Login Banner...
Nov 23 23:07:47 proxmox systemd[1]: Starting Commit Proxmox VE network changes...

Nov 23 23:07:48 proxmox systemd-udevd[485]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.
Nov 23 23:07:48 proxmox systemd-udevd[485]: Could not generate persistent MAC address for bond1: No such file or directory
Nov 23 23:07:48 proxmox smartd[1591]: Device: /dev/sdd [SAT], is SMART capable. Adding to "monitor" list.
Nov 23 23:07:48 proxmox smartd[1591]: Device: /dev/sdd [SAT], state read from /var/lib/smartmontools/smartd.WDC_WD40EFRX_68N32N0-WD_WCC7K3KAYSJ2.ata.state
Nov 23 23:07:48 proxmox smartd[1591]: Device: /dev/nvme0, opened
Nov 23 23:07:48 proxmox smartd[1591]: Device: /dev/nvme0, Samsung SSD 970 EVO 1TB, S/N:S5H9NS0NA85234E, FW:2B2QEXE7, 1.00 TB
Nov 23 23:07:48 proxmox smartd[1591]: Device: /dev/nvme0, is SMART capable. Adding to "monitor" list.
Nov 23 23:07:48 proxmox smartd[1591]: Device: /dev/nvme0, state read from /var/lib/smartmontools/smartd.Samsung_SSD_970_EVO_1TB-S5H9NS0NA85234E.nvme.state
Nov 23 23:07:48 proxmox smartd[1591]: Monitoring 4 ATA/SATA, 0 SCSI/SAS and 1 NVMe devices
Nov 23 23:07:48 proxmox kernel: bond1: (slave enp1s0f0): Enslaving as a backup interface with a down link
Nov 23 23:07:48 proxmox kernel: bond1: (slave enp1s0f1): Enslaving as a backup interface with a down link
Nov 23 23:07:48 proxmox kernel: bond1: (slave enp1s0f2): Enslaving as a backup interface with a down link
Nov 23 23:07:48 proxmox zed[1683]: eid=2 class=config_sync pool='vmfs'
Nov 23 23:07:48 proxmox kernel: bond1: (slave enp1s0f3): Enslaving as a backup interface with a down link
Nov 23 23:07:48 proxmox systemd-udevd[485]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.
Nov 23 23:07:48 proxmox systemd-udevd[485]: Could not generate persistent MAC address for vmbr0: No such file or directory
Nov 23 23:07:48 proxmox kernel: vmbr0: port 1(bond1) entered blocking state
Nov 23 23:07:48 proxmox kernel: vmbr0: port 1(bond1) entered disabled state
Nov 23 23:07:48 proxmox kernel: device bond1 entered promiscuous mode
Nov 23 23:07:48 proxmox kernel: device enp1s0f0 entered promiscuous mode
Nov 23 23:07:48 proxmox kernel: device enp1s0f1 entered promiscuous mode
Nov 23 23:07:48 proxmox kernel: device enp1s0f2 entered promiscuous mode
Nov 23 23:07:48 proxmox kernel: device enp1s0f3 entered promiscuous mode
Nov 23 23:07:48 proxmox avahi-daemon[1582]: Joining mDNS multicast group on interface vmbr0.IPv4 with address 192.168.1.20.
Nov 23 23:07:48 proxmox avahi-daemon[1582]: New relevant interface vmbr0.IPv4 for mDNS.
Nov 23 23:07:48 proxmox avahi-daemon[1582]: Registering new address record for 192.168.1.20 on vmbr0.IPv4.
Nov 23 23:07:48 proxmox systemd-udevd[485]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.
Nov 23 23:07:48 proxmox systemd-udevd[485]: Could not generate persistent MAC address for vmbr1: No such file or directory
Nov 23 23:07:48 proxmox kernel: vmbr1: port 1(enp0s31f6) entered blocking state
Nov 23 23:07:48 proxmox kernel: vmbr1: port 1(enp0s31f6) entered disabled state
Nov 23 23:07:48 proxmox kernel: device enp0s31f6 entered promiscuous mode
Nov 23 23:07:48 proxmox zed[1714]: eid=3 class=pool_import pool='vmfs'
Nov 23 23:07:48 proxmox systemd[1]: Started Login Service.

Nov 23 23:08:01 proxmox pveproxy[2148]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line 1891.
Nov 23 23:08:01 proxmox cron[1945]: (*system*vzdump) CAN'T OPEN SYMLINK (/etc/cron.d/vzdump)
Nov 23 23:08:06 proxmox pveproxy[2080]: starting 1 worker(s)
Nov 23 23:08:06 proxmox pveproxy[2080]: worker 2151 started
Nov 23 23:08:06 proxmox pveproxy[2147]: worker exit
Nov 23 23:08:06 proxmox pveproxy[2148]: worker exit
Nov 23 23:08:06 proxmox pveproxy[2151]: /etc/pve/local/pve-ssl.key: failed to load local private key (key_file or key) at /usr/share/perl5/PVE/APIServer/AnyEvent.pm line

Solltet Ihr noch weitere Infos benötigen reiche ich sie heute Abend nach!

Gruß und danke
Frank
 
Hallo,
hat niemand einen Vorschlag oder Tipp wie ich das Problem lösen kann?

Gruß Frank
 
ist der pool nach dem boot dann importiert (von dem output sieht es danach aus?) vielleicht triggert das service nur ein bisschen zu früh (was sagt denn systemctl cat zfs-import@vmfs.service ?)

was genau heißt 'Dann ging nichts mehr.' ?

bootet das system? funktioniert ssh? webui? (wenn nein, was sagt 'ss -tlpn' vllt auch das ganze journal seit boot posten)
 
Hallo,

mit "dann ging nichts mehr" meinte ich, dass die Webui nicht mehr erreichbar war bzw. ist und die Container (LXC & VM) nicht starten.
Über ssh habe ich Zugriff.
Der zpool ist laut Status online aber unter df -h habe ich nicht meine 1 TB M2 SSD.
Kann ich das journal als Datei (txt) einfügen? (als Code einfügen geht nicht)
Hier die Ausgaben...

Code: 
root@proxmox:~# systemctl cat zfs-import@vmfs.service
# /lib/systemd/system/zfs-import@.service
[Unit]
Description=Import ZFS pool %i
Documentation=man:zpool(8)
DefaultDependencies=no
After=systemd-udev-settle.service
After=cryptsetup.target
After=multipathd.target
Before=zfs-import.target
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/sbin/zpool import -N -d /dev/disk/by-id -o cachefile=none %I
[Install]
WantedBy=zfs-import.target

Code: 
root@proxmox:~# ss -tlpn
State                 Recv-Q                 Send-Q                                 Local Address:Port                                 Peer Address:Port               
LISTEN                0                      16                                         127.0.0.1:3493                                      0.0.0.0:*                    users:(("upsd",pid=1795,fd=5))
LISTEN                0                      16                                      192.168.1.20:3493                                      0.0.0.0:*                    users:(("upsd",pid=1795,fd=4))
LISTEN                0                      128                                          0.0.0.0:111                                       0.0.0.0:*                    users:(("rpcbind",pid=1400,fd=4),("systemd",pid=1,fd=37))
LISTEN                0                      511                                          0.0.0.0:80                                        0.0.0.0:*                    users:(("apache2",pid=1719,fd=3),("apache2",pid=1718,fd=3),("apache2",pid=1716,fd=3))
LISTEN                0                      128                                        127.0.0.1:85                                        0.0.0.0:*                    users:(("pvedaemon worke",pid=1988,fd=6),("pvedaemon worke",pid=1987,fd=6),("pvedaemon worke",pid=1986,fd=6),("pvedaemon",pid=1985,fd=6))
LISTEN                0                      128                                          0.0.0.0:22                                        0.0.0.0:*                    users:(("sshd",pid=1585,fd=3))
LISTEN                0                      100                                        127.0.0.1:25                                        0.0.0.0:*                    users:(("master",pid=1950,fd=13))
LISTEN                1                      128                                                *:8006                                            *:*                    users:(("pveproxy worker",pid=2634,fd=6),("pveproxy worker",pid=2633,fd=6),("pveproxy worker",pid=2632,fd=6),("pveproxy",pid=1992,fd=6))
LISTEN                0                      4096                                               *:9100                                            *:*                    users:(("node_exporter",pid=1412,fd=3))
LISTEN                0                      128                                             [::]:111                                          [::]:*                    users:(("rpcbind",pid=1400,fd=6),("systemd",pid=1,fd=39))
LISTEN                0                      128                                             [::]:22                                           [::]:*                    users:(("sshd",pid=1585,fd=4))
LISTEN                0                      128                                                *:3128                                            *:*                    users:(("spiceproxy work",pid=1999,fd=6),("spiceproxy",pid=1998,fd=6))
LISTEN                0                      100                                            [::1]:25                                           [::]:*                    users:(("master",pid=1950,fd=14))

Code: 
root@proxmox:~# df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                     16G     0   16G   0% /dev
tmpfs                   3.2G  9.4M  3.2G   1% /run
/dev/mapper/pve-root     79G   58G   18G  77% /
tmpfs                    16G     0   16G   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                    16G     0   16G   0% /sys/fs/cgroup
/dev/sdd1               3.6T  194G  3.3T   6% /mnt/tv
/dev/sdb1               7.3T  3.8T  3.2T  55% /mnt/daten
vmfs                    386G  128K  386G   1% /vmfs
vmfs/subvol-102-disk-0   30G  1.9G   29G   7% /vmfs/subvol-102-disk-0
vmfs/subvol-101-disk-0  8.0G  1.4G  6.7G  17% /vmfs/subvol-101-disk-0
vmfs/subvol-117-disk-0  8.0G  747M  7.3G  10% /vmfs/subvol-117-disk-0
vmfs/subvol-100-disk-0   15G   11G  5.0G  68% /vmfs/subvol-100-disk-0
vmfs/subvol-106-disk-0   12G  4.9G  7.2G  41% /vmfs/subvol-106-disk-0
vmfs/subvol-104-disk-0  8.0G  964M  7.1G  12% /vmfs/subvol-104-disk-0
vmfs/subvol-103-disk-0  8.0G  1.8G  6.3G  22% /vmfs/subvol-103-disk-0
vmfs/subvol-108-disk-0   15G   13G  3.0G  81% /vmfs/subvol-108-disk-0
/dev/sdc1               3.6T  2.2T  1.3T  64% /mnt/multimedia
tmpfs                   3.2G     0  3.2G   0% /run/user/1000
 
"vielleicht triggert das service nur ein bisschen zu früh"
Hierzu habe ich auch schon etwas gefunden (mein englisch ist nur ziemlich bescheiden)
Ich habe in /etc/defaults/zfs die Zeile ZFS_INITRD_PRE_MOUNTROOT_SLEEP='20' eingefügt und dann update-initramfs -k all -u gemacht.
Leider ohne Erfolg.

root@proxmox:~# pveversion -v
proxmox-ve: 6.4-1 (running kernel: 5.4.143-1-pve)
pve-manager: 6.4-13 (running version: 6.4-13/9f411e79)
pve-kernel-helper: 6.4-8
pve-kernel-5.4: 6.4-7
pve-kernel-5.4.143-1-pve: 5.4.143-1
pve-kernel-5.4.140-1-pve: 5.4.140-1
pve-kernel-5.4.34-1-pve: 5.4.34-2
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.2-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve4~bpo10
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.22-pve1~bpo10+1
libproxmox-acme-perl: 1.1.0
libproxmox-backup-qemu0: 1.1.0-1
libpve-access-control: 6.4-3
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.4-4
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.2-3
libpve-storage-perl: 6.4-1
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.1.13-2
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.6-1
pve-cluster: 6.4-1
pve-container: 3.3-6
pve-docs: 6.4-2
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-4
pve-firmware: 3.3-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-6
pve-xtermjs: 4.7.0-3
qemu-server: 6.4-2
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.6-pve1~bpo10+1

Das Journal im Anhang...
 

Attachments

  • journalctl-b.txt
    275.4 KB · Views: 4
Last edited:
Hat sonst niemand mehr eine Idee oder Tipp?
Da der WAF aktuell ziemlich im Keller hängt (60% der Haussteuerung und TV läuft über den PVE) und ich aktuell keine Zeit habe den KNX Bus der aktuellen Lage anzupassen, als TV Ersatz haben wir zum Glück noch Netflix :), die Frage.
Wie ist eure Einschätzung, ist dieses Problem eher schwerwiegend?
Sonst würde ich den PVE platt machen und über den PBS die VM´s und LXC´s versuchen wiederherzustellen.
Oder soll ich lieber noch auf Hilfe warten?

Gruß Frank
 
Hallo zusammen,

ich habe das Problem gelöst.
Wie so oft, selbst schuld :confused:
Beim durchgehen der journalctl -b bin ich immer wieder an der Fehlermeldung der IP hängen geblieben.
Ich kann es nicht mehr genau nachvollziehen wieso oder für was, aber ich hatte in der /etc/hosts einen Eintrag gemacht. (127.0.0.1 proxmox)
Diesen gelöscht und alles läuft wieder.

Alles was mich noch etwas irritiert, in der df -h (vmfs) wird die 1TB M2 nicht angezeigt, in der Webui unter Disks> ZFS schon.
Oder liegt es daran, dass die SSD nicht verfügbar war und der PVE hat den Ordner angelegt?

Code: 
root@proxmox:~# df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                     16G     0   16G   0% /dev
tmpfs                   3.2G   18M  3.2G   1% /run
/dev/mapper/pve-root     79G   58G   18G  77% /
tmpfs                    16G   43M   16G   1% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                    16G     0   16G   0% /sys/fs/cgroup
/dev/sdb1               7.3T  3.8T  3.2T  55% /mnt/daten
/dev/sdd1               3.6T  194G  3.3T   6% /mnt/tv
/dev/sdc1               3.6T  2.2T  1.3T  64% /mnt/multimedia
vmfs                    387G  128K  387G   1% /vmfs
vmfs/subvol-100-disk-0   15G   11G  5.0G  68% /vmfs/subvol-100-disk-0
vmfs/subvol-101-disk-0  8.0G  1.4G  6.7G  17% /vmfs/subvol-101-disk-0
vmfs/subvol-103-disk-0  8.0G  1.8G  6.3G  22% /vmfs/subvol-103-disk-0
vmfs/subvol-102-disk-0   30G  1.8G   29G   6% /vmfs/subvol-102-disk-0
vmfs/subvol-117-disk-0  8.0G  747M  7.3G  10% /vmfs/subvol-117-disk-0
vmfs/subvol-104-disk-0  8.0G  964M  7.1G  12% /vmfs/subvol-104-disk-0
vmfs/subvol-108-disk-0   15G   13G  3.0G  81% /vmfs/subvol-108-disk-0
vmfs/subvol-106-disk-0   12G  4.8G  7.3G  40% /vmfs/subvol-106-disk-0
/dev/fuse                30M   28K   30M   1% /etc/pve
tmpfs                   3.2G     0  3.2G   0% /run/user/1000

Gruß Frank

PS: Hier hatte ich den entscheidenden Hinweis gefunden.
https://forum.proxmox.com/threads/pve-cluster-fails-to-start.82861/
 
Last edited:
gustel said:
ich habe das Problem gelöst.
Click to expand...
super

gustel said:
Alles was mich noch etwas irritiert, in der df -h (vmfs) wird die 1TB M2 nicht angezeigt, in der Webui unter Disks> ZFS schon.
Oder liegt es daran, dass die SSD nicht verfügbar war und der PVE hat den Ordner angelegt?
Click to expand...
was sagt denn : 'zfs list' ?
 
Hallo,

hier die Ausgabe

Code: 
root@proxmox:~# zfs list
NAME                       USED  AVAIL     REFER  MOUNTPOINT
vmfs                       513G   386G      120K  /vmfs
vmfs/subvol-100-disk-0    10.1G  4.93G     10.1G  /vmfs/subvol-100-disk-0
vmfs/subvol-101-disk-0    1.34G  6.66G     1.34G  /vmfs/subvol-101-disk-0
vmfs/subvol-102-disk-0    2.36G  28.2G     1.81G  /vmfs/subvol-102-disk-0
vmfs/subvol-103-disk-0    2.16G  6.27G     1.73G  /vmfs/subvol-103-disk-0
vmfs/subvol-104-disk-0    1.24G  7.06G      964M  /vmfs/subvol-104-disk-0
vmfs/subvol-106-disk-0    4.85G  7.15G     4.85G  /vmfs/subvol-106-disk-0
vmfs/subvol-108-disk-0    12.9G  2.88G     12.1G  /vmfs/subvol-108-disk-0
vmfs/subvol-117-disk-0     755M  7.26G      755M  /vmfs/subvol-117-disk-0
vmfs/vm-105-disk-0        36.0G   413G     5.91G  -
vmfs/vm-107-disk-0         317G   577G     23.4G  -
vmfs/vm-107-state-Update  14.9G   397G     3.25G  -
vmfs/vm-110-disk-0        33.0G   402G     16.5G  -
vmfs/vm-111-disk-0        22.7G   395G     12.9G  -
vmfs/vm-116-disk-0        10.3G   393G     3.14G  -
vmfs/vm-300-disk-0        33.0G   413G     5.82G  -
vmfs/vm-500-disk-0        10.3G   392G     4.09G  -

Gruß Frank
 
vmfs ist die 1TB M2?
laut zfs list vmfs 386G verfügbar, wird laut df -h "vmfs 387G verfügbar" auch angezeigt
der Rest geht für die Laufwerke im Z-Pool drauf
 
Hallo,
genau, vmfs ist die M2 SSD mit 1 TB. (PCIe)
Mit df -h wird 386G angezeigt.
Code: 
root@proxmox:~# df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                     16G     0   16G   0% /dev
tmpfs                   3.2G   98M  3.1G   4% /run
/dev/mapper/pve-root     79G   58G   18G  77% /
tmpfs                    16G   43M   16G   1% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                    16G     0   16G   0% /sys/fs/cgroup
/dev/sdb1               7.3T  3.8T  3.2T  55% /mnt/daten
/dev/sdd1               3.6T  206G  3.2T   6% /mnt/tv
/dev/sdc1               3.6T  2.2T  1.3T  64% /mnt/multimedia
vmfs                    386G  128K  386G   1% /vmfs
vmfs/subvol-100-disk-0   15G   11G  5.0G  68% /vmfs/subvol-100-disk-0
vmfs/subvol-101-disk-0  8.0G  1.4G  6.7G  17% /vmfs/subvol-101-disk-0
vmfs/subvol-103-disk-0  8.0G  1.8G  6.3G  22% /vmfs/subvol-103-disk-0
vmfs/subvol-102-disk-0   30G  1.9G   29G   7% /vmfs/subvol-102-disk-0
vmfs/subvol-117-disk-0  8.0G  760M  7.3G  10% /vmfs/subvol-117-disk-0
vmfs/subvol-104-disk-0  8.0G  964M  7.1G  12% /vmfs/subvol-104-disk-0
vmfs/subvol-108-disk-0   15G   13G  2.9G  82% /vmfs/subvol-108-disk-0
vmfs/subvol-106-disk-0   12G  4.9G  7.2G  41% /vmfs/subvol-106-disk-0
/dev/fuse                30M   28K   30M   1% /etc/pve
tmpfs                   3.2G     0  3.2G   0% /run/user/1000

In der Webui wird die M2 angezeigt, siehe Bild

ZFS-Webui.PNG
 
Last edited:
Die virtuellen Laufwerke vmfs/vm-xxx-disk-y (siehe zfs list) brauchen auch Platz im Z-Pool, werden aber vom Dateisystem nicht gesehen, so dass df nur den für das Dateisystem noch verfügbaren Platz anzeigt.
Gruß
db
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back