Proxmox WebGui nicht mehr zu erreichen

R

rbeudel

Active Member
Jan 24, 2020
31
3
28
Hallo,
seit heute ist die Oberfläche eines der beiden Knoten nicht mehr erreichbar. Es gibt nur Browsertimeout. Der zweite node, der nicht ständig eingeschaltet war versucht schon seit Stunden den connect mit dem ersten Node, aber es dreht sich nur die Eieruhr im cluster log bei starte alle VM.....
Auf beiden nodes ist die Version Virtual Environment 6.1-5 installiert. Beim Versuch an den sources.d etwas zu ändern mit winscp wird jede Änderung abgebloggt:Read Only File system. Mit dpkg -l | grep pve wird ausgegeben:
Code: 
root@nuc1:~# dpkg -l | grep pve
ii  ceph-base                            12.2.12-pve1                    amd64
ii  ceph-common                          12.2.12-pve1                    amd64
ii  ceph-fuse                            12.2.12-pve1                    amd64
ii  ceph-mds                             12.2.12-pve1                    amd64
rc  ceph-mon                             12.2.12-pve1                    amd64
rc  ceph-osd                             12.2.12-pve1                    amd64
ii  corosync                             3.0.2-pve4                      amd64
ii  dmeventd                             2:1.02.155-pve3                 amd64
ii  dmsetup                              2:1.02.155-pve3                 amd64
ii  grub-common                          2.02+dfsg1-18-pve1              amd64
ii  grub-efi-amd64-bin                   2.02+dfsg1-18-pve1              amd64
ii  grub-efi-ia32-bin                    2.02+dfsg1-18-pve1              amd64
ii  grub-pc                              2.02+dfsg1-18-pve1              amd64
ii  grub-pc-bin                          2.02+dfsg1-18-pve1              amd64
ii  grub2-common                         2.02+dfsg1-18-pve1              amd64
ii  ifupdown                             0.8.35+pve1                     amd64
ii  libcephfs2                           12.2.12-pve1                    amd64
ii  libcfg6:amd64                        2.4.4-pve1                      amd64
ii  libcfg7:amd64                        3.0.2-pve4                      amd64
ii  libcmap4:amd64                       3.0.2-pve4                      amd64
ii  libcorosync-common4:amd64            3.0.2-pve4                      amd64
ii  libcpg4:amd64                        3.0.2-pve4                      amd64
ii  libdevmapper-event1.02.1:amd64       2:1.02.155-pve3                 amd64
ii  libdevmapper1.02.1:amd64             2:1.02.155-pve3                 amd64
ii  libknet1:amd64                       1.13-pve1                       amd64
ii  liblvm2app2.2:amd64                  2.02.168-pve6                   amd64
ii  liblvm2cmd2.02:amd64                 2.02.168-pve6                   amd64
ii  liblvm2cmd2.03:amd64                 2.03.02-pve3                    amd64
ii  libnvpair1linux                      0.8.2-pve2                      amd64
ii  libpve-access-control                6.0-5                           all
ii  libpve-apiclient-perl                3.0-2                           all
ii  libpve-cluster-api-perl              6.1-2                           all
ii  libpve-cluster-perl                  6.1-2                           all 
ii  libpve-common-perl                   6.0-9                           all
ii  libpve-guest-common-perl             3.0-3                           all
ii  libpve-http-server-perl              3.0-3                           all
ii  libpve-storage-perl                  6.1-3                           all
ii  libpve-u2f-server-perl               1.1-1                           amd64
ii  libquorum5:amd64                     3.0.2-pve4                      amd64
ii  librados2                            12.2.12-pve1                    amd64
ii  libradosstriper1                     12.2.12-pve1                    amd64
ii  librbd1                              12.2.12-pve1                    amd64
ii  librgw2                              12.2.12-pve1                    amd64
ii  libspice-server1:amd64               0.14.2-4~pve6+1                 amd64
ii  libtotem-pg5:amd64                   2.4.4-pve1                      amd64
ii  libuutil1linux                       0.8.2-pve2                      amd64
ii  libvotequorum8:amd64                 3.0.2-pve4                      amd64        cluster engine Votequorum library
ii  libzfs2linux                         0.8.2-pve2                      amd64        OpenZFS filesystem library for Linux
ii  libzpool2linux                       0.8.2-pve2                      amd64        OpenZFS pool library for Linux
ii  lvm2                                 2.03.02-pve3                    amd64        Linux Logical Volume Manager
ii  lxc-pve                              3.2.1-1                         amd64        Linux containers userspace tools
ii  lxcfs                                3.0.3-pve60                     amd64        LXC userspace filesystem
ii  novnc-pve                            1.1.0-1                         all          HTML5 VNC client
ii  pve-cluster                          6.1-2                           amd64        "pmxcfs" distributed cluster filesystem for Proxmox Virtual Environment.
ii  pve-container                        3.0-15                          all          Proxmox VE Container management tool
ii  pve-docs                             6.1-3                           all          Proxmox VE Documentation
ii  pve-edk2-firmware                    2.20191127-1                    all          edk2 based firmware modules for virtual machines
ii  pve-firewall                         4.0-9                           amd64        Proxmox VE Firewall
ii  pve-firmware                         3.0-4                           all          Binary firmware code for the pve-kernel
ii  pve-ha-manager                       3.0-8                           amd64        Proxmox VE HA Manager
ii  pve-i18n                             2.0-3                           all          Internationalization support for Proxmox VE
ii  pve-kernel-4.15                      5.4-12                          all          Latest Proxmox VE Kernel Image
ii  pve-kernel-4.15.18-10-pve            4.15.18-32                      amd64        The Proxmox PVE Kernel Image
rc  pve-kernel-4.15.18-12-pve            4.15.18-36                      amd64        The Proxmox PVE Kernel Image
rc  pve-kernel-4.15.18-21-pve            4.15.18-48                      amd64        The Proxmox PVE Kernel Image
rc  pve-kernel-4.15.18-23-pve            4.15.18-51                      amd64        The Proxmox PVE Kernel Image
ii  pve-kernel-4.15.18-24-pve            4.15.18-52                      amd64        The Proxmox PVE Kernel Image
ii  pve-kernel-5.3                       6.1-1                           all          Latest Proxmox VE Kernel Image
ii  pve-kernel-5.3.13-1-pve              5.3.13-1                        amd64        The Proxmox PVE Kernel Image
ii  pve-kernel-helper                    6.1-1                           all          Function for various kernel maintenance tasks.
ii  pve-manager                          6.1-5                           amd64        Proxmox Virtual Environment Management Tools
ii  pve-qemu-kvm                         4.1.1-2                         amd64        Full virtualization on x86 hardware
ii  pve-xtermjs                          3.13.2-1                        all          HTML/JS Shell client
ii  python-cephfs                        12.2.12-pve1                    amd64        Python 2 libraries for the Ceph libcephfs library
ii  python-rados                         12.2.12-pve1                    amd64        Python 2 libraries for the Ceph librados library
ii  python-rbd                           12.2.12-pve1                    amd64        Python 2 libraries for the Ceph librbd library
ii  python-rgw                           12.2.12-pve1                    amd64        Python 2 libraries for the Ceph librgw library
ii  smartmontools                        7.0-pve2                        amd64        control and monitor storage systems using S.M.A.R.T.
ii  spl                                  0.8.2-pve2                      all          Solaris Porting Layer user-space utilities for Linux (dummy)
ii  zfs-initramfs                        0.8.2-pve2                      all          OpenZFS root filesystem capabilities for Linux - initramfs
ii  zfs-zed                              0.8.2-pve2                      amd64        OpenZFS Event Daemon
ii  zfsutils-linux                       0.8.2-pve2                      amd64        command-line tools to manage OpenZFS filesystems
Ich habe auf dem nicht erreichbaren node 4 VM laufen, die anscheinend vollkommen normal laufen. Auf dem zweiten node ist keine VM.
Ich weis da nun leider nicht mehr weiter.
Viele Grüße.
Ralf
 
Und die VMs sind zu erreichen? Wo genau wolltest Du etwas editieren?

Code: 
df -h
mount
ip a l
systemctl list-units --state=failed
 
Hallo,
die VM machen Ihre arbeit (Debmatic, (sbfplot, volkszähler), (grafana, influxdb) und openhab alles auf 4 debian 9 VM und sind mit putty zu erreichen.
Ich wollte nachdem ich hier im Forum etwas darüber gelesen habe nachsehen ob ein Update für den ha-manager vorliegt. Es gab aber leider nur jede Menge Fehlermeldungen und etwas über read only filesystem. Testweise habe ich versucht eine Datei im Verzeichnis apt zu ändern, aber wie gesagt read only filesystem.
Code: 
root@nuc1:~# df -h
df: /mnt/pve/backup: Stale file handle
Filesystem                  Size  Used Avail Use% Mounted on
udev                        3.9G     0  3.9G   0% /dev
tmpfs                       783M   78M  706M  10% /run
/dev/mapper/pve-root         55G  8.2G   44G  16% /
tmpfs                       3.9G   28M  3.8G   1% /dev/shm
tmpfs                       5.0M     0  5.0M   0% /run/lock
tmpfs                       3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/sda2                   511M  304K  511M   1% /boot/efi
/dev/fuse                    30M   24K   30M   1% /etc/pve
192.168.1.87:/volume1/nuc1  2.7T  735G  2.0T  27% /mnt/pve/backupnuc
tmpfs                       783M     0  783M   0% /run/user/0
root@nuc1:~# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=3985496k,nr_inodes=996374,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=801344k,mode=755)
/dev/mapper/pve-root on / type ext4 (ro,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
efivarfs on /sys/firmware/efi/efivars type efivarfs (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=30,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=1557)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
sunrpc on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
configfs on /sys/kernel/config type configfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
/dev/sda2 on /boot/efi type vfat (rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=iso8859-1,shortname=mixed,errors=remount-ro)
192.168.1.87:/volume1/nuc1 on /mnt/pve/backup type nfs (rw,relatime,vers=3,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.1.87,mountvers=3,mountport=892,mountproto=udp,local_lock=none,addr=192.168.1.87)
bpf on /sys/fs/bpf type bpf (rw,nosuid,nodev,noexec,relatime,mode=700)
lxcfs on /var/lib/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
/dev/fuse on /etc/pve type fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other)
192.168.1.87:/volume1/nuc1 on /mnt/pve/backupnuc type nfs4 (rw,relatime,vers=4.0,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.1.72,local_lock=none,addr=192.168.1.87)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=801344k,mode=700)
Click to expand...
Code: 
root@nuc1:~# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: enp3s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UP group default qlen 1000
    link/ether 94:c6:91:aa:d4:42 brd ff:ff:ff:ff:ff:ff
3: wlp2s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 18:56:80:92:81:e1 brd ff:ff:ff:ff:ff:ff
4: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 94:c6:91:aa:d4:42 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.72/24 brd 192.168.1.255 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 2001:16b8:211:9000:96c6:91ff:feaa:d442/64 scope global dynamic mngtmpaddr
       valid_lft 6826sec preferred_lft 3226sec
    inet6 fe80::96c6:91ff:feaa:d442/64 scope link
       valid_lft forever preferred_lft forever
9: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN group default qlen 1000
    link/ether ce:bc:32:98:08:4b brd ff:ff:ff:ff:ff:ff
10: tap101i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN group default qlen 1000
    link/ether b2:4b:15:8b:34:67 brd ff:ff:ff:ff:ff:ff
11: tap105i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN group default qlen 1000
    link/ether 32:35:91:2d:ea:84 brd ff:ff:ff:ff:ff:ff
12: tap104i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN group default qlen 1000
    link/ether 16:fd:75:a1:f2:e7 brd ff:ff:ff:ff:ff:ff
root@nuc1:~# systemctl list-units --state=failed
UNIT LOAD ACTIVE SUB DESCRIPTION
● apt-daily-upgrade.service loaded failed failed Daily apt upgrade and clean activities
● apt-daily.service loaded failed failed Daily apt download activities
● corosync.service loaded failed failed Corosync Cluster Engine
● logrotate.service loaded failed failed Rotate log files
● pvesr.service loaded failed failed Proxmox VE replication runner
Click to expand...
Aha das sieht ja nicht gut aus. Keine Ahnung warum das plötzlich so ist. Anfang des Monats bin ich auf Version 6 gewechselt und es lief alles bis auf die wöchentlichen backups auf ein nas mit nfs.
 
Hallo,
sieht nach einem hoffnungslosen Fall aus?:confused:
Ich werde also an einem hellen Tag das Auto aus der Garage holen(Stichwort Haussteuerung) und dann:
1. Einen reboot versuchen
2. Da dieser Fehlschlägt Proxmox neu installieren
3. Die letzten per Hand angestossenen snapshots vom 19.01 versuchen wiederzubeleben
4. Die kurz vor dem reboot gesicherten Daten der einzelnen Anwendungen wieder einzuspielen, bin mal gespannt bei den Datenbanken.

Alles noch nicht gemacht, mal sehen.
 
Du bist aber auch Recht Sparsam mit Infos.
WO? genau wird gemeldet das WAS? read only ist. df -h sagt ja soweit erstmal Platz

mach mal bitte ein df -hT damit wir wissen welches Filesystem Du verwendet.

Ausserdem noch ein
vgdisplay und ein lvdisplay

Clusterinfo wären noch gut

pvecm status
 
Soso,
vielen Dank erst einmal für die Nachfrage.
Als ich versucht habe mit apt-get update nach neuen Versionen zu sehen, kamen solche Fehlermeldungen:
Code: 
Problem unlinking the file /var/lib/apt/lists/partial/ftp.debian.org_debian_dists_buster-updates_InRelease - PrepareFiles (30: Read-only file system)
Auch wenn ich versuche im Ordner etc/apt z.B. mit winscp etwas zu speichern kommt "read only filesystem"
Mit "mount" wird unter anderem gemeldet:
Code: 
/dev/mapper/pve-root on / type ext4 (ro,relatime,errors=remount-ro,data=ordered)
Code: 
root@nuc1:~# df -hT
df: /mnt/pve/backup: Stale file handle
Filesystem                 Type      Size  Used Avail Use% Mounted on
udev                       devtmpfs  3.9G     0  3.9G   0% /dev
tmpfs                      tmpfs     783M   78M  706M  10% /run
/dev/mapper/pve-root       ext4       55G  8.2G   44G  16% /
tmpfs                      tmpfs     3.9G   28M  3.8G   1% /dev/shm
tmpfs                      tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs                      tmpfs     3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/sda2                  vfat      511M  304K  511M   1% /boot/efi
/dev/fuse                  fuse       30M   24K   30M   1% /etc/pve
192.168.1.87:/volume1/nuc1 nfs4      2.7T  752G  2.0T  28% /mnt/pve/backupnuc
tmpfs                      tmpfs     783M     0  783M   0% /run/user/0
Code: 
root@nuc1:~# vgdisplay
  --- Volume group ---
  VG Name               pve
  System ID
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  86
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                7
  Open LV               6
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <223.07 GiB
  PE Size               4.00 MiB
  Total PE              57105
  Alloc PE / Size       53010 / 207.07 GiB
  Free  PE / Size       4095 / <16.00 GiB
  VG UUID               RJe8Vr-QSmC-SWGX-OvnT-ckpW-PD2H-cfwfyE
Code: 
root@nuc1:~# lvdisplay
  --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV UUID                Sj53sE-KnpQ-gUc4-uA2U-zTMi-CE2E-RoLqyw
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-03-25 00:45:35 +0100
  LV Status              available
  # open                 2
  LV Size                7.00 GiB
  Current LE             1792
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV UUID                iHmixf-VVA5-Sa8K-9fWt-ipnx-a4Ut-YSsYf0
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-03-25 00:45:35 +0100
  LV Status              available
  # open                 1
  LV Size                55.75 GiB
  Current LE             14272
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1

  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV UUID                ELNgS4-Cb6a-Regw-y5od-Gsad-dvte-dF5Epv
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-03-25 00:45:36 +0100
  LV Pool metadata       data_tmeta
  LV Pool data           data_tdata
  LV Status              available
  # open                 5
  LV Size                <141.43 GiB
  Allocated pool data    40.26%
  Allocated metadata     2.85%
  Current LE             36206
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:4

  --- Logical volume ---
  LV Path                /dev/pve/vm-101-disk-0
  LV Name                vm-101-disk-0
  VG Name                pve
  LV UUID                WLFXUk-PukT-et0a-u1wH-fEEX-e42s-XR0xZ1
  LV Write Access        read/write
  LV Creation host, time nuc1, 2019-03-25 13:02:26 +0100
  LV Pool name           data
  LV Status              available
  # open                 1
  LV Size                32.00 GiB
  Mapped size            36.92%
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:6

  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                pve
  LV UUID                BUnRE2-piER-rq0J-o8jm-cNJ4-4hRE-MK6DPj
  LV Write Access        read/write
  LV Creation host, time nuc1, 2019-04-04 20:31:16 +0200
  LV Pool name           data
  LV Status              available
  # open                 1
  LV Size                32.00 GiB
  Mapped size            21.63%
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:7

  --- Logical volume ---
  LV Path                /dev/pve/vm-105-disk-0
  LV Name                vm-105-disk-0
  VG Name                pve
  LV UUID                Eu3E8y-99IU-U3CA-wWEG-V6It-48tf-1QH6Vz
  LV Write Access        read/write
  LV Creation host, time nuc1, 2019-04-25 14:32:29 +0200
  LV Pool name           data
  LV Status              available
  # open                 1
  LV Size                32.00 GiB
  Mapped size            19.38%
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:8

  --- Logical volume ---
  LV Path                /dev/pve/vm-104-disk-0
  LV Name                vm-104-disk-0
  VG Name                pve
  LV UUID                Kc4ai1-zlFk-RZIe-8iVU-oAHG-2QAi-hNN0Te
  LV Write Access        read/write
  LV Creation host, time nuc1, 2019-05-27 14:09:38 +0200
  LV Pool name           data
  LV Status              available
  # open                 1
  LV Size                32.00 GiB
  Mapped size            100.00%
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:9
 
Das neu starten habe ich noch nicht gemacht, da ich befürchte das danach gar nichts mehr geht. Das muß gut vorbereitet werden, da einige Sachen dann im Haus nicht mehr funktionieren.
Code: 
Jan 22 01:12:11 nuc1 pvesr[2787841]: error with cfs lock 'file-replication_cfg': no quorum!
Jan 22 01:12:11 nuc1 systemd[1]: pvesr.service: Main process exited, code=exited, status=13/n/a
Jan 22 01:12:11 nuc1 systemd[1]: pvesr.service: Failed with result 'exit-code'.
Jan 22 01:12:11 nuc1 systemd[1]: Failed to start Proxmox VE replication runner.
Jan 22 01:13:00 nuc1 systemd[1]: Starting Proxmox VE replication runner...
Jan 22 01:13:01 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:02 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:03 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:04 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:05 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:06 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:07 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Jan 22 01:13:08 nuc1 pvesr[2787967]: trying to acquire cfs lock 'file-replication_cfg' ...
Das ist das Ende der syslog, danach kein Eintrag mehr. Dieser hat sich auch nur immer wiederholt von 0Uhr an Man betrachte das Datum!
 
OK ist bisschen komisch. Aber gut.
Eventuell hat das schon mit dem no Quorum zu tun.

Es gibt einen Befehl um das Quorum auf 1 zu setzen und somit wieder eine funktionierende Node zu bekommen.
Habe ich gerade erst am WE gemacht, muss ich mal nachschauen.

mach mal bitte

ls -ll /etc/pve/
 
So sieht es aus:

Code: 
root@nuc1:~# ls -ll /etc/pve/
total 5
-r--r----- 1 root www-data  451 Jan 19 16:18 authkey.pub
-r--r----- 1 root www-data  451 Jan 19 16:18 authkey.pub.old
-r--r----- 1 root www-data  448 Dec 17 15:29 corosync.conf
-r--r----- 1 root www-data   13 Mar 25  2019 datacenter.cfg
lr-xr-xr-x 1 root www-data    0 Jan  1  1970 local -> nodes/nuc1
lr-xr-xr-x 1 root www-data    0 Jan  1  1970 lxc -> nodes/nuc1/lxc
dr-xr-xr-x 2 root www-data    0 Mar 25  2019 nodes
lr-xr-xr-x 1 root www-data    0 Jan  1  1970 openvz -> nodes/nuc1/openvz
dr-x------ 2 root www-data    0 Mar 25  2019 priv
-r--r----- 1 root www-data 2057 Mar 25  2019 pve-root-ca.pem
-r--r----- 1 root www-data 1675 Mar 25  2019 pve-www.key
lr-xr-xr-x 1 root www-data    0 Jan  1  1970 qemu-server -> nodes/nuc1/qemu-server
-r--r----- 1 root www-data    0 Dec 17 16:18 replication.cfg
-r--r----- 1 root www-data  259 Jan  1 13:32 storage.cfg
-r--r----- 1 root www-data   45 Mar 25  2019 user.cfg
-r--r----- 1 root www-data  260 Jan 12 21:11 vzdump.cron
 
Ja das dachte ich mir. Der Cluster ist read only weil das Quorum nicht erfüllt ist.
Aber eigentlich sollte das root davon nicht betroffen sein. Das kommt mir noch komisch vor.
Ich schau in einer Stunde mal nach dem Befehl.
 
rbeudel said:
mount: /: cannot remount /dev/mapper/pve-root read-write, is write-protected.
Click to expand...
rbeudel said:
/dev/mapper/pve-root on / type ext4 (ro,relatime,errors=remount-ro,data=ordered)
Click to expand...

rbeudel said:
mount: /: cannot remount /dev/mapper/pve-root read-write, is write-protected.
Click to expand...

Das sieht alles eher nach einem kaputten LVM/Disk als nach problemen mit quorum aus...
(die fehlschlagenden writes auf /etc/pve kommen daher, dass die daten nicht auf die sqlite unter /var/lib/pve-cluster geschrieben werden koennen)
 
Ich würde auf jeden fall auch mal ins journal und dmesg output schauen - vl. steht da ja ein Hinweis, warum es read-only ist
 
  • Like
Reactions: CoolTux
Das ist das einzige was mir aufgefallen ist:
Code: 
[Jan22 01:12] sd 0:0:0:0: [sda] tag#27 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT
[  +0.000008] sd 0:0:0:0: [sda] tag#27 CDB: Write(10) 2a 00 0a b9 06 58 00 00 10 00
[  +0.000002] print_req_error: I/O error, dev sda, sector 179897944
[  +0.001032] sd 0:0:0:0: [sda] tag#28 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT
[  +0.000003] sd 0:0:0:0: [sda] tag#28 CDB: Write(10) 2a 00 04 39 5e d0 00 00 28 00
[  +0.000001] print_req_error: I/O error, dev sda, sector 70868688
[  +0.001121] Aborting journal on device dm-1-8.
[  +0.013242] EXT4-fs error (device dm-1): ext4_journal_check_start:61: Detected aborted journal
[  +0.001091] EXT4-fs (dm-1): Remounting filesystem read-only
[Jan23 01:56] EXT4-fs (dm-1): error count since last fsck: 2
[  +0.000004] EXT4-fs (dm-1): initial error at time 1579651989: ext4_journal_check_start:61
[  +0.000002] EXT4-fs (dm-1): last error at time 1579651989: ext4_journal_check_start:61

usw......

und parted:
Code: 
Error: Invalid partition table on /dev/mapper/pve-data -- wrong signature 0
Error: Invalid partition table on /dev/mapper/pve-data-tpool -- wrong signature 0
Error: Invalid partition table on /dev/mapper/pve-data_tdata -- wrong signature 0

Sollte man da noch was zu retten versuchen? Sieht nach dfekter ssd aus?
Vielen Dank erst einmal!
 
rbeudel said:
[ +0.001032] sd 0:0:0:0: [sda] tag#28 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT
Click to expand...
rbeudel said:
Sieht nach dfekter ssd aus?
Click to expand...
würde ich auch so sehen - falls der reboot nicht hilft - mit dd/ddrescue ein image ziehen und von dort weg retten

viel Glück!
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom