* ist das upgrade richtig gelaufen? was bekommst du mitversuche die Backups auf den Storage(s) via GUI aufzulisten...
pveversion -v
journalctl -xe
schauen?was bekommst du mitpveversion -v
root@pve01:~# pveversion -v
proxmox-ve: 6.4-1 (running kernel: 5.4.106-1-pve)
pve-manager: 6.4-4 (running version: 6.4-4/337d6701)
pve-kernel-5.4: 6.4-1
pve-kernel-helper: 6.4-1
pve-kernel-5.3: 6.1-6
pve-kernel-5.0: 6.0-11
pve-kernel-5.4.106-1-pve: 5.4.106-1
pve-kernel-5.4.103-1-pve: 5.4.103-1
pve-kernel-5.3.18-3-pve: 5.3.18-3
pve-kernel-5.0.21-5-pve: 5.0.21-10
pve-kernel-5.0.15-1-pve: 5.0.15-1
ceph-fuse: 12.2.11+dfsg1-2.1+b1
corosync: 3.1.2-pve1
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: residual config
ifupdown2: 3.0.0-1+pve3
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.20-pve1
libproxmox-acme-perl: 1.0.8
libproxmox-backup-qemu0: 1.0.3-1
libpve-access-control: 6.4-1
libpve-apiclient-perl: 3.1-3
libpve-common-perl: 6.4-2
libpve-guest-common-perl: 3.1-5
libpve-http-server-perl: 3.2-1
libpve-storage-perl: 6.4-1
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.6-2
lxcfs: 4.0.6-pve1
novnc-pve: 1.1.0-1
proxmox-backup-client: 1.1.5-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.5-3
pve-cluster: 6.4-1
pve-container: 3.3-5
pve-docs: 6.4-1
pve-edk2-firmware: 2.20200531-1
pve-firewall: 4.1-3
pve-firmware: 3.2-2
pve-ha-manager: 3.1-1
pve-i18n: 2.3-1
pve-qemu-kvm: 5.2.0-6
pve-xtermjs: 4.7.0-3
qemu-server: 6.4-1
smartmontools: 7.2-pve2
spiceterm: 3.1-1
vncterm: 1.6-2
zfsutils-linux: 2.0.4-pve1
Hab auf einem HP Microserver PVE auf ZFS aufgesetzt und danach den PBS installiert. Läuft schon so seit es den PBS gibt... Vor kurzem hab ich dann alles (pve01, pve02, pvestor01) in einen Cluster verbunden...welches storage benutzt du?
kannst du bittejournalctl -xe
schauen?
root@pve01:~# journalctl -xe
--
-- The unit pvesr.service has successfully entered the 'dead' state.
Apr 28 14:59:00 pve01 systemd[1]: Started Proxmox VE replication runner.
-- Subject: A start job for unit pvesr.service has finished successfully
-- Defined-By: systemd
-- Support: https://www.debian.org/support
--
-- A start job for unit pvesr.service has finished successfully.
--
-- The job identifier is 29554.
Apr 28 14:59:08 pve01 pve-firewall[1361]: status update error: iptables_restore_cmdlist: Try `ip6tables-restore -h' or 'ip6tables-restore --help' for more information.
Apr 28 14:59:18 pve01 pve-firewall[1361]: status update error: iptables_restore_cmdlist: Try `ip6tables-restore -h' or 'ip6tables-restore --help' for more information.
Apr 28 14:59:28 pve01 pve-firewall[1361]: status update error: iptables_restore_cmdlist: Try `ip6tables-restore -h' or 'ip6tables-restore --help' for more information.
Apr 28 14:59:38 pve01 pve-firewall[1361]: status update error: iptables_restore_cmdlist: Try `ip6tables-restore -h' or 'ip6tables-restore --help' for more information.
Apr 28 14:59:39 pve01 sshd[1366]: Accepted publickey for root from 192.168.xx.xxx port 47174 ssh2: RSA SHA2xxxxxxxxxxxxxxxxx
Apr 28 14:59:39 pve01 sshd[1366]: pam_unix(sshd:session): session opened for user root by (uid=0)
Apr 28 14:59:39 pve01 systemd-logind[810]: New session 210 of user root.
-- Subject: A new session 210 has been created for user root
-- Defined-By: systemd
-- Support: https://www.debian.org/support
-- Documentation: https://www.freedesktop.org/wiki/Software/systemd/multiseat
--
-- A new session with the ID 210 has been created for the user root.
--
-- The leading process of the session is 1366.
Apr 28 14:59:39 pve01 systemd[1]: Started Session 210 of user root.
-- Subject: A start job for unit session-210.scope has finished successfully
-- Defined-By: systemd
-- Support: https://www.debian.org/support
--
-- A start job for unit session-210.scope has finished successfully.
--
-- The job identifier is 29636.
Apr 28 14:59:39 pve01 sshd[1366]: Received disconnect from 192.168.xx.xxx port 47174:11: Normal Shutdown
Apr 28 14:59:39 pve01 sshd[1366]: Disconnected from user root 192.168.xx.xxx port 47174
Apr 28 14:59:39 pve01 sshd[1366]: pam_unix(sshd:session): session closed for user root
Apr 28 14:59:39 pve01 systemd[1]: session-210.scope: Succeeded.
-- Subject: Unit succeeded
-- Defined-By: systemd
-- Support: https://www.debian.org/support
--
-- The unit session-210.scope has successfully entered the 'dead' state.
Apr 28 14:59:39 pve01 systemd-logind[810]: Session 210 logged out. Waiting for processes to exit.
Apr 28 14:59:39 pve01 systemd-logind[810]: Removed session 210.
-- Subject: Session 210 has been terminated
-- Defined-By: systemd
-- Support: https://www.debian.org/support
-- Documentation: https://www.freedesktop.org/wiki/Software/systemd/multiseat
--
-- A session with the ID 210 has been terminated.
root@pve01:~# systemctl status pveproxy
● pveproxy.service - PVE API Proxy Server
Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Wed 2021-04-28 14:47:14 CEST; 14min ago
Process: 30410 ExecStartPre=/usr/bin/pvecm updatecerts --silent (code=exited, status=0/SUCCESS)
Process: 30412 ExecStart=/usr/bin/pveproxy start (code=exited, status=255/EXCEPTION)
Apr 28 14:47:14 pve01 systemd[1]: pveproxy.service: Service RestartSec=100ms expired, scheduling restart.
Apr 28 14:47:14 pve01 systemd[1]: pveproxy.service: Scheduled restart job, restart counter is at 5.
Apr 28 14:47:14 pve01 systemd[1]: Stopped PVE API Proxy Server.
Apr 28 14:47:14 pve01 systemd[1]: pveproxy.service: Start request repeated too quickly.
Apr 28 14:47:14 pve01 systemd[1]: pveproxy.service: Failed with result 'exit-code'.
Apr 28 14:47:14 pve01 systemd[1]: Failed to start PVE API Proxy Server.
* hast du diese meldung auch vor dem upgrade bekommen?Apr 28 14:59:08 pve01 pve-firewall[1361]: status update error: iptables_restore_cmdlist: Try `ip6tables-restore -h' or 'ip6tables-restore --help' for more information. Apr 28 14:59:18 pve01 pve-firewall[1361]: status update error: iptables_restore_cmdlist: Try `ip6tables-restore -h' or 'ip6tables-restore --help' for more information.
* und die "connection refused" kriegst du wenn du die PBS backups auf dem PVE GUI schauen willst? funktioniert hier normal.Hab auf einem HP Microserver PVE auf ZFS aufgesetzt und danach den PBS installiert. Läuft schon so seit es den PBS gibt... Vor kurzem hab ich dann alles (pve01, pve02, pvestor01) in einen Cluster verbunden...
Denke nicht...* hast du diese meldung auch vor dem upgrade bekommen?
Ja, und nach einem Reboot auch noch wenn ich auf die VMs klicke...* und die "connection refused" kriegst du wenn du die PBS backups auf dem PVE GUI schauen willst? funktioniert hier normal.
Hab ich eigentlich nicht gemacht, vor dem update auf 6.4 lief der Cluster sicherlich eine Woche ohne "zucken"...* hast du firewall aktiviert? (vor kurzem vielleicht?) wenn ja, wie schauen dann deine regeln aus?
Ja, hab aber alles zurück genommen und dann alle nodes neu gebooted. Problem is noch immer vorhanden...** hast du vielleicht IPv6 disabled?
wie genau hast du ipv6 disabled? hast du vielleicht die kernel commandline bearbeitet? ist das jetzt auch zurueckgesetzt?Ja, hab aber alles zurück genommen und dann alle nodes neu gebooted.
hmm seltsam.Ja, und nach einem Reboot auch noch wenn ich auf die VMs klicke...
cat /etc/pve/firewall/cluster.fw
systemctl status pvedaemon pveproxy
journalctl -u 'pvedaemon' -u 'pveproxy'
Sorry, auf dem ersten node (pve01) war ipv6 noch nicht aktiv... tut mir leid. Habs nochmal kontrolliert und nach einem erneuten reboot funktioniert jetzt alles offensichtlich wieder. Wollte ipv6 komplett deaktivieren:wie genau hast du ipv6 disabled?
echo 'net.ipv6.conf.all.disable_ipv6 = 1' > /etc/sysctl.d/01-disable-ipv6.conf