It seems screwed up...

[a13519]

Hi, I have been using Proxmox for some time and I have a master and 1 slave node to join the cluster. There are running couple instance on each of the node, and it was running smoothly. I can access both bodes through the web interface to manage the instances, and also the instances running normally.

Yesterday, 2 months after my previous access to web interface, I can't find the web service is running on the node, and I tried to clear the cache but no luck. Then I followed some inspection steps to check the port, but to my surprise the tool netstat was not installed, but I clearly remember it was there before. Not only this tool, others like curl was also disappeared.

root@pve1:~# netstat -an | grep 8006
-bash: netstat: command not found

Anyone can help to fix this? Was I hacked?
Attached is the ps output.

 

[devawpz]

Hard to say, binary may be out of your PATH variable.

What's the output of:

which netstat

Or the find command:

find / -iname "netstat" -print

 

[a13519]

root@pve1:~# which netstat
root@pve1:~# find / -iname "netstat" -print
/proc/1/task/1/net/netstat
/proc/1/net/netstat
/proc/2/task/2/net/netstat
/proc/2/net/netstat
/proc/3/task/3/net/netstat
/proc/3/net/netstat
/proc/4/task/4/net/netstat
/proc/4/net/netstat
/proc/6/task/6/net/netstat
/proc/6/net/netstat
/proc/9/task/9/net/netstat
/proc/9/net/netstat
/proc/10/task/10/net/netstat
/proc/10/net/netstat
/proc/11/task/11/net/netstat
/proc/11/net/netstat
/proc/12/task/12/net/netstat
/proc/12/net/netstat
/proc/13/task/13/net/netstat
/proc/13/net/netstat
/proc/14/task/14/net/netstat
/proc/14/net/netstat
/proc/15/task/15/net/netstat
/proc/15/net/netstat
/proc/16/task/16/net/netstat
/proc/16/net/netstat
/proc/17/task/17/net/netstat
/proc/17/net/netstat
/proc/18/task/18/net/netstat
/proc/18/net/netstat
/proc/20/task/20/net/netstat
/proc/20/net/netstat
/proc/21/task/21/net/netstat
/proc/21/net/netstat
/proc/22/task/22/net/netstat
/proc/22/net/netstat
/proc/23/task/23/net/netstat
/proc/23/net/netstat
/proc/24/task/24/net/netstat
/proc/24/net/netstat
/proc/26/task/26/net/netstat
/proc/26/net/netstat
/proc/27/task/27/net/netstat
/proc/27/net/netstat
/proc/28/task/28/net/netstat
/proc/28/net/netstat
/proc/29/task/29/net/netstat
/proc/29/net/netstat
/proc/30/task/30/net/netstat
/proc/30/net/netstat
/proc/32/task/32/net/netstat
/proc/32/net/netstat
/proc/33/task/33/net/netstat
/proc/33/net/netstat
/proc/34/task/34/net/netstat
/proc/34/net/netstat
/proc/35/task/35/net/netstat
/proc/35/net/netstat
/proc/36/task/36/net/netstat
/proc/36/net/netstat
/proc/37/task/37/net/netstat
/proc/37/net/netstat
/proc/38/task/38/net/netstat
/proc/38/net/netstat
/proc/39/task/39/net/netstat
/proc/39/net/netstat
/proc/40/task/40/net/netstat
/proc/40/net/netstat
/proc/41/task/41/net/netstat
/proc/41/net/netstat
/proc/42/task/42/net/netstat
/proc/42/net/netstat
/proc/135/task/135/net/netstat
/proc/135/net/netstat
/proc/136/task/136/net/netstat
/proc/136/net/netstat
/proc/137/task/137/net/netstat
/proc/137/net/netstat
/proc/139/task/139/net/netstat
/proc/139/net/netstat
/proc/140/task/140/net/netstat
/proc/140/net/netstat
/proc/141/task/141/net/netstat
/proc/141/net/netstat
/proc/142/task/142/net/netstat
/proc/142/net/netstat
/proc/143/task/143/net/netstat
/proc/143/net/netstat
/proc/145/task/145/net/netstat
/proc/145/net/netstat
/proc/148/task/148/net/netstat
/proc/148/net/netstat
/proc/149/task/149/net/netstat
/proc/149/net/netstat
/proc/150/task/150/net/netstat
/proc/150/net/netstat
/proc/153/task/153/net/netstat
/proc/153/net/netstat
/proc/154/task/154/net/netstat
/proc/154/net/netstat
/proc/155/task/155/net/netstat
/proc/155/net/netstat
/proc/156/task/156/net/netstat
/proc/156/net/netstat
/proc/157/task/157/net/netstat
/proc/157/net/netstat
/proc/158/task/158/net/netstat
/proc/158/net/netstat
/proc/159/task/159/net/netstat
/proc/159/net/netstat
/proc/160/task/160/net/netstat
/proc/160/net/netstat
/proc/161/task/161/net/netstat
/proc/161/net/netstat
/proc/162/task/162/net/netstat
/proc/162/net/netstat
/proc/163/task/163/net/netstat
/proc/163/net/netstat
/proc/167/task/167/net/netstat
/proc/167/net/netstat
/proc/178/task/178/net/netstat
/proc/178/net/netstat
/proc/194/task/194/net/netstat
/proc/194/net/netstat
/proc/247/task/247/net/netstat
/proc/247/net/netstat
/proc/248/task/248/net/netstat
/proc/248/net/netstat
/proc/249/task/249/net/netstat
/proc/249/net/netstat
/proc/259/task/259/net/netstat
/proc/259/net/netstat
/proc/266/task/266/net/netstat
/proc/266/net/netstat
/proc/274/task/274/net/netstat
/proc/274/net/netstat
/proc/279/task/279/net/netstat
/proc/279/net/netstat
/proc/293/task/293/net/netstat
/proc/293/net/netstat
/proc/295/task/295/net/netstat
/proc/295/net/netstat
/proc/301/task/301/net/netstat
/proc/301/net/netstat
/proc/303/task/303/net/netstat
/proc/303/net/netstat
/proc/306/task/306/net/netstat
/proc/306/net/netstat
/proc/311/task/311/net/netstat
/proc/311/net/netstat
/proc/322/task/322/net/netstat
/proc/322/net/netstat
/proc/323/task/323/net/netstat
/proc/323/net/netstat
/proc/324/task/324/net/netstat
/proc/324/net/netstat
/proc/327/task/327/net/netstat
/proc/327/net/netstat
/proc/329/task/329/net/netstat
/proc/329/net/netstat
/proc/330/task/330/net/netstat
/proc/330/net/netstat
/proc/333/task/333/net/netstat
/proc/333/net/netstat
/proc/346/task/346/net/netstat
/proc/346/net/netstat
/proc/352/task/352/net/netstat
/proc/352/net/netstat
/proc/358/task/358/net/netstat
/proc/358/net/netstat
/proc/364/task/364/net/netstat
/proc/364/net/netstat
/proc/370/task/370/net/netstat
/proc/370/net/netstat
/proc/400/task/400/net/netstat
/proc/400/net/netstat
/proc/401/task/401/net/netstat
/proc/401/net/netstat
/proc/402/task/402/net/netstat
/proc/402/net/netstat
/proc/403/task/403/net/netstat
/proc/403/net/netstat
/proc/404/task/404/net/netstat
/proc/404/net/netstat
/proc/405/task/405/net/netstat
/proc/405/net/netstat
/proc/406/task/406/net/netstat
/proc/406/net/netstat
/proc/407/task/407/net/netstat
/proc/407/net/netstat
/proc/408/task/408/net/netstat
/proc/408/net/netstat
/proc/453/task/453/net/netstat
/proc/453/net/netstat
/proc/465/task/465/net/netstat
/proc/465/net/netstat
/proc/466/task/466/net/netstat
/proc/466/net/netstat
/proc/467/task/467/net/netstat
/proc/467/net/netstat
/proc/468/task/468/net/netstat
/proc/468/task/475/net/netstat
/proc/468/task/476/net/netstat
/proc/468/net/netstat
/proc/470/task/470/net/netstat
/proc/470/net/netstat
/proc/472/task/472/net/netstat
/proc/472/net/netstat
/proc/473/task/473/net/netstat
/proc/473/net/netstat
/proc/474/task/474/net/netstat
/proc/474/net/netstat
/proc/478/task/478/net/netstat
/proc/478/net/netstat
/proc/484/task/484/net/netstat
/proc/484/net/netstat
/proc/485/task/485/net/netstat
/proc/485/net/netstat
/proc/486/task/486/net/netstat
/proc/486/net/netstat
/proc/487/task/487/net/netstat
/proc/487/net/netstat
/proc/488/task/488/net/netstat
/proc/488/net/netstat
/proc/623/task/623/net/netstat
/proc/623/net/netstat
/proc/632/task/632/net/netstat
/proc/632/net/netstat
/proc/668/task/668/net/netstat
/proc/668/net/netstat
/proc/669/task/669/net/netstat
/proc/669/net/netstat
/proc/670/task/670/net/netstat
/proc/670/net/netstat
/proc/671/task/671/net/netstat
/proc/671/net/netstat
/proc/672/task/672/net/netstat
/proc/672/net/netstat
/proc/673/task/673/net/netstat
/proc/673/net/netstat
/proc/676/task/676/net/netstat
/proc/676/net/netstat
/proc/677/task/677/net/netstat
/proc/677/net/netstat
/proc/704/task/704/net/netstat
/proc/704/task/710/net/netstat
/proc/704/net/netstat
/proc/705/task/705/net/netstat
/proc/705/net/netstat
/proc/717/task/717/net/netstat
/proc/717/task/798/net/netstat
/proc/717/task/799/net/netstat
/proc/717/net/netstat
/proc/719/task/719/net/netstat
/proc/719/task/752/net/netstat
/proc/719/task/753/net/netstat
/proc/719/task/467877/net/netstat
/proc/719/task/467895/net/netstat
/proc/719/net/netstat
/proc/721/task/721/net/netstat
/proc/721/task/760/net/netstat
/proc/721/task/761/net/netstat
/proc/721/task/762/net/netstat
/proc/721/net/netstat
/proc/722/task/722/net/netstat
/proc/722/net/netstat
/proc/724/task/724/net/netstat
/proc/724/net/netstat
/proc/725/task/725/net/netstat
/proc/725/net/netstat
/proc/727/task/727/net/netstat
/proc/727/net/netstat
/proc/730/task/730/net/netstat
/proc/730/net/netstat
/proc/732/task/732/net/netstat
/proc/732/net/netstat
/proc/764/task/764/net/netstat
/proc/764/net/netstat
/proc/1082/task/1082/net/netstat
/proc/1082/net/netstat
/proc/1097/task/1097/net/netstat
/proc/1097/net/netstat
/proc/1098/task/1098/net/netstat
/proc/1098/net/netstat
/proc/1099/task/1099/net/netstat
/proc/1099/net/netstat
/proc/1104/task/1104/net/netstat
/proc/1104/net/netstat
/proc/1130/task/1130/net/netstat
/proc/1130/net/netstat
/proc/1185/task/1185/net/netstat
/proc/1185/task/1186/net/netstat
/proc/1185/task/1189/net/netstat
/proc/1185/task/1190/net/netstat
/proc/1185/task/1191/net/netstat
/proc/1185/task/1192/net/netstat
/proc/1185/task/1193/net/netstat
/proc/1185/task/1738/net/netstat
/proc/1185/net/netstat
/proc/1205/task/1205/net/netstat
/proc/1205/task/1206/net/netstat
/proc/1205/task/1304/net/netstat
/proc/1205/task/1305/net/netstat
/proc/1205/task/1306/net/netstat
/proc/1205/task/1953/net/netstat
/proc/1205/task/8948/net/netstat
/proc/1205/net/netstat
/proc/1300/task/1300/net/netstat
/proc/1300/net/netstat
/proc/1302/task/1302/net/netstat
/proc/1302/net/netstat
/proc/1308/task/1308/net/netstat
/proc/1308/task/1326/net/netstat
/proc/1308/task/1327/net/netstat
/proc/1308/task/1328/net/netstat
/proc/1308/task/1336/net/netstat
/proc/1308/task/1337/net/netstat
/proc/1308/task/1338/net/netstat
/proc/1308/task/1339/net/netstat
/proc/1308/task/1355/net/netstat
/proc/1308/task/1356/net/netstat
/proc/1308/task/1357/net/netstat
/proc/1308/task/1358/net/netstat
/proc/1308/task/1359/net/netstat
/proc/1308/task/1360/net/netstat
/proc/1308/task/1361/net/netstat
/proc/1308/task/1362/net/netstat
/proc/1308/task/1363/net/netstat
/proc/1308/task/1364/net/netstat
/proc/1308/task/1365/net/netstat
/proc/1308/task/1366/net/netstat
/proc/1308/task/1367/net/netstat
/proc/1308/task/1368/net/netstat
/proc/1308/task/1369/net/netstat
/proc/1308/task/1370/net/netstat
/proc/1308/task/1371/net/netstat
/proc/1308/task/1372/net/netstat
/proc/1308/task/1737/net/netstat
/proc/1308/net/netstat
/proc/1311/task/1311/net/netstat
/proc/1311/task/1316/net/netstat
/proc/1311/task/1319/net/netstat
/proc/1311/task/1320/net/netstat
/proc/1311/task/1321/net/netstat
/proc/1311/task/1322/net/netstat
/proc/1311/task/1323/net/netstat
/proc/1311/task/1324/net/netstat
/proc/1311/task/1325/net/netstat
/proc/1311/net/netstat
/proc/1312/task/1312/net/netstat
/proc/1312/net/netstat
/proc/1391/task/1391/net/netstat
/proc/1391/net/netstat
/proc/1394/task/1394/net/netstat
/proc/1394/net/netstat
/proc/1421/task/1421/net/netstat
/proc/1421/net/netstat
/proc/1422/task/1422/net/netstat
/proc/1422/net/netstat
/proc/1423/task/1423/net/netstat
/proc/1423/net/netstat
/proc/1424/task/1424/net/netstat
/proc/1424/net/netstat
/proc/1435/task/1435/net/netstat
/proc/1435/net/netstat
/proc/1462/task/1462/net/netstat
/proc/1462/net/netstat
/proc/1463/task/1463/net/netstat
/proc/1463/net/netstat
/proc/1464/task/1464/net/netstat
/proc/1464/net/netstat
/proc/1465/task/1465/net/netstat
/proc/1465/net/netstat
/proc/1468/task/1468/net/netstat
/proc/1468/net/netstat
/proc/1469/task/1469/net/netstat
/proc/1469/net/netstat
/proc/1470/task/1470/net/netstat
/proc/1470/net/netstat
/proc/1486/task/1486/net/netstat
/proc/1486/task/1487/net/netstat
/proc/1486/task/1731/net/netstat
/proc/1486/task/1732/net/netstat
/proc/1486/task/1734/net/netstat
/proc/1486/task/1736/net/netstat
/proc/1486/net/netstat
/proc/1489/task/1489/net/netstat
/proc/1489/net/netstat
/proc/1733/task/1733/net/netstat
/proc/1733/net/netstat
/proc/1775/task/1775/net/netstat
/proc/1775/task/1776/net/netstat
/proc/1775/task/1798/net/netstat
/proc/1775/task/1801/net/netstat
/proc/1775/task/467728/net/netstat
/proc/1775/net/netstat
/proc/1778/task/1778/net/netstat
/proc/1778/net/netstat
/proc/1797/task/1797/net/netstat
/proc/1797/net/netstat
/proc/1799/task/1799/net/netstat
/proc/1799/net/netstat
/proc/1802/task/1802/net/netstat
/proc/1802/task/1803/net/netstat
/proc/1802/task/1804/net/netstat
/proc/1802/task/1805/net/netstat
/proc/1802/task/1810/net/netstat
/proc/1802/task/1811/net/netstat
/proc/1802/task/1812/net/netstat
/proc/1802/task/1813/net/netstat
/proc/1802/task/1814/net/netstat
/proc/1802/task/1815/net/netstat
/proc/1802/task/1816/net/netstat
/proc/1802/task/1817/net/netstat
/proc/1802/task/1818/net/netstat
/proc/1802/task/1819/net/netstat
/proc/1802/task/1820/net/netstat
/proc/1802/task/1821/net/netstat
/proc/1802/task/1822/net/netstat
/proc/1802/task/1823/net/netstat
/proc/1802/task/1824/net/netstat
/proc/1802/task/1825/net/netstat
/proc/1802/task/1862/net/netstat
/proc/1802/task/1863/net/netstat
/proc/1802/task/1864/net/netstat
/proc/1802/task/1865/net/netstat
/proc/1802/task/1866/net/netstat
/proc/1802/task/1867/net/netstat
/proc/1802/task/1868/net/netstat
/proc/1802/task/1869/net/netstat
/proc/1802/task/1872/net/netstat
/proc/1802/task/1873/net/netstat
/proc/1802/task/1874/net/netstat
/proc/1802/task/1876/net/netstat
/proc/1802/task/1878/net/netstat
/proc/1802/task/1879/net/netstat
/proc/1802/task/1880/net/netstat
/proc/1802/task/1881/net/netstat
/proc/1802/task/1882/net/netstat
/proc/1802/net/netstat
/proc/1848/task/1848/net/netstat
/proc/1848/task/1849/net/netstat
/proc/1848/task/1921/net/netstat
/proc/1848/task/1922/net/netstat
/proc/1848/task/1925/net/netstat
/proc/1848/task/414742/net/netstat
/proc/1848/net/netstat
/proc/1851/task/1851/net/netstat
/proc/1851/net/netstat
/proc/1920/task/1920/net/netstat
/proc/1920/net/netstat
/proc/1923/task/1923/net/netstat
/proc/1923/net/netstat
/proc/240573/task/240573/net/netstat
/proc/240573/task/240574/net/netstat
/proc/240573/net/netstat
/proc/411764/task/411764/net/netstat
/proc/411764/net/netstat
/proc/411775/task/411775/net/netstat
/proc/411775/net/netstat
/proc/411776/task/411776/net/netstat
/proc/411776/net/netstat
/proc/411789/task/411789/net/netstat
/proc/411789/net/netstat
/proc/462609/task/462609/net/netstat
/proc/462609/net/netstat
/proc/462776/task/462776/net/netstat
/proc/462776/net/netstat
/proc/463938/task/463938/net/netstat
/proc/463938/net/netstat
/proc/465428/task/465428/net/netstat
/proc/465428/net/netstat
/proc/465704/task/465704/net/netstat
/proc/465704/net/netstat
/proc/465761/task/465761/net/netstat
/proc/465761/net/netstat
/proc/465925/task/465925/net/netstat
/proc/465925/net/netstat
/proc/466419/task/466419/net/netstat
/proc/466419/net/netstat
/proc/466585/task/466585/net/netstat
/proc/466585/net/netstat
/proc/466698/task/466698/net/netstat
/proc/466698/net/netstat
/proc/466868/task/466868/net/netstat
/proc/466868/net/netstat
/proc/467180/task/467180/net/netstat
/proc/467180/net/netstat
/proc/467419/task/467419/net/netstat
/proc/467419/net/netstat
/proc/467586/task/467586/net/netstat
/proc/467586/net/netstat
/proc/467587/task/467587/net/netstat
/proc/467587/net/netstat
/proc/467786/task/467786/net/netstat
/proc/467786/net/netstat
/proc/467843/task/467843/net/netstat
/proc/467843/net/netstat
/proc/467861/task/467861/net/netstat
/proc/467861/net/netstat
/proc/467871/task/467871/net/netstat
/proc/467871/net/netstat
/proc/467872/task/467872/net/netstat
/proc/467872/net/netstat
/proc/467875/task/467875/net/netstat
/proc/467875/net/netstat
/proc/467876/task/467876/net/netstat
/proc/467876/net/netstat

 

[devawpz]

Yeah, apparently nothing in /usr/bin, or /usr/local/bin. Just thought it could be that, but it looks you had netstat and it let you those files. Can't help you much more, but didn't noticed anything on your processes list, maybe someone else can give some better help. Good luck.

 

[Dominic]

I can't find the web service is running on the node,

Which web service do you mean exactly?

What happens when you type the following?

echo $PATH

It should say something like

➜  ~ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

 

[a13519]

Which web service do you mean exactly?

What happens when you type the following?

echo $PATH

It should say something like

➜  ~ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

root@pve1:~# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

For web service I mean the proxomox management portal something like http://10.10.10.1:8006, it's totally gone.

 

[Stoiko Ivanov]

netstat -an | grep 8006
-bash: netstat: command not found

netstat is not installed by default anymore (afair since debian jessie) - use `ss` instead (it's rather compatible as far as the commandline switches go)
if you want to have netstat - you'd need to install 'net-tools'

Anyone can help to fix this? Was I hacked?

could happen but maybe just a upgrade did not work smoothly - what's the output of `pveversion -v`?

 

[a13519]

Thanks for the information.

That could be the case, is that possible to auto upgrade? And is that possible to reinstall the GUI web service? Currently it's gone.

root@pve1:~# pveversion -v
proxmox-ve: 6.1-2 (running kernel: 5.3.10-1-pve)
pve-manager: 6.1-3 (running version: 6.1-3/37248ce6)
pve-kernel-5.3: 6.0-12
pve-kernel-helper: 6.0-12
pve-kernel-5.3.10-1-pve: 5.3.10-1
ceph: 14.2.6-pve1
ceph-fuse: 14.2.6-pve1
corosync: 3.0.2-pve4
criu: 3.11-3
glusterfs-client: 5.5-3
ifupdown: 0.8.35+pve1
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.13-pve1
libpve-access-control: 6.0-5
libpve-apiclient-perl: 3.0-2
libpve-common-perl: 6.0-9
libpve-guest-common-perl: 3.0-3
libpve-http-server-perl: 3.0-3
libpve-storage-perl: 6.1-2
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve3
lxc-pve: 3.2.1-1
lxcfs: 3.0.3-pve60
novnc-pve: 1.1.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.1-1
pve-cluster: 6.1-2
pve-container: 3.0-14
pve-docs: 6.1-3
pve-edk2-firmware: 2.20191002-1
pve-firewall: 4.0-9
pve-firmware: 3.0-4
pve-ha-manager: 3.0-8
pve-i18n: 2.0-3
pve-qemu-kvm: 4.1.1-2
pve-xtermjs: 3.13.2-1
qemu-server: 6.1-2
smartmontools: 7.0-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.2-pve2

 

[Stoiko Ivanov]

That could be the case, is that possible to auto upgrade?

You can upgrade PVE as you would any other Debian system - see the reference documentation:
https://pve.proxmox.com/pve-docs/pve-admin-guide.html#sysadmin_package_repositories
https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_system_software_updates

And is that possible to reinstall the GUI web service? Currently it's gone.

check the logs - especially for messages from pveproxy and pvedaemon
(try `journalctl -b` to see the system's journal - else the logs should also be available in /var/log/syslog(.1, .2.gz, ...)

 

[a13519]

Found the issue, now it works somehow.

Reinstall the net-tools, and use Incognito to have htts://....

eventually I get the happy page.

Thank you all!

Cheers!