Eher nicht. 100% ausgelasteter SWAP auf PVE sorgt eventuell für einen höhere RAM Nutzung, nicht für ein langsames System.
Hingegen könnte ein 100% ausgelasteter RAM in der VM für eine langsame VM sorgen, weil auf SWAP ausgelagert werden muss.
Ohne genauen angeben deines System, deines Problems...