基于嵌入式向量和循环神经网络的用户行为预测方法

刘杨涛++南书坡++杨新锋

摘 要： 为了进一步描述时间因素对用户行为的影响，进而提高推荐系统的推荐效果，综合考虑了用户的长期行为特征和短期行为特征提出一种基于嵌入式向量和循环神经网络的用户行为预测方法。依据推荐系统中的所有用户行为数据，将用户和商品嵌入到相同的特征空间，并通过嵌入式向量反应用户的长期行为特征。针对每个用户，依据其历史行为的时间序列，基于循环神经网络建立该用户的行为预测模型，从而描述该用户的短期行为特征。实验结果表明，提出的方法与特征级时间序列分析等方法相比具有更好的推荐效果。

关键词： 循环神经网络； 深度学习； 嵌入式向量； 用户行为预测； 时间序列

中图分类号： TN711?34； TP319 文献标识码： A 文章编号： 1004?373X（2016）23?0165?05

User behavior prediction method based on embedded vector

and recurrent neural network

LIU Yangtao1， NAN Shupo2， YANG Xinfeng3

（1. School of Software， Nanyang Institute of Technology， Nanyang 473004， China；

2. Department of Public Education， Xinlian College of Henan Normal University， Zhengzhou 450000， China；

3. College of Computer and Information Engineering， Nanyang Institute of Technology， Nanyang 473004， China）

Abstract： In order to further describe the effect of time factor on user behavior， and improve the recommendation effect of the recommendation system， a user behavior prediction method based on embedded vector and recurrent neural network is proposed by comprehensively considering the long?term and short?term user behavior features. According to all user behavior data in recommendation system， the users and commodities are embedded into the same feature space. The embedded vector is used to reflect the long?term user features. According to the time series of each user′s historic behavior， the user behavior prediction model was built based on recurrent neural network to describe this user′s short?term behavior feature. The experiment results show that， the proposed method has better recommendation effect than that of the feature?level time series analysis method and other methods.

Keywords： recurrent neural network； deep learning； embedded vector； user behavior prediction； time series

0 引 言

推荐系统在电子商务、社会网络和信息检索等领域中都有着广泛的应用[1]。在推荐系统中，数据往往被表示成一个用户行为矩阵。用户行为矩阵的纵坐标表示用户，矩阵的横坐标表示商品、用户或者网页等，矩阵中的每一个元素表示对应的纵坐标和横坐标之间的关系，如用户购买商品的数量，用户和用户之间的连接关系，以及用户对网页的访问行为等。随着网络服务的运行，用户行为矩阵中积累了大量的历史行为数据，通过对历史行为的分析可以对矩阵中的空元素进行预测，从而预测用户未来的行为[2]。

传统的推荐系统主要从矩阵和网络两个视角对用户的未来行为进行分析和预测。从用户行为矩阵的视角来看，推荐系统根据矩阵中已有的数据对矩阵建立模型，然后对矩阵中值为空的元素进行预测，典型的建模方法为矩阵分解与补全[3?5]；此外，还可以采用启发式方法对矩阵中值为空的元素进行预测，如协同过滤的相关方法[6?8]。从网络的视角来看，用户行为矩阵可以看作一个二部图，如电子商务中的用户?商品二部图；在社会网络中，该二部图退化为简单的网络。在二部图中，推荐系统根据网络中已有的连接，估计不存在连接的两个点之间建立连接的概率，并以此预测用户未来的行为，常用的方法是网络中的随机游走[9?11]。

上述方法从原理上都可以理解为对矩阵中值为空的元素进行预测，然后针对每一个用户（纵坐标）将预测后的横坐标进行排序，并返回排名靠前的若干个纵坐标项。这种方法存在如下三个缺点：

（1） 假设矩阵中的数据同时到达。在预测空元素时应用所有的历史数据而没有考虑数据间的时序关系，然而用户实际的行为往往存在着短期行为倾向。

（2） 推荐结果只返回那些值为空的项。上述方法在向用户进行推荐时往往只返回值为空的项（即未购买过的商品），然而用户的实际购物过程中存在着大量的重复购买行为，因而推荐结果中也应该包含那些值不为空的项。

（3） 不能适应数据的动态更新。由于对矩阵建模时的数据是固定的，因而当新的用户行为数据到来时不能对预测的结果进行动态的更新。

为了应对上述的前两个问题，研究人员提出了时间敏感的推荐系统[12]。文献[13]在用户?商品矩阵的基础上将用户对商品的浏览记录作为上下文，在进行特征提取后引入时间维度构成三维张量。在特征提取过程中，采用固定的特征集合；在时间序列预测上，以天为时间单位，在一定的时间滑动窗口上对历史数据进行加权求和，并提出一种特征级时间序列分析方法（Feature?level Time Series Analysis，FTSA）。FTSA虽然考虑了推荐系统中用户的短期行为倾向问题，但是特征集合的选取需要根据阈值进行判定，而特征集合的选取又决定着预测结果的准确性，因此该方法具有一定的局限性。

本文以文献[13]提出的思想为基础，对用户和商品特征采用嵌入式向量表示，并采用循环神经网络[14]对时序数据进行建模和预测。在特征向量的嵌入式表达计算过程中，将用户和商品用相同的潜在特征集合来表示，并通过用户浏览记录中对商品的购买与否进行有监督的学习。在特征向量的嵌入式计算完成后，可以得到用户和商品特征向量的长期行为倾向。在时序数据的预测过程中，采用循环神经网络对每个用户的时序行为进行建模，并得到用户的短期行为倾向。

4 结 语

本文提出了一种基于嵌入式向量和循环神经网络的用户行为预测方法。通过对用户?商品行为矩阵数据的有监督学习，将用户和商品映射到相同的潜在特征空间，并得到用户和商品的长期特征。通过采用循环神经网络对用户的时序行为进行建模，得到了用户的短期行为特征。该方法综合考虑了用户的长期和短期行为特征，能更好地对数据集进行建模，因而具有更好的预测效果。最后，通过两个真实的数据集验证了本文提出方法的有效性。

在新数据导致的模型动态更新中，本文采用简单的随机梯度下降方法对嵌入式向量模型的参数进行更新。然而，当新数据到达的频率提高时，可能出现嵌入式向量模型还没有到达稳态，此时用户的时序行为模型所使用的用户和商品嵌入式向量是过时的，或者处于阻塞状态。在下一步的研究工作中，通过研究嵌入式向量模型的增量式更新，从而提高本文方法的健壮性，进而适应数据高速动态增长的推荐环境。

参考文献

[1] 许海玲，吴潇，李晓东，等.互联网推荐系统比较研究[J].软件学报，2009，20（2）：350?362.

[2] 王立才，孟祥武，张玉洁.上下文感知推荐系统[J].软件学报，2012，23（1）：1?20.

[3] GILLIS N， VAVASIS S. Fast and robust recursive algorithms for separable nonnegative matrix factorization [J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36（4）： 698?714.

[4] GOGNA A， MAJUMDAR A. Matrix completion incorporating auxiliary information for recommender system design [J]. Expert systems with applications， 2015， 42（14）： 5789?5799.

[5] 刘冶，朱蔚恒，潘炎，等.基于低秩和稀疏矩阵分解的多源融合链接预测算法[J].计算机研究与发展，2015，52（2）：423?436.

[6] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the user?item matrix： a survey of the state of the art and future challenges [J]. ACM computing surveys， 2014， 47（1）： 1?45.

[7] 李聪，梁昌勇，马丽.基于领域最近邻的协同过滤推荐算法[J].计算机研究与发展，2015，45（9）：1532?1538.

[8] PARK Y， PARK S， JUNG W， et al. Reversed CF： a fast collaborative filtering algorithm using a k?nearest neighbor graph [J]. Expert systems with applications， 2015， 42（8）： 4022?4028.

[9] GUY I， GEYER W. Social recommender system tutorial [C]// Proceedings of the 8th ACM Conference on Recommender systems. New York： ACM， 2014： 195?196.

[10] NIE Dacheng， FU Yan， ZHOU Junlin， et al. A personalized recommendation algorithm via biased random walk [C]// Proceedings of 2014 IEEE 11th International Joint Conference on Computer Science and Software Engineering. [S.l.]： IEEE， 2014： 292?296.

[11] 蔡红蕾.二部图网络结构算法在推荐系统中的应用[D].秦皇岛：燕山大学，2014.

[12] CAMPOS P G， D?EZ F， CANTADOR I. Time?aware re?commender systems： a comprehensive survey and analysis of existing evaluation protocols [J]. User modeling and user?adapted interaction， 2014， 24（1/2）： 67?119.

[13] ZHANG Yongfeng， ZHANG Min， LAI Guokun. Daily?aware personalized recommendation based on feature?level time series analysis [C]// Proceedings of the 24th International Conference on World Wide Web. [S.l.]： International World Wide Web Conferences Steering Committee， 2015： 1373?1383.

[14] DU K， SWAMY M N S. Recurrent neural networks [M]. London： Springer， 2014： 337?353.

[15] ADE M， GHRIET P， DESHMUKH P R， et al. Methods for incremental learning： a survey [J]. International journal of data mining & knowledge management process， 2013， 3（4）： 119?125.

[16] CELMA O. Music recommendation and discovery in the long tail [D]. Spain： Universitat Pompeu Fabra， 2008.