推荐系统研究综述

周万珍 曹迪 许云峰 刘滨

摘 要：随着互联网技术的快速发展，如何对海量网络信息进行挖掘分析，已成为热点和难点问题。推荐系统能够帮助用户在没有明确需求或者信息量巨大时解决信息过载的问题，为用户提供精准、快速的业务（如商品、项目、服务等）信息，成为近年来产业界和学术界共同的兴趣点和研究热点，但是，目前数据的种类多种多样并且应用场景广泛，在面对这种情况时，推荐系统也会遇到冷启动、稀疏矩阵等挑战。深度学习是机器学习的一个重要研究领域和分支，近年来发展迅猛。研究人员使用深度学习方法，在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。目前，深度学习在推荐领域也得到了许多研究人员的青睐，成为推荐领域的一个新方向。推荐方法中融合深度学习技术，可以有效解决传统推荐系统中冷启动、稀疏矩阵等问题，提高推荐系统的性能和推荐精度。

文中主要对传统的推荐方法和当前深度学习技术中神经网络在推荐方法上的应用进行了归纳，其中传统推荐方法主要分为以下3类：1）基于内容推荐方法主要依据用户与项目之间的特征信息，用户之间的联系不会影响推荐结果，所以不存在冷启动和稀疏矩阵的问题，但是基于内容推荐的结果新颖程度低并且面临特征提取的问题。2）协同过滤推荐方法是目前应用最为广泛的一种方法，不需要有关用户或项目的信息，只基于用户和诸如点击、浏览和评级等项目的交互信息做出准确的推荐。虽然该方法简单有效但是会出现稀疏矩阵和冷启动的问题。3）混合推荐方法融合了前2种传统推荐方法的特点，能取得很好的推荐效果，但在处理文本、图像等多源异构辅助信息时仍面临一些挑战与困难。

依据神经网络基于深度学习的推荐方法主要分为4类：基于深度神经网络（DNN）的推荐方法、基于卷积神经网络（CNN）的推荐方法、基于循环神经网络（RNN）和长短期记忆神经网络（LSTM）的推荐方法、基于图神经网络（GNN）的推荐方法、将深度学习技术融入到推荐领域，构造的模型具有以下优势：具有较强的表征能力，可以直接从内容中提取用户和项目特征;具有較强的抗噪能力，可以轻易地处理含有噪声的数据;可以对动态或者序列数据进行建模;可以更加精准地学习用户或项目特征;便于对数据进行统一处理，并且可以处理大规模数据。将深度学习技术应用到推荐领域，可以积极有效地应对传统推荐方法面临的挑战，提高推荐效果。

关键词：计算机神经网络;推荐系统;数据挖掘;深度学习;信息过载

中图分类号：TP311.13   文献标识码：A   doi：10.7535/hbkd.2020yx01009

Abstract： With the rapid development of the internet， how to mine and analyze massive network information has become a recognized hot and difficult problem. Among them， the recommendation system can provide users with accurate and fast business （commodities， projects， services， etc.） information， which is the common interest and research hotspot of industry and academia in recent years. A recommendation system can help users to solve the problem of information overload when there is no clear demand or a large amount of information. However， at present， the types of data are diverse and the application scenarios are extensive. When faced with this situation， the recommendation system also encounters challenges such as cold start and sparse matrix. Deep learning is an important research field and the most important branch of machine learning. In recent years， deep learning has developed rapidly. Researchers have made great breakthroughs and achievements in speech recognition， image processing， natural language processing and other fields by using deep learning. At present， deep learning has also been favored by a large number of researchers in the field of recommendation and has become a new direction. Incorporating deep learning technology into the recommendation method can effectively solve the problems of cold start and sparse matrix in traditional recommendation systems， and improve the performance and recommendation accuracy of the recommendation system.

This paper mainly summarizes the application of traditional recommendation methods and the application of neural network in current deep learning technology in recommendation methods， among which the traditional recommendation methods can be divided into the following three categories： 1） Content-based recommendation methods is mainly based on the feature information between the user and the project. The connection between users will not affect the recommendation result， so there is no problem of cold start and sparse matrix， but the content-based recommendation results are low in novelty and face the problem of feature extraction. 2） The collaborative filtering recommendation method is the most widely used method that does not require information about users or items， but only makes accurate recommendations based on the user's interactions with items such as clicks， views， and ratings. Although this method is simple and effective， sparse matrix and cold start problems will occur. 3） The hybrid recommendation method combines the characteristics of the first two traditional recommendation methods and can achieve good recommendation effect. However， this method still faces some challenges and difficulties in processing multi-source heterogeneous auxiliary information such as text and images.

Recommendation methods based on deep learning are mainly classified according to neural network categories， which are divided into the following four categories： Recommendation methods based on deep neural network （DNN）; recommendation methods based on convolutional neural network （CNN）; recommended methods based on cyclic neural network （RNN） and long and short term memory neural network （LSTM）; and recommended methods based on graph neural network （GNN）. Incorporating deep learning technology into the recommendation field， the constructed model has the following five advantages： it has strong representation ability， and can directly extract the characteristics of users and items from the content; with strong anti-noise ability， it can easily process data with noise; in deep learning， cyclic neural network can model dynamic or sequential data; it can learn user or project characteristics more accurately; and deep learning facilitates the unified processing of data and can process large-scale data. Applying deep learning technology to the recommendation field can effectively overcome the challenges faced by traditional recommendation methods and improve the recommendation effect.

Keywords：computer neural network; recommendation system; data mining; deep learning; information overload

当前，互聯网中的数据规模增速日趋加快，每天新增的数据量高达2.5×1018字节，人类已经步入内容过载、数据噪声泛滥的时代，可以通过各种途径获得更加丰富的信息，微博、微信等各种社交工具和自媒体给用户带来了更加便捷的信息获取渠道，与此同时，信息超负荷也成为了人们遇到的困难。

推荐系统作为一种筛选信息的工具，存在于海量数据挖掘基础之上，可以有效解决信息过载问题，通过以个性化的方式提供满足用户需求的内容。此外，推荐系统作为用户和信息之间的联系，不仅可以帮助用户发现自己需要的信息，还可以让信息展现在对其感兴趣的用户面前，从而实现信息生产者和信息消费者的互利双赢。目前，推荐系统已经成为产业界和学术界关注、研究的热点问题，应用领域十分广泛，在电子商务、社交网络、视频音乐推荐[1-2]等领域都有所应用[3]。例如亚马逊网站、京东、淘宝网站为用户推荐商品[4-5]，MovieLens推荐电影的功能[6-7]等。

传统的推荐方法主要分为基于内容的推荐方法、协同过滤的推荐方法以及混合推荐方法，虽然传统的推荐方法可以实现推荐任务，并且融合多源异构辅助信息（多源异构信息：包含用户行为信息和个性化需求信息的图像、文本等）的混合推荐方法在一定程度上可以缓解冷启动、稀疏矩阵的问题，但是辅助信息往往具有多模态、数据异构、大规模、数据稀疏和分布不均匀等复杂特征，在处理存在融合多源异构信息的数据时混合推荐方法仍然面临着严峻挑战[8-9]。

目前，深度学习在数据挖掘[10]、自然语言处理[11]、图像识别[12]、推荐以及其他相关领域都得到了应用。其中，基于深度学习的推荐系统克服了传统模型的障碍，实现了高质量推荐。深度学习能够有效挖掘用户和项目间的非线性关系，并能够将更复杂的抽象编码为更高层次的数据表示;此外，它从大量可访问的数据源（如上下文、文本和可视信息[13]）捕获数据本身内部的复杂关系[14]。本文对深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆神经网络（LSTM）以及图神经网络（GNN）在推荐系统领域的应用进行分析和归纳。

1 传统的推荐系统

在20世纪90年代，推荐系统发展成为一门独立的学科，推荐系统的核心部分是推荐算法，推荐算法根据用户与项目之间的关系帮助用户发现其感兴趣的项目。文献[15]给出了推荐算法的定义：定义函数s来计算一个项目i∈I（I代表所有项目的集合），推荐给某一位用户u∈U（U代表所有用户的集合）的可能性P，推荐算法就是通过计算P来为用户找到其最感兴趣的项目i′∈I，即u∈U，i′u=argmaxs（u，i），i∈I 。 （1）  传统的推荐方法主要分为3类[16]：基于内容的推荐（content-based recommendation）方法[17]、基于协同过滤的推荐方法（collaborative filtering recommendation）[18-19]和混合推荐方法（hybrid recommendation）[20]，如图1所示。

1.1 基于内容的推荐

基于内容的推荐方法是最早被使用的推荐算法，来自于信息获取领域[21]。基于内容的推荐方法的思想非常简单，就是向用户推荐与他们过去兴趣相似的项目。首先分析用户感兴趣的项目信息，推荐流程如图2所示。

基于内容的推荐建立在项目信息基础上做出推荐，需要从关于内容特征描述的事例中得到用户的兴趣资料，然后根据用户偏好和项目特征信息产生推荐结果。这种方法的优点是能对具有小众口味的用户产生有效推荐，在一些特定的场景下表现良好;对于新添加的项目，系统只需要提取新项目的特征即可产生推荐结果，不存在项目冷启动的问题，其缺点在于十分依赖于项目所标记的属性特征，对标记特征要求较高。此外，该方法无法衡量待推荐项目品质的优劣，推荐失败的概率也很高。

1.2 基于协同过滤的推荐

GOLDBERG等[22]在1992年提出协同过滤推荐方法，又称为社会过滤，是指筛选出特定用户感兴趣的项目集合，根据这些项目集合挖掘用户的潜在需求，辅助用户做决定[23]。在推荐领域，协同过滤推荐算法是研究的主流方向，也是目前使用最广泛的推荐方法。

用户的历史行为数据是基于协同过滤推荐算法生成推荐项的来源，协同过滤是建立在这样的假设基础上的，如果用户X和Y对t个项目进行相似的评分，或者有相似的行为，那么用户就会对其他项目进行类似的评分或行为[24]。基于协同过滤的推荐方法主要分为基于用户（user-based）的协同过滤和基于项目（item-based）的协同过滤[25-27]。基于用户的协同过滤，首先根据用户偏好计算用户之间的相似度，找出与目标用户相似度高的用户，然后预测出目标用户对相似用户感兴趣物品的评分，最后将评分最高的若干个物品推荐给用户。基于项目的协同过滤与基于用户的协同过滤类似，通过计算物品之间的相似度来进行推荐。计算已购买物品i和待推荐物品j之间相似度的基本思想是：首先提取出对2个物品共同做出评分的用户，如果这些用户对2个物品i和j的评分相近，那么2个物品相似度就高，反之则相似度就低，之后将相似度高的待推荐物品放入推荐列表。协同过滤算法的基础思想如图3所示。由于在淘宝等电商网站中用户数量总是远多于商品的数量，因此在实际应用中基于物品的协同过滤比基于用户的协同过滤更受欢迎。协同过滤推荐方法使用方便、简单，只依据用户的历史评分数据计算用户之间的相似度即可，但是在很多情况下常常遇到评分数据不足造成稀疏矩阵的问题和新用户没有项目评分数据的冷启动问题。

1.3 混合推荐

任何推荐方法都有着自身独特的优点，但是在一些场景中单独使用一种方法时，推荐结果并不理想，通过将多种推荐方法相结合进行混合推荐能够实现取长补短，提高推荐系统的性能。在实际场景中使用的推荐方法大部分都是将2种或2种以上的推荐方法混合而得到的，盡管从理论上有很多种混合推荐方法，但在某一具体问题中并不是每种方法的混合都有效，因此如何将2种或2种以上的方法进行混合，产生更为有效的推荐也是推荐系统中一个重要的研究方向。混合推荐技术可以克服传统推荐方法的大多数限制，将它们组合起来以获得更好的推荐结果。混合推荐方法有很多，如加权型、切换型、交叉型、特征组合型、瀑布型、特征递增型、元层次型[24]等。

推荐系统以用户与项目的交互关系作为依据来发掘用户的偏好来实现推荐功能。但是当用户和项目的数据量增大时，用户与项目之间的评分矩阵会出现越来越稀疏的现象，协同过滤的方法面临数据稀疏的问题，而基于内容的推荐方法只能实现浅层模型捕捉特征，而且人工设计特征对浅层模型的影响巨大，会极大限制方法的可扩展性和推荐效果。虽然混合推荐方法可以有效解决以上问题，但是在面对多模态辅助信息时，混合推荐方法依然面临着严峻挑战。

2 深度学习在推荐系统上的应用

近年来，深度学习在推荐系统领域上发展迅速，在推荐系统中深度学习技术将用户的潜在特征和项目的潜在特征提取出来，基于这些潜在特征表示为用户产生推荐项目，完成推荐任务。深度学习技术中的神经网络不仅能学习用户或项目的潜在特征表示，而且可以学习用户与项目之间复杂的非线性交互特征，深入地分析用户偏好，解决传统推荐方法中的一些问题，更好地实现推荐[25]。

2.1 基于DNN的推荐

深度神经网络（deep neural networks，DNN）可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络（DFN），多层感知机（multi-layer perceptron，MLP）。DNN被提出来之后在计算机视觉[28-29]、图像分类[30-31]、自然语言处理[32]等领域都得到了广泛的应用，同样在推动推荐系统领域的发展上DNN也发挥了很大的作用[33]。

考虑到Youtobe网站视频的数据规模大、数据新鲜度高、视频数据噪音较大的特点，提出使用DNN实现高效的推荐，系统架构如图4所示。系统分为候选集生成和排序2个阶段，这2个阶段分别使用了1个DNN模型。候选集生成阶段使用Candidate Generation Model负责基于用户画像及场景数据从海量的视频库（百万级别）中将相关度最高的资源检索出来，作为候选集。在候选集生成阶段作者将推荐任务转化为1个超级多分类问题，即在t时刻用户U在场景C下观看的视频ωt属于视频库V中的i类，其中每一个视频i可以视作为1个类别，其分类模型公式如式（2）所示：P（ωt=i|U，C）=eviu∑j∈Vevju 。 （2）  使用DNN的一个关键优点是，DNN的输入可以方便地处理离散和连续变量。笔者将用户观看历史和搜索历史通过嵌入的方式映射为1个稠密的向量，用户场景信息以及用户画像信息，比如年龄、性别等离散特征也被归一化到[0，1]作为DNN的输入。排序阶段Ranking Model负责基于更加精细的特征对候选集（百级别）进行排序，最终呈现给用户的只是很少的一部分数据。对生成的候选集进一步做细粒度的排序时，可以参考更多维度的特征，集成多个来自候选集的打分，将它们集合在一起综合一个分数排序，最终完成视频推荐。此外，在排序阶段的DNN结构与候选集生成阶段类似，并基于逻辑回归对每一个视频进行独立打分。但是Candidate Generation Model网络在分类训练时是用户向量和视频向量的点乘计算，在查询的时候是用户向量和视频向量的距离运算，那么相关运算不能确定是否能完全反映相似性，学习出来的用户向量和视频向量可能会有一定的分布偏差。

ZHANG等[35]提出一种协同过滤推荐算法与DNN相结合的模型，该模型由特征表示模块和评分预测模块组成，如图5所示。首先，该模型改进传统的矩阵分解算法，使用二次多项式回归模型捕捉潜在特征表示，使模型得到的潜在特征表示更加精准，然后将这些潜在特征输入到DNN中，预测评分。该模型能有效提高推荐的性能。

2.2 基于CNN的推荐

卷积神经网络（convolutional neural networks，CNN）是深度学习中经典并且广泛得到应用的神经网络。使用CNN构建的模型训练复杂度较低，而且训练参数的数目相较于其他网络来说也较少，主要是由于CNN可以实现共享权值、局部连接等操作，除此之外CNN的容错能力和鲁棒性也比较强[36]，是一种易于训练和优化的网络结构。将CNN应用到推荐系统中，可以明显提高推荐的精准度。

TANG等[37]提出一种基于卷积的序列嵌入模型——Caser模型，模型结构如图6所示。Caser模型解决了Top-N顺序推荐中在一个序列里最近的项对其下一个项有较大影响的这一问题，是在时间和潜在空间中将一组最近的物品序列嵌入到一张“图像”中，并利用卷积滤波器来学习作为图像的局部特征的序列模式[38-39]，这种方法为提取长期兴趣和序列模式提供了一种统一而又简洁的网络结构。该模型主要分为嵌入查找层（embedding look-up）、卷积层（convolutional layers）、全连接层（fully-connected layers）。嵌入查找层将前L项物品在潜在空间的表示连接起来，作为用户u在当前时刻t的序列矩阵表示E（u，t）∈RL×d。

除了物品的表示之外，本文还为用户u提供了一个用户的潜在表示Pu∈Rd，它表示潜在空间中的用户特性。卷积层包括水平卷积和垂直卷积两部分，Caser模型将前L项物品在潜在空间的表示看作一张“图像”，利用卷积滤波器对其进行序列模式的搜索和学习。水平滤波器可以被训练来提取具有多个联合大小的联合级模式，滤波器由上到下滑动;垂直滤波器通过对前几项物品的潜在表示的加权和来捕获点级序列模式，滤波器从左到右滑动。在全连接层中，将这2个卷积层的输出串联起来，并将它们和Pu输入到1个全连接的神经网络中，以获得更高层次和更抽象的特征。该模型通过将最近的行为建模为时间和潜在维度之间的“图像”，并使用卷积滤波器来学习序列模式，从而解决了Top-N序列推荐的问题。但是由于userembedding和itemembedding在Caser模型中是分开训练的，在捕捉user与items的交互信息时有问题，且与下文中的ConvMF模型相比没有引入上下文的信息。

KIM等[40]提出了一种新颖的上下文感知推荐模型，将卷积神经网络（CNN）集成到概率矩阵分解（PMF）中的卷积矩阵分解（ConvMF）。ConvMF捕获文档的上下文信息，并进一步提高评分预测精度。文中实验结果证明ConvMF模型可以很好地处理上下文信息的稀疏性问题。TUAN等[41]提出一种三维卷积神经网络对不同类型和性质的数据进行建模，并对所有输入数据进行字符级编码，利用会话点击和内容功能（例如项目描述和项目类别）进行预测推荐，模型如图7所示。OORD等[42]提出利用潜在因素模型实现音乐自动化推荐，该模型在无法从使用数据中获得潜在因素时，从音乐音频中预测这些潜在因素。使用深度卷积神经网络对音频信号的袋形表示进行了传统方法的比较，并对一百万首歌曲数据集的预测进行了定量和定性评估。

2.3 基于RNN和LSTM的推荐

循环神经网络（recurrent neural networks，RNN）是一种可以处理序列数据的神经网络。大多数RNN可以处理可变长度的序列，RNN的诞生解决了传统神经网络在处理序列信息方面的局限性。对于RNN输入层中的每一个输入数据，RNN内部进行相同的计算，同时每一步的计算都与前一步的计算相关。在推荐系统中，用户的历史交互记录可以抽象为序列数据，利用RNN可以挖掘出用户的兴趣喜好等随时间变换的变化趋势[43]。

LIU等[44]在基于RNN的基础上提出了一个新模型，称为上下文感知递归神经网络（CA-RNN），模型如图8所示。CA-RNN代替在常规RNN模型中使用常量输入矩阵和过渡矩阵，引入了上下文感知的输入矩阵和上下文感知的转移矩阵，使RNN每一层的矩阵参数随着输入上下文和转移上下文的不同而变化。其中自适应上下文特定的输入矩阵捕获用户行为的外部情况（如时间、位置、天气等）。自适应上下文特定的转换矩阵可以捕获历史序列中相邻行为之间的时间间隔长度而影响全局序列特征的转换。CA-RNN模型可以建模丰富的上下文信息和序列信息，提高了推荐效果。

MANOTUMRUKSA等[45]提出了一种新颖的情境注意力循环架构（CARA），用来解决不同类型的上下文对用户的偏好具有不同影响的问题，模型架构如图9所示。该架构利用反馈序列和与该序列相关联的上下文信息来捕获用户的动态偏好。该循环架构包含2种类型的门控机制，一种是上下文注意门，控制普通上下文对用户的上下文偏好的影响;另一种基于时间和地理的门，根据转换上下文控制来自前一次签入的隐藏状态的影响。

长短期记忆神经网络（long short term memory，LSTM）属于循环神经网络，是RNN的一种。LSTM和RNN一样，通过重复神经网络模块的链式形式来对序列数据进行学习，同时为了避免RNN的梯度爆炸和梯度弥散问题，LSTM通过在RNN的重复模块中添加遗忘门、输入门和输出门来增加长序列的记忆问题[46]。YANG等[47]提出了一种基于长短期记忆（LSTM）的上下文感知引用推荐模型来为用户推荐相关和适当的科学论文引文，该模型首先基于LSTM分别学习引文上下文和科学论文的分布式表示，然后基于引文上下文和科学论文的分布式表示来度量相关性，最后将具有较高相关性分数的科学论文选为推荐列表。该模型使个性化的上下文感知引用推荐成为可能，提出了一种基于神经记忆网络和外部记忆的流媒体推荐模型，以统一的方式捕获和存储长期稳定兴趣和短期动态兴趣。

2.4 基于GNN的推荐方法

图神经网络（GNN）是一种连接模型，通过图的节点之间的消息传递来捕捉图的依赖关系，使用图结构表示输入的神经网络，目标是学习图中各节点的状态信息（包含邻接信息）[48]。基于GNN的推荐系统将项目和用户作为节点，项目与项目间、用户与用户间、用户与项目间以及内容信息间的关系作为节点的状态信息，进而实现推荐。基于GNN的推荐方法能够提供高质量的推荐结果[49]。

YING等[50]提出一种可伸缩的图卷积网络（GCN）算法——PinSage，PinSage模型采用局部卷积，降低了模型在训练计算时的复杂度。将GNN扩展到具有数十亿项和数亿用户的web级推荐任务，结合了高效的随机游走和图卷积来生成节点（即项）的嵌入，并且这些嵌入结合了图结构和节点特征信息。该模型证明了图卷积方法对生产推荐系统的影响，提高了推荐性能。PinSage模型结构如图10所示。

WANG等[51]提出了KGNN-LS（nowledge graph convolutional networkswith label smoothness regularization），这是一个端到端框架，可以通过在Knowledge Graph（KG）上挖掘项目与项目之间的相关属性来有效地捕获项目之间的相关性。为了自动发现KG的高阶结构信息和语义信息，从KG中每个实体的邻居处抽样作为它们的接收域，然后在计算给定实体的表示时将邻域信息与偏差结合起来，可以将接收域扩展到多个跃点，以对高阶邻近信息进行建模并捕获用户的潜在长期兴趣。此外，作者以小批量方式实现了KGCN模型，这也使得KGCN模型可以在大型数据集和KG上运行，KGNN-LS模型结构如图11所示。

ZHANG等[52]提出了一种新的层叠和重构的图卷积网络（STAR-GCN）結构来学习节点表示，提高推荐系统的性能，特别是提高了冷启动情况下的推荐效果。STAR-GCN采用一组GCN编码器-解码器，结合中间监控来提高最终预测性能，将低维用户和项目潜在因素作为输入，以抑制模型空间复杂度。此外，STAR-GCN可以通过重构掩码输入节点嵌入来生成新节点的节点嵌入，这基本上解决了冷启动问题。STAR-GCN模型结构如图12所示。

图卷积神经网络一般很难设置比较深的层数去更好地学习节点的表征形式，虽然STAR-GCN通过堆叠或重构编码解码块，但也并不能设置较深的GCN层数。使用GCN学习到更深层次的特征，仍然是需要考虑的问题。

深度学习技术拥有强大的提取数据集本质特征的功能，可以有效捕获用户、项目之间深层次特征和非线性关系，将复杂抽象的编码用简单易懂的数据表示。此外，深度学习可以从大量可访问的数据源中（如上下文、文本和可视信息）捕捉到数据内部之间的复杂关系。在推荐系统中加入深度学习技术，可解决传统推荐方法存在的冷启动、稀疏矩阵和多模态辅助信息问题，提高推荐系统的性能，快速实现更高质量的推荐。

3 结 语

随着深度学习技术的广泛应用，当前工业界和学术界的研究热点之一就是研究基于深度学习的推荐方法。将深度学习应用到推荐系统上，可使推荐系统的性能得到提升。但是深度学习在推荐系统上的应用还处于初期阶段，仍然面临一些挑战。例如：使用深度学习模型实现高质量推荐时，往往因网络模型复杂，使得训练所需要的时间和空间成本较高;训练效果好的模型需要大量的样本数据;深度学习模型大部分被封装起来，可解释性较弱。本文主要对传统的推荐方法和当前基于神经网络的推荐方法进行了归纳，但对推荐领域方法的介绍还不够全面，未来会进行更为深入的学习和探讨。

参考文献/References：

[1] PICHL M， ZANGERLE E， SPECHT G. Improving context-aware music recommender systems： Beyond the pre-filtering approach[C]//Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval.Bucharest：ACM， 2017：201-208.

[2] SCHEDL M， KNEES P， GOUYON F. New paths in music recommender systems research[C]//Proceedings of the Eleventh ACM Conference on Recommender Systems. Como： ACM， 2017：392-393.

[3] 黃立威，江碧涛，吕守业，等.基于深度学习的推荐系统研究综述[J].计算机学报，2018，41（7）：1619-1647.

HUANG Liwei， JIANG Bitao， LV Shouye， et al. Survey on deep learning based recommender systems[J].Chinese Journal of Computers，2018，41（7）：1619-1647.

[4] 洪亮，任秋圜，梁树贤.国内电子商务网站推荐系统信息服务质量比较研究——以淘宝、京东、亚马逊为例[J].图书情报工作，2016，60（23）：97-110.

HONG Liang， REN Qiuyuan， LIANG Shuxian.A comparative study of information service quality of E-commerce sites′ recommender systems-Take Taobao， Jingdong and Amazon as examples[J].Library and Information Service，2016，60（23）：97-110.

[5] TEKIN C， ZHANG S， van der SCHAAR M. Distributed online learning in social recommender systems[J]. IEEE Journal of Selected Topics in Signal Processing，2014，8（4）：638-652.

[6] MILLER B N， ALBERT I， LAM S K， et al. MovieLens unplugged： Experiences with an occasionally connected recommender system[C]//Proceedings of the 8th International Conference on Intelligent User Interfaces. Miami：ACM， 2003：263-266.

[7] LI Zhi， ZHAO Hongke， LIU Qi， et al. Learning from history and present： Next-item recommendation via discriminatively exploiting user behaviors[C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. [S.l]：[s.n.]， 2018： 1734-1743.

[8] TSAI C H， BRUSILOVSKY P， RAHDARI B. Exploring user-controlled hybrid recommendation in a conference context[C]//IUI Workshops19. Los Angeles：[s.n.]， 2019：1-6.

[9] QIAN Y， ZHANG Y， MA X， et al. EARS： Emotion-aware recommender system based on hybrid information fusion[J]. Information Fusion， 2019， 46： 141-146.

[10] 朱龙霞，肖明美， 栗涛，等.基于时间序列分析的火电机组运行优化研究[J].河北工业科技，2017，34（2）：125-129.

ZHU Longxia， XIAO Mingmei， LI Tao， et al. Research of operation optimization of thermal power unit based on time series analysis[J].Hebei Joural of Industrial Science and Techology， 2017，34（2）：125-129.

[11] SHAW P， USZKOREIT J， VASWANI A. Self-attention with relative position representations[J]. Computation and Language， 2018： arXiv：1803.02155.

[12] 甄然，于佳兴，赵国花，等.基于卷积神经网络的无人机识别方法仿真研究[J].河北科技大学学报，2019，40（5）：397-403.

ZHEN Ran，YU Jiaxing，ZHAO Guohua， et al. Simulation research on UAV recognition method based on convolutional neural network[J]. Journal of Hebei University of Science and Techology，2019，40（5）：397-403.

[13] 楊彦波，刘滨，祁明月.信息可视化研究综述[J].河北科技大学学报，2014，35（1）：91-102.

YANG Yanbo，LIU Bin， QI Mingyue. Review of information visualization[J]. Journal of Hebei University of Science and Techology，2014，35（1）：91-102.

[14] ZHANG Shuai， YAO Lian， SUN Aixin， et al. Deep learning based recommender system： A survey and new perspectives[J].ACM Computing Surveys，2018，1（1）： DOI： 10.1145/3285029.

[15] ADOMAVICIUS G， TUZHILIN A. Toward the next generation of recommender systems： A survey of the state-of-the-art and possible extensions[J].IEEE Transactions on Knowledge & Data Engineering，2005，17（6）：734-749.

[16] VERBERT K， MANOUSELIS N， OCHOA X， et al. Context-aware recommender systems for learning： A survey and future challenges[J].IEEE Transactions on Learning Technologies，2012，5（4）：318-335.

[17] PAZZANI M J， BILLSUS D. Content-based Recommendation Systems[M]. Heidelberg： Lecture Notes in Computer Science，2007.

[18] NAKAMURA A. Collaborative filtering using weighted majority prediction algorithms[C]//Proceedings of the 15th International Conference on Machine Learning.[S.l.]：[s.n.]，1998：395-403.

[19] RICH E. User modeling via stereotypes[J].Cognitive Science，1979，3（4）：329-354.

[20] BALABANOVIC M， SHOHAM Y. Fab： Content-based， collaborative recommendation[J].Communications of the ACM，1997，40（3）：66-72.

[21] 刘玮.电子商务系统中的信息推荐方法研究[J].情报科学，2006，24（2）：300-303.

LIU Wei. Research on information recommendation in E-commerce systems[J]. Information Science， 2006，24（2）：300-303.

[22] GOLDBERG D， NICHOLS D， OKI B M， et al. Using collaborative filtering to weave an information tapestry[J].Communications of the ACM，1992，35（12）：61-70.

[23] 李宇琦，陈维政，闫宏飞，等.基于网络表示学习的个性化商品推荐[J].计算机学报，2019，42（8）：1767-1778.

LI Yuqi，CHEN Weizheng，YAN Hongfei， et al. Learning graph-based embedding for personalized product recommendation.[J].Chinese Journal of Computers， 2019，42（8）：1767-1778.

[24] 周春華，沈建京，李艳，等.经典推荐算法研究综述[J].计算机科学与应用，2019，9（9）：1803-1817.

ZHOU Chunhua， SHEN Jianjing， LI Yan， et al. Review of chassical recommendation algorithms[J]. Computer Science and Application， 2019，9（9）：1803-1817.

[25] 陈楠楠. 基于深度学习的推荐系统方法研究[D].桂林：桂林电子科技大学，2019.

CHEN Nannan. Research on Recommendation System Based on Deep Learning[D]. Guilin： Guilin University of Electronic Technology，2019.

[26] SARWAR B M， KARYPIS G， KONSTAN J A， et al. Item-based collaborative filtering recommendation algorithms[J]. International Conference on World Wide Web， 2001，1：285-295.

[27] AMBULGEKAR H P， PATHAK M K， KOKARE M B. A survey on collaborative filtering： Tasks， approaches and applications[C]//Proceedings of International Ethical Hacking Conference 2018. Singapore： Springer， 2019： 289-300.

[28] CANZIANI A， PASZKE A， CULURCIELLO E. An analysis of deep neural network models for practical applications[J]. Computer Vision and Pattern Recognition，2016：arXiv：1605.07678.

[29] ERHAN D， SZEGEDY C， TOSHEV A， et al. Scalable object detection using deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：[s.n.]，2014：2147-2154.

[30] CIRESAN D， MEIER U. Multi-column deep neural networks for offline handwritten Chinese character classification[C]//2015 International Joint Conference on Neural Networks （IJCNN）.Killarney：IEEE，2015：1-6.

[31] SLADOJEVIC S， ARSENOVIC M， ANDERLA A， et al. Deep neural networks based recognition of plant diseases by leaf image classification[J].Computational Intelligence and Neuroscience，2016（6）：1-11.

[32] NOVOSELOV S， SHULIPA A， KREMNEV I， et al. On deep speaker embeddings for text-independent speaker recognition[C]//Odyssey 2018 The Speaker and Language Recognition Workshop. [S.l.]：[s.n.]， 2018：1-8.

[33] MIIKKULAINEN R， LIANG J， MEYERSON E， et al. Evolving deep neural networks[J]. Neural and Evolutionary Computing，2017：arXiv：1703.00548.

[34] COVINGTON P， ADAMS J， SARGIN E. Deep neural networks for youtube recommendations[C]//Proceedings of the 10th ACM Conference on Recommender Systems. Boston：ACM，2016：191-198.

[35] ZHANG Libo， LUO Tiejian， ZHANG Fei， et al. A recommendation model based on deep neural network[J].IEEE Access，2018，6： 9454-9463.

[36] 周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40（6）：1229-1251.

ZHOU Feiyan， JIN Linpeng， DONG Jun. Review of convolutional neural network[J].Chinese Journal of Computers， 2017，40（6）：1229-1251.

[37] TANG Jiaxi， WANG Ke. Personalized top-N sequential recommendation via convolutional sequence embedding[C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining.[S.l.]：[s.n.]，2018：565-573.

[38] KARPATHY A， TODERICI G， SHETTY S， et al. Large-scale video classification with convolutional neural networks[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. [S.l.]：[s.n.]，2014：1725-1732.

[39] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems. [S.l.]：[s.n.]，2012：1097-1105.

[40] KIM D， PARK C， OH J， et al. Convolutional matrix factorization for document context-aware recommendation[C]//Proceedings of the 10th ACM Conference on Recommender Systems.Boston：ACM，2016：233-240.

[41] TUAN T X， PHUONG T M. 3D convolutional networks for session-based recommendation with content features[C]//Proceedings of the Eleventh ACM Conference on Recommender Systems.Como：ACM，2017： 138-146.

[42] van den OORD A， DIELEMAN S， SCHRAUWEN B. Deep content-based music recommendation[C]//Advances in Neural Information Processing Systems.[S.l.]：[s.n.]，2013：2643-2651.

[43] 李光.基于循环神经网络的推荐算法研究[D]. 哈尔滨：哈尔滨工程大学，2017.

LI Guang. Research on Recommendation Algorithm Based on Recurrent Neural Network[D].Harbin：Harbin Engineering University，2017.

[44] LIU Qiang， WU Shu， WANG Diyi， et al. Context-aware sequential recommendation[C]//2016 IEEE 16th International Conference on Data Mining （ICDM）.Barcelona：IEEE，2016：1053-1058.

[45] MANOTUMRUKSA J， MACDONALD C， OUNIS I. A contextual attention recurrent architecture for context-aware venue recommendation[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. Ann Arbor：ACM，2018：555-564.

[46] 王立，張谧.基于LSTM的POI个性化推荐框架[J].计算机系统应用，2018，27（12）：56-61.

WANG Li， ZHANG Mi. LSTM-Based neural network framework for next POI recommendation[J].Computer Systems & Applications，2018，27（12）：56-61.

[47] YANG Libin， ZHENG Yu， CAI Xiaoyan， et al. A LSTM based model for personalized context-aware citation recommendation[J]. IEEE Access， 2018，6：59618-59627.

[48] ZHOU Jie， CUI Ganqu， ZHANG Zhengyan， et al. Graph neural networks： A review of methods and applications[J]. Machine Learning， 2018：arXiv：1812.08434.

[49] WU Zonghan， PAN Shirui， CHEN Fengwen， et al. A comprehensive survey on graph neural networks[J]. Machine Learning，2019：arXiv：1901.00596.

[50] YING Rex， HE Ruining， CHEN Kaifeng， et al. Graph convolutional neural networks for web-scale recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London： ACM：2018：974-983.

[51] WANG Hongwei， ZHAO Miao， ZHANG Mengdi， et al. Knowledge graph convolutional networks for recommender systems[C]//The World Wide Web Conference. San Francisco：ACM，2019：3307-3313.

[52] ZHANG Jiani， SHI Xingjian， ZHAO Shenglin， et al. STAR-GCN： Stacked and reconstructed graph convolutional networks for recommender systems[J]. Information Retrieval， 2019：arXiv：1905.13129.