基于图注意力机制优化的社交推荐算法研究

许峰

（安徽理工大学，安徽 淮南 232001）

0 引 言

面对大量的网络用户和信息爆炸，推荐系统至关重要，可以缓解信息过载，为用户提供更高效，更高质量的服务。一个有效的推荐系统可以通过从大量信息中获取用户喜欢的内容（如电影、音乐、商品）而使用户获益，也可以通过降低促销成本而使服务提供商获益。与此同时，随着社交媒体的发展，利用社会关系来提高推荐的效果也越来越受欢迎。在社交网络中，有联系的朋友之间有一种信息的流动，用户的偏好与他/她周围的人相似或受其影响，针对这一特点，越来越多的社交推荐算法应运而生。

目前，深度学习由于其具有高表达性和模型高保真度，显示出了实现良好性能的强大能力。同时，包括社交网络在内的部分信息本质上具有图结构，而图神经网络（GNNs）在图表示学习方便具有强大能力。因此推荐系统中利用GNNs 的领域正蓬勃发展。在现有的社交推荐算法中，结合深度学习与社交网络的模型在一定能过程度上取得了不错的效果，如Fan等在社交关系中利用提取单个用户的非线性特征整合到用户项目的矩阵分解中提出DeepSoR 模型进行评分预测，该模型也是深度学习结合社交关系的一个基准模型。近年来，通过在图神经网络的基础上融合注意力机制来提升特征提取能力并提高推荐绩效的方法取得了显著的效果，因此越来越多的模型通过使用图注意力机制来对社交推荐中的特征进行建模，如Fan 等人提出结合图神经网络和注意力机制来提取用户、项目及社交关系等相关特征的社交推荐模型。Song 等人同样结合GNNs 和注意力机制，并将社交网络的环境结合起来考虑，动态的建模用户行为特征。然而，上述方法都是针对用户和项目的局部特征进行处理，或者仅考虑用户或项目的局部交互在社交图中的传播，并没有充分考虑到全局特征在社交关系中的作用，以及在GNNs 的框架下，通过消息传递对全局特征捕获的优势，因此，本文通过使用图神经网络结合多头自注意力机制组成的图注意力模型考虑用户和项目在社交网络中的全局信息来优化社交推荐，从而提升推荐准确度。通过实验结果表明，本文所提出的方法在两个真实数据集上的评分预测任务中有一定的效果。

1 研究框架

本文所提的整体框架参考了GraphRec 模型的框架，将模型分为四个模块：用户建模、社交建模、项目建模、评分预测。其中，用户建模通过用户的历史评分交互行为来学习用户的潜在偏好特征；社交建模通过利用用户的社交关系，将社交好友的潜在特征作为用户建模的补充，从而更充分的学习用户自身以及在社交网络中的潜在偏好特征，并将用户潜在表示与社交用户潜在表示通过连接统一为用户潜在表示。项目建模则通过从项目被用户评分交互过的评价中来学习项目的潜在特征，即项目更受哪些用户喜好。评分预测模块通过前三个部分对用户和项目的建模进行连接得到最终融合用户项目的潜在表示，并通过多层感知机（MLP）来实现最终预测。整体研究框架如图1所示。接下来本文将对各部分细节进行介绍。

图1 整体研究框架

2 模型构建流程

2.1 用户/项目建模

用户建模在项目空间下针对用户u对项目v的历史行为评分来学习用户的偏好特征h，项目建模是在用户空间下针对项目v被不同用户u所评价形成项目潜在偏好特征z，文中用户对项目的评分记做r。这里与以往工作不同的是，本模型通过使用多头自注意力机制捕获用户行为序列和项目的用户序列的全局特征，使得模型在考虑社交关系的情况下利用图神经网络将全局特征信息在社交图中传播，更加全面的考虑用户和项目的潜在特征。接下来将通过公式详细介绍具体流程。

一个用户同时对多个项目都可能有意见，这种意见的表示形式通过使用评分来表示，因此对于融合评分和项目嵌入部分涉及两个嵌入，分别记为意见嵌入e∈ℝ和项目嵌入q，这里∈()，()表示用户u的所有交互项目的集合。通过将q和e拼接组成用户u对项目v的意见，公式如式（1）所示：

其中，g表示一个由MLP 组成的整合函数，⊕表示拼接操作。

同理，一个项目可能同时有来自多个不同用户的评分，所以对于融合评分和用户嵌入同样设计两个嵌入，分别记为意见嵌入e∈ℝ和用户嵌入p，∈()，()表示项目v有交互的所有用户集合。通过拼接组成项目来自不同用户的意见表示，公式如式（2）所示：

其中，g表示与g相同的整合函数。

在分别得到融合评分和项目嵌入以及融合评分和用户嵌入的表示后，都通过了一个多头自注意力机制来捕获全局特征的权重关系，为接下来得到更准确的用户和项目嵌入做准备，由于在该部分多头自注意力机制中形式相同，因此，这里为了减少重复公式将x和f统一为M，将p和q统一为N进行计算得到用户空间和项目空间的全局特征权重系数分别记为a和μ，公式如式（3）所示：

通过学习到的全局特征权重系数，将其与意见表示结合，得到用户（项目）在项目空间和用户空间下的偏好程度，并通过一个由单层神经网络组成的聚合函数得到聚合后的节点表示h和z，公式如式（4）所示：

其中，表示ReLU 激活函数，表示可学习的参数，表示偏置，||表示连接操作。

2.2 社交建模

社交建模通过利用用户的社交关系来补充对用户的偏好建模，将用户的直接好友的偏好认为可以影响用户的偏好，基于这一点，在融合社交和评分项目嵌入时将用户的直接好友u，以及好友的评分交互嵌入e∈ℝ结合，形成社交好友的意见表示，这里，社交好友的偏好表示与2.1 节中用户的偏好表示建模类似，记为h，∈（），（）表示与用户u相关的社交用户的集合。

通过得到用户好友的偏好表示后，在该部分主要将用户与好友的社交关系进行全局特征的权重分配，即选取在用户好友中与用户本身最相关偏好影响最大的用户。将用户的社

交建模表示为h，社交权重系数记为β，公式如式（5）所示：

聚合后的社交建模表示如式（6）所示：

得到社交建模表示后，这里可以与2.1 节得到的用户潜在表示通过两层MLP 结合，得到最终用户潜在表示h，具体流程为：

2.3 评分预测与模型优化

通过2.1节和2.2节学习到的用户和项目的潜在表示后，将它们连接并输入到多层MLP 进行评分预测，过程为：

本文模型通过式（9）作为目标函数并通过Adam 作为优化器对模型进行优化：

其中表示观察到的交互评分集合，r表示实际评分值。

3 实验与结果分析

3.1 数据集介绍

本模型使用的数据集为两个含有社交连接信息的数据：Ciao 和Epinions，数据集中含有用户、项目以及用户对商品的评分，评分分值为，还含有用户之间的社交信息。具体数据统计信息如表1所示。

表1 数据集统计信息

3.2 评估指标和参数设置

本实验使用社交推荐评分预测中常用的两个指标：平均绝对误差（Mean Absolute Error,MAE）和均方根误差（Root Mean Square Error,RMSE）。MAE 和RMSE 值越小，说明效果越好。实验中，多头自注意力头的个数设置为2，学习率设置为0.000 5，训练集占比为60%，剩下20%为验证集，20%为测试集。嵌入维度大小设置为64，批处理大小为256。

3.3 与基线模型比较

为了评估本文所提模型的有效性，实验选取了四个不同的模型进行对比。分别是：

PMF：该模型为传统的推荐模型，通过使用概率矩阵分解的方式对用户项目潜在因素进行建模。

SocialMF：以矩阵分解为基础，将社交信息融合考虑，提成对用户偏好的学习效果。

DeepSoR：以深度神经网络为基础使用矩阵分解的方法学习用户项目潜在表示。

GraphRec：以图神经网络为框架结合社交信息，分别建模用户和项目的潜在特征表示。

本模型与基线模型在两个数据集Ciao（60%）和Epinions（60%）上的对比结果如图2、图3所示。

图2 在Ciao（60%）数据集上的比较

图3 在Epinions（60%）数据集上的比较

通过对比可知，与不使用社交关系的模型PMF 相比，通过考虑社交关系的SocialMF 模型具有更好的效果，说明社交关系对推荐效果的提升具有一定的促进作用。除此之外，对于在深度神经网络框架下的DeepSoR 模型相比仅使用矩阵分解来处理社交关系的SocialMF 模型相比，具有更小的误差，这表明深度神经网络比普通的神经网络具有更强的特征表达能力。针对，社交网络具有图的拓扑结构的性质，通过使用GNN 的GraphRec 模型具有比之前都要好的效果，说明图神经网络对图结构的处理具有更强的能力，但该模型仅考虑局部特征的效果影响，本文模型通过在GNN 网络的结构上考虑全局特征信息的建模，获得了比以上基准模型更优秀的效果，从而说明本文所提模型在社交推荐中的有效性。

4 结 论

针对现有图神经网络社交推荐方法对全局特征信息处理不足的问题，本文通过结合多头自注意力机制，提出一种基于图注意力机制优化的社交推荐模型。本研究将多头自注意力机制在图神经网络框架下，分别针对用户、项目、社交关系的全局特征信息进行处理，增强了模型对全局特征信息在社交图中的处理能力。通过实验表明，本文模型在Ciao 和Epinions 两个数据集上与现有社交推荐模型相比具有更好的预测效果。后续工作将从全局特征出发，考虑更加细粒度的全局特征以增强模型预测效果。