基于层级嵌入学习的社交策展内容推荐

苏雪峰，岳云康

(山西大学商务学院 电子商务系，山西 太原 030031)

0 引 言

社交策展(social curation)[1,2]的特点是：用户不需要自己生产新内容，而是通过对他人生产的内容进行分类和组织来进行内容收藏、分享和社交等活动。这种对内容的收藏、分享和社交活动存在一种由粗到细的层级结构。本文提出一种面向社交策展内容推荐的层级嵌入学习方法，通过对社交策展内容消费的层级结构进行建模，学习得到用户和不同层级内容在同一低维嵌入空间的表达向量。推荐问题转化为在嵌入空间进行直接的相似度计算。

1 社交策展内容推荐

1.1 社交策展网站的层级结构

以目前最流行的图像策展网站Pinterest为例，用户可以通过“采集”功能将感兴趣的图像加入一种“采集册”(pinboard)中。如图1所示，这种社交策展服务具有典型的层级结构：用户可以同时编辑多个采集册，而每个采集册中包含了多个“采集条目”(pin，在图像策展网站中，采集条目即为图像)。

图1 社交策展网站的层级结构

由于用户在社交策展网站上的行为围绕内容展开，帮助用户发现可能感兴趣的高质量内容就成为了提高用户体验的重要办法。比如Pinterest曾在其官方博客中宣布：人们每天在Pinterest贴的关于旅行的图片就有150万张，而这类图片总量更是高达7.5亿张。作为解决信息过载的有效方式，推荐在社交媒体服务中被广泛地应用于过滤海量用户产生内容并发现用户可能感兴趣的内容。

推荐问题的一种典型思路是学习用户和被推荐物品的低维空间表达，然后在低维空间进行用户和物品的匹配。比如基于矩阵分解的协同过滤方法可看作是将用户-物品矩阵分解为用户低维表达矩阵和物品低维表达矩阵的乘积[3,4]。近年来，神经网络嵌入(neural embedding)被提出应用于语言建模，大大提高了自然语言理解能力。这些神经网络语言模型的基本思路是通过词和词组在上下文的共生关系，在低维嵌入空间学习器表达并保留相互的语义和语法关系。如Bengio等[5]率先采用神经网络模型对语言过程建模，可以为每个词得到一个连续分布式向量表示，从而解决了稀疏表达(one-hot representation[6])中的维度灾难问题。为解决神经网络语言模型的计算量大问题，Mikolov等[7]对模型进行了改进，移除了前向反馈神经网络中的非线性隐层，并提出了若干简化训练的技术。这一模型被称为词向量嵌入，即Word2Vec。

在推荐问题中，如果将用户类比于语言建模中的句子上下文，被推荐物品类比于词，可以通过词向量嵌入的方法学习物品的嵌入表达。然而，标准的词向量嵌入方法只关注词的嵌入学习，无法直接获得句子上下文(即推荐问题中的用户)的嵌入表达。进一步，在社交策展推荐问题中，如果以采集条目作为被推荐物品，用户和被推荐物品之间的关系是层级的，现有的词向量嵌入方法无法处理。

1.2 问题定义

定义2 社交策展网站的层级嵌入学习：给定观察到的用户-采集册-采集条目层级关系ui、b(ui)={b1,…,bui}、pb1={p1,…,pb1}， 学习由用户、采集册、采集条目到低维嵌入空间的映射函数f1∶ui→vui∈d、f2∶bi→vbi∈d、f3∶pi→vpi∈d， 其中d是嵌入空间的维度；映射函数需要使嵌入空间保留用户、采集册和采集条目的原始共生关系。

社交策展内容推荐包括采集册和采集条目的推荐。基于层级嵌入学习的社交策展内容包括层级嵌入表达学习和相似度计算两部分，如图2所示。通过计算用户和采集册嵌入表达的相似度可以进行采集册推荐，而计算用户和采集条目嵌入表达的相似度可以进行采集条目的推荐。

图2 算法流程

2 层级嵌入学习

我们提出了两种学习方法来实现社交策展网站中层级关系结构的低维空间嵌入：隐性层级嵌入学习和显性层级嵌入学习。隐性层级嵌入学习首先基于文档向量嵌入方法(Paragraph2Vec[7])获得采集册和采集条目的嵌入表达，然后将用户的采集册表达向量平均化得到用户的嵌入表达。显性层级嵌入学习在文档向量嵌入方法基础上增加一个用户到采集册的神经网络层,将用户与采集册的层级关系显性建模到嵌入过程中。

2.1 隐性层级嵌入学习

仿照文献[8]的做法，隐形层级嵌入学习将采集册作为一种特殊的全局上下文加入到采集条目的预测中。如图3所示，将采集条目类比词，虚线框内的部分实际与词向量嵌入方法完全一致。不同点在于采集册作为一种特殊的采集条目加入映射，即采集册也对采集条目的预测概率做出贡献，采集册和周围的采集条目结合起来预测上下文中可能出现的采集条目。

图3 隐性层级嵌入模型

(1)

上述公式中两项分别计算了由采集条目预测采集册的概率以及由采集条目上下文和采集册预测某采集条目的概率，可根据其在嵌入空间表达均值向量的内积进行定义

(2)

(3)

式(1)可以通过层级softmax[7]来进行最大化，以学习获得采集册和采集条目的嵌入表达。在此基础上，用户的嵌入表达可以通过其交互的采集册通过平均获得

(4)

2.2 显性层级嵌入学习

在隐形层级嵌入学习中，用户与采集册(条目)的表达学习分两步进行，用户的表达通过平均其交互的采集册表达获得，没有直接利用用户与采集条目之间的关系。

显性层级嵌入学习提出对用户-采集册和采集册-采集条目的包含关系统一建模。如图4所示，预测采集册采用了与预测采集条目类似的结构，即与采集册bi交互过的用户和相邻采集册都作为上下文对bi的观测有贡献。

图4 显性层级嵌入模型

(5)

其中，第二项和第三项的定义与隐性层级嵌入学习类似，可参考式(2)与式(3)。第一项表示的是由采集册预测用户的概率，定义如下

(6)

3 基于层级嵌入表达的推荐

通过层级嵌入学习可以获得用户、采集册、采集项目在同一低维空间的表达向量vui,vbi,vpi。低维表达向量的相似度表示了通过观测到的用户-采集册-采集项目层级关系提取的共生相似度，可以预测用户对采集册/采集项目的潜在兴趣。具体地，对于用户ui，分别计算其嵌入表达向量vui与各采集册/采集项目表达向量的余弦距离。采集册推荐时，余弦距离cos(vui,vbi)最大且未被用户ui交互过的前K个采集册被推送；采集项目推荐时，余弦距离cos(vui,vpi)最大且未被用户ui采集过的前K个采集条目被推送。

4 实验结果与分析

4.1 实验数据集

实验在图像策展网站Pinterest上进行：共采集了3000个Pinterest用户、25 487个采集册和超过50万个采集条目。由于嵌入表达学习需要基于共生关系进行，实验中移除了用户交互数目少于3个的采集册和被少于3个采集册包含的采集条目。最终的数据集包括了3000个用户、16 320 个采集册和58 902个采集条目。图5显示了最终数据集中采集条目在Pinterest中33个类别的分布情况，这与文献[9]中公布的Pinterest类别分布类似，说明本实验所使用的数据是全样本的一个典型采样，较真实地反映了数据的实际分布情况。

图5 采集条目的类别分布

4.2 比较方法和评估准则

我们比较了如下几种方法的推荐效果：

SVD(奇异值分解[10])：对观测到的用户-采集册矩阵和用户-采集条目矩阵分别进行SVD矩阵分解，基于重构后的矩阵进行采集册和采集条目推荐；

Word2Vec(词向量嵌入[7])：基于观测到的用户-采集册关系学习用户和采集册在低维空间A的嵌入向量，进行采集册推荐；基于观测到的用户-采集条目关系学习用户和采集条目在低维空间B的嵌入向量，进行采集条目推荐；

隐性层级嵌入学习(implicit hierarchical embedding，IHEmbed)：本文所提出的方法，详见第2.1小节；

显性层级嵌入学习(explicit hierarchical embedding，EHEmbed)：本文所提出的方法，详见第2.2小节。

选择了推荐的precision@K和新颖性(novelty)两个评估准则，其中precision@K用以评估推荐的准确性，新颖性鼓励对于不流行和用户交互较少类型采集册/条目和推荐，更符合实际推荐系统中的用户需求，具体描述和计算请参考文献[11]。

4.3 实验结果与分析

对数据集中的每个而用户，我们随机选择50%的采集册和采集条目作为训练集(对于SVD，训练集即为矩阵中已观测项)。

为选择所提出层级嵌入方法的嵌入空间维度d，首先在采集册问题上设定不同的嵌入空间维度来评估推荐准确性。图6显示了所提出的层级嵌入方法在维度d取不同值的precision@K。可以看出：①整体来看，两种方法的推荐准确性随嵌入维度变化不大，说明了所提出嵌入方法对于维度数目具有一定的鲁棒性；②当嵌入表达维度由20增加到100时，推荐准确性略有提高，这是由于更多的结点可以捕获更多的信息；而当嵌入表达维度继续增加超过150时，推荐准确性在缓慢下降，这是由于保留过多的结点有可能同时引入了噪声。实验中选定隐性层级嵌入方法的维度d=100，显性层级嵌入方法的嵌入维度d=150。

图6 推荐准确率随嵌入空间维度的变化

表1显示了4种方法在采集册和采集条目推荐中的性能比较。可以看出：①由于采集条目的备选集合数目更大，采集条目推荐的准确性普遍比采集册推荐要低；而新颖性与备选推荐数目没有直接关系；②在推荐准确性上，3种向量嵌入学习方法获得了比矩阵分解更好的效果，文献[12]中曾证明标准的词向量嵌入方法相当于加权的矩阵分解，且相比矩阵分解可以提供更灵活的推荐上下文；③通过考虑用户-采集册-采集项目的层级结果，所提出的两种层级嵌入学习方法获得了比Word2Vec更好推荐准确性和新颖性；④显性嵌入学习方法获得了最高的推荐准确性，这是由于在学习采集条目嵌入表达时同时考虑了用户与采集册的关系，更好地捕捉了用户-采集册以及用户-采集条目的内在关联；⑤在推荐新颖性上，显性嵌入学习的优势并不明显，甚至在采集册推荐时有所下降，这是由于新颖性的评估鼓励与用户之前没有或较少交互过的物品的推荐，显性嵌入学习在发现新物品时并没有特别的设计，这也是未来基于嵌入学习进行协同过滤推荐需要考虑的问题。

表1 推荐方法的准确性和新颖性比较

5 结束语

本文提出了一种面向社交策展内容推荐的层级嵌入学习方法。该方法考虑了社交策展网站上围绕内容的典型用户-采集册-采集条目结构，采用隐性和显性两种方式对这种层级结构进行建模，可以同时学习得到用户、采集册以及采集条目在同一个低维空间的嵌入表达向量。实验结果表明，所提出方法对于嵌入空间的维度较为鲁棒，相比现有方法在图像策展内容推荐的准确性和新颖性上均有一定提高。

[1]Hall C,Zarro M.Social curation on the website Pinterest.com[J].Proceedings of the American Society for Information Science and Technology,2012,49(1):1-9.

[2]Han J,Choi D,Chun B G,et al.Collecting,organizing,and sharing pins in pinterest:Interest-driven or social-driven?[J].ACM SIGMETRICS Performance Evaluation Review,2014,42(1):15-27.

[3]Luo X,Zhou M,Xia Y,et al.An efficient non-negative matrix-factorization-based approach to collaborative filtering for recommender systems[J].IEEE Transactions on Industrial Informatics,2014,10(2):1273-1284.

[4]Hernando A,Bobadilla J,Ortega F.A non negative matrix factorization for collaborative filtering recommender systems based on a Bayesian probabilistic model[J].Knowledge-Based Systems,2016,97(1):188-202.

[5]Bengio Y,Ducharme R,Vincent P,et al.A neural probabilistic language model[J].Journal of Machine Learning Research,2003,3(6):1137-1155.

[6]Yao K,Zweig G,Hwang M Y,et al.Recurrent neural networks for language understanding[C]//Interspeech,2013:2524-2528.

[7]Mikolov T,Sutskever I,Chen K,et al.Distributed representations of words and phrases and their compositionality[C]//Advances in Neural Information Processing Systems,2013:3111-3119.

[8]Le Q V,Mikolov T.Distributed representations of sentences and documents[C]//Proceedings of the 31th International Conference on Machine Learning,2014:1188-1196.

[9]Chang S,Kumar V,Gilbert E,et al.Specialization,homophily,and gender in a social curation site:Findings from pinterest[C]//Proceedings of the 17th ACM Conference on Computer Supported Cooperative Work & Social Computing,2014:674-686.

[10]Zhou X,He J,Huang G,et al.SVD-based incremental approaches for recommender systems[J].Journal of Computer and System Sciences,2015,81(4):717-733.

[11]Adomavicius G,Kwon Y O.Multi-criteria recommender systems[M]//Recommender systems handbook.Springer US,2015:847-880.

[12]Levy O,Goldberg Y.Neural word embedding as implicit matrix factorization[C]//Advances in Neural Information Processing Systems,2014:2177-2185.