融合社交网络和图像内容的兴趣点推荐

邵长城 陈平华

摘 要：基于位置的社交网络（LBSN）蓬勃发展，带来了大量的兴趣点（POI）数据，加速了兴趣点推荐的研究。针对用户兴趣点矩阵极端稀疏造成的推荐精度低和兴趣点特征缺失问题，通过融合兴趣点的标签、地理、社交、评分以及图像等信息，提出了一种融合社交网络和图像内容的兴趣点推荐方法（SVPOI）。首先分析兴趣点数据集，针对地理信息，利用幂律概率分布构造距离因子;针对标签信息，利用检索词频率构造标签因子;融合已有的历史评分数据，构造新的用户兴趣点评分矩阵。其次利用VGG16深度卷积神经网络模型（DCNN）识别兴趣点图像内容，构造兴趣点图像内容矩阵。然后根据兴趣点数据的社交网络信息，构造用户社交矩阵。最后，利用概率矩阵分解（PMF）模型，融合用户兴趣点评分矩阵、图像内容矩阵、用户社交矩阵，构成SVPOI兴趣点推荐模型，生成兴趣点推荐列表。大量的真实数据集上的实验结果表明，与PMF、SoRec、TrustMF、TrustSVD推荐算法相比，SVPOI推荐的准确度均有较大提升，其平均绝对误差（MAE）和均方根误差（RMSE）两项指标比最优的TrustMF算法分别降低了5.5%和7.82%，表明SVPOI具有更好的推荐效果。

关键词：兴趣点推荐;基于位置的社交网络;图像内容;深度卷积神经网络;概率矩阵分解模型

中图分类号：TP18

文献标志码：A

Abstract： The rapid growth of LocationBased Social Networks （LBSN） provides a vast amount of PointofInterest （POI） data， which facilitates the research of POI recommendation. To solve the low recommendation accuracy caused by the extreme sparseness of userPOI matrix and the lack of POI features， by integrating information such as tags， geography， socialization， score， and image information of POI， a POI recommendation method integrating social networks and image contents called SVPOI was proposed. Firstly， with the analysis of POI dataset， a distance factor was constructed based on power law distribution and a tag factor was constructed based on term frequency， and the existing historical score data was merged to construct a new userPOI matrix. Secondly， VGG16 Deep Convolutional Neural Network （DCNN） was used to process the images of POI to construct the POI image content matrix. Thirdly， the user social matrix was constructed according to the social network information of POI data. Finally， with the use of Probabilistic Matrix Factorization （PMF） model， the POI recommendation list was obtained with the integration of userPOI matrix， image content matrix and user social matrix. On realworld datasets， the accuracy of SVPOI is improved significantly compared to PMF， SoRec （Social Recommendation using probabilistic matrix factorization）， TrustMF （Social Collaborative Filtering by Trust） and TrustSVD （Social Collaborative Filtering by Trust with SVD） while Mean Absolute Error （MAE） and RootMeanSquare Error （RMSE） of SVPOI are decreased by 5.5% and 7.82% respectively compared to those of TrustMF which was the best of the comparison methods. The experimental results demonstrate the recommendation effectiveness of the proposed method.

英文關键词Key words： pointofinterest recommendation; LocationBased Social Network （LBSN）; image content; Deep Convolutional Neural Network （DCNN）; Probabilistic Matrix Factorization （PMF） model

可见基于矩阵分解的推荐模型可以灵活扩展，成为研究人员构造个性化推荐模型的重要模型， 所以，对于兴趣点的推荐，依然可以沿用这一基础模型进行不断扩展。兴趣点不同于物品推荐，因为兴趣点不仅仅是地理上的点，更具有很多抽象的意义。用户对于兴趣点的选择，受到距离因素、社交因素、兴趣点自身特征因素等的影响， 所以，兴趣点推荐任务比物品推荐更加复杂，需要更加丰富的特征维度来描述兴趣点特征。

兴趣点推荐也被称为地理位置推荐，在推荐系统中受到越来越多的关注。最近，关于POI推荐的许多研究通常从数据的4个方面进行着手，即地理影响分析、社会相关性分析、时间匹配分析以及文本内容分析[11]。Lian等[12]提出一种结合地理影响的加权矩阵分解方法;Ye等[13]在LBSN中引入了POI推荐，并研究了POI推荐的地理影响和社会影响;Li等[14]通过融合地理位置和社交信息，将用户好友分为社交好友以及地理位置好友，在进行POI推荐时，达到了对用户签到数据进行扩展的效果;Yuan等[15]将时间周期信息和地理信息纳入时间感知进行POI推荐;Cheng等[16]用矩阵分解方法介绍了在LBSN中连续个性化POI推荐的任务;Liu等[17]用聚合的线性判别分析（Linear Discriminant Analysis， LDA）模型研究了POI相关标签的效果。因为用户的签到行为具有高稀疏性，为兴趣点推荐带来很大的挑战，所以越来越多的研究结合地理影响、时间效应、社会相关性、内容信息和流行度影响等因素提高兴趣点推荐的性能。另外，最新的兴趣点推荐开始应用多媒体数据[18]：Jiang等[19]利用旅游指南和社区提供的照片以及与这些照片相关的异构元数据（如标签、地理位置和日期），提出一种个性化旅行序列兴趣点推荐;Wang等[20]通过单纯挖掘用户图谱信息和地点图片信息，提出了在概率矩阵分解模型基础上增加视觉内容兴趣点（VPOI）推荐模型，优化兴趣点推荐结果， 该模型利用卷积神经网络（Convolutional Neural Network， CNN）对图片内容进行高维度抽取，并将该图片矩阵分别融合到用户隐含矩阵和兴趣点隐含矩阵，在Instagram数据集上进行实验，取得不错的实验结果。文中仅仅利用了评分和图像信息，并没有利用社交网络、物理地点等辅助信息，最后也提出了可以利用其他辅助信息的想法。本文重点在结合社交网络信息和图像信息，提出新的推荐模型。

1.2 图像内容挖掘

大家都听说过“眼见为实”这句话，这也暗含着图像对于用户决策的重要性，对于LBSN中的兴趣點推荐也是如此，好的图片总能吸引更多的用户，所以，在推荐系统中，图片也应该是数据挖掘的对象。最近，许多基于图像内容挖掘的推荐系统方法不断提出：McAuley等[21]提出了利用已有衣物穿搭图片进行衣服搭配的推荐方法;Wang等[22]根据图像内容进行情感的挖掘;Li等[23]利用bagofwords图像内容模型来判断图片中的兴趣点。这些利用POI图片信息进行推荐的研究工作，充分说明了图片与POI有强关联关系，图片包含着POI的一些特征信息，影响着用户的决策过程。

2 社交网络和图像内容融合的兴趣点推荐

2.1 问题定义

本节定义数据结构，阐述研究的问题与展示算法模型框图。从LBSN的丰富信息中提取数据信息，包括POI上的用户历史评分数据，包括POI的地理信息、POI上的标签信息、用户之间的社会关系、POI上的图片信息。为了便于说明，表1列出本文的关键符号。

4 结语

本文提出了一个社交网络和图像内容融合的兴趣点推荐模型——SVPOI，基于位置的社交网络中用户的签到行为，有效地结合了用户评分信息、地理位置信息、标签分类信息、用户社交关系信息和兴趣点图像信息，有效地解决了数据稀疏以及兴趣点特征缺失的问题。为了证明SVPOI模型的适用性，本文在真实的大规模数据集上进行了大量的实验，在推荐精度方面对SVPOI进行了评估，结果表明SVPOI的推荐精度与其他推荐算法相比有明显提升。未来将进一步挖掘图像内容，融合其他推荐模型作进一步的尝试，从而提高兴趣点推荐的性能。

参考文献 （References）

[1] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization[C]// Proceedings of the 20th International Conference on Neural Information Processing Systems. New York： ACM， 2008： 1257-1264.

[2] MA H， YANG H， LYU M R， et al. SoRec： social recommendation using probabilistic matrix factorization[C]// Proceedings of the 17th ACM Conference on Information and Knowledge Management. New York： ACM， 2008： 931-940.

[3] YANG B， LEI Y， LIU J， et al. Social collaborative filtering by trust[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1633-1647.

[4] GUO G， ZHANG J， YORKESMITH N. TrustSVD： Collaborative filtering with both the explicit and implicit influence of user trust and of item ratings[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 123-125.

[5] BAO J， ZHENG Y， WILKIE D， et al. Recommendations in locationbased social networks： a survey[J]. GeoInformatica， 2015， 19（3）： 525-565.

[6] KOREN Y， BELL R， VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer， 2009，42（8）： 30-37.

[7] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the useritem matrix： a survey of the state of the art and future challenges[J]. ACM Computing Surveys， 2014， 47（1）： Article No. 3.

[8] MARSDEN P V， FRIEDKIN N E. Network studies of social influence[J]. Sociological Methods & Research， 1993， 22（1）： 127-151.

[9] KOREN Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model[C]// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426-434.

[10] 劉华锋，景丽萍，于剑.融合社交信息的矩阵分解推荐方法研究综述[J].软件学报，2018，29（2）：340-362.（LIU H F， JING L P， YU J. Survey of matrix factorization based recommendation methods by integrating social information[J]. Journal of Software， 2018，29（2）：340-362.）

[11] GAO H， LIU H. Mining human mobility in locationbased social networks[J]. Synthesis Lectures on Data Mining and Knowledge Discovery， 2015， 7（2）： 1-115.

[12] LIAN D， ZHAO C， XIE X， et al. GeoMF： joint geographical modeling and matrix factorization for pointofinterest recommendation[C]// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 831-840.

[13] YE M， YIN P， LEE W C. Location recommendation for locationbased social networks[C]// Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York： ACM， 2010： 458-461.

[14] LI H， GE Y， HONG R， et al. Pointofinterest recommendations： Learning potential checkins from friends[C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 975-984.

[15] YUAN Q， CONG G， MA Z， et al. Timeaware pointofinterest recommendation[C]// Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2013： 363-372.

[16] CHENG C， YANG H， LYU M R， et al. Where you like to go next： successive pointofinterest recommendation[C]// Proceedings of the 23rd International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2013： 2605-2611.

[17] LIU B， XIONG H. Pointofinterest recommendation in location based social networks with topic and location awareness[EB/OL].[2018-06-20].https：//binbenliu.github.io/papers/poi_sdm13.pdf.

[18] 任星怡，宋美娜，宋俊德.基于用戶签到行为的兴趣点推荐[J].计算机学报，2017，40（1）：28-51.（REN X Y， SONG M N， SONG J D. Pointofinterest recommendation based on the user checkin behavior[J]. Chinese Journal of Computers， 2017，40（1）：28-51.）

[19] JIANG S， QIAN X， MEI T， et al. Personalized travel sequence recommendation on multisource big social media[J]. IEEE Transactions on Big Data， 2016， 2（1）： 43-56.

[20] WANG S， WANG Y， TANG J， et al. What your images reveal： Exploiting visual contents for pointofinterest recommendation[C]// Proceedings of the 26th International Conference on World Wide Web. Geneva： International World Wide Web Conferences Steering Committee， 2017： 391-400.

[21] McAULEY J， TARGETT C， SHI Q， et al. Imagebased recommendations on styles and substitutes[C]// Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2015： 43-52.

[22] WANG Y， WANG S， TANG J， et al. Unsupervised sentiment analysis for social media images[EB/OL].[2018-06-20]. https：//ijcai.org/Proceedings/15/Papers/336.pdf.

[23] LI X， PHAM T A N， CONG G， et al. Where you instagram？： Associating your instagram photos with points of interest[C]// Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. New York： ACM， 2015： 1231-1240.

[24] ZHOU D， HOFMANN T， SCH？LKOPF B. Semisupervised learning on directed graphs[EB/OL].[2018-06-20].http：//papers.nips.cc/paper/2718semisupervisedlearningondirectedgraphs.pdf.

[25] LI H， HONG R， ZHU S， et al. Pointofinterest recommender systems： a separatespace perspective[C]// Proceedings of the 2015 IEEE International Conference on Data Mining. Piscataway， NJ： IEEE， 2015： 231-240.

[26] WANG S， TANG J， WANG Y， et al. Exploring implicit hierarchical structures for recommender systems[C]// Proceedings of the 24th International Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 1813-1819.

[27] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for largescale image recognition[J/OL]. arXiv Preprint， 2014， 2014： arXiv：1409.1556 （2014-09-04）[2015-04-10]. https：//arxiv.org/abs/1409.1556.