基于深度学习的旅游景点推荐模型研究

摘 要：针对大数据造成的信息冗余问题，个性化推荐系统的出现解决了这个困扰，它能够有效地挑选和剔除信息，让用户从众多数据中找出对自己有用的内容。文章聚焦于旅游景点推荐，提出了一种深度卷积融合位置信息模型DCNN-MPN。首先，借助CNN的水平与垂直滤波器，从用户的过往行为中提取出具有价值的特性。紧接着，将用多头自我注意的数据融入原记录中。最后，通过计算评估目标对象的相似度。实验数据证实，文章提出的DCNN-MPN模型是行之有效的，它能有效地从用户的历史兴趣序列中提取出每个旅游点的权重以及主要和次要的偏好度，并有助于与当前点击率预测模型进行对比，从而实现精准的预测。

关键词：旅游景点推荐；深度学习；卷积神经网络；多头自注意力机制；用户历史序列

中图分类号：TP311 ""文献标识码：A ""文章编号：1673-1794（2024）02-0047-07

作者简介：徐锟，安徽理工大学计算机科学与工程学院硕士生，研究方向：推荐系统（安徽 淮南 232001）；赵永智，国家能源集团宁夏煤业公司应急救援中心（宁夏 灵武 751400）；通信作者：王涛，滁州学院无人应急装备与灾害客数字化重建安徽省联合共建学科重点实验室教授，博士，研究方向：应急技术与管理（安徽 滁州239000）；刘惠临，安徽理工大学计算机科学与工程学院高级实验师，博士，研究方向：事故灾害风险评估理论与应用（安徽 淮南232001）。

基金项目：安徽省高等学校科研计划项目“留守儿童溺水突发事件敏捷预警建模与响应技术研究”（2022AH051101）；安徽省智能感知与养老工程研究中心开放基金（2022OPB01）

收稿日期：2023-07-31

随着旅游市场规模的不断扩大，人们对旅游需求的增长已经超出了传统旅游模式的供给能力。在选择旅游景点时，消费者需要投入大量的时间和精力，并且在信息化时代的背景下，旅游业与互联网之间的协同作用让旅游业信息化程度越来越高，但也带来了信息过载问题，如何选择合适的旅游景点将成为更加突出的问题[1]。为解决这一问题，推荐系统应运而生[2]。目前，推荐系统已经广泛应用于多个领域，例如产品推荐[3]、电影推荐[4]、音乐推荐[5]、旅游景点推荐[6]等等。

一开始将推荐系统运用在电商中是为了向用户提供针对性的商品推介，而现在，随着推荐系统的逐步完善，不仅仅在电子商务，在新闻传播、视频娱乐、消费行为、旅游服务等多个领域都得到了应用。推荐系统在帮助人们应对信息过载以及合理把握用户的需求方面起到了很大作用[7]。

传统的推荐算法大致可以分三类[8]：基于内容的推荐[9]、协同过滤推荐[10]以及混合推荐[11]。协同过滤算法是一种最为常见的推荐系统算法，早在1992年就被应用并一直延续到今日。由于在数据量增长的情形下，内容推荐会耗费非常多的时间，另外，协同过滤推荐也存在一些问题，例如系统冷启动和长尾效应等问题。因此，混合推荐技术成为有效整合传统推荐技术并根据需求进行调整的方法。混合推荐有三种融合原理，包括前融合、后融合和中融合。而且在Amazon、Google、微软等公司的商城和广告推荐中证明出良好的效果。

基于旅游信息的推荐可以依据不同的受众分为景点推荐、行程套餐推送和线路推荐[12]。运用协同过滤推荐算法可以在旅游推荐系统中发挥作用，例如Fenza等[13]提出的一种融合上下文感知的推荐系统，能够针对用户的具体情况和背景，自动推荐合适的景点。

迄今为止，推荐系统的进步已经实现了一种重大转变，它从最初的协同过滤和矩阵分解转向了现如今结合了强化学习、深度学习等多学科的全新研究领域。相比于其他领域，在旅游景点方面应用推荐系统的研究较少，因而将深度学习技术与旅游景点相结合，以便帮助用户从大量信息中选择自己感兴趣的景点，个性化旅游路线的规划对提升用户出行体验至关重要，因此具有重要的实践研究价值和理论意义。

近年来，在深度学习技术的飞速发展下进一步引发了众多新型推荐系统模型的产生。在这些新兴模型中，Cheng等[14]提出了一个名叫Wide amp;Deep的模型。这个模型由两部分组成：其一，Wide部分是一种简化后的线性模型，使用已经存在的特征转换方法生成新的特征来提升模型预测效果；其二，Deep部分则是一种前馈神经网络，将前两部分的训练综合在一起。Qu等[15]提出了名为PNN的模型，PNN模型从FM[16]和FNN[17]的角度出发，提出利用内积或者外积来学习高阶的非线性特征。此外，Guo等[18]还制造了一种被命名为DeepFM的模型，该模型结合了FM和DNN的特点，分别构建深度和宽度部分，展现了在模型拓展和特征互动方面的优秀性能。xDeepFM[19]则是对DeepFM模型的改良版，以CIN为主要架构，能自动学习和处理复杂的高阶特征及特征向量之间的互相关信息。

在序列信息挖掘模型的领域内，早期的应用有RNN[20]、LSTM[21]以及GRU[22]。接着，阿里巴巴提出了DIN[23]模型，这一模型为点击率（CTR）预测的研究带来了全新的方向，CTR是推荐系统、网页搜索等个性化在线服务的核心功能模块，深度学习的成功开始有利于CTR估计性能。有了模型参数和计算复杂度在可控制的范围的保证之下，DIN模型采用了注意力机制，带来了对用户兴趣点更加精确的捕获，同时提出了mini-batch aware正则化方法和自适应活化函数，以辅助模型的训练。随后推出的DIEN[24]模型，通过运用GRU掌握用户的动态变化，适合预测用户兴趣点的动态转变。在这个模型中，包含了GRU层和用户行为的时序数据，通过GRU和注意力机制的融合，揭示了用户兴趣的演变模式。DMIN[25]模型则设计出一个Refined层，运用多头自我注意力机制，使得对用户过去商品表现的捕获更加精细。然后应用多兴趣提取层提取多用户兴趣，从而获得更好的预测结果。

与广告、商品等推荐理念相比，旅游景点推荐存在数据复杂、受环境影响大、推荐类别多样等问题。所以，本研究旨在通过研究用户过去的旅游景点序列信息，探讨如何有力地抽取用户的主要、次要的喜好和特征交互信息，以解决现有景点推介系统所面对的挑战。本研究以用户的历史兴趣为基础，利用深度学习技术完成了对其下一个可能的旅游目的地的预测。

1 DCNN-MPN模型

1.1 模型结构

本章提出了DCNN-MPN（Deep Convolution Neural Network Multi-head Self-attention Position）的网络推荐模型。该模型有能力深度理解用户的序列化兴趣并整合位置特征信息。为达成此目标，本研究采用了基于卷积神经网络（CNN）的策略。具体来说，运用了水平和垂直的滤波器来发掘用户历史行为序列中的主要和次要兴趣偏好。接下来，利用已经提取出的信息与待推荐景点的嵌入向量进行乘法操作，计算他们之间的相关性。另外，本研究还引用了多头自注意力机制以获取历史兴趣序列的位置信息。将融合位置信息的历史序列特征与候选景点进行注意力机制，并且对每个历史特征分配相对的权重。最后，联合从这三个方面得到的权重和，与其他嵌入向量一同输入至全连接层进行隐式学习，以实现该网络推荐模型的最终学习目标。为了论证模型的效能，在旅游网站爬取的私有数据集上进行了模型测试，实验结果表明该模型性能较其他点击率预测模型有所提升。模型结构如图1所示。

1.2 模型主要流程

1.2.1 模型输入层

输入层由四个部分组成：用户特征、用户历史序列特征、目标项目信息以及上下文信息。其中，用户特征主要指用户的唯一标识——用户id，而用户历史序列特征则涵盖了用户对曾经去过的景点的评价，这些评价可以通过景点id和景点类别来表达。根据时间顺序，将各个景点的评论信息组织成一个完整的项目列表，其中每个项目都包含一个与预期相同的功能字段，其中包括候选景点的详细信息，例如景点id、景点类别等。通过使用下列公式，可以将历史景点的输入特征表示出来：

接下来，将Inputd用户特征的嵌入向量Au、候选景点的特征嵌入At、上下文信息Ac等一起作为整个模型的输入，表示为：

Inputd= {Au，Inputd， At， Ac}

对此，Au、Inputd、At、Ac是输入层每个部分的产出。后续操作中，将综合的输出数据输入到全连接层，以识别更高层次和更抽象的特性。最终阶段，应用Softmax函数对全连接层的输出进行归一化处理，通过此方式可以得到模型的最终预测值。

2 实验分析

2.1数据集

为了验证本研究所提出的模型，关于旅游景点的数据集从携程网站爬取，选择了安徽的三个地区：合肥、滁州、芜湖，采用一种爬虫方式来获取需要爬取的城市的相关信息，抓取了用户在各个旅游景点下的评论信息，得到两组主要的数据集：全部的旅游景点数据以及相应的评论数据。这两组数据集的字段形式见表1、表2。

Trips数据集：经过序列截取以及数据缩减后的数据量为如表3所示。包括合肥、滁州和芜湖三个城市的热门景点信息以及景点评论信息，在数据预处理中去除了冗余数据后评论数据总量为 12526。评论信息的长度各不相同，为了保障其适中，选择长度介于 2 到 300 的序列。并且，参观过的景点不一定是游客所喜欢的，因此，按照游客的评分数据来区分正负样本。经过对数据集的详细分析，选择了 3.5 作为划分标准。在比较模型方面，主要将本研究所提模型与一些基础点击率预估模型和阿里提出的几个点击率预估模型进行了实验对比。

2.2 实验环境及过程

研究实现的主要实验环境为：使用Pytorch1.13.1框架、python3.10环境，GPU 的型号是NVIDIA GeForce RTX 3080 Ti，CPU 的型号表示为12th Gen Intel（R） Core（TM） i9-12900KF 3.20 GHz，CUDA 的版本为 11.6，内存为64G，磁盘大小为 6T。

首先，本研究在DIN模型的基础上进行了改进，引入了用户序列间的位置编码信息，并通过多头自注意力机制对序列位置特征进行了充分提取。其次，采用CNN方法对历史序列特征进行了提取，以获取重要偏好和一般偏好信息。然后，将提取后的两部分结果连接起来，并与目标项进行乘积操作。最后，将提取后的历史兴趣信息与经过注意力机制处理的历史序列特征信息进行融合并拼接，然后将其送入全连接层进行最终输出。

在实验中，使用了一些特定的参数来构建一个高效的模型。将用户的映射值设定为128维度，景点的映射值设定为64维度，训练集的大小本文设定为16，而测试集的大小设定为128，学习率设定为0.1，水平过滤器设定为2个，卷积核设定为8，同时垂直过滤器被设定为8个，卷积核设定为1。采取每500个批次打印一次的方式。

2.3 评价指标

实验用AUC（Area Under the Curve）作为评价准则，AUC主要的作用就是来评估分类器预测出正样本大于负样本概率的概率。通常，AUC的数值会处在0.5至1的范围内。如果AUC的值比较高，那就代表分类器的性能更出色。在实际应用中，AUC是一种常用的评价指标，它能够综合考虑分类器在不同阈值下的性能，并且对类别不平衡的数据具有较好的鲁棒性。因此使用AUC作为实验评价指标是合理的。

在样本集中，每个样本都有一个真实标签，标签可以是0或1，其中1表示正样本，0表示负样本。根据真实标签和分类器预测结果，可以得到一个混淆矩阵，如表4所示：

通过表 4 可以引入真阳率（True Positive Rate，TPR）和假阳率（False Positive Rate，FPR）的概念，其计算公式分别如下公式所示：

TPR=TPTP+FN

FPR=FPFP+TN

2.4 结果分析

为了验证本研究所提出的DCNN-MPN模型的实验效果与其他先进模型相比较，其对比实验结果如表 5 所示：

根据对比实验结果，本研究提出的模型在Trips数据集上表现出较其他先进的点击率预测模型更优的性能。Base Model的实现原理是直接对历史序列信息进行求和池化操作。Wideamp;Deep模型结合了浅层模型的记忆能力与深度学习的泛化性能，因此在Trips数据集上较Base Model取得了更好的效果；而PNN模型主要用于高阶特征提取，在嵌入层和隐藏层之间添加了点积操作，但在Trips数据集上的性能略有下降，这表明低阶特征提取仍具有一定的重要性。DeepFM模型相较于Wideamp;Deep模型无需人工特征工程，能够同时学习低阶和高阶特征交互，在Trips数据集上的性能有所提升；DIN模型考虑到历史序列中不同景点对目标项的相关性差异，引入注意力机制计算每个景点序列与目标项的相似权重，在数据集上相对于前述模型都实现了预测效果的提升。本研究所提出的DCNN-MPN模型首先从历史序列特征中提取一般偏好和重要偏好信息，并将融合序列位置关系的原始历史特征与目标项进行注意力机制计算相似度。这种三个层面上的信息融合充分提取了序列间信息，最终通过在数据集上的对比实验和消融实验结果证明了DCNN-MPN模型的有效性。

2.5 消融实验

表6展示了该模型的消融实验的结果：

为验证部分模块对模型的贡献度，采用消融实验证明不同模块的重要程度以及分析各模块的效果。消融实验旨在更好地理解网络的行为，类似于“控制变量法”，描述去除网络模型的某些部分对实验的影响，本研究提出的模型增加了多头自注意力机制和CNN模块，分别去除它们，即 DCNN-MPN MP表示DCNN-MPN未引入多头自注意力机制，DCNN-MPN CNN表示DCNN-MPN未引入CNN模块。通过消融实验可看出，引入多头注意力机制模块和CNN模块对比单独引入任一种模块，在私有数据集Trips上有更好的提升效果，证明模型融合的CNN模块对序列特征的隐式提取具有重要作用且对序列位置关系进行多头自注意力提取的方式具有必要性。通过引入这两个模块，模型能够更好地捕捉到序列中的重要信息，从而提高了模型的性能。

3 结论

本研究提出了一种名为DCNN-MPN的新型网络推荐模型，旨在有效预测用户的点击情况。该模型通过结合CNN水平滤波器和垂直滤波器，从用户的历史记录中提取有价值的内容，并将其与多头自注意力机制技术的结果相结合，以获得更精确的预测结果。经过多次实验，发现DCNN-MPN网络模型能够准确捕捉用户历史喜好，包括关注程度、普遍喜爱程度和每个地方的权重。此外，该推荐模型还能够收集更多的隐性信息，并引入多头自注意力机制，以减少地理空间的影响。综上所述，DCNN-MPN网络推荐模型能够更准确地预测旅游目的地的点击率，从而提高预测准确性。

［参 考 文 献］

［1］ 张佳琳，柏思佳，刘爽.基于卷积神经网络的旅游推荐模型设计[J].太赫兹科学与电子信息学报，2020，18（6）：1128-1132.

[2] XIANGEN JIA，YIHONG DONG， FENG ZHU，et al. Preference-corrected multimodal graph convolutional recommendation network[J].Applied Intelligence，2023，53：3947-3962.

[3] AN YAN，CHAOSHENG DONG，YAN GAO，et al. Personalized Complementary Product Recommendation[C]// In Companion Proceedings of the Web Conference 2022 （WWW '22）. Association for Computing Machinery，New York：ACM，2022：146-151.

[4] YUN LIU，JUN MIYAZAKI，QIONG CHANG. Knowledge graph enhanced multi-task learning between reviews and ratings for movie recommendation[C]//In Proceedings of the 37th ACM/SIGAPP Symposium on Applied Computing （SAC '22）. Association for Computing Machinery.New York：ACM，2022：1882-1889.

[5] V.VIJAYASHANTHI，L.J.MARY，M.NAVANEETHAKRISHAN， R. M， T. A. MOHANAPRAKASH AND S. DIVIYASRI.Personalized Music Recommendation System using Hybrid Deep Birch Data Analytics Method[C]//2022 IEEE 2nd International Conference on Mobile Networks and Wireless Communications （ICMNWC）.Tumkur， Karnataka： ICMNWC，2022：1-6.

[6] YUHANG WAN.Tourism intelligent recommendation system based on big data mining[C]//In Proceedings of the 2022 6th International Conference on Electronic Information Technology and Computer Engineering （EITCE '22）. Association for Computing Machinery.New York：ACM，2023：1040-1044.

[7] 王月星.国内旅 游 推 荐 系 统 研 究 进 展[J]. 商场现代化，2017（10）：240-242.

[8] 徐旻韬.基于自注意力机制的长短期神经网络推荐模型研究[D].上海：东华大学，2021：21-23.

[9] MINJU PARK AND KYOGU LEE. Exploiting Negative Preference in Content-based Music Recommendation with Contrastive Learning[C]//In Proceedings of the 16th ACM Conference on Recommender Systems （RecSys '22）. Association for Computing Machinery.New York：ACM， 2022：229-236.

[10] ZHANG SHICHANG.Research on Recommendation Algorithm Based on Collaborative Filtering[C]//In 2021 2nd International Conference on Artificial Intelligence and Information Systems （ICAIIS 2021）. Association for Computing Machinery.New York：ACM， 2021，Article192：1-4.

[11] JING GUO.Research on Hybrid Recommendation Algorithm Based on Personalized Learning Resource Recommendation Model[C]//In 2021 3rd International Conference on Artificial Intelligence and Advanced Manufacture （AIAM2021）.Association for Computing Machinery.New York：ACM，2022：727-732.

[12] 史海燕，郭海玲.在线旅游信息推荐方法研究[J].现代商贸工业，2019，40（6）：31-32.

[13] FENZA G，FISCHETTI E，FURNO D，et al.A hybrid context aware system for tourist guidance based on collaborative filtering[J].2011 IEEE International Conference on Fuzzy Systems （FUZZ-IEEE 2011），IEEE， 2011：131-138.

[14] CHENG H T，KOC L，HARMSEN J，et al.Wide amp; deep learning for recommender systems[J].Association for Computing Machinery，2016：7-10.

[15] QU Y，CAI H，REN K，et al.Product-based neural networks for user response prediction[C]//2016 IEEE16th International Conference on Data Mining（ICDM）.IEEE，2016，1149-1154.

[16] RENDLE S.Factorization machines[J].2010 IEEE International conference on data mining，IEEE，2010，995-1000.

[17] JUAN Y，ZHUANG Y，CHIN W S，et al.Field-aware Factorization Machines for CTR Prediction[J].In Proceedings of the 10th ACM conference on recommender systems，2016：43-50.

[18] GUO H，TANG R，YE Y，et al.DeepFM： a factorization-machine based neural network for CTR prediction[J].Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence（IJCAI-17），2017：1725-1731.

[19] LIAN J，ZHOU X，ZHANG F，et al.xDeepFM： Combining Explicit and Implicit Feature Interactions for Recommender Systems[J].Association for Computing Machinery，2018：1754-1763.

[20] XIANLIN ZHANG，MENGLING SHEN，XUEMING LI，et al.AABLSTM： A Novel Multi-task Based CNN-RNN Deep Model for Fashion Analysis[J].ACM Transactions on Multimedia Computing，Communications and Applications，2022，19：1-18.

[21] NATHAN SESTI，JUAN JOSE GARAU-LUIS，EDWARD CRAWLEY，et al.Integrating LSTMs and GNNs for COVID-19 Forecasting[EB/OL].（2021-07-14）.[2023-08-04].https：//arxiv.org/abs/2108.10052.

[22] JIA LI，ZIYANG ZHANG，JUNJIE LANG，et al.Hybrid Multimodal Feature Extraction， Mining and Fusion for Sentiment Analysis[C]//ACM International Conference on Multimedia.New York：ACM，2022：81-88.

[23] ZHOU G，ZHU X，SONG C，et al.Deep Interest Network for Click-Through Rate Prediction[J].2021 International Conference on Communications， Information System and Computer Engineering （CISCE）.IEEE，2018：1059-1068.

[24] ZHOU G，MOU N，FAN Y，et al.Deep interest evolution network for click-through rate prediction[J].Proceedings of the AAAI conference on artificial intelligence，2018，33（1）： 5941-5948.

[25] XIAO Z，YANG L，JIANG W，et al.Deep Multi-Interest Network for Click-through Rate Prediction[C]//Proceedings of the 29th ACM International Conference on Information and Knowledge Management （CIKM）.New York：ACM，2020：2265-2268.

Research on Tourist Attraction Recommendation Model Based on Deep Learning

Xu Kun， Zhao Yongzhi， Wang Tao， Liu Huilin

Abstract： The emergence of personalized recommendation systems has effectively addressed the issue of information redundancy caused by big data. These systems can selectively filter and eliminate information， thereby helping users find relevant content from a vast amount of data. This paper focuses on the recommendation of tourist attractions and proposes a deep convolutional fusion model called DCNN-MPN， which incorporates location information. Firstly， valuable features are extracted from users’ past behaviors using CNN’s horizontal and vertical filters. Then， data is fused with multi-head self-attention and integrated into the original records. Lastly， the similarity of the target objects is evaluated through computation. Experimental data confirms the effectiveness of the proposed DCNN-MPN model. It successfully extracts the weights of each tourist spot， as well as the primary and secondary preferences， from users’ historical interest sequences. Moreover， it facilitates precise predictions by comparing with the current click-through rate prediction model.

Key words：tourist attraction recommendation system; deep learning; convolutional neural network; multi head self-attention; user history sequence

责任编辑：陈星宇