基于互信息的鲁棒跨域推荐系统

刘昱康　于学军

摘要：由于大量新用户和新产品的出现，跨域推荐系统已经成为解决推荐系统冷启动问题的关键。然而，现有的跨域推荐系统都假设其训练数据中不存在任何的错误标注，但是在现实情况下，该假设很难得到满足，这就导致了跨域推荐系统在相当多的真实推荐场景下的表现很难令人满意。为了减少现实情况下错误标注对跨域推荐系统的影响，提高真实推荐场景下跨域推荐系统推荐结果的准确性，本文提出了一种基于互信息的鲁棒跨域推荐系统，该推荐系统由域分离网络和互信息鲁棒风险两个模块构成。域分离网络模块很好地解决了源域与目标域差异的问题;在互信息鲁棒风险模块中，提出了一个基于互信息的风险函数来过滤掉数据中的错误标注，使用该风险函数所训练出的跨域推荐系统可以很好地处理训练数据中存在的错误信息，使跨域推荐系统能更好地应用在各种真实的推荐场景下。本文采用对比试验的方法，在真实的数据集上将所提出的方法与几种现有的推荐方法进行了比较，试验表明，现有的推荐方法在现实情况下很难不受到错误标注的影响，而本文提出的方法很好地应对了错误标注的影响，具有更优越的性能。

关键词：推荐系统;新用户;冷启动问题;鲁棒性;互信息

中图分类号：TP181文献标志码：A

为了解决大数据时代的数据过载问题，推荐系统在近些年已经被学术界广泛关注而且也在现实生活中获得了大量的部署。为了更好给新用户推荐新产品（即解决推荐系统中的冷启动问题）[1]，研究者们提出了跨域推荐系统使用多用户领域（一般称为源域）的数据去解决少用户领域（一般称为目标域）的推荐问题[2-3]。现有的跨域推荐系统主要分为两种类型[4]：第一种类型通过将来自多个域的数据集以通用的格式（例如，一个通用的评分矩阵[5]）组合起来去聚合知识，他们会假设“用户-产品”的数据格式是固定的[2，6-9];第二种类型通过迁移的知识来链接领域，这一系列研究仅限于基于矩阵分解的协同过滤方法，因为在不同域跨域共享的一个潜在因素允许知识转移[10-12]。无论是以上哪一种跨域推荐系统，他们都假设源域中的知识是正确的，不含有任何错误信息的。然而这个假设在现实推荐场景中很难被满足。假设源域的数据来自于用户点击记录，如果用户勿点击了一个产品，那么该用户点击记录数据中就存在了错误信息，继而打破了现有方法的假设，导致现有方法的效果出现了大幅下降。

本文发现这种错误信息会极大得降低跨域推荐系统的性能，使其无法在现实场景中使用。为了解决这个问题，本文提出了一个基于互信息的鲁棒跨域推荐系统——互信息鲁棒域分离网络。在该系统中，一个基于互信息的风险函数被提出来去自动过滤数据中存在的错误标注。该风险函数是香农互信息的广义版本，它保留了香农互信息的所有属性，包括非负性、对称性和信息单调性，并且还具有相对不变性。使用该风险函数所训练出的跨域推荐系统可以很好地处理训练数据中存在的错误信息。同时，本文采用了真实的数据集验证了互信息鲁棒域分离网络的有效性。结果表明，当源域含有错误信息时，该网络依然可以很好地解决推荐系统中的冷启动问题。

1跨域推荐系统的定义与所用符号

在跨域推荐系统中，有两个基础空间，它们分别是特征空间X以及标签空间Y，其中X是d维欧式空间的一个子集，而Y是由标签1，2，…，L组成。不同的标签代表被推荐的不同产品，而空间X中元素x则代表了用户。在跨域推荐系统中，有两个不同的数据集，分别是源域S及目标域T：

由于被研究的问题属于跨域推荐系统范畴，因此，源域和目标域是由不同的分布生成的。另外，在现实的应用中，得到充足的源域真实标签也是一件极其困难的事。一般来说，在源域数据的标签中会混入噪音标签（错误标签）。因此，在标签噪音跨域推荐系统中，仅有带噪音的源域数据 S_n是可得的：

2模型介绍

本文提出了一个新的模型去解决标签噪音跨域推荐系统问题。本文提出的方法被命名为互信息鲁棒域分离网络（mutual information robust domain separation networks，MIRDSN）。MIRDSN 是基于两个基础模块：第一个模块是被称作域分离网络（domain separation networks，DSN），DSN的主要目的是解决源域及目标域的域差异问题;第二个模块被称做互信息鲁棒风险（mutual information robust risk，MIRR），MIRR的主要目的是缓解源域里标签噪音所引起的分类误差。

2.1域分离网络

2.3最终的优化函数

3试验结果与分析

3.1数据集介绍

本文选取了两个来自于雅虎的数据集作为本次试验的数据。两个数据集分别为视频点播服务（VIDEO）和新闻阅读（NEWS）的浏览日志。而试验的主要目的就是向从未使用过VIDEO和NEWS的用户进行推荐。

在VIDEO数据集中，每个数据的特征为一个用户的历史观看记录，每个数据的标签为该用户最新观看的视频;在NEWS数据集中，有用户的历史阅读记录，但没有每个用户的视频观看记录。即VIDEO数据集是一个被标注过的源域;NEWS数据集是一个为被标注过的目标域。为了测试所提出的模型的效果，本文找到了38 250个同时点播过视频或浏览过新闻的用户，即有了一个有标签的目标域用于测试本文所提出的推荐系统。VIDEO和NEWS数据集各含有约1 000万条数据。在VIDEO和NEWS数据集中，它们都含有一些文本特征。在VIDEO数据集中，本文使用标题、分类、简介和演员信息作为额外特征，在NEWS数据集中，标题和分类被当作额外特征。由于VIDEO和NEWS数据集中没有指出哪些数据是完全正确的，为了模仿噪音环境，本文采用对称噪音的生成方式来生成在噪音环境下的VIDEO数据。

3.2对比方法

本文选择了其它4种推荐算法作为对比算法，来印证本文所提出的方法是否具有更优秀的性能。最受欢迎法（most popular item，POP）直接推荐了训练数据中被观看最多的视频，和POP方法比较，可以知道MIRDSN是否做到了个性化的推荐。Domain Separation NetworksDSN为经典迁移学习方法。跨域矩阵分解法（cross-domain matrix factorization，CdMF）为经典协同过滤方法，本次试验将VIDEO-NEWS数据集转化为用户-视频的点击矩阵，然后输入该矩阵给CdMF方法来获得推荐结果。神经网络（neural networks，NN）为非迁移方法，NN只会最小化经驗风险和样本重构风险而不考虑最小化域之间的分布差异。33207F7F-5A67-453B-9785-0D27C4D9F5DC

3.3試验设置

3.4试验结果与分析

4结束语

本文考虑了标签噪音跨域推荐系统问题。该问题主要解决了推荐系统中的两个核心问题：1）推荐系统中测试数据集和训练数据集来自不同分布;2）推荐系统中训练数据集包含了错误标签。为了解决标签噪音跨域推荐系统问题，本文提出了互信息鲁棒域分离网络模型。该模型主要由两部分组成：域分离网络和互信息鲁棒风险。域分离网络解决了测试数据集和训练数据集分布差异的问题。互信息鲁棒风险缓解了训练数据集中的标签噪音问题。本文通过试验验证了所提模型的有效性。试验表明，互信息鲁棒域分离网络在噪音环境下可以很好地达到理想的推荐效果。参考文献：

[1]ZHAO C， LI C L， XIAO R， et al. CATN： cross-domain recommendation for cold-start users via aspect transfer network[C]//SIGIR 2020. New York： ACM， 2020：229-238.

[2] ZHU F， WANG Y， CHEN C C， et al. Cross-domain recommendation： challenges， progress， and prospects[C]//IJCIA 2021. UK： IJCIA，2021：4721-4728.

[3] SAHU A， DWIVEDI P. Knowledge transfer by domain-independent user latent factor for cross-domain recommender systems[J].Future Generation Computer Systems， 2020，108：320-333.

[4] WANG C， NIEPERT M， LI H. RecSys-DAN： discriminative adversarial networks for cross-domain recomme der systems[J].IEEE Transactions on Neural Networks and Learning Systems，2020，31（8）：2731-2740.

[5] LONI B， SHI Y， LARSON M， et al. Cross-domain collaborative filtering with factorization machines[C]//ECIR 2014. Berlin： Springer Verlag， 2014：656-661.

[6] ABEL F， HERDER E， HOUBEN G， et al. Cross-system user modeling and personalization on the social web[J].User Modeling and User-Adapted Interaction，2013，23（2）：169-209.

[7] SHANG J， SHUN M X， COLLINS-THOMPSON K. Demographic inference via knowledge transfer in cross-domain recommender systems[C]//ICDM 2018. New York： IEEE， 2018：1218-1223.

[8] LOW Y C， AGARWAL D， SMOLA A. Multiple domain user personalization[C]//SIGKDD 2011. New York： ACM， 2011：123-131.

[9] NAKATSUJI M， FUJIWARA Y， TANAKA A， et al. Recommendations over domain specific user graphs[C]// ECAI 2010. Amsterdam： IOS Press， 2010：607-612.

[10]IWATA T， TAKEUCHI K. Cross-domain recommendation without shared users or items by sharing latent vector distributions[C]//AISTATA 2015. Brookline： Microtome Publishing， 2015： 379-387.

[11]LIAN J X， ZHUANG F Z， XIE X， et al. CCCFNet： a content-boosted collaborative filtering neural network for cross domain recommender systems[C]//WWW 2017. New York： ACM， 2017： 817-818.

[12]ELKAHKY A， SONG Y， HE X D. A multi-view deep learning approach for cross-domain user modeling in recommendation systems[C]//WWW 2015. New York： ACM， 2015： 278-288.

[13]BOUSMALIS K， TRIGEORGIS G， SILBERMAN N， et al. Domain separation networks[C]//NeurlPS 2016. LA Jolla： NIPS， 2016： 343-351.33207F7F-5A67-453B-9785-0D27C4D9F5DC

[14]KANAGAWA H，KOBAYASHI H，SHIMIZU N，et al. Cross-domain recommendation via deep domain adaptation[C]//ECIR 2019. Berlin： Springer Verlag， 2019： 20-29.

[15]GANIN Y， USTINOVA E， AJAKAN H， et al. Domain-adversarial training of neural networks[J].Journal of Machine Learning Research，2016，17（59）：1-35.

[16]GRETTON A， BORGWARDT K， RASCH M， et al. A kernel two-sample test[J].Journal of Machine Learning Research，2012，13（3）：723-773.

[17]LONG M S， WANG J M， Ding G G， et al. Adaptation regularization： a general framework for transfer learning[J].IEEE Transactions on Knowledge and Data Engineering，2014，26（5）：1076-1089.

[18]XU Y L， CAO P，KONG Y Q， et al. L_DMI： a novel information-theoretic loss function for training deep nets robust to label noise[C]//NeurlPS 2019. LA Jolla： NIPS， 2019： 6222-6233.

[19]CLEVERT D， UNTERTHINER T， HOCHREITER S. Fast and accurate deep network learning by exponential linear units （ELUS）[C]//ICLR 2016.

[19]JIANG L， ZHOU Z Y， LEUNG T， et al. Mentornet： learning data-driven curriculum for very deep neural networks on corrupted labels[C]//ICML 2018. San Diego： JMLR， 2018：2304-2313.

（責任编辑：于慧梅）

A Robust Cross-domain Recommender System Based

on Mutual-Information Theory

LIU Yukang， YU Xuejun*

（Department of Information，Beijing University of Technology，Beijing 100124，China）Abstract： Due to the emergence of a large number of new users and new products， cross-domain recommendation system has become the key to solve the cold-start problem of recommendation system. However， the current cross-domain recommendation systems assume that there is no error label in their training data， which is difficult to be satisfied in reality， leading to the underperformance of cross-domain recommendation systems in many real recommendation scenarios. To reduce the impact of error label on cross-domain recommendation system in reality and improve the accuracy of push-out results of cross-domain recommendation system in real recommendation scenarios， this paper， based on mutual information， proposes a robust cross-domain recommendation system consisting of two modules： domain separation network and mutual information robust risk. The domain separation network module solves the problem of difference between source domain and target domain. Then in the mutual information robust risk module， this paper proposes a risk function based on mutual information to filter out the error annotation in the data. The cross-domain recommendation system trained by the risk function can well deal with the error information in the training data and be better applied in various real recommendation scenarios. In this paper， the proposed method is compared with several existing recommendation methods on the real data set by using the method of comparative experiment. It is verified that it is difficult to avoid the influence of error label in reality， and the proposed method does have better performance.

Key words： recommender system; new users; cold-start problem; robustness; mutual information

于学军（1972—）：女，北京人，博士，副教授。所属研究所：智能媒体研究所，研究方向是软件工程方法、软件架构以及可信云，可信软件测试等。在多种软件定制开发方面具有较为丰富的经验，作为负责人主持了信息系统开发项目20余项，发表软件开发相关论文30余篇。任应用软件产品质量监督检验中心和中国软件质量网特聘专家、北京市财政局信息系统建设项目财评专家。33207F7F-5A67-453B-9785-0D27C4D9F5DC