人工智能时代的互联网广告：基于深度学习技术的广告推荐系统

林晓颖

（上海杉达学，上海 201209）

自20 世纪90 年代以来，互联网广告发展势头迅猛。根据“2018 年中国网络市场年度监测报告”，2017 年中国网络广告市场规模达到3750.1 亿元，同比增长32.9%。其中，移动广告市场达到2549.6 亿元，是绝对的市场主流；电子商务网站的广告份额超过30%，超过搜索广告。以信息流广告为主要形式的原生广告发展迅猛，其总规模达到688.8 亿元，占网络广告总量的18.4%。

在信息爆炸的时代，为了减轻信息过载给人们带来的选择等方面困惑，推荐系统应运而生，在电子商务、信息分发、项目建议、搜索引擎、网络新闻和社交媒体中等领域广泛应用，在为人们的生活带来极大便利的同时，也促进了经济的快速发展。Overstock 是美国著名的在线零售商，该公司声称，在初步采用个性化广告推荐系统后，“广告点击率是以前的两倍，销售增长也高达20%至30%”的惊人成果。有调查表明：亚马逊的总销售额中的35%来自系统推荐；YouTube 上60%的视频点击来自于主页推荐；Netflix 观看的电影中有80%来自公司的推荐系统；早在2012 年，谷歌就通过广告推荐系统获得了420 亿美元的收入; 百度和淘宝的广告推荐系统每年可为公司带来超过100 亿元的收入;今日头条于2012年创建，之所以能够在短短几年之内迅速发展起来，推荐系统同样功不可没。

一、广告推荐系统：人工智能时代的广告投放

广告投放是为了使广告与受众群体的需求相匹配。由于受众需求的多样性，如何准确地分割受众的需求是广告要解决的关键问题。在传统媒体投放广告，广告主只能通过媒体的种类、版面、频道的不同来间接地推断受众的需求，如在汽车杂志刊登奔驰轿车的广告，在肥皂剧前播放女性洗护用品广告。然而，这样的广告投放的方式存在着精准率不高的问题：同一媒体有数千万名受众，但却面临相同的广告。但是，随着计算机技术的发展，特别是人工智能技术的发展和成熟，互联网广告具备了解决投放不够精准这一难题的能力，把广告信息在合适的场景投放给恰当的用户。

广告推荐系统主要是根据用户的需求、兴趣喜好、购买特点等方面，模拟销售人员向用户提供项目（包括商品、图片、新闻等）信息和建议，帮助用户决定应该选择或购买何种项目，在流量高效利用、信息高效分发、提升用户体验、长尾物品挖掘等方面均起着核心作用。传统的推荐系统主要使用最近邻法、协同过滤、基于内容和多种组合等方法进行推荐，主要是对用户与项目的显性反馈（如购买、评级或评论）进行建模，对复杂的隐性反馈（如浏览记录、观看广告视频、点击查看）却涉及很少，存在数据稀疏、冷启动等推荐效果不佳、用户体验较差的问题。

人工智能（AI）已成为一个具有许多实际应用和活跃研究课题的领域，并且正在蓬勃发展。智能系统可以自动处理日常劳动，理解语音或图像，帮助医疗诊断，并支持基础科学研究。近年来，深度学习一直是人工智能领域最受推崇的技术。深度学习是一种通过多层神经网络提取低级简单特征以形成高级抽象和难以改变的特征的技术。基于深度推荐的广告推荐系统可以由神经网络结构（主要由输入层，若干隐藏层和输出层组成。每层有几个神经元，神经元之间有连接权重。每个神经元模仿人类神经细胞，节点之间的连接模仿神经细胞之间的联系）和非线性激发函数，自动学习用户与项目（包括商品、新闻、视频、音乐等）特征之间复杂的组合关系，解决了传统推荐系统中需要人工设计特征的问题，技能提高效率，同时也更准确地提出个性化建议。继谷歌、亚马逊、Facebook 和Twitter 等互联网巨头之后，阿里巴巴、腾讯、百度和京东也都建立了自己的人工智能研究机构。

二、深度学习技术对互联网广告的影响

1、广告点击率预测更精准

搜索引擎广告（SEA）是指广告商基于其产品或服务的特征，确定产品的相关关键字词、标题或产品说明，并自行出价和投放的广告。当用户搜索的内容与广告商购买的关键字词相关时，广告媒体将在搜索结果页面上显示其广告，用户在点击后，根据收费规则向广告商收费。支持搜索引擎广告的最关键性的技术是预测广告的点击率。随着互联网推荐系统技术的发展，基于人工智能技术的精准广告已成为网络广告推荐的主流趋势。广告主首先要评估用户对广告的喜好程度，然后向广告平台进行程序化购买和投放搜索引擎广告。此时，广告的点击率就成了评估用户喜好的一个关键指标。

过去，评估点击率的技术主要有两种，一种是设计特征提取方案以获取特征，第二种是建模用户点击行为。由于广告数据具有高维稀疏性的特点，并且各种特征之间存在高度非线性关系，因此以前的技术方案存在许多缺点，比如，不能有效地降低数据的稀疏性，找不到广告数据中的隐藏规则。深度学习技术则可以解决这一难题，通过刻画数据中的非线性关联，来解决高维稀疏广告数据的特征学习问题。有学者已经进行了基于特征学习的广告点击率预测技术的相关研究，并从实验的角度研究了基于深度学习的特征学习方法。实验先是分析了输入层的特征构成，并结合栈式自编码网络算法学习特征之间的高阶组合特征，作为点击预估模型的训练对象。实验结果验证了该方法可以有效提高广告点击率的估计准确率。

2、推荐内容更精准

深度学习能直接从大规模数据集中提取用户和待推荐项目之间复杂依赖和非线性关系，达到更精准推荐的效果。YouTube 是全球创建、分享和发现视频内容的最大平台，全球用户已超过10 亿，每秒上传的视频长度以小时计。YouTube的推荐系统负责及时准确地向用户推荐他们可能感兴趣的视频，使其成为世界上最大、最复杂的推荐系统之一。传统的推荐算法无法及时分析YouTube 量级视频，并且无法为独立用户准确地提出建议。YouTube 的工程师们把多层感知机（multilayer perceptron，MLP）应用到YouTube 推荐上。相比其他商业推荐系统，该系统需要处理超大数据量、视频库不断更新变化以及用户行为的不可观测性等问题。整个模型的深层网络配置可能需要学习数十亿个参数，并需要使用数千亿个数据进行培训。这个系统由两个神经网络组成：第一个从所有的视频库中检索产生宽泛的针对用户的个性化推荐候选视频集；第二个基于候选视频集（不局限第一个神经网络的输出，还可以使用其他来源产生的候选视频）进行精细的区分、细化、排序，将排名靠前的视频推荐给用户。实际的线上效果显示，YouTube 基于深度学习的推荐系统完全可以胜任实时处理海量（百万量级）视频，且将个性化的或有吸引力的视频推荐给用户的任务，整个过程仅耗时几十微秒。

3、提升推荐的个性化效果

深度学习技术可从不同的异构数据源（例如文本，图像，音乐，视频等非结构化数据）获取有用数据，有效提升了个性化效果。在社交媒体中，为了提升用户体验，方便用户编辑、组织、归类和搜索图片及音视频等资源，通常是通过为资源标记相关标签完成的。由于标签代表了用户对其资源的理解角度，因此用户的推荐标签列表实际上是一个包含其“最喜爱”关键字的个性化列表。人们通常选择与内容或上下文相关的词语，如地点或时间来注释图像。传统的大多数图像标签推荐系统并不考虑上传图像提供的附加信息，而仅仅依赖文字信息，或者利用简单的低级图像特征（基于用户、建议在项目与标签之间的关系之间，或仅基于标签的相关信息）。对于没有历史信息的新图像，传统的依据个性化标签推荐的效率并不高。基于深度学习的图像标签推荐系统可以使用在图像识别和分类领域表现优异的卷积神经网络，以监督学习的方式从图像中获得视觉特征。实验数据表明，与使用传统方法表示的视觉特征，或者仅基于标记历史信息的最先进的个性化标签推荐模型相比，以这种方式选择的图像特征进行推荐将大大提高推荐的精准度。

在推荐系统中经常需要处理各种文本类数据，例如商品描述、新闻资讯、用户留言等等。相比结构化信息（例如商品的属性等），文本类数据的特点有：第一，结构化信息量非常少，信息量也具有不确定。例如不同用户对同一件商品的描述可能在用词、文本长短等方面差异很大。第二，信息虽然及时，但易引起歧义，自动化分析难度较大。在一些新名词、新事物出现之后，微博、朋友圈通常是最先能够反映出变化的地方，而这些大多都是纯文本数据。对这些数据的分析能够最快得到结构化、预定义数据无法得到的信息。

腾讯效果广告平台部使用基于词嵌入（word embedding）的一系列神经语言模型（Neural Language Model，NLM）与神经网络，通过提取用户语义特征（用户的搜索、购物、浏览记录等文本描述）与广告语义特征，如广告标题、登录页面（landing page）等文本描述进行语义匹配，从而达到个性化推荐的目的。文本语义模型被广泛应用于腾讯的各项业务中，如文本语义理解、QQ 群推荐、用户业务兴趣挖掘，类似用户扩展，广告点击率和转换率的预估等，均取得了不错的效果和业绩。

4、提升用户体验

深度学习可利用上下文信息针对不同的场景、用户的位置等调整待推荐的服务、产品，提升用户体验。以美团为例，作为中国最大的生活服务平台，其业务涵盖吃、喝、玩、乐、行等领域，拥有数亿用户和大量用户行为。由于自身业务的多样性，美团点评的推荐系统与其他大部分推荐系统有很大不同：第一是业务形态多样性。除了向用户推荐商户外，还可以根据用户所在的不同场景做出实时判断，以便推荐不同形式的业务，如团购、酒店、景点以及霸王餐等。第二是用户消费场景多样性。若用户在家，可以选择外卖服务。若用户在外地，可以购物或旅行消费，如预定酒店。随着用户的兴趣、位置、环境、时间的变化，推荐的场景可能会发生变化。

根据谷歌于2016 年提出的广泛深度学习模型，美团的技术团队根据自身业务的需求和特点开发了一套点评推荐系统。在该系统中，将应用场景的数据分为以下几类：第一类是用户画像：性别、所在地、价格偏好、项目偏好等;第二类是项目画像：商家、外卖、团单等多种项目。其中，商家特征包括商家价格、商家的好评率以及商家地理位置等，外卖特征包括平均价格、交货时间和外卖销售量等。第三类是场景画像：用户的当前位置、时间、位置附近的商圈以及基于用户的上下文场景信息等。实验结果表明，与之前使用的推荐系统相比，该系统的准确度提高了2.96%。同时也会根据当前场景推荐一些更有新颖性的项目，更好的提高了用户体验效果。

三、结论及展望

大数据时代，数据量的增加对现实应用提出了挑战。事实证明，深度学习在大数据分析中非常有效，但在调整参数和优化模型方面也存在问题。另外，目前大多数基于深度学习的广告推荐系统关注的都是推荐的精准性和个性化，但只关注这点还明显不够。除了准确性之外，其他的评估标准，例如多样性、新颖性、惊喜度、隐私保护以及可解释性等，同样重要。通过鼓励多样性、新颖性和惊喜度，推荐系统为意图没有明确定义的客户带来更多价值;增加隐私保护，提高客户的信任度将减少用户的顾虑，并让他们更自由地使用他们感兴趣的项目;良好的可解释性为每条建议提供了证据，为用户显示了更可靠的结果。未来基于深度学习的广告推荐系统为了给用户提供更好的用户体验，不仅要对历史数据精确建模，还应该探索以下几方面问题：（1）非平稳流数据的增量学习，例如突然大量的涌入的用户或者项目；（2）高维张量和多媒体数据源的计算效率；（3）通过不同模型的广泛结合，充分挖掘深度学习在广告推荐系统的其他评估尺度上的运用。另外，也有广告专家学者从伦理方面对基于人工智能的推荐系统提出批评，认为人工智能主导下的精准推送对不匹配消费场景的个人不予推送，这其实是一种歧视。