基于深度学习的视频电商智能推荐与AI识别关键技术研究

童谣

摘要：随着电子商务网站和在线视频播放平台的发展，视频电商已经成为电子商务公司和在线视频播放平台的核心发展业务。视频电商可以扩展现有电子商务公司的业务范围。其次视频电商也可以帮助视频播放平台将视频观看流量转化为商业收益。为解决流量转化率低、成交率低、电商直播场景粗糙以及用户体验较差的难题，需要极致的高清视频配置，对商品进行更多细节展示，电商直播场景打造得更加逼真。本文研究了基于深度学习（Deep Learning）、统计学习和强化学习的针对在线视频电商平台应用的关键技术和算法。运用人工智能（Artificial Intelligence）AI技术实现智能推荐、智能识别与精准匹配等功能，在语音和图像识别方面取得卓越成效，使机器模仿视听和思考等人类的活动，解决了视频电商应用领域很多复杂的模式识别难题，使得人工智能相关技术在视频电商应用方面取得了很大进步，本文主要研究对象是针对在线视频广告推荐任务来开展，结合多种关键技术发明了一个名为Video eCommerce ++的在线视频广告推荐系统，从视频匹配推荐关键技术、视频超链接预测、自动通用属性识别三个方面进行举例说明，以期为电子商务行业和AI行业科研人员提供有价值的参考。

关键词：视频电商;深度学习;智能推荐;AI识别;视频超链接预测;

1前言

随着人工智能（Artificial Intelligence）的发展，越来越多的基于深度学习（DL， Deep Learning）、统计学习和强化学习的新方法被广泛地用来提高现有的识别、检索和推荐系统的性能。在这样的时代背景下，本文主要研究了基于深度学习、统计学习和强化学习技术的视频电商关键应用技术。这一系列的研究成果将直接为视频电商业务平台的建设和发展提供理论与系统支持[1]。随着AR、VR等黑科技在电商直播场景中的广泛应用，直播电商对于底层技术的要求也会越来越高。在未来，那些能够为消费者提供低延时直播的观看服务、高清的视觉享受和安全的购物体验的直播电商终将脱颖而出，赢得市场的青睐。

2 视频匹配推荐关键技术

2.1 在线视频广告推荐

商品广告可以帮助用户了解到商品的具体信息。不同于传统电子商务平台的广告推荐，在线视频广告推荐旨在帮助用户能在观看视频的同时浏览到符合其购物兴趣的商品广告。在线视频广告推荐需要同时考虑用户、商品和视频及其相互之间的关系，并解决传统商品广告检索和推荐系统所普遍存在的冷启动和数据稀疏等经典问题。除此以外，在线视频广告推荐还需要通过分析视频的内容来决定合适的广告插入点，进而减少对用户观看体验的干扰。同时为了能够对海量用户的在线行为作出实时响应，大规模在线视频广告推荐系统还需要实时地完成模型的训练和测试[2]。

2.2 视频衣物精确匹配

不同于传统的基于街拍图像的相似性衣物匹配系统，在线视频衣物精确系统旨在帮助用户在观看视频的同时可以精确地购买到视频中出现的明星同款。在线视频衣物精确匹配系统必须同时解决[3]：（1）电商网站衣物图像的复杂背景及各种噪声（例如：形变、扭曲和遮挡），（2）在线视频播放平台中的衣物序列的动态变化（例如：多视角）。除此以外，在线视频衣物精确匹配系统还需要分析视频衣物序列，来决定最佳的衣物匹配结果插入点，进而减少对用户观看体验的干扰。同时为了能够实时解决海量衣物的精确匹配，大规模在线视频衣物精确匹配系统还需要实时地完成模型的训练和测试。综上所述，本文认为大规模在线视频衣物精确匹配任务是一个极具商业价值和学术意义的研究课题[4]。

2.3 视频超链接预测

和网页超链接相类似，视频超链接旨在帮助用户浏览在线视频。不同于网页超链接，视频超链接还必须要考虑用户、视频及其之间的相互关系。系统推荐的视频超链接必须同时满足流行性、确定性和多样性。其中流行性可以保证推荐的视频链接可以包含足够多的话题和内容。确定性可以保证推荐的视频超链接能够对当前浏览的视频提供清晰和明确的补充说明。

2.4 自动通用属性识别

在计算机视觉和多媒体研究领域，属性识别被公认为是检索、匹配和推荐等系统的基础。属性识别模型可以对输入图像得到其所包含的语义信息。不同于传统的属性识别方法需要人为设计属性识别网络和解决不同属性集合之间的迁移问题，本文研究的自动通用属性识别模型旨在自动设计属性识别网络和迁移不同的属性集合[5]。

针对这些问题，如图1所示，本文提出了一个名叫Video eCommercet+的大規模在线视频广告推荐系统。该系统可以将电子商务网站的商品广告推荐给视频播放平台的用户。其中的商品是来自阿里巴巴集团旗下的最大的B2C在线零售平台天猫商城的10亿个商品广告。视频则是来是阿里巴巴集团旗下的天猫魔盒的8000部电影、2600部电视剧、2100个娱乐节目和25000个教育节目。该系统的设计目标是在语义相关的视

系统的业务流程频关键帧中向不同的用户展示符合其购物个性化需求的商品广告。据本文所知，Video ecommercet+是第一个在线大规模视频广告推荐系统。该系统可以综合考虑用户、视频和商品之间相互关联。

3 Video eCommercet+系统框架及预处理步骤

3.1 系统框架概述

木章提出了一个名为Videoe Commercet+的大规模在线视频广告推荐系统，其框架图如图2所示。

首先该系统对视频和商品进行预处理。在视频结构分析之后，视频被表示为一组关键帧的集合。通过在关键帧中进行物体检测和场景分类，该系统获得视频关键帧的视觉和语义信息。于此同时，该系统也对商品做了类似的预处理，以获得商品的视觉和语义信息。在处理步骤之后，该系统利用双因素回归模型（Incremental Co-Relation Regression，ICRR），用户购物兴趣挖掘模型（User Preference Diffusion，UPD）和视频场景重要度排序模型（Video Scene Importance Model，VSIM）来分别得到用户、视频和商品之间关联关系。

3.2视频和商品预处理

对视频进行结构化分析。该方法比较连续视频帧之间的变化，可以大致确定视频的镜头分布。每个镜头将包含最多视觉信息的视频帧作为镜头的关键帧。这里规定每个镜头只含有一个关键帧。这样做的好处是，保证广告推荐点的稀疏性，从而尽减少对用户观看体验的影响。最终经过视频结构化分析，本章可以将视频表示成为一组关键帧集合。

在物体检测预处理中，因为需要支持海量的商品和视频，所以无法对视频关键帧中的所有的物体都标注检测框。为了解决这一问题、本章采用文献[7]提出的自适应大规模物体检测框架。不同于传统的方法需要标注所有被检测物体的检测框，该方法可以只需要标注视频帧中含有的物体类别。这里本章利用了原作者提供的预训练模型在170个常见商品类目中对预训练模型进行微调。微调后的检测模型可以有效地支持170个常见的商品类目，这些类目包含服装、家具和电器等常用商品[6][7]。

3.4 用户购物兴趣挖掘模型

本节介绍了用户购物兴趣挖掘模型（User Preference Diffusion，UPD）。受之前工作182的启发，本章利用了异构信息网络中的元路径来得到用户对于商品的购物兴趣偏好。在介绍UPD模型之前，本小节将先介绍异构信息网络和元路径的定义。

3.5 用户购物兴趣挖掘模型融合参数分析

本小节将详细分析用户购物兴趣挖掘模型（UPD）模型中的元路径融合参数。首先实验按照视频类别，将数据集分为电影、电视和综艺，来探究不同种类视频的元路径融合参数。其次按照视频的上传时间，实验将视频按照上传时间为三个子数据集，即2015-11，2015-12和2016-01，来探究元路径融合参数对于时间变化。其中按照时间划分的三个子数据集的视频数量大致相同。同时为了保证实验结果的准确性，在天猫魔盒平台边看边买项目中一共采集了十组用户（每组400人）来进行交叉验证。

分布式实现。在实际系统实现中，Videoe Commerce会把双因素回归模型（ICRR）的结果输入了到这些用来对照的检索或推荐系统中，从而获得最终的广告推荐结果。

图4显示了Videoe Commercet+系统和其他对照方法的对比结果。总的来说，Videoe Commercet+在所有指标上都优于其他的对照方法。这一结果充分说明了该方法的有效性。其次我们发现三种推荐模型比三种检索模型都取得了更好的结果。系统推荐结果示例如下图5所示

结论

随着电子商务网站和在线视频播放平台的发展，视频电商已经成为电子商务公司和在线视频播放平台的核心发展业务。视频电商可以扩展现有电子商务公司的业务范围。其次视频电商也可以帮助视频播放平台将视频观看流量转化为商业收益。在这样的时代背景下，本文研究了基于深度学习、统计学习和强化学习的针对在线视频电商平台应用的关键技术和算法。其主要研究工作包括：针对在线视频广告推荐任务，本文提出了一个名为Video eCommerce ++的在线视频广告推荐系统。

参考文献：

[1]付云.2011，电商与视频的协奏曲[J].互联网周刊（22）：19.

[2]黄升民，刘珊.2011.三网融合下“全媒体营销”建构[J].现代传播（中国传媒大学学报），（02）：1-8.

[3]黄升民，周艳，龙思薇2013，八问OTT-OTTTV对电视产业的影响和对策解析[J.现代传播（中国传媒大学学报），（10）

[4]韩溢.2014.视频与电商合一，距离品效双赢还有多远？[J].成功营销，（12）：18-19.

[5]高森宇.2015？社会化网络中“粉丝经济”的营销分析J.现代传播（中国传媒大学学报），（10）：118-121.

[6]康瑾.2015，原生廣告的概念、属性与问题[J].现代传播（中国传媒大学学报），（03）：112118.

[7]孔清溪.2009，隐性与显性的优势互补-内容营销与传统广告的全方位解析[J.广告大观（理论版），（02）：17-20

[8]李蕾.2014，内容营销理论评述与模式分析[J].东南传播，（07）：136-139.[29]林雍，王兴华.2016，探析网络视频的产业化发展-以爱奇艺为例[J].今传媒，（05）

[9]彭兰.2015，场景：移动时代媒体的新要素[J].新闻记者，（03）：20-27.