深度学习领域研究热点与前沿分析

庄诗梦 王东波

摘要：深度学习源于人工神经网络的研究，是机器学习研究中的一个新领域。以Web of Science数据库中2000-2017年与深度学习相关的文献作为研究对象，运用CiteSpace软件对国家及机构、关键词、突变词、共被引等进行可视化知识图谱分析，对深度学习发展产生重要影响的作者及文献进行分析，并对深度学习研究领域进行热点分析，预测了深度学习研究领域的发展趋势，为深度学习的后续研究提供参考。

关键词：深度学习；CiteSpace；可视化分析

中图分类号：G353.1文献标识码：A

DOI：10.13897/j.cnki.hbkjty.2018.0015

1引言

深度学习作为机器学习的一个全新的领域，能解决许多传统的机器学习无法解决的问题。深度学习的提出，不仅在学术界引起了极大的关注，也受到了不同国家或地区越来越多学者的关注与重视。机器学习领域最大的挑战是如何让机器更好地理解人的意图、感知，而这正是深度学习研究的目标，亦是深度学习研究的意义所在。在深度学习应用拓展方面，如何充分合理地利用深度学习以增强传统学习算法的性能仍是目前各领域的研究重点[1]。

2深度学习的相关概念

机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，从而不断改善自身性能。20世纪80年代，基于BP算法的浅层学习掀起了机器学习的第一次热潮，此后，基于传统的浅层机器学习模型相继被提出。然而，基于传统机器学习模型的浅层学习在训练方法等方面仍无从下手。深度学习的提出掀起了机器学习的第二次热潮，解决了许多浅层学习无法解决的问题。传统机器学习仅含单层非线性变换的浅层学习结构。深度学习是通过一种深层非线性网络结构，实现复杂函数逼近，从而实现特征数据学习。

深度学习的概念最早由机器学习领域的泰斗，多伦多大学G.E.Hinton教授于 2006 年提出[2]。同年，该教授及其学生又提出关于深度学习的观点：含多隐层的人工神经网络具有很优秀的特征学习能力，其对学习所得到的特征数据有更深入的展示，最终得到的网络数据更有利于分类或可视化；深度神经网络在训练其本身网络参数上具有一定的难度，但是这些都可以通过“逐层初始化”来克服，而逐层初始化则可以通过无监督学习来实现[3]。

深度学习源于神经网络的研究，是机器学习的一个全新领域，即通过海量数据用以训练从而构建相关模型来学习特征数据，深度学习能够发现大数据中的复杂结构。深度学习较常用的模型或算法有自动编码器（Autoencoder）、限制波尔兹曼机（Restricted Boltzmann Machine，简称RBM）、深信度网络（Deep Belief Networks，简称DBNs）、卷积神经网络（Convolutional Neural Network，简称CNN）等。

目前，深度学习已逐步应用于人脸识别、手写汉字识别、语音识别、图像分类等多个领域。

3研究工具和数据来源

3.1研究工具

本文利用美国德雷塞尔大学陈超美博士开发的软件CiteSpace来进行知识图谱绘制，并基于图谱进行可视化分析。这是一款主要用于计量和分析科学文献数据的信息可视化软件，可以用来绘制科学和技术领域发展的知识图谱，直观地展现科学知识领域的信息全景，识别某一科学领域中的关键文献、热点研究和前沿方向[4]。本文运用该软件对Web of Science核心合集数据库中深度学习相关文献进行了国家（地区）及机构、关键词、被引共现、突变词等分析，得出了目前国际视野下深度学习的研究热点及发展趋势等相关结论。

3.2数据来源

本文采用的数据来源于ISI的Web of Science核心合集数据库（包括SCIEXPANDED，SSCI，CPCIS，CPCISSH，CCREXPANDED，IC），以“deep learning”为主题进行检索，时间跨度为2000-2017年，题录信息采集日期为2017年3月30日，共检索出12 678条记录，检索出包含美国、中国、英国、澳大利亚等100多个国家或地区的学者的相关文献，大多以英文为主。从检索出来的文献看，与深度学习相关的研究方向主要为计算机科学、工程类、教育教学研究以及神经科学方向。本文将根据检索出的数据作为本研究的样本进行研究及分析，从而得出结论。

4基本数据统计分析

本文选择以Web of Science核心合集数据库中2000-2017年深度学习研究领域相关的英文文献作为研究对象。其中2017年文献还在继续入库中，因此基本数据统计分析部分统计的文献数量截至2016年。2000-2016年英文文献的发表情况绘制曲线如下图1所示。

观察图1可知，深度学习的热度越来越高，学者们对于深度学习的研究越来越重视。随着机器学习及深度学习表现出来的学术价值及其影响力的增大，深度学习相关领域论文发表数量总体呈上升趋势。

2000-2005年，深度学习相关主题英文文献发文量较平均，每年发文量在100-200篇之间，且每年发文数量几乎没有增长；2006-2012年，文献数量呈缓慢增长趋势；从2013年开始，深度学习相关英文文献发文数量急速增长，从2013年的1 000篇增至2016年的3 015篇。从Web of Science核心合集数据库中收录文献数量看，2013-2016年发文数量占2000-2016年发文总数的63.3%，可见，该时段为深度学习领域研究的热潮阶段，随着年份增加，各国学者对深度学习的研究愈发重视，深度学习相关研究成果也越来越多。

5可视化结果及分析

5.1国家（地区）与机构分布

运用CiteSpace软件，绘制国家（地区）与机构可视化图谱进行分析，设置Time Slicing为2000年至2017年，设置2年为一个时间段，节点类型勾选机构及国家，为使节点呈现为100左右，经多次试验将阈值（Top N）设为30。生成的可视化图谱如图2所示。由图可知，共有99个节点，364条连线。一个节点代表一个国家（地区）或机构，而节点的大小则表示了该国家（地区）或机构的发文量多少，節点越大，发文越多，反之越少。连线则表示了两个区域之间的合作关系。由图2可知，各区域分布比较集中，之间的联系也比较紧密。由节点大小可知，美国在深度学习研究领域发文最多为3 931篇，中国位居第二，共发表深度学习英文文献2 325篇，其次则为英国、澳大利亚、德国、加拿大等，这些国家均在深度学习研究领域较为活跃。

由软件统计的中心性来看（见表1），美国的中心性最大，达到了0.74，远远大于其他国家（地区），可见美国在深度学习研究领域的中介作用最明显，且影响力较大，起着深度学习研究的关键性枢纽作用。其次是英国（0.43），虽然英国发文量远远少于中国、美国，但其中心性较高，可见英国在深度学习领域影响力较大，与其他国家的交流较多，中介作用较强。中国发文量居第二，而中心性为0.21，位于英国之后，可见虽然发文量较大，对深度学习的研究较多，但是影响力却不够，深度学习应用拓展方面在未来几年内还会继续深化研究，启示我国在该领域应该加强与各国家及地区间的交流互动，借鉴国外先进研究成果并加以创新，将更多复合型人才引进到深度学习研究中来，丰富深度学习的应用拓展，从而提升学术影响力和国际影响力。

从发文机构来看，发文量为100及以上的机构共有7个，如下表2所示，机构分析可视化结果如图3所示。知识图谱显示共有141个节点，181条连线。节点之间的连线表示各机构之间的联系，可见，各机构之间的交流与联系较多，各机构对于深度学习的研究有相关的交流与借鉴。由表2可知，中国科学院以278的发文量位居第一，紧接着是中外六所大学。总体来看，国际上对于深度学习领域研究的机构大多为高校，可见高校近年来对于深度学习的研究相当重视。在排名前七的机构当中，中国占3位，可见我国各大机构对于深度学习领域的研究相比其他国家的一些机构较为重视并且有适当的成果产出。

5.2研究热点分析

研究热点是某一时期内，有内在联系的、数量相对较多的一组文献共同探讨的科学问题或专题。主题词是对文章主题的高度概括和精炼，对文章的主题词进行分析，频次较高的主题词在一定程度上可以看作是该领域的研究热点[5]。关键词是一篇文献的核心与精髓，它是对文章主题的高度概括与凝练，也是文献计量研究的重要指標[6]。运用CiteSpace软件，对关键词进行共现知识图谱绘制并分析，设置Time Slicing为2000年至2017年，设置2年为一个时间段，节点类型勾选关键词，并选择术语类型为名词短语，将阈值（Top N）设为30，绘制关键词知识图谱进行分析。

生成的热点关键词可视化知识图谱如图4所示，共有139个网络节点，534条连线。关键词节点越大，则说明该关键词被引用频次越高。图4中可见，Deep Learning被引用频次最高，因本次研究的就是深度学习相关领域。表3按中心性高低列出了中心性前十二的关键词，除去个别情况，热点关键词基本遵循频次越高中心性越高的规律。可见，出现频率越高的词汇，其中介作用也比较明显，这些词在深度学习研究领域的作用也较大，对深度学习研究起着举足轻重的作用。

除此之外，综合图表可知，建立模型和执行作为深度学习研究的关键步骤，Model、Performance和Deep Learning频次及中心性最高是显然的。除此之外，对知识图谱及热词表分析可知，在深度学习相关领域较热门的词还有Neural Network（神经网络）、Convolutional Neural Network（卷积神经网络）、Machine Learning（机器学习），因深度学习的概念源于人工神经网络的研究，是机器学习研究中的一个新的领域，而卷积神经网络为2014年深度学习相关的新兴研究领域。此外，深度学习的构建离不开System（系统）、Algorithm（算法）等。根据图和表综合判断，深度学习在Recognition（识别）、Education（教育）、Classification（分类）等领域应用较为广泛。

5.3文献共被引分析

一般来说，高被引文献在一定程度上反映了文献的学术影响力和经典程度，并且，其中的知识常被作为相关研究学者进一步研究的知识基础来源[7]。因此，运用CiteSpace软件，对被引文献进行共现知识图谱绘制并分析高被引文献十分有必要。设置Time Slicing为2000年至2017年，设置2年为一个时间段，主题词来源选择标题、文摘和关键词，节点类型勾选被引文献，将阈值（Top N）设为20，绘制文献共被引图谱进行分析，结果如图5所示。

一篇文章的被引频次高低可以看出该文献在领域中的影响力和地位及他人的认可程度，并为之后的研究提供参考。在Web of Science核心合集数据库中深度学习相关文献被引频次前五位的文章中，Hinton G E为主要作者的文章占三篇，可见该学者在深度学习领域做出了较大的贡献，具有较高地位。他和Yann LeCun、Bengio Yoshua被称为深度学习三巨头。

由图5及表4可知，Bengio Yoshua在2009年发表的文章Learning Deep Architectures for AI[8]是深度学习研究领域2000-2017年被引频次最高的文献，达到609次。该文章主要介绍了人工智能领域的深层构架，讨论了关于深层架构学习算法的动机和原理，特别是那些利用单层模型（如限制玻尔兹曼机器）构建块无监督学习的方法，用于构建深层模型。被引频次位于第二的是Hinton G E等人于2006年发表的文章A Fast Learning Algorithm for Deep Belief Nets[2]。该文章提出了深度信念网（Deep Belief Networks，DBNs）的概念，开启了深度学习的热潮。被引频次位列第三的是Hinton G E博士与Li Deng、Dong Yu、George E. Dahl共同发表的文章——Deep Neural Networks for Acoustic Modeling in Speech Recognition： The Shared Views of Four Research Groups[9]。该文章发表于2012年，总结了四个研究小组关于语音识别中的声学建模深层神经网络的观点。该文章阐述了具有许多隐藏层并且使用新方法训练的深层神经网络（DNN）已被证明在多种语音识别基准上表现优于高斯混合模型（GMM），有时甚至大幅度地增加。这篇文章概述了这一进展情况，并认为更好地并行化深层神经网络模型的微调仍然是一个主要问题。

5.4高被引作者分析

通过对某领域高被引作者的分析，可知对该领域贡献较大、起关键性作用的作者，有助于对该领域发展过程的了解。因此，通过CiteSpace对某领域被引作者及其贡献的分析至关重要。运用CiteSpace软件，设置Time Slicing为2000年至2017年，设置3年为一个时间段，主题词来源选择标题、文摘和关键词，节点类型勾选被引作者，为使图谱节点显示较为聚集，将阈值（Top N）设为10，绘制共被引作者知识图谱如图6所示，共有44个网络节点，105条连线。按照CiteSpace分析结果得被引频率较高及中心性较高的被引作者分别如表5、表6所示。

图谱节点大小由共现频次决定，节点位置由中心度或密度控制，中心度或密度大的节点是核心节点，代表着研究对象受关注的程度、重要性，是联系溝通其他节点的枢纽[10]。由图6可知，（BIGGS J，2003），（LECUN Y，2012），（KRIZHEVSKY A，2012），（HINTON G E，2009）等是较为显著的中心节点，可见这几位作者在深度学习研究领域的枢纽作用较大，由此可推测这几位学者写的文章较为经典，且对深度学习的研究起了举足轻重的作用。此外，节点的颜色与年份有关，由图可知，除去匿名作者以外，高被引作者知识图谱分布根据节点颜色主要分为三块。2000-2002年相关文献作者被引频次较低，此时，深度学习并未兴起；2003年开始，以BIGGS J为代表的学者对深度学习有了初步研究并有相关联系；2009年，HINTON GE、LECUN Y、KRIZHEVSKY A等学者的深度学习相关文献被引频次及中心性较高，代表着这些作家的文献所受关注程度较高且对深度学习的发展起着枢纽作用。

由表5、表6对比可知，频次与中心性并非呈正比关系，甚至可以说，两者并没有关系。频次高的被引作者，中心性不一定高，而中心性较高的被引作者，被引频次也未必很高。有些作者的文虽然被引用较多，但中介作用、影响力并不高。有些作者文章献虽然被引频次不算高，但是其中起的联系沟通作用较大。

简要介绍几位深度学习领域的代表学者及其贡献。Hinton G E和Yann LeCun、Bengio Yoshua被称为深度学习三巨头。结合图6和表5，Hinton G E处于显著位置，且被引用频次位列最高。该作者于2006年最早提出了深度学习的概念，并在同年提出了深度信念网（Deep Belief Networks，DBNs）的概念，开启了深度学习的热潮。LECUN Y（Yann LeCun）是一名计算机科学家，主要研究神经网络，在机器学习、计算机视觉、计算神经科学等方面有巨大成就，以卷积神经网络（CNN）的光学字符识别和计算机视觉工作而闻名，是卷积网络的创始人[11]。BENGIO Y（Yoshua Bengio ）是Montreal大学教授，他的研究工作主要聚焦在高级机器学习方面，致力于用其解决人工智能问题。此外，BIGGS J等人对深度学习和浅层学习进行了对比，对概念进行了阐述并总结了深度学习和浅层学习的特征。这些代表学者都对深度学习的研究做出了巨大的贡献。

合作研究已成为当今科学研究的普遍现象。从深度学习相关文献发文作者来看，发现作者总体合作程度较高，因合作发文质量较高，研究严谨，能互相开拓思路等优点，大多数作者选择了合作发文。在被引频次前五的文献中，仅有一篇由一人独自完成，其余都是在相互合作的基础上完成的，可见合作发文也是当今发文的一种较为普遍的选择方式。构建以论文合著为基础的合作关系网，能够反映实际情况，具有良好的说服力，可行性及结果的可信度大。[12]

5.5突变词分析

通过运用CiteSpace软件对突变词的图谱分析，可以挖掘该领域的研究价值，并为该研究领域的发展趋势及前沿探索提供参考。设置3年为一个时间段，节点类型选择关键词，术语类型设置为名词短语和突变术语，并将阈值（Top N）设为20，最终以时区视图（Timezone）方式显示突变词知识图谱如图7，并将专业术语突变词总结归纳得下表7。

通过图表可以明显看出，2000—2005年期间，深度学习并未兴起，还处于一个萌芽阶段，而神经网络（neural network）、模型（model）、系统（system）等词的突现，为之后深度学习概念的出现及其发展研究奠定了基础，因深度学习概念源于神经网络；而到了2006—2011年，深度学习逐步兴起，步入了一个全新领域的初始阶段，处于该领域的探索阶段，并逐渐转向知识（knowledge）、高等教育（high education）层面的研究，2009年，深度学习（deep learning）作为该时期的突变词“爆发”，学者们开始更多着手研究深度学习的战略（strategy）与动机（motivation），并逐步实现深度学习的算法（algorithm）探索，步入了机器学习（machine learning）的全新领域；深度学习的高潮阶段可概括为2012年—2017年，该阶段更倾向于深度学习的进一步探索与应用拓展层面，许多学者相继提出了新的算法模型，如卷积神经网络（convolutional neural network）、深层神经网络（deep neural network）、deep belief network（深层信念网络）等，并将深度学习聚焦应用于图像（image）物体分类（classification）、图像（image）分割（segmentation）处理、识别等不同层面。可见，深度学习领域仍处于快速发展并逐渐步入应用拓展阶段，可以预见之后深度学习研究领域将会有更加快速、便捷、合适的算法，应及时关注实践中的应用效果。

6结语

浅层学习到深度学习的过渡是机器学习的全新浪潮，深度学习的提出及兴起势必对机器学习发展产生重大影响。本文以Web of Science核心合集数据库中2000-2017年与深度学习相关的文献作为研究对象，运用CiteSpace软件对国家（地区）及机构、关键词、被引共现、突变词等进行可视化分析，生成可视化知识图谱，展现了深度学习研究的总体概况，并对该领域进行了相关热点与前沿的分析。进一步分析结论如下：

（1）随着机器学习及深度学习表现出来的学术价值及其影响力的增大，深度学习国际领域发文量总体呈上升趋势。从2006年提出深度学习概念开始，国际上在深度学习相关研究领域的发文数量开始缓慢上升，并在2013年开始急速增长，可以说达到了深度学习研究的热潮。

（2）在国际领域，从2000年开始，美国成为该领域发文量最高的国家，中国紧随其后，但中国在该领域的研究中介作用和影响力明显没有美国、英国强，启示我国在该领域应加强与国际的交流与合作，在借鉴国外先进研究成果基础上加以创新，将更多复合型人才引进到深度学习研究中来，提升国际影响力。

（3）通过关键词热点分析，可知深度学习源于人工神经网络的研究，卷积神经网络为2014年深度学习相关的新兴研究领域。此外，深度学习的构建离不开系统与算法等，深度学习在识别、教育、图像分割等领域的应用较多。

（4）对Web of Science核心合集数据库中深度学习相关文献进行高被引作者分析，HINTON G E、LECUN Y、KRIZHEVSKY A等学者的深度学习相关文献所受关注程度较高且对深度学习的发展起着枢纽作用。

（5）国际上对深度学习的研究大致可以分为萌芽阶段（2000年—2005年）、初始阶段（2006年—2011年）和热潮阶段（2012年—2017年）三个阶段。萌芽时期比较平静，主要是为之后的深度学习概念的提出奠定基础；初始阶段主要为前期探索过程，逐步摸索深度学习的战略、动机及算法的实现，慢慢步入了机器学习的全新领域；热潮阶段倾向于深度学习的进一步探索与应用拓展层面，许多学者提出了新的算法模型，并关注实践中的应用效果为之后的深度学习研究提供建设性参考价值，在接下来的时段仍具有发展潜能及巨大的发展空间。

不过，本次研究仍存在一些不确定因素。笔者认为最重要的一个原因是只选择了一个数据库中的数据，这也是本研究一个最大的局限性，之后可以增加数据库来源，使呈现的结果更加系统，更具说服力。其次，本文并未对发表在国内的深度学习相关文献进行分析，分析所得的我国与国际研究实况对比可能缺少说服力，之后可以通过国内文献的分析，从而对我国的深度学习研究提出建设性建议。

深度学习作为机器学习的一个新的领域，势必会对机器学习及人工智能系统产生影响，国际上对于深度学习的研究虽然仍处于发展阶段，但其越来越受到不同国家学者的关注与重视，且仍有许多方面等待研究与挖掘。随着理论的完善及算法的开发，深度学习正逐步步入应用拓展阶段，信息化下的深度学习也将成为新的发展趋势，接下来的几年里深度学习势必达到一个新的高峰。

参考文献

[1]孙志军，薛磊，许阳明，等. 深度学习研究综述[J]. 计算机应用研究，2012，29（8）：2806-2810.

[2]Hinton G E，Osindero S，Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，18（7）：1527.

[3]韩小虎，徐鹏，韩森森，等. 深度学习理论综述[J].计算机时代，2016，（6）：107-110.

[4]侯剑华，胡志刚. CiteSpace软件应用研究的回顾与展望[J].现代情报，2013，33（4）：99-103.

[5]赵蓉英，徐灿. 信息服务领域研究热点与前沿的可视化分析[J]. 情报科学，2013，（12）：9-14.

[6]刘青，阮志红，张俊峰. 基于CiteSpace的深度学习研究热点与趋势分析[J]. 软件导刊：教育技术，2016，15（9）：3-5.

[7]劉贵玉. 基于CitespaceⅢ的国际图情领域关联数据研究可视化分析[J]. 农业图书情报学刊，2014，26（6）：67-73.

[8]Bengio Y. Learning Deep Architectures for AI[J]. Foundations & Trends in Machine Learning，2009，2（1）：1-127.

[9]Hinton G，Deng L，Yu D，et al. Deep Neural Networks for Acoustic Modeling in Speech Recognition： The Shared Views of Four Research Groups[J]. IEEE Signal Processing Magazine，2012，29（6）：82-97.

[10]张璇，苏楠，杨红岗，等. 2000-2011年国际电子政务的知识图谱研究——基于Citespace和VOSviewer的计量分析[J].情报杂志，2012，（12）：51-57.

[11]Haykin S， Kosko B. GradientBased Learning Applied to Document Recognition[D].WileyIEEE Press，

2009.

[12]邱均平，伍超. 基于社会网络分析的国内计量学作者合作关系研究[J]. 图书情报知识，2011，（6）：12-17.

作者简介：庄诗梦（1995-），女，南京农业大学信息科技学院本科在读，研究方向：信息计量。

王东波（19-），男，南京农业大学领域知识关联研究中心。

（收稿日期：20170916责任编辑：张静茹）

Abstract： The indepth learning originated in the study of artificial neural network，which is a new field of machine learning research. This paper takes indepth learning relevant literature from 2000 to 2017 from Web of Science database as research object. By employing the CiteSpace software， a visual knowledge map analysis of states and institutions， keywords， burst terms and cocitation is conducted. Analysis of Authors and literature that have important influence on the development of indepth learning and hotspot analysis on indepth learning research field are carried out. In addition， this paper predicts the development trend of indepth learning research and provides reference for further study of indepth learning

Key words： Indepth Learning； CiteSpace； Quantitative Analysis