国内深度学习领域研究进展与热点分析——基于CiteSpace 与VOSviewer 的综合应用

（山东科技大学计算机科学与工程学院，山东青岛 266590）

0 引言

2016 年，谷歌Alpha Go 在世界围棋竞赛中战胜专业棋手，引发人们对人工智能的激烈探讨，同年，“人工智能”一词写入中国“十三五”规划纲要，各大互联网公司也纷纷加大对人工智能领域的投入，自此人工智能进入高速发展阶段。深度学习是人工智能的重点研究领域之一，其原理是建立模型模拟人类大脑神经结构，主要涉及神经网络的发展与应用［1］。1958 年，第一代神经网络单层感知器由Rosenblatt［2］提出，在此后的近半个世纪中，由于相关技术的落后，尤其在各种浅层机器学习模型相继被提出后，神经网络的研究被搁置［3］。2006 年，Hinton 等［4-5］对神经网络的数据高维度以及梯度消失等问题展开研究，此后深度学习进入快速发展期。近年来，深度学习引起越来越多人的关注，该领域论文发表量逐年增加，研究人员难以从众多文献中把握领域研究热点及前沿。因此，对国内深度学习领域研究热点及前沿进行分析，以期为研究人员的深度学习理论及具体应用研究提供参考。

在国内深度学习研究领域，研究人员从深度学习主流模型及其应用入手，论述了深度学习研究进展及未来发展方向。如孙志军等［6］论述深度学习的兴起渊源，介绍了主流学习算法及应用现状；尹宝才等［1］依据数据流向对具有代表性的深度学习算法进行归纳总结，具体论述了各种深度网络的结构及特点；张军阳等［7］梳理深度学习模型架构及优化技巧，对比分析主流的深度学习软件工具及硬件加速技术；谭笑枫等［8］在简述深度学习研究历史的基础上，重点介绍了卷积神经网络等经典算法及其应用；张海等［9］利用2006-2019 年WOS 数据库中深度学习领域的计算机和教育相关研究文献进行知识图谱分析，提出深度学习的3个主要研究热点。本文旨在综合运用CiteSpace 和VOS⁃viewer 软件对2005-2019 年国内深度学习领域期刊文献进行知识图谱分析，以得到深度学习领域研究热点与前沿，使研究人员能更好地了解当前国内深度学习领域发展状况，并把握未来发展方向。

1 数据来源与研究方法

1.1 数据来源

本文采用的数据来源为中国知网（CNKI）期刊库，在“高级检索”中按以下条件进行文献搜索，选择“期刊”文献，主题为“深度学习”，检索时间段为2005-2019 年，期刊来源类别设置为“核心期刊”。检索时间为2020 年5 月12日，共检索得到4 643 条文献。手动对文献进行筛选，剔除与研究主题无关的文献及重复文献，最终得到4 633 条文献。将文献下载保存为refworks 文献题录格式，并以down⁃load_x.txt 格式保存为文本文档，分别导入CiteSpace 和VOSviewer 软件进行数据分析。

1.2 研究方法

在科学计量领域，CiteSpace 和VOSviewer 是两种被研究人员广泛使用的可视化软件。CiteSpace 是由美国德雷赛尔大学计算与信息学院陈超美［10］开发的文献可视化软件，VOSviewer 是由荷兰莱顿大学科学技术研究中心的Van 等［11］开发的文献可视化软件，两者都是基于Java 环境的免费软件，具有操作简便、功能强大等优点［12］。同时，两者又各有特点，CiteSpace 是通过年轮图表示各主题之间的联系强弱，其中年轮大小表示研究主题的研究频次，连线粗细表示研究主题之间的关联强弱；VOSviewer 主要是以距离、密度情况表示聚类关系，可以清晰显示各聚类簇中的关键词［13］。

关键词是对文献的核心概括，能囊括文献的研究方向及研究重点。本文综合运用CiteSpace5.6 和VOSviewer 对深度学习相关文献中的关键词进行可视化分析，以得到国内深度学习研究进展、研究热点及前沿趋势。将下载的文献题录导入CiteSpace 软件进行格式转换、文献去重，设置时间切片为1，节点（Node Types）选择关键词（Keyword），阈值设置为TOP50，剪切方式选择路径搜索算法（Pathfind⁃er），以及路径网络简化（Pruning Sliced Networks）和合并网络简化（Pruning the Merged Network），分别绘制关键词时区视图和关键词共现图谱。同样将文献数据导入VOSviewer软件中，设置单个关键词最少出现次数为25 次，得到114个关键词，生成关键词共现权重视图，以展示关键词之间的聚类关系。

2 研究结果与综合分析

2.1 关键词时区图谱分析

通过对关键词进行聚类分析，可得到深度学习领域的研究主题情况。为清晰得到深度学习领域各研究主题出现时间及演进过程，将关键词共现图谱按照时间进行排布，生成关键词时区图谱（Time Zone），从而得到各时间段内热点主题分布情况。如图1 所示，在关键词时区图谱中，每一个纵轴对应一个时间段，关键词所在时间轴为该关键词首次出现时间，关键词节点大小代表该关键词出现频次高低，关键词之间连线代表两个关键词共同出现的情况。

Fig.1 Keyword time zone map based on CiteSpace图1 基于CiteSpace 的关键词时区图谱

由图1 可知，深度学习领域的研究主题逐年增多，且不断演变，可大致将其划分为以下两个阶段：

（1）2005-2014 年，该阶段研究主题比较分散，各关键词出现频次较低，以至于看似是一段空白时期，说明该阶段对深度学习的研究较少且分散，未形成较为集中的研究主题。

（2）2014 年至今，是研究主题的主要增长阶段。在此阶段，通过卷积神经网络、计算机视觉、图像处理、图像分类等高频关键词，可知卷积神经网络在计算机视觉领域的相关应用最早受到研究人员关注，特征提取、机器学习和支持向量机等高频关键词表明机器学习及其相关模型也是研究热点。随后研究人员开始探索深度学习模型在故障诊断方面的应用，同时开始研究利用迁移学习解决深度学习模型训练用时长、需要大量数据、对计算机硬件要求高等问题。循环神经网络等高频词的出现说明深度学习模型开始应用于自然语言处理领域。2014 年至今，各时间段研究主题之间连线密集，说明深度学习领域各研究主题关联密切，深度学习模型在不断创新改进，应用领域也逐渐细化。

2.2 突变词检测图谱分析

突变词检测用于检测在某些年份出现频次骤增的词语，无论是高频词或低频词，频次增长率在某些年份突然增加的关键词更有可能体现领域局部热点变化，可代表该领域研究前沿［14］。本文利用CiteSpace 软件中的突变算法对2005-2019 年深度学习领域关键词进行突变检测，选择根据突变词年代分布对24 个突变关键词进行排序，如图2所示。其中，Strength 列表示关键词突变强度，强度越大，表示该关键词在突变时间段内出现频次越高，Begin 和End列分别代表关键词突变的开始及结束时间，其形成的时间段为该关键词成为热点前沿的时间。

Fig.2 CiteSpace-based mutation word detection map图2 基于CiteSpace 的突变词检测图谱

与图1 中显示的2015 年以来深度学习模型在图像处理、目标检测及故障诊断等方面的广泛应用相对应，图2具体显示应用中涉及到哪些关键技术为当年研究前沿。稀疏编码、受限玻尔兹曼机和稀疏表示主要应用于图像处理领域。人类视觉信息处理系统可看作一种高效的图像处理系统［15］，其采用稀疏编码策略，因此改进受限玻尔兹曼机使其能学习输入信号的稀疏表示，从而可将其更有效地应用于图像处理中。粒子滤波是应用于目标检测跟踪的主要算法，针对粒子滤波算法存在的问题提出各种改进方法，有利于提高目标检测跟踪精度与实时性。深度置信网络是用于故障诊断的主要模型，也广泛应用于人脸识别、语音识别、图像识别等领域，至今仍是深度学习领域的研究热点。

2.3 关键词共现权重图谱分析

在关键词共现聚类方面，相较于CiteSpace 软件利用节点大小显示领域内研究主题热点，VOSviewer 软件还可清晰展示出领域内各聚类簇中的关键词。本文利用VOS⁃viewer 软件，选择出现频次（Occurrences）绘制深度学习领域的关键词共现权重图谱，关键词出现频次越高，关键词节点越大，如图3 所示。

Fig.3 Keyword co-occurrence weight map based on VOSviewer图3 基于VOSviewer 的关键词共现权重图谱

图3 中将114 个关键词分为8 个聚类簇，具体特点如下：

（1）聚类1 中有23 个关键词，如图中红色关键词所示，主要包括故障诊断、无监督学习、深度信念网络等，可看出此聚类中主要涉及到深度学习模型在故障诊断等方面的应用，以及所需的关键技术。

（2）聚类2 中有19 个关键词，如图中绿色关键词所示，主要包括词向量、循环神经网络、注意力机制、自然语言处理等，该聚类包括深度学习模型在自然语言处理任务中的应用及相关算法。循环神经网络是一种用于处理序列数据的有效模型，广泛应用于自然语言处理领域的情感分析、文本分类、推荐系统等。

（3）聚类3 中有16 个关键词，如图中深蓝色关键词所示，主要包括计算机视觉、目标检测、目标识别等，该聚类主要为深度学习模型在计算机视觉领域的应用。

（4）聚类4 和聚类5 中各有15 个关键词，如图3 中黄色、紫色关键词所示，主要包括卷积神经网络、语义分割、人工智能、机器学习等。聚类4 和聚类5 分别展示了卷积神经网络在图像处理及人工智能等方面的应用。

（5）聚类6 中有11 个关键词，如图中浅蓝色关键词所示，主要包括图像处理、残差网络等。残差网络通过捷径连接的结构改变了普通直连的神经网络层数过深导致的梯度消失问题，多用于图像处理领域，该聚类为深度学习模型在图像处理方面的应用及其关键技术［16］。

（6）聚类7、聚类8 分别有8 个和7 个关键词，如图中橙色、褐色关键词所示，主要包括模式识别、图像识别等，这两个聚类主要展示了深度学习模型在分类识别问题中的应用。

3 总结与展望

本文对国内2005-2019 年深度学习领域核心期刊文献的关键词进行知识图谱分析，分别利用CiteSpace 和VOSviewer 软件绘制关键词时区图谱、突变词检测图谱和关键词共现权重图谱，并通过对各图谱的分析得出深度学习领域研究进展及研究热点。从关键词时区图谱和关键词共现权重图谱中可以看出，深度学习领域研究主要集中在2014 年至今，卷积神经网络模型及其应用是研究热点，其最早应用于计算机视觉领域，随后应用于图像处理及目标检测等相关领域。此外，循环神经网络及其应用也逐渐成为研究热点。突变词检测图谱检测到深度学习领域研究重点在深度学习模型创新改进方面，其中深度置信网络应用广泛，至今仍是该领域研究热点。

总体而言，深度学习模型的理论研究尚待完善，各相关具体应用也处于探索研究阶段。本文还存在一定局限性，如用于研究热点分析的2005-2019 年期刊文献数据量偏少，软件相关参数还有待进一步调优等。本文仅利用文献关键词进行研究热点前沿分析，后续研究将进行文献引用情况等其它相关分析，以增强结论的可靠性。