国际人工智能研究前沿及演进趋势
——基于对人工智能期刊论文的突变术语探测分析
2020-01-15唐川秦小林李若男王会勇
唐川,秦小林,李若男,王会勇
1.中国科学院成都文献情报中心,四川 成都 610041 2.中国科学院成都计算机应用研究所,四川 成都 610041 3.中国科学院大学,经济与管理学院图书情报与档案管理系,北京 100190 4.桂林电子科技大学,数学与计算科学学院,广西 桂林 541004
引言
2019年3月,国际计算机学会(ACM)宣布将2018年图灵奖授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun三人[1]。三位获奖者在业内被称为“当代人工智能教父”,开创了深度神经网络(deep neural network),这项技术已帮助深度学习在计算机视觉、自然语言处理、机器人等众多应用中取得空前成功,开启了当前阶段的人工智能发展热潮。
Hinton在2006年发表了突破性文章“A Fast Learning Algorithm for Deep Belief Nets”[2],介 绍了一种可训练多层神经网络的方法,Bengio[3]和LeCun[4]也相继发表重要论文,使得深度神经网络和深度学习开始被重新关注,进而推动人工智能研究与应用取得更大发展。研究2006-2019年间人工智能领域出现的研究前沿及其演进历程,将有助相关科研人员把握发展趋势,开展更深入的研究。
1 研究方法与数据处理
Price[5]较早提出了研究前沿的概念,将其定义为“最近发表的40~50篇高被引文献集”。然而许多学者提出了不同见解,Garfield[6]认为研究前沿是共被引聚类核心文献集和对这些核心文献进行施引的最新文献集的总和。Braam等人[7]提出研究前沿是具有不同知识和社会背景的专家共同关注的一组研究问题和概念。近年来,越来越多学者认为研究前沿应当是在近期内快速兴起并引起较多关注的研究方向,例如陈超美[8]认为研究前沿是正在兴起的理论趋势和新主题的涌现,可理解为一组突变的概念及其基本概念问题;Aris等人[9]认为研究前沿是指新出现的学科主题;王曰芬等人[10]将研究前沿理解为研究领域内最新的研究趋向,是最近出现且有增长趋势的研究主题,表现为主题词的突然增长;陈仕吉[11]认为研究前沿是科学研究中最先进、最新、最有发展潜力的研究主题或研究领域。本文参考陈超美、Aris、王曰芬等人对研究前沿的见解,把在某段时间内快速涌现的研究主题理解为该阶段的研究前沿,具体表现为相关术语在研究论文中的快速增长,即“突变”(Burst)。
对于研究前沿的识别方法,近期许多学者针对不同研究领域均采用了突变术语探测这一方法,例如:Aryadoust等人[12]对语言研究中眼部跟踪相关研究前沿进行了探测与分析;秦晓楠等人[13]利用突变术语探测对我国生态安全研究的前沿进行了识别;肖婉等人[14]利用突变术语探测对混合学习研究领域的前沿进行了分析;侯剑华等人[15]利用突变术语探测分析了纳米技术的研究前沿及其演化趋势。由陈超美开发的CiteSpace集成了Kleinberg[16]提出的突变探测算法,已获得广泛应用,本文便使用CiteSpace的突变术语探测功能开展分析。
本文参考中国计算机学会(CCF)推荐的人工智能国际学术期刊,选择其中A类和B类期刊(共25份)作为论文来源,在Web of Science核心数据库中检索到其中22份期刊(另有3份期刊未被Web of Science核心数据库收录)在2006-2019年间发表的论文共28862篇,检索时间为2019年8月29日。基于这些论文数据,本文利用CiteSpace的突变术语探测功能进行分析,探究了2006-2019年间人工智能领域出现的研究前沿及其演化趋势。
本文使用CiteSpace.5.5.R2版本,参数设置如下:时间区间为2006至2019年,时间片段为1年;Term Source选择 Author Keywords,Term Type选择Noun Phrases与Burst Terms;Node Types选择Keyword;节点选择标准为每个时间段中前0.5%的关键词,并且每个时间段不超过100个节点;选择Pathfinder算法。聚类后,Modularity Q=0.8223,Mean Sihouette=0.8624,说明聚类效果较佳,可在此基础上进一步分析。
通过运行CiteSpace的突变术语探测功能,共获得49个突变术语,代表2006-2019年间人工智能领域的49个研究前沿。首先排除含义过于泛化的9个术语(experimentation、algorithm、language、segmentation、stability、learning、regression、robustness、optimization),再按照突变强度排序。根据Kleinberg突变探测算法,突变强度越高的突变术语代表研究前沿的可信度越高。本文选择突变强度相对较高的前20突变术语,进一步检索围绕该突变术语开展研究的论文,并根据相关论文的主题相关性和被引频次选择两篇代表性论文进行研读,对该突变方向进行综合研判,进而探究2006-2019年间国际人工智能前沿研究方向及演变趋势,发现国际人工智能前沿研究发展大致可分为三个阶段。
表1 国际人工智能前沿研究突变术语及演变趋势Table 1 Burst terms and developing trends of artificial intelligence research
(续表)
2 2006-2019年人工智能研究前沿及演变趋势
2.1 第一阶段:2006-2012年
这个时期的研究前沿主要有遗传算法(genetic algorithm)、支持向量机(support vector machine)、人为因素(human factor)、模糊系统(fuzzy system)、模糊集(fuzzy set)和图模型(graphical model)。
(1)遗传算法(genetic algorithm)
2006-2010年间,本研究数据集中共有123项围绕遗传算法的相关研究,在2006-2010年间处于突变状态,突变强度为36.95,期间每年分别有12、24、18、22、20项研究,表明遗传算法在2006-2010年间是当时的一个前沿方向,2012-2013年也分别有14和13项研究,但自2014年起就未作为关键词出现在任何论文中,表明其后续影响很快消失。代表性研究有:
Ishibuchi Hisao等人[17]基于多目标模糊遗传学的机器学习(GBML)算法,研究了基于模糊规则的分类器中的可解释性-准确性权衡;通过对一些基准数据集进行计算实验,研究训练模式的可扩展性-准确性权衡与测试模式的解释性-准确性权衡;结果表明,由于过度拟合训练模式,在测试模式的计算实验中并不总能获得明确的权衡结构。目前该研究已被244项后续研究引用(引用数据来自Web of Science,截止2019年8月29日,下同)。
Vrugt等人[18]开发了一种用于种群进化的单一通用遗传算法,可有效解决各种优化问题;他们提出的“一种多目标遗传自适应方法”(AMALGAMSO)同时将协方差矩阵自适应进化策略、遗传算法(GA)和粒子群优化器(PSO)的优势融合到群体进化中;并通过基准测试证明,AMALGAM-SO在相对简单的单峰问题上获得与现有算法类似的效率,但对于更复杂、更高维度的多模态优化问题更加有效。目前该研究已被199项后续研究引用。
(2)前沿研究方向:支持向量机(support vector machine)
2006-2019年间,本研究数据集中共有246项围绕支持向量机(SVM)的相关研究,在2006-2011年间处于突变状态,突变强度为25.18,并在2011-2016年间得到持续研究,表明支持向量机是2006-2011年间的一个前沿研究方向,期间每年分别有26、20、26、17、32、20项研究;并且在2012-2016年间分别有20、20、26、18、21项研究,说明后续仍获得较长时间关注。代表性研究有:
Joachims等人[19]研究了切割平面方法对SVM算法训练效率的影响,通过二元分类、多类分类、HMM序列标记和CFG解析等方法进行了广泛的实证评估;实验结果表明,切割平面算法在实践中具有广泛的适用性和快速性,在大型数据集上,它通常比从SVM-light或传统切割平面方法等分解方法衍生的传统训练方法快几个数量级。目前该研究已被408项后续研究引用。
针对用于支持向量机的Platt概率输出已被需要后验类概率的应用广泛接受的情况,Lin Hsuan-Tien等人[20]提出了一种改进的算法,该算法在理论上收敛并避免了数值上的困难。目前该研究已被362项后续研究引用。
(3)人为因素(human factor)
在2006-2019年间,本研究数据集中共有164项围绕人为因素的相关研究,在2007-2011年间处于突变状态,突变强度为19.14,并在2012-2015年间得到持续研究,表明人为因素是2007-2011年间的一个前沿研究方向,期间每年分别有12、17、19、24、17项研究。代表性研究有:
针对显示器提供的细节水平远远超过人类视觉系统解析能力的问题,Ware等人[21]采用高分辨率的立体显示器进行了图形理解研究,并通过两项实验开展证实研究,引证了以3D布局并且利用立体和/或运动深度提示来显示更大的图形以支持空间感知的方法可以解释更大的图形。目前该研究已被59项后续研究引用。
为模拟人类在复杂动态环境中的“视觉感知”能力,Peters等人[22]借鉴神经科学的思想,通过观测五位视频游戏玩家的眼部运动对几个基于神经生物学的启发式算法进行了比较,发现在预测人的视觉焦点时,从视觉特征的全局分布检测异常值的启发式方法比单纯的局部启发式方法表现更好,而对动态事件敏感的启发式算法总体表现最好,这表明简单的神经启发式算法方法能够描述大部分自然互动环境中的人类注视行为。目前该研究已被46项后续研究引用。
(4)模糊系统(fuzzy system)
2006-2019年间,本研究数据集中共有34项围绕模糊系统的相关研究,在2007-2009年间处于突变状态,突变强度为18.49,期间每年分别有11、11、12项相关研究,在此前与此后均未作为关键词出现在任何论文中,表明fuzzy system是在2007-2009年间迅速兴起的一个前沿研究方向,之后又迅速消失。代表性研究有:
Ishibuchi等人[23]采用基于多目标模糊遗传的机器学习(GBML)算法,研究了基于规则的模糊分类器的可解释性和准确性之间的权衡。目前该研究已被244项后续研究引用。
Rubio等人[24]提出了一种在线自组织模糊修正最小二乘(SOFMLS)网络,该算法能够重组模型,适应结构和学习参数同时执行的变化环境;证明了算法的稳定性,并找到了识别误差的平均值的界,证明了参数误差受初始参数误差的限制。目前该研究已被106项后续研究引用。
(5)模糊集(fuzzy set)
2006-2019年间,本研究数据集中共有53项围绕模糊集的相关研究,在2008-2010年间处于突变状态,突变强度为19.16,期间每年分别有15、14、11项相关研究;此后仅在2013年作为关键词出现在13篇论文中,便无其他相关研究,表明模糊集是在2008-2010年间迅速兴起的一个前沿研究方向。代表性研究有:
Zhao Suyun等人[25]将模糊粗糙集(FRS)与变精度粗糙集(VPRS)相结合,建立了模糊变精度粗糙集(FVPRS)模型;证明将FRS与VPRS相结合,不仅可以处理数值数据,而且对误分类和扰动不敏感,具有重要的理论和实用价值。目前该研究已被116项后续研究引用。
Hu Qinghua等人[26]提出了一种基于高斯核近似的模糊集模型;用高斯核函数来获取由模糊属性或数值属性描述的样本之间的模糊关系,然后用信息熵来估计核矩阵,计算其近似的不确定性;基于核近似和模糊熵方法,构造出多个函数来评价每个特征的意义,从而达到特征排序和特征降维目的。目前该研究已被95项后续研究引用。
(6)图模型(graphical model)
在2006-2019年间,本研究数据集中共有80项围绕图模型的研究,其中2009-2012年为其突变期,突变强度为19.16,期间每年分别有14、16、12、12项相关研究;此后在2014年和2018年分别有12项和14项相关研究,表明图模型在2009-2012年间迅速成为前沿研究方向,并在后续研究中得到一定延续。代表性研究有:
Salakhutdinov等人[27]提出一种将哈希编码扩展到近似匹配的方法通过从大量文档中单词数向量学习一个深度图形模型;此模型利用语义哈希对TFIDF文档进行过滤,将文档映射到内存地址,使语义相似的文档位于附近的地址,这种方法相对于将TFIDF应用于整个文档集,能够获得更高的精度。目前该研究已被419项后续研究引用。
Liu Han等人[28]针对高维问题中实数的稀疏无向图的估计方法很大程度上依赖于正态性假设的情况,使用半参数高斯联结或“nonparanormal(高维无向图的半参数估计)”用于高维推理,通过光滑函数转换变量来扩展正态并估计nonparanormal,并通过多项案例验证了这种方法的有效性。目前该研究已被160项后续研究引用。
2.2 第二阶段:2012-2017年
这个时期的研究前沿主要有儿童(children)、语音感知(speech perception)、稀疏表示(sparse representation)和图像分类(image classification)。
(1)儿童(children)
在2006-2019年间,本研究数据集中共有75项围绕儿童的研究,其中2012-2014年为其突变期,突变强度为34.02,期间每年分别有17、29、29项相关研究,其余时间均无相关研究,表明儿童仅在2009-2012年间为前沿研究方向。代表性研究有:
Geers等人[29]针对在12至38个月年龄段植入人工耳蜗(CI)的幼儿患者,分析了人工耳蜗的具体植入年龄(AOI)与患者在儿童后期的口语测试结果之间的关系,还分析了儿童在4.5岁之后接受双侧人工耳蜗、更好的人工耳蜗前辅助听力和更长的人工耳蜗经历的相对优势;研究结果表明患者儿童在10.5岁时的语言测试标准分数与其第一次植入人工耳蜗的年龄显着相关;此外,儿童在4至10岁之间接收第二个人工耳蜗,以及使用更长时间的人工耳蜗,均对其口语测试结果无显著改善效果。目前该研究已被65项后续研究引用。
Mcleod等人[30]通过语音声音障碍严重程度的三种临床测量研究了上下文量表(ICS)的有效性、可靠性与灵敏度;实验结果表明,上下文量表(ICS)是一种具有发展前景的测量功能可懂度的新方法,它具有较高的内部可靠性、灵敏度和结构有效性。目前该研究已被60项后续研究引用。
(2)语音感知(speech perception)
在2006-2019年间,本研究数据集中共有39项围绕语音感知的研究,其中2012-2013年为其突变期,突变强度为20.99,期间每年分别有13和26项相关研究,其余时间均无相关研究,表明语音感知仅在2012-2013年间为前沿研究方向。代表性研究有:
为考察语音、语言和认知技能对带人工耳蜗的儿童在噪音中说话能力的影响,Caldwell等人[31]对三组儿童(正常儿童、助听器佩戴者和人工耳蜗佩戴者)在安静环境和噪音环境下的语音、意识和一般语音感知能力进行了测试,结果表明植入技术的局限性是影响戴人工耳蜗的儿童语音感知能力并造成语言/语音缺陷的主要原因;因此,他们认为教师或临床医生应该在课堂上直接教授语言/语音,并尽可能地提高信噪比。目前该研究已被47项后续研究引用。
Anderson等人[32]研究了听觉脑干对复杂声音的反应能力(cABR),对111名中年人和老年人进行听力测定配置范围从正常听力水平到中度感觉神经性听力损失的实验,实验结果表明cABR预测自我报告的噪声(SIN)感知的变化比QuickSIN或听力阈值更多,这表明cABR提供了对个体听到背景噪声的能力的额外洞察。目前该研究已被47项后续研究引用。
(3)稀疏表示(sparse representation)
在2006-2019年间,本研究数据集中共有70项围绕稀疏表示的研究,其中2014-2017年为其突变期,突变强度为24.50,期间每年分别有14、23、15、18项相关研究,其余时间均无相关研究,表明稀疏表示仅在2014-2017年间为前沿研究方向。代表性研究有:
字典学习在用稀疏表示或者稀疏编码的图像重建和分类中起重要作用,Yang Meng等人[33]为了提高字典学习的性能,提出了一种基于Fisher判别标准的新型字典学习方法,通过利用表示残差和表示系数中的判别信息来呈现与所提出的Fisher判别字典学习(FDDL)模型相关联的分类方案,结果表明该字典学习方法的性能更优。目前该研究已被215项后续研究引用。
Zhang Tianzhu等人[34]提出了一种基于粒子滤波器框架的一致低秩稀疏跟踪器(CLRST),该算法利用时间域的一致性,自适应地修剪和选择候选粒子;通过使用字典模板的线性稀疏组合,利用潜在的低秩约束来学习联合对应于候选粒子的图像区域的稀疏表示;该算法能有效地解决学习联合稀疏表示的粒子剪枝和低秩极小化问题。目前该研究已被154项后续研究引用。
(4)图像分类(image classification)
在2006-2019年间,本研究数据集中共有64项围绕图像分类的研究,其中2014-2017年为其突变期,突变强度为22.38,其余时间均无相关研究,表明图像分类仅在2014-2017年间为前沿研究方向。代表性研究有:
Ganin等人[35]提出了一种新的领域适应表示学习方法,即训练和测试时的数据来自相似但不同的分布;他们在神经网络体系结构的上下文中实现了这一思想,神经网络体系结构的训练对象是源域的标记数据和目标域的未标记数据(不需要标记目标域数据);他们证明通过增加几个标准层和一个新的梯度反转层,可以在几乎任何前馈模型中实现这种适应行为,且该方法成功地解决了两个不同的分类问题(文档情感分析和图像分类),其中在标准基准上实现了最先进的领域适应性能。目前该研究已被245项后续研究引用。
Yu Jun等人[36]提出了一种基于高阶距离的多视图随机学习(HD-MSL)图像分类方法,能够有效地将各种功能组合成统一的表示,可基于概率框架对标签信息进行集成,该方法可以自动学习每个视图的组合系数,这在利用多视图数据的补充信息中有着重要作用;该研究还设计了另一种优化方法,可解决HD-MSL的目标函数并获得系数和分类分数的不同视图。目前该研究已被187项后续研究引用。
2.3 第三阶段:2014-2019年
这个时期的研究前沿主要有非线性系统(nonlinear system)、自适应控制(adaptive control)、时变时滞(time-varying delay)、多目标优化(multiobjective optimization)、多智能体系统(multiagent system)、行为识别(action recognition)、深度学习(deep learning)、卷积神经网络(convolutional neural network)、迁移学习(transfer learning)和共识(consensus)。
(1)非线性系统(nonlinear system)
在2006-2019年间,本研究数据集中共有84项围绕nonlinear system的研究,其中2014-2019年为其突变期,突变强度为19.05,之前无相关研究,表明nonlinear system从2014年开始兴起,成为前沿研究方向,并持续至今。代表性研究有:
Tong Shaocheng等人[37]针对一类严格反馈形式的非线性大系统的自适应模糊分散容错控制问题,提出了将未知的非线性函数建模为有效性损失和锁定就位并借助模糊逻辑系统逼近未知非线性函数,设计了一个模糊自适应观测器来估计未测量状态,开发了一种新的自适应模糊分散FTC方案,并证明了其保证所得到的闭环系统的所有信号都是有界的且跟踪误差会收敛到零的小邻域。目前该研究已被312项后续研究引用。
Liu Yan-Jun等人[38]针对一类未知非线性离散时间系统,提出了一种自适应模糊优化控制设计方案;采用模糊逻辑系统来近似系统中的未知函数,基于效用函数和评论设计,并使用强化学习算法来开发最优控制信号,建立用于未知死区参数的自适应辅助信号,以补偿非对称死区对控制性能的影响,可以证明控制系统的稳定性并通过两个仿真实例进一步证明了所提出的控制方法的可行性。目前该研究已被229项后续研究引用。
(2)自适应控制(adaptive control)
在2006-2019年间,本研究数据集中共有106项围绕自适应控制的研究,其中2015-2019年为其突变期,突变强度为25.59,之前无相关研究,表明自适应控制从2015年开始兴起,成为前沿研究方向,并持续至今。代表性研究有:
He Wei等人[39]研究了具有全状态约束的不确定n连杆机器人的跟踪控制问题,将刚性机械臂描述为一个多输入多输出系统,设计了具有全状态约束的机器人系统的自适应神经网络控制;在控制设计中,采用自适应神经网络来处理系统的不确定性和干扰,采用Moore-Penrose逆项来防止违反全状态约束,利用势垒Lyapunov函数来保证闭环系统的一致最终有界性,通过合理选择设计参数保证了闭环系统的控制性能;仿真研究表明了该控制方法的有效性。目前该研究已被435项后续研究引用。
Liu Yan-Jun等人[40]针对一类具有未知函数和扰动的仿射多输入多输出(MIMO)非线性离散系统,基于神经网络逼近器,提出了一种在线强化学习算法;与已有结果相比,该算法只需调整两项参数,自适应律的个数小于已有结果;对于MIMO系统,更新参数可不依赖子系统的个数;利用Lyapunov分析方法证明了跟踪误差、自适应律和控制输入是一致有界的。目前该研究已被118项后续研究引用。
(3)时变时滞(time-varying delay)
在2006-2019年间,本研究数据集中共有75项围绕时变时滞的研究,其中2015-2019年为其突变期,突变强度为23.58,之前无相关研究,表明时变时滞从2015年开始兴起,成为前沿研究方向,并持续至今。代表性研究有:
针对一类具有未知时变延迟、未测量状态和输入饱和的多输入多输出严格反馈非线性系统,Li Yongming等人[41]提出了一种带有自适应输出反馈控制的混杂模糊设计方法;首先采用模糊逻辑系统逼近系统中的未知非线性函数;然后利用光滑函数来模拟输入饱和,构造了一个自适应模糊状态观测器来解决状态不可测问题,并在此基础上建立了串-并联估计模型;提出了一种新的复合参数自适应模糊控制器;最后通过一个仿真实例说明了该方案的有效性。目前该研究已被199项后续研究引用。
Li Hongyi等人[42]利用delta算子方法研究了时变时滞Takagi-Sugeno模糊系统的故障检测问题;他们设计了一个滤波器来产生残差信号,将故障检测问题转化为滤波问题;用二项逼近法逼近时变时滞,在delta域构造了模糊增强故障检测系统,并给出了阈值函数;通过在delta域应用标度小增益定理并选择一个Lyapunov-Krasovskii函数,得到了其故障检测系统在给定的H无穷扰动衰减水平下渐近稳定的充分条件;然后给出了其故障检测滤波器的可解性条件;最后,通过实例验证了该方法的可行性和有效性。目前该研究已被152项后续研究引用。
(4)多目标优化(multiobjective optimization)
在2006-2019年间,本研究数据集中共有91项围绕多目标优化的研究,其中2015-2019年为其突变期,突变强度为21.91,之前无相关研究,表明多目标优化从2015年开始兴起,成为前沿研究方向,并持续至今。代表性研究有:
Trivedi等人[43]对近十年来产生的基于分解的多目标进化算法(MOEA/D)进行了综述,认为自2007年被提出以来,MOEA/D引起了研究者的广泛关注,主要研究方向包括:开发新的权重向量生成方法、使用新的分解方法、有效分配计算资源、对繁殖、交配选择和替换机制策略进行调整,以及将基于分解和优势的方法进行混杂等;此外,有人尝试将基于分解的框架扩展到约束多目标优化、高维多目标优化、融合决策者偏好等方面;也有人尝试利用MOEA/D解决复杂的现实优化问题。目前该研究已被97项后续研究引用。
Yuan Yuan等人[44]提出利用目标空间中真实解与权向量的垂直距离来解决基于分解的多目标进化算法(MOEA)无法保持高维目标空间解的多样性问题,从而在多目标优化中更好地平衡收敛性与多样性;他们将基于分解的MOEA和基于集成适应度排序的MOEA两种算法与几种最新的算法进行了比较,就一些经典测试问题进行了一系列比较实验;结果表明,这两种算法在平衡收敛性和多样性方面比以前的算法更有效,且在求解高维多目标优化问题时,与现有的其他算法相比具有很大优势。目前该研究已被86项后续研究引用。
(5)多智能体系统(multiagent system)
在2006-2019年间,本研究数据集中共有92项围绕多智能体系统的研究,其中2016-2019年为其突变期,突变强度为29.14,之前无相关研究,表明多智能体系统从2016年开始兴起,成为前沿研究方向,并持续至今。代表性研究有:
He Wangli等人[45]研究了一类具有非线性特征的智能体的样本数据领导跟随一致性问题,提出了一种分两个采样周期进行概率采样的分布式协商一致协议,可将随机采样的领导跟随一致性问题转化为只有一个主系统和两个从系统的主从同步问题,且问题的求解不依赖于代理的数量,这极大地促进了它在大规模网络代理中的应用。目前该研究已被97项后续研究引用。
Xu Wenying等人[46]利用事件触发方案(ETS)研究了具有一般线性动力学的多智能体系统的领导跟随一致性问题;针对不同的网络拓扑结构提出了三种方案,即分布式ETS(distributed-ETS)、集中式ETS(centralize-ETS)和集群式ETS(cluster-ETS);这些方案都保证了实际的内部事件时间间隔和所有的追随者最终都能跟踪到领导者,并且这种事件触发机制可以显著降低控制的更新频率。目前该研究已被94项后续研究引用。
(6)行为识别(action recognition)
在2006-2019年间,本研究数据集中共有65项围绕行为识别的研究,其中2011年有9项研究,然后在2016-2019年相关研究突然增多,突变强度为19.00,表明近年来行为识别取得一定突破,或相关研究条件更加成熟,从而导致近几年的突变。代表性研究有:
Peng Xiaojiang等人[47]针对BoVW中的所有步骤和不同的融合方法开展了全面研究,探讨了两种局部特征、十种编码方法、八种池化和归一化策略以及三种融合方法,提出了一种简单而有效的表示方法——混合超向量,通过探索具有改进稠密轨迹的不同BoVW框架的互补性,这种方法在三个具有挑战性的数据集上获得了很好的结果:HMDB51(61.9%)、UCF50(92.3%)和UCF101(87.9%)。目前该研究已被163项后续研究引用。
Lo Presti等人[48]对基于三维骨骼的动作分类技术和方法进行了调研,突出了这一最新研究领域的动机和挑战,认为相关研究的重点是数据预处理、公开的基准和常用的精度测量等方面;Lo Presti等人还介绍了基于三维骨架的动作分类的最新研究成果。目前该研究已被84项后续研究引用。
(7)深度学习(deep learning)
在2006-2019年间,本研究数据集中共有260项围绕深度学习的研究,其中2015-2019年间分别有19、23、63、94、61项研究,2017-2019年间的突变强度为76.23,表明深度学习研究在近年发展迅速。代表性研究有:
Schmidhuber[49]对深度有监督学习(包括反向传播)、无监督学习、强化学习和进化计算,以及针对深度和大型网络的短程序间接搜索技术进行了调查回顾,对深度人工神经网络(包括递归神经网络)在模式识别和机器学习领域的相关工作(大部分来自2000年以前)进行了总结;他认为浅层学习者和深层学习者的区别在于他们的信用分配路径的深度,这是行动与效果之间可能的、可学习的因果关系链。目前该研究已被2768项后续研究引用。
Jaderberg等人[50]提出了一个端到端的系统,用于自然场景图像中的文本定位、识别以及基于文本的图像检索;该系统基于一种检测区域建议机制和深卷积神经网络识别;使用了一种新型互补方案生成技术组合,以确保高召回率,并使用快速后续过滤阶段来提高精度;训练了非常大的卷积神经网络,使之与以往基于字符分类器的系统不同,同时对整个建议区域进行单词识别;这些网络仅根据合成文本生成引擎生成的数据进行训练,不需要人工标记数据;通过在一些标准的端到端文本定位基准和基于文本的图像检索数据集上开展实验,研究人员证明该系统相比之前的所有方法都有大幅改善。目前该研究已被244项后续研究引用。
Yu Jun等人[51]提出了一种新的深度多模距离度量学习(Deep-MDML)方法,采用结构化的排序模型,将视觉和点击两种特征应用于远程度量学习(DML)。目前该研究已被159项后续研究引用。
(8)卷积神经网络(convolutional neural network)
在2006-2019年间,本研究数据集中共有110项围绕卷积神经网络的研究,其中2017-2019年间分别有40、31、39项研究,2017-2019年间的突变强度为43.99,表明卷积神经网络是近年快速发展的一个研究方向。代表性研究有:
Nogueira等人[52]对现有卷积神经网络(ConvNets)在不同场景下的三种执行策略进行了分析:完全训练、微调和使用ConvNets作为特征抽取器;研究人员使用六个流行的ConvNet在三个遥感数据集上开展了实验,并将每项执行策略中的ConvNets与现有的、描述符和最新的基线进行了比较;结果表明,微调往往是最佳的执行策略,并且利用精调ConvNet的特征与线性支持向量机可得到最佳结果。目前该研究已被167项后续研究引用。
Gu Jiuxiang等人[53]综述了卷积神经网络的最新研究进展,从层设计、激活函数、损失函数、正则化、优化和快速计算等方面详细介绍了卷积神经网络的研究进展,还介绍了卷积神经网络在计算机视觉、语音和自然语言处理中的各种应用。目前该研究已被124项后续研究引用。
(9)迁移学习(transfer learning)
在2006-2019年间,本研究数据集中共有51项围绕迁移学习的研究,其中2017-2019年间分别有16、23、12项研究,2017-2019年间的突变强度为20.19,表明迁移学习在近三年正在快速兴起。代表性研究有:
Jiang Min等人[54]提出了一种基于核函数的局部-全局方法来解决领域适应学习(DAL)中域的自适应问题,该方法的基本思想是利用域的全局和局部信息(如最大均差和类内距离),并通过核方法将域的自适应问题转化为双目标优化问题;他们认为经典的分类算法可以用于识别未标记的、源样本有显著差异的目标域数据,并使用合成数据、文本数据、对象数据和面部图像数据来验证所提出的算法,结果表明该方法是一种改进DAL算法的合理手段。目前该研究已被16项后续研究引用。
Afridi等人[55]针对迁移学习中源模型的选择问题,研究了在将源CNN用于目标任务之前自动对源CNN进行排序的可能性;提出了一个信息理论框架来理解源-目标关系,并以此为基础推导出一种以有效方式自动对源CNN进行排序的方法,实验结果证明了所提出的排序方法对转移学习的有效性。目前该研究已被14项后续研究引用。
(10)共识(consensus)
在2006-2019年间,本研究数据集中共有46项围绕共识的研究,其中2017-2019年间分别有16、15、15项研究,2017-2019年间的突变强度为18.19,表明共识在近三年正在快速兴起。代表性研究有:
Zhang Hengjie等人[56]针对难以搭建异构的偏好表示结构、难以设定数值共识阈值等问题,通过划分人群来搭建个体偏好向量、并定义了一种共识度量方法,最终提出了一种新的共识到达模型,用于异构大规模GDM的个体关注和满足;通过实例和仿真分析,证明了所提出的共识达成模型的有效性。目前该研究已被138项后续研究引用。
Ding Lei等人[57]概述了事件引发的多智能体系统(Multiagent Systems,MAS)共识的最新进展;建立了多智能体事件触发操作机制的基本框架;回顾了文献中报道的代表性结果和方法,并对几种事件触发方案进行了深入分析,包括基于事件的采样方案,基于模型的事件触发方案,基于采样数据的事件触发方案和自我触发的抽样方案;概述了两个示例,以分别示出事件触发的共识在微电网的功率共享和多机器人系统的编队控制中的适用性;最后,提出了事件引发共识所面临的一些挑战。目前该研究已被113项后续研究引用。
3 小结
本文利用CCF推荐的人工智能领域A类和B类国际期刊所发表的28862篇论文数据,以及CiteSpace的突变术语探测功能,对2006-2019年间国际人工智能研究前沿进行了识别,并根据突变强度对前20的研究前沿的代表性研究进行了内容解读,从领域全局客观发掘研究前沿,并通过代表性案例阐释了各研究前沿的实际内容。本文发现2006年以来国际人工会智能研究前沿大致经历了三个阶段的发展变化:
(1)第一阶段(2006-2012年)出现了6个主要的研究前沿,理论研究涉及模糊系统与模糊集,算法研究涉及遗传算法与支持向量机,模型研究涉及图模型,同时围绕人为因素在计算机视觉研究所产生的影响开展了试验和分析。值得注意的是,这一阶段的6个研究前沿不包含应用研究,可能是因为相关理论与算法还不够成熟,未能对应用形成有效支撑。此外,虽然Hinton等人在2006年发表了重要的深度学习论文,但并未在这一阶段引起相关研究论文的“突变”增长。
(2)第二阶段(2012-2017年)出现了4个主要的研究前沿,应用研究涉及语言感知与图像分类,理论与方法研究涉及稀疏表示,另有一个特色前沿围绕儿童的听力与语言能力开展研究。本阶段出现的研究前沿较少,但语言感知与图像分类背后的支撑技术已较为成熟,使得相关应用研究快速兴起。
(3)第三阶段(2014-2019年)出现了10个主要的研究前沿,为前两阶段之和,可见近几年相关研究前沿正在加速涌现。理论研究涉及非线性系统、时变时滞、多智能体系统;算法研究涉及自适应控制、多目标优化、深度学习、卷积神经网络、迁移学习和共识;应用研究涉及行为识别。本阶段在理论研究和算法研究方面体现出了多元化发展趋势,同时显示人工智能前沿研究愈加面向更深入和更高级的问题。此外,这些研究前沿仍处于突变期,未来有望成为主要研究方向,特别是卷积神经网络、多智能体系统、自适应控制、时变时滞、多目标优化等前沿方向。
本文也存在若干不足之处,包括:对各研究前沿仅选取了两篇代表性论文进行内容解读,可能忽略了其他重要研究;以期刊论文为分析对象,未能结合会议论文、科技规划、项目申请书、研究报告、专利文件、战略报告等其他资料和数据开展循证与验证;使用的分析工具CiteSpace及Kleinberg突变探测算法还存在分词误差等局限性,需要人工判读和修正,导致分析结果难免受到主观判断影响。以上问题是未来值得进一步完善的地方。
利益冲突声明
所有作者声明不存在利益冲突关系。