学术论文创新性评价研究综述

罗卓然，王玉琦，钱佳佳，陆 伟

（1.武汉大学信息管理学院，武汉 430072；2.武汉大学信息检索与知识挖掘研究所，武汉 430072）

1 引 言

科研成果评价是科研管理活动的重要环节之一，从微观上看，科研成果评价会影响到科研规划的方向、科研人员的积极性以及科研工作的开展。从宏观上看，科研成果评价会对科技政策的制定与经济建设产生作用。2020年2月，我国教育部、科技部印发了《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》[1]（以下简称《意见》），《意见》指出，需要规范各类学术评价工作中SCI论文相关指标的使用，鼓励定性与定量相结合的综合评价方式，探索建立科学的评价体系，引导评价工作突出科学精神、创新质量以及服务贡献，推动高等学校回归学术初心，净化学术风气，优化学术生态。同时，《意见》要求，在科研评价中，要突出创新的质量和贡献，审慎选用量化指标。由此可见，学术论文评价作为科研成果评价的重要组成部分，日益受到科研管理部门和科研人员的重视，而做好学术论文创新性评价，则是体现《意见》核心要义的重要环节。

学术论文是科研成果的重要载体形式和传播方式之一，其具有发现新观点、传播新方法、承载新理论、推广新技术等重要作用，这决定了创新性是学术论文的本质和生命力所在。学术论文评价是学术评价的重要组成部分，是图书情报领域典型的、颇具挑战的研究课题之一。学术论文评价是一个涉及诸多复杂因素的价值评价过程，其复杂性主要体现在两方面：一方面，该过程涉及学术人员、学科发展、科研生态、社会关系等对象，这些对象之间相互作用、相互渗透，存在多重宏观、微观层面之间复杂的关联；另一方面，价值评价是主体从自身需要或利益出发，运用一定的价值标准，对客体的价值以及价值量进行评价的活动[2]，学术论文评价属于价值评价的范畴，因此，在一定程度上也会受到评价主体不可测度的主观认知的影响。总体而言，由于学术论文涉及的领域广泛、内容复杂、价值多样，对学术论文作出直接客观的评价与测度是一项颇具挑战的任务，目前，尚未有适用于各学科、各类学术论文的评价标准。

从学术论文的内在属性来看，学术论文评价的本质体现为学术论文创新性的测度[3]。目前，关于论文创新性评价的研究引起了国内外研究者的广泛关注，针对学术文献的内部和外部特征，采用了定性、定量的方法和科学计量、数据挖掘、深度学习等技术，对学术论文的创新性评价开展了相关研究。系统梳理学术论文创新性评价的相关研究，对把握研究进展、借鉴已有成果和发现研究问题均具有重要的理论与实践意义。鉴于此，本文从概念内涵、评价指标和测度方法三个方面，对学术论文创新性评价的相关研究进行梳理，分析目前学术论文创新性评价研究中存在的问题，对未来学术论文创新性评价研究的热点和趋势进行展望。

2 创新与学术论文创新性

2.1 创新的概念及分类

创新不是现代社会新出现的概念，在某种程度上，可以说创新有着和人类文明同样悠久的历史。早在一千多年前，我国文学典故中就曾多处提及创新，如南北朝时期的《魏书·列传第五十》有“革弊创新”；隋唐时期的《周书》中有“创新改旧”的记载[4]。但是，人们对创新理论与概念的研究却只有百年的时间。创新理论源于产业的创新，初始人们对创新概念的理解主要是从技术与经济相结合的角度出发，探讨技术创新在经济发展过程中的作用。1912年，奥地利经济学家约瑟夫·熊彼特（Joseph Alois Schumpeter）[5]在其经典著作《经济发展理论》中最先提出了创新的基本概念和思想，其认为创新（innovation）是“生产函数的建立”，是生产要素和生产条件在生产体系中的新组合，以此开创了创新理论研究的先河。随着创新研究的不断深入，前人所提及的技术创新论受到了广泛的质疑，学术界逐渐利用系统方法来研究创新。目前，国际上关于创新分类和测度方面的权威文件《奥斯陆手册》中认为，每一个创新都是对已有的思想、能力、技巧、资源等的新组合[6]。

在创新的研究中，对创新进行分类是创新理论构建的基础[7]和创新测度的前提。每当创新理论发展到一定阶段，必然要求新的创新分类能够推动理论与实证的研究，这也将促进创新测度的发展，从而为创新指标体系的建立提供理论依据和方法支撑。作为世界上最早研究创新理论的机构，英国苏赛克斯大学的科学政策研究所，将创新分为渐进型创新、根本型创新、技术系统创新和技术——经济范式的变更[8]。Henderson等[9]从知识管理的角度出发，将元件知识和建构知识两个变量列入创新对现有知识的破坏或强化程度的度量中，将创新分为渐进型创新、构建型创新、模组型创新和根本型创新四类。20世纪90年代，哈佛大学商学院克莱顿·克里斯滕森[10]率先提出了“破坏性创新理论”，1997年，克里斯滕森[11]在他的著作《创新者的窘境》中，根据创新所依赖的价值网络的不同将创新分为：延续性创新（sustaining innovation）与破坏性创新（distributive innovation），构建了一套破坏性创新理论基本框架，破坏性创新也因此成为了创新研究领域的重要范式。

2.2 学术论文创新性内涵

学术论文创新性研究秉承了创新理论研究的核心思想，但不局限于某种单一的文体形式与内容规范，其是多角度、多元化的，提出新理论、新观点、新方法、新成果是创新，对已有的观点的查漏补缺、质疑修正、发展完善是创新，对前人的假设预言进行探究发现和实验论证是创新，对感性层面认识转换为理性层面的认识也是创新。在科学研究和论文写作方面，学者们对创新性的研究进行了一些有益的探索。Heinze等[12]将高创新性研究概括为革命性新理论、发现新现象、提出和使用新方法、发明新仪器、从新角度整合现有理论。Costanzo等[13]从创新理论原理出发，对论文创新性评价进行了分析，其认为论文的创新性可以大致分为理论创新性和实践创新性两方面，且理论创新价值性更高。Foster等[14]则从学者发起研究的思考角度出发，就化学领域将论文创新分为引进新的化学物质和化学关系的颠覆创新，以及深入研究已知的化学关系的传统创新，并指出传统创新由于易操作等原因更受学者青睐，但颠覆性创新的影响力往往会更大。Doubleday等[15]从语言文学的角度，论述了学术论文创新更重要的是观点的价值，而非语言文字表述形式的新奇。陈建青[16]将学术论文“创新”定义为在相关学术领域内，创立或发展了有价值的新理论、新专业、新方法、新技术等，或在综合前人研究成果和经验的基础上，加工、整理、提炼、发掘出新意，在参与论证的课题中，提出与已有结论不同的新结论。高自龙[17]从论文水平的“五看”（看题目、看摘要、看结构、看结论、看参考文献）入手，设立了论题价值、研究立场、观点倾向、方法科学性、论证完备性与学风道德这六个方面的指标，对学术论文创新性进行综合性预判。

目前，对学术论文创新性内涵、定义以及范围还没有统一的界定。通过文献调研分析，本文发现，外文论文中对论文创新性的研究多用“novel‐ty”和“innovation”作为关键词，但并没未对其进行详细区分，仅从使用上看，前者更看重时间维度，强调时间概念上的“新”，后者更多地强调价值维度，与“突破性、颠覆性”的概念内涵更相似。在中文学术论文创新性的研究中，与学术论文创新性特征相关的术语主要有创新性、创新力、新颖性、影响力等关键词。从某种程度上来说，上述特征可以用来描述学术文献的创新性，但也存在差异之处。首先，从度量的角度，创新力强调创新的范围和程度。其次，影响力强调论文产生作用或带来影响的大小，影响力和创新力是两个不同的概念，二者区别体现在：有影响力的论文，其创新力不一定高，因为影响力不完全是由论文的创新力决定的，还受到作者声誉、发表刊物等因素影响；反之，创新力高的论文，在一定时期内其影响力也不一定高，因为创新力是随着成果被理解、被利用、被传播的过程逐渐体现的。最后，新颖性或独创性是成果具备创新力的必要非充分条件，学术研究的新颖性能够反映学术成果在某种程度上的创新性或前沿性[18]，但新颖的事物不一定就是有创新的，有些新颖性的观点或概念不一定具有理论或者实践上的价值，因此，具有新颖性的研究成果是否拥有创新性，还需进一步在理论上论证和在实践中检验。

3 学术论文创新性评价指标

由于学术评价的复杂性，国内外研究者从多个维度对学术论文的评价开展了研究，但是没有一个指标或指标体系能普遍地适用于各类学科、各类型论文的评价。在学术论文评价研究中，论文创新性评价与论文内容质量评价、论文影响力评价、论文引用关系分析是紧密结合的。对论文创新性评价的文献综述，意在挖掘能够为论文创新性评价提供思路的相关创新性的评价指标和评价方法，并不强调区分质量评价、影响力评价、综合评价等相关研究内容的细分差异。下文将学术论文创新性评价指标分为两类，即内在评价指标和外在评价指标。

3.1 学术论文内在评价指标

学术论文内在评价指标，是以论文全文为切入点对论文创新进行的评价，本文将从两部分分析论文的内在评价指标：一是由主题、摘要、创新句等论文元素组成的论文文本内容；二是由论文的作者、机构、基金、刊发期刊、参考文献等元素组成的论文关联内容。

3.1.1 论文文本内容评价指标

论文的创新性是论文思想内容层面上的判定。一般而言，从论文思想内容层面进行论文创新性评价是需要人工介入来进行判定的。例如，同行评议、专家评议就是使用最为广泛的论文质量评价方法。这些方法可从论文的内容本质入手，直接揭示论文创新水平的高低，而不受时间和环境等外部因素影响，但也在一定程度上对评议专家提出了基本判别素质的要求。对于各种原生论文资料，如各阶段的学位论文和编辑审稿文献，一方面，缺乏被引情况、期刊质量等外部计量指标；另一方面，该类论文拥有大量的同行评议数据，这种情况下，从论文文本内容层面对论文进行创新性评价的方式被广泛关注。

Uddin等[19]从统计的角度出发，考虑论文关键词的数量、长度、多样性和新关键词比例这四个指标，同时，结合关键词网络中心度对论文创新性作出了相应评价。杨京等[20]认为，同主题下的实证论文结论水平的高低是论文创新的重要因素，因此，利用论文的“IMRD”（Introduction,Methods and Ma‐terials,Results,Discussion）结构，从论文结论中抽取性能指标特征值、相应数值和相应量纲，用同特征值、同量纲下的论文结论数值来评估论文的创新能力。卢超等[21]将研究落脚于“科研创新”，系统地梳理了国际核心期刊上与新兴研究话题发现相关的学术论文，其认为创新性是新兴研究话题的成长性指标的类别之一。杨建林等[22]定义了带时间戳关键词逆文档频率、带时间戳关键词对逆文档频率和文档新颖度3个概念，并由此组合给出了计算论文新颖度的公式。任海英等[23]则从主题词组入手，通过主题词共现网络研究学术论文内容的组合新颖性与其学术影响力的关系，为研究论文的学术影响力提供了新的研究视角。李传兵[24]针对硕士专业学位论文提出了基于研究性、专业性、创新性、应用性和规范性的评价体系，该体系中定义的创新性涵盖了新论题、新论据、新方法、新运用和新观点5个方面。

除了从论文自身文本提取的创新因素外，这类研究也分析了不同时间维度下、同主题的论文创新性研究，比较典型的有基于词嵌入模型派生的语义特征构建创新指数[25]、基于网格项对的时间分布构建创新指数[26]，以及基于图链接的多语义因素构建创新指数[27]等，这些综合了时间维度和内容文本特征的评价指标能够在一定程度上反映论文的创新能力高低，同时，能够有效地提高评价效率。

3.1.2 论文关联内容评价指标

从文本内容自身层面评价创新性，是建立在对全文信息进行深度剖析以及相关领域发展全面了解的基础之上，然而，获得全文样本数据并对其分析存在一定的难度，因此，有研究者将学术论文的关联内容作为研究切入点。例如，作者名望、发表期刊、参考文献、基金指数等关联内容因素均在一定程度上可以客观反映文献的创新性。这类研究有单独从一个影响因素角度进行论文创新性评价，也有综合多个创新性影响因素进行综合分析，后者往往以多因素指标量纲或者多层级评价指标体系的形式加以呈现。

1）作者与机构

从论文作者角度的影响因素，可以分为两个方面：一方面，是基于该作者过往论文质量来评判该篇论文的创新性，典型的有h指数、论文总被引频次、论文最大被引次数、论文平均被引次数、发表论文总篇数等[28-30]，其核心思想是过往论文发表越多、被引频次越高的作者学术能力越强，更有可能写出创新性高的论文；另一方面，是基于作者自身身份、经历和其他个人信息，如作者的年龄、学历及职称、交流学习经历[31-33]等因素，对论文创新性评价产生影响的相关研究。此外，合著研究也是学术论文创新性评价研究的热点之一。Schmoch等[34]发现，在多元背景下，学术论文被引频次和合著文献之间存在着较强的偏相关关系。Puuska等[35]对多个学科的合著关系研究后发现，10个以上的作者合著会显著提高被引频次，在一定程度上说明了论文质量与合著作者数目有关，在一定范围内合著作者较多的文章的质量和创新力更高。

2）项目支撑

获取基金的项目需要经历评审、答辩、考核等一系列环节，并结合了多名领域专家的评审考核意见，在一定程度上，是从主题层面对论文的创新性进行筛选，故基金项目的支持也可以用来评价论文的创新性水平。Wang等[36]发现，竞争性基金资助的项目与内部基金资助的项目相比，平均具有更高的新颖性，并且资助基金在激发中高级别研究人员创造性作品的同时，阻碍了初级研究人员的创新力。邓妍等[37]发现，基金资助对学术论文质量有着正向相关性，有适当基金资助的文章具有相对较高的创新和价值，但论文同时被多项基金资助，并不会增加其学术影响力。

3）期刊质量

“以刊论文”的现象在很长一段时间内被众多学者质疑，并指出其不合理之处，该现象也从侧面反映了论文创新性的好坏和发表刊登期刊的质量有着相当大的关系，本质上期刊对论文的筛选也是考量论文创新性的门槛之一，好的期刊对其所刊发的论文创新性要求高，可以间接反映出论文自身的创新性水平。van Dalen等[38]和Boyack等[39]都在学术论文评价中使用期刊影响因子（impact factor，IF）作为其中一项评价因素，后者在不同学科领域运用期刊重要性、参考重要性和作者声誉这3个因素来衡量学术论文的创新性和重要性，发现期刊因素得出的结果最为精确，尤其是在计算机领域内得到了较好的评价结果。

4）参考文献

参考文献作为学术论文的重要组成部分，在一定程度上反映了论文作者的研究水平、研究思路以及论文的前沿性水平，因此，从参考文献进行分析是对论文创新性进行评价的一种方式。在参考文献跨学科因素方面，Larivière等[40]以WoS（Web of Science）数据库2000年收录论文为研究对象，研究发现参考文献的跨学科水平与论文被引频次之间的关系并没有出现统一的结论，不同学科差异较大，但高度单一学科和高度综合学科的被引体现较低的创新性。Onodera等[41]提出，普赖斯指数（参考文献中近五年文献所占比例）和引用半衰期（较新一半的参考文献距论文发表的时间差）均与论文自身被引频次呈现相关关系，可将其作为论文价值评估的指标。

5）综合指标

综合指标是结合以上4个方面的影响因素，以及其他主体内容层面因素，进行学术论文创新性的综合性评价。Bornmann等[42]划分了论文质量评估的7个方面的因素，包含时间因素、期刊因素、文章因素、作者因素、引文因素、学科因素和文章获得难度，虽然这7个因素是对论文质量的评定，但论文创新力作为论文质量的一个重要组成部分也具有一定的参考意义。Vieira等[43]也指出，作者合作数量、论文长度、参考文献数量、期刊影响因子和作者机构数量这5个特征会对论文有所影响。贺婉莹[44]从论文创新吸收力指标、产出力指标、扩散力指标和主体指标4个层面构建了论文评价指标体系，该体系包含参考文献的数量、参考文献的学科分布广度、论文的字数、论文所在期刊的影响因子、第一作者和h指数等17个相关因素项目。

3.2 学术论文外在评价指标

学术论文外在评价指标，是指在不利用论文全文数据情况下，通过分析文献之间的引用关系，这种文献外部特征对论文的创新性进行间接评价。下文将从基于组合引用的评价和基于网络引用的评价两个外在指标介绍学术论文创新性评价研究情况。

3.2.1 基于组合引用的评价指标

论文引用是科研工作的基础活动之一，规范合理的引文标注，说明了该篇论文的前期调研或理论基础，可以说论文引用关系是科研活动知识传播关系的体现，而探究引文之间组合模式也是研究学术论文创新性的重要方式。Ponomarev等[45]认为，一切开创性成果均是建立在回顾总结的基础之上，并由此开发了基于出版物引用动态检测方法，使用定量方法识别已知突破性创新论文和大量高引用论文的典型引用模式，由此建立论文的创新性预测模型。Lee等[46]继承期刊评价中的多元组合创造性的观念，其认为论文的创新性评价可以借鉴类似的思想，即通过考察引文网络中不同来源的期刊组合来定义论文创新指数。Tahamtan等[47]认为，一篇论文引用的大量参考文献的不寻常组合表明了其较高的创作潜力（或新颖性），同时，在对原作者引用意图的访谈数据的分析中，证实了相关联系的存在，通过对论文引文网络中不同类型、不同主题的组合进行分析，归纳出了具有创新性的单篇论文常用主题组合模式。Wang等[48]将引文网络的来源期刊构造成组合对的形式，并统计引文期刊对的历史引用次数，利用历史引用次数构建矩阵，计算两两组合的期刊对的余弦相似度，其认为论文的创新性指数可以定义为参考文献期刊组合对的新颖程度，即所有期刊对组合的数量与余弦相似度和的差值。

3.2.2 基于引文网络的评价指标

引文网络是反映学术论文之间复杂引用关系的重要形式，利用引文关系网络进行论文创新性的评价也成为了相关评价研究的一个热点方向。在引文网络中，节点的入度数代表论文的施引文献数，出度数代表论文的被引文献数，即论文的被引频次。Moed[49]研究表明，在排除了少数不正当引用的情况下，论文被引频次越高，可反映其具有较高的学术价值，即研究成果更具有创新性或影响力。此外，引文网络中加入时间维度可以明确创新的时效性，也成为了众多学者的研究思维突破点。Chen等[50]探究了利用引文关系快速查找相关创新性文献的方法，该方法首先利用人工标注的方法创立了权威矩阵，该矩阵描述了引文与被引文之间的权威关系；然后，提出了一种基于引文网络的评价计算方法，即引文权威扩散，以快速挖掘某一主题中具有较高创新性的论文。宋歌[51-52]研究了科研创新的扩散机制和创新力指标，其研究在原始引文网络中论文节点度属性的基础上，提出了“S指数”作为评价学术论文创新力的一项指标，S指数得分结果蕴含了创新成果在已有研究基础上的变异程度，此外，他还在该S指数的基础上，提出了“累加S指数”用于创新成果分区。索传军[53]认为，引文传递过程是知识价值的折损过程，通过分析文献中的原创知识元和引文借鉴知识元在时间轴上的分布，可以反映出该篇论文的创新程度。

4 学术论文创新性评价测度方法

目前，学术论文创新性测度研究大多数为定性研究，而将文本内容的创新性量化以评价学术论文创新性的研究相对较少。随着机器学习、自然语言处理、文本挖掘技术的不断发展，有些学者试图将基于人工甄别的传统评价方式转化为自动识别的新型评价方式，采取这种方法既可规避因个人观念和水平差异造成的不公正结论，亦能够有效地提高批量处理效率，为文献检索、成果评价等应用提供技术支持。通过调研与分析，本文将学术论文创新性评价测度的相关研究归纳为基于文本内容的测度方法、基于引用关系的测度方法和基于多维指标的指标体系测度法，分别介绍了相关测度方法的研究现状。

4.1 基于文本内容的测度方法

测度学术论文的创新性，最直接的方法是度量学术文本内容的新颖性和创造力。然而，学术论文全文是非结构化的文本数据，对学术论文全文进行计算是一个复杂度高且耗时长的工作。目前，学者们主要从学术论文主题和文本中创新句的角度来测度学术论文的创新性。

4.1.1 基于文本主题层面的测度方法

论文主题是对论文内容的高度凝练，主题新颖性是体现学术论文创新性的重要特征之一，因此，许多学者通过计算论文主题的新颖性，来度量论文的创新性。杨建林等[22]认为，单个关键词的逆文档频率通常比关键词对的逆文档频率低得多，故关键词对的逆文档频率反映主题新颖性的能力强于单个关键词的逆文档频率。他们定义了带时间戳的关键词逆文档频率、带时间戳的关键词对逆文档频率和文档主题新颖度的概念和计算方法。文档D的主题新颖度计算公式为

其中，ti、tj分别表示文档的第i个和第j个关键词；n表示文档D中关键词的数量；KPTIDF(D,ti,tj)为带时间戳的关键词对逆文档频率。

该方法的局限性在于作者标注关键词时存在表达的随意性，文章的关键词存在不准确、不合理等问题，对主题新颖性测度结果的准确性产生影响。许丹等[54]基于杨建林等研究，利用美国国立医学图书馆建立的自由文本，到UMLS（Unified Medical Language System）超级叙词表映射工具MetaMap提取文档句子中的自然语言词对，通过计算自然语言词对的带时间戳的逆文档频率计算文档主题的新颖性。由于研究的对象不是简单的作者标记的关键词，而是从文档句子中提取的自然语言词，故该研究的计算方法与杨建林等研究有所不同：若一个文档D中含有k个句子，则文档D的新颖度应该是所有句子新颖度的平均值；文档中句子的新颖度则等于文档D中第S句所有以自身为参照的自然语言词对的逆时间文档频率的平均值。虽然该方法摆脱了文章自带关键词不准确、不合理等问题，但对于长篇论文的全文本而言，计算其中每个句子的新颖度的计算量较大。

杨京等[55]提出了一种基于研究主题对比的单篇学术论文创新力评价方法，其通过Keygraph算法提取代表论文研究主题的关键词，然后将这些关键词与科学研究前沿主题进行Jaccard相似度计算，最后结合期刊影响因子和替代指标两项外在指标，利用TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）法提出了一种论文创新力综合评价模型，计算公式为

其中，C(A)表示论文主题词个数；C(B)表示科学研究前沿主题词个数；Simmax和Simmin分别表示最优值和最差值；IFmax和IFmin分别表示期刊影响因子的最优值和最差值；Altmax和Altmin分别表示替代计量学指标中的最优值和最差值。

该方法的不足是无法发现那些主题未变而研究角度或方法具有重大创新的论文。此外，科学研究前沿主题的确立也是创新研究中一个广受关注的研究热点[56]。Mishra等[26]使用Medline中发布的2230万篇文章的数据集来衡量论文的新颖性，每篇文章的新颖性评分（novelty scores）计算方法为：①论文内最小概念年龄（以年为单位）；②N年中论文内概念对最小年龄（以年为单位）；③论文中所有概念中的最小概念年龄；④论文中所有概念对中的最小概念对年龄。该方法综合考虑了时间和文本内容特征因素，仅依据概念的“年龄”计算创新性，而忽视了其他因素的测度。

除了传统的逆文档频率、Jaccard相似度和统计测度外，深度学习、神经网络等方法也越来越多地被学者应用于学术论文的主题新颖性测度中。逯万辉等[57]构建了基于深度学习的文本内容特征因子计算模型，首先通过Doc2Vec计算文档集内文本间的语义相似性，构建文档的相似性矩阵，进而计算该矩阵网络中各个文本节点间的相似性关系，并用隐马尔科夫模型的方法计算出矩阵网络中各个节点的文本特征因子，从而将文档集内与其他文本相似度较低的文档识别出来，即构成文档的主题新颖性测度指标。

He等[25]基于时序嵌入和向量余弦值，度量了某领域学术论文的创新力，并分析了论文创新力对领域文献数量增长的预测作用，该方法通过SGNS（Skip-Gram with Negative Sampling）负采样进行词嵌入学习，将时间序列上的词嵌入结果依次排列，构成时序词嵌入，在向量空间中计算主题词之间的相似度，从而得到主题创新力指数，某个主题i在t时的创新性指数的计算公式为

其中，win表示时间窗口的大小。

4.1.2 基于文本句子层面的测度方法

除学术论文主题外，有的研究者利用自然语言处理、数据挖掘等技术，从题录数据或者全文本内容中提取能够表征论文创新的特征等，与领域内的其他论文进行对比，得出论文创新力的相对大小。在文本内容的新颖性测度方面，基于向量空间模型的测度方法是当前使用最为广泛的方法。Zhang等[58]以向量空间模型为基础进行文本新颖性的探测，以向量余弦值为文档相似度，根据文档相似度给出新颖性计算方法，具体为

其中，di表示时间i上的文档，若当前文本和以前文本之间的相似性值越大，则新颖性越小。

Chen等[59]基于Scopus®数据库，研究了论文摘要中创新点的自动提取方法，其选择了2011—2017年发表的以语义分析为主题的文章摘要作为实验文本，提出了一种从技术和工程论文摘要中自动提取创新点的方法。该方法基于词性标记提取N-grams作为候选创新点，并通过检索Scopus®数据库以判断其是否新颖，并且讨论了创新思想在不同抽象结构中的分布，提出了一套停用词列表和研究描述特征列表。该研究结果发现，在去除嘈杂的多元词性特征后，适当组合N-grams可以有效地提高摘要中创新点自动提取的性能。Amplayo等[27]利用神经网络探测学术文本的创新性，并分别构造了两个图：一个是以作者和文章作为节点的宏观图；另一个是以关键词和主题词作为节点的微观图。在构造种子图后，文章节点被逐渐添加进图中，同时图中的变化被记录为文章的特征集，在此基础上使用一个自编码的神经网络作为创新性探测模型。该研究实验发现，在所构造的图中，通过回归分析计量的关键词级的图特征表现最好。并且研究者还结合宏微观图和所有特征，发现使用回归分析和引文计数分析中，关键词、主题和词特征的组合表现最佳。杨京[60]利用规则抽取技术，从单篇论文中抽取具有研究水平信息的句子；然后，构建正则表达式，从具有研究水平信息的句子中精确抽取出能表征论文研究水平的数值信息；最后，分类对比分析抽取出的数值信息，从而判断出学术论文的创新力。章成志等[61]依据表征创新性评价的词语（简称“标志词”）开展了创新研究评价句抽取的研究，按照创新研究的评价句内容，人工将其划分为“概念理论”“观点发现”“模型方法”“派别领域”“系统软件”以及“实践应用”6类，该研究以图书情报领域学术期刊论文全文作为实验数据，借助制定的抽取规则，采用标志词匹配和人工核对相结合的方式来抽取创新研究评价句。温浩[62]提出了一种创新点语义识别与分类方法，该方法对科技文摘文本按照句法和语义功能进行6分类算法处理，通过分布统计、语义语序检验、二次分类与合并等方法，实现了对科技文摘创新点的问题、方法、结果的分类实验，分类的准确率达到99%。

4.2 基于引用关系的测度方法

在学术创新力评价的研究中，有些学者基于论文的引用关系网络测度论文的创新力。杨家栋等[63]提出“互引比率”来测度社会科学研究成果的创新力，“互引比率”等于科研成果中引证其他成果的次数与本成果被引次数的比值，该比率越小，说明参考他人的成果越少；本成果被借鉴得越多，说明论文的创新力越强。宋歌[51]提出了基于引文网络的“S”指数来评价科研成果的创新和影响力，S指数等于与成果主题直接相关的参考文献数量除以该值与成果从发表年至y年的总被引频次之和，值域为[0,1]，越接近0，则表示成果的创新力越大，计算如式(7)所示。公式为

其中，Sy为某成果在y年的S指数；Din和Dout是成果节点在引文网络中的入度和出度；Din与该成果直接相关的参考文献数；Dout为该成果在对应主题领域从发表年至y年的总被引次数。Sy越大，则成果创新力越高。某篇论文的创新性指数为其在n年的S指数之和。

Uzzi等[64]利用“共被引”构造文献对，将文献对转换为期刊对，根据期刊的学科领域，基于随机引文网络的标准化分数Z-Score来测度“文献对”中知识组合的创新程度。Boyack等[65]在Uzzi等[64]的基础上进行了实验，其计算的是共被引期刊对的K50统计值，K50的预期值和标准化值是使用平方共引计数矩阵的行和列之和计算得到的，而不是使用蒙特卡洛技术，K50值低于0的文章被认为是非典型组合。Wang等[48]从“组合新颖性”量化论文的新颖性，其认为如果一篇论文的参考文献中出现的某对期刊在之前没有被其他论文引用过，那么该论文具有一定的创新力。首先，将期刊表示成向量，采用余弦相似度来度量两个期刊向量之间的相似性，对于每篇论文，使用实现新组合的难度之和度量创新力，没有新的期刊对出现的论文的创新力定义为0。然而，参考文献的数量会受到作者写作习惯、学术规范意识等的影响，该类方法的准确度也会受影响。Bornmann等[66]以F1000Prime上专家的评价为标准，比较了Uzzi等[64]和Wang等[48]的测度方法的有效性，结果发现前者的方法更有效。

4.3 基于多维指标的指标体系测度法

指标体系测度法是指从多个不同的角度，提取与论文创新力相关的指标，构建创新性评价指标体系，通过熵权法、层次分析法等方法确定各指标的权重，最后对各项指标进行加权计算，得出论文的创新性分数。曹妍等[67]参照“学位论文编写原则”等文件，初步拟定了论文创新性评价指标体系，利用德尔菲法咨询领域专家以确定指标体系，再结合层次分析法[68]确定各指标的权重。

蒋伟伟[69]基于学术创新的过程，从学术创新吸收力、产出力、扩散力三个阶段以及创新数量、质量、速度、广度四个维度，构建了学术创新的测度体系，采用熵权法[70]确定每个指标的权重，并且根据正向指标进行数据的标准化处理，标准化处理为

其中，n表示样本数量；m表示指标数量；Xij表示第i个样本的第j个指标的数值。最后对标准化的结果进行加权求和，得到学术创新力值。

以往在使用由多个指标构成的指标体系评价论文创新性时，研究者对其中各指标具体值的测度大多基于论文外部特征的简单统计，许多学者以引文的数量值为论文的创新吸收力指标，并未深入到文章内容层面评价其创新性。

5 总结

学术论文评价是学术评价的一项重要任务，而创新性评价又是学术论文评价的重要维度。本文对国内外学术论文创新性评价的研究现状进行了调研和分析，梳理了创新理论及创新分类研究的主要脉络，阐述了学术论文创新性的内涵。通过文献调研与分析，本文发现目前学术论文评价的影响因素涵盖了论文的诸多方面。例如，论文主题、观点、结论等论文文本内容指标，作者、机构、基金、参考文献、期刊质量等论文的关联内容指标，以及论文的引文组合引用特征和引文网络特征等外在指标。因此，本文第三部分将学术论文创新性评价指标分为内在评价指标和外在评价指标两大类。学术论文创新性内在评价指标以论文全文数据为研究对象，包括文本内容评价指标和关联内容评价指标；学术论文创新性外在评价指标包括基于组合引用的评价指标和基于网络引用的评价指标。为进一步研究学术文本创新性指标的量化机制和测度方法，本文第四部分将学术论文创新性测度的相关研究归纳为基于文本内容的测度方法、基于引用关系的测度方法和基于多维指标的指标体系测度法三类，并从技术层面详细阐述了论文创新性研究的测度与计算方法。

通过对国内外学术论文创新性评价相关研究的总结与分析，本文发现有许多研究者将数据挖掘、深度学习等技术应用到该研究任务中，为学术文本创新性评价提供了新思路的同时，也存在一些不足，本文将其归纳总结为以下四点：①使用新颖性、影响力等替代指标。在学术论文创新性研究中，存在较多用论文主题的新颖性、论文的影响力等指标来衡量论文创新性的情况。新颖的主题是论文具有创新的必要非充分条件，仅靠论文主题的创新与否还不足以定论文章是否具有创新性。此外，在以影响力测度为主导的学术论文评价体系中，影响力的大小并不能全部归因于论文创新性的强弱；相反地，评价客体创新性的大小还可能受到影响力的制约。②重视外在指标，而忽略论文本身。引文分析指标、期刊影响因子等外在指标与论文创新性不直接相关，无法充分体现论文的创新价值。目前，基于引文关系的学术论文创新性测度方法主要考虑了论文的引文网络特征，但是在没有考虑时间因素、内容因素的情况下，这种测度方式的有效性较低，而且过于重视引文的评价，可能导致其愈加偏离论文的实际内容。③评价指标主观性强，结果难以被验证。论文创新性评价存在一定的主观性，评判者难免将个人的认知和期待带入创新性评价的过程中。学术论文创新性评价研究仍然缺乏普遍接受的指标体系，已有的基于指标体系的创新性测度法中，各项指标对论文创新性的作用机制复杂，综合创新性计算缺乏科学依据，缺乏有效的验证手段，难以确保论文创新性识别结果的准确性。④局限于特定领域。目前，已有关于人文社科、医学等领域的学术论文创新性评价的研究，但是学科领域的差异性导致与论文内容相关的特征指标也各不相同，这些研究中提出的方法仅对同领域、同类型的论文评价有效，不具有普遍适用性。

近年来，得益于大数据、深度学习等技术的日益成熟，自然语言处理、神经网络语言模型等技术继续蓬勃发展，为文本自动理解的研究提供了重要的技术支撑，也为学术论文自动评价研究带来了新的发展契机，有利于研究者从多角度评价论文创新性。鉴于已有研究存在的问题和创新性评价的复杂性，本文将学术论文创新性评价研究的趋势总结为两点：第一，针对不同学科、不同类型的科研工作，提出各自论文创新性评价的侧重点，建立健全分类评价指标体系。标准化学术论文创新性评价指标体系能够为论文创新性的识别研究提供参考依据和评判标准，不仅有利于学术论文评价工作健康有序地开展，也能助力科研管理和净化学术生态。第二，综合了时间特征、内容文本特征、引文特征等指标的评价方式，在兼顾外部和内部指标的同时，较客观地反映论文的创新性，将是学术论文评价研究的重要发展趋势之一。此外，本文认为，自动提取学术论文中的创新句、自动挖掘论文中的创新点、根据相应的评价模型自动评价论文的创新性等，将是学术论文创新性评价研究有待突破的难点和重要发展方向。