学者的学术影响力评价方法
2016-02-13,
,
学者是人类科学知识的重要传承者、传播者和创造者,也是科技进步的主要推动者。某学科领域的高学术影响力学者在其研究领域中起着导向作用,是推动科学研究不断发展的中坚力量,他们的学术产出信息能够反映该领域的主要研究热点和发展趋势。科技文献是科研人员学术产出的主要形式,集中体现了科研人员的研究进程和创新成果,学者公开发表的文献被学术界或同行重视、认可和引用的情况,在一定程度上反映了学者的学术水平和影响力。
在全球学术交流日益多元化的背景下,科学研究不再局限于科学家本人或有限的团队范围内,一个大范围行业内、跨行业乃至跨国界的学术交流与合作环境已经形成。在这个大环境中,无论是学术会议、学者互访、同行评议、交叉学科研究项目的开展,还是各学科专业领域研究人员继续进修与深造,都迫切需要了解本研究领域及其相关领域高学术影响力专家学者的学术产出信息及其科研合作网络和关联关系,从而更加快速、高效地掌握学科领域研究现状和前沿动态,使科研人员能够站在前人已有知识的基础上进行更高层次的发现与创造,促进更为广泛的学术交流。同时,也在合作交流中不断挖掘未用文字表达出来的隐性知识,为科研合作提供更加有效的支持[1]。
因此,学者的学术影响力的评价研究,一直以来都是科研管理和科研学术评价领域的研究热点,同时也是每一位学者的关注热点。对学者进行科学公正的评价,不仅可以激励学者不断创新,而且可以引导和鼓励学者不断调整和校准其研究方向,从事更加有价值的科研活动。
1 学者的学术影响力评价方法的研究现状
1.1 主观评价法
主观评价法是基于专家的知识和经验进行评价的方法,最具代表性的是同行评议。同行评议是由从事某领域及其相关领域研究的专家按照一定的标准和程序对该领域的科学研究活动及其相关要素(如研究人员、研究项目或研究成果等)进行评价的一种方法[2]。同行评议方法的主要特点是主观性较强,参与评价的专家的知识和经验对评价结果影响重大,因此选择参与评价的专家至关重要。目前,同行评议等主观评价法是对学者的学术影响力进行评价的主要方法之一。如华南师范大学焦建利教授在进行美国教育技术学领域最具影响力的10名领军人物的遴选上,运用同行评议方法向国内外教育技术领域的专家发放网络调查问卷,请专家对初步选定的具有一定影响力的30位候选人进行影响力大小的5个等级的评定,在同行专家评定结果的基础上对每位候选人综合得分进行排名,最终确定了美国教育技术领域10位具有重要影响的学者[3]。
因为专家同行能够更加真切地了解一篇学术论文的价值和影响力,所以同行评议方法在学术评价中的地位是任何定量评价方法所不能取代的。但是,利用同行评议方法对学者学术影响力进行评价也存在着一定的局限性,如专家同行的选定缺乏一个统一和公认的标准、成本较高、时效性较差等,在一定程度上较大地影响着评价的实际效果。
1.2 文献计量法
文献计量法即文献统计分析法,是将包含情报的相关文献的外部特征进行量化处理并利用统计学方法进行统计分析,通过数据揭示文献的特征和变化规律,从而达到情报分析和研究的目的。洛特卡通过对作者发文数量进行分析,提出了文献著者分布规律,并指出通过对发文量进行统计分析可以揭示科研人员的生产能力,并对其在科技发展和社会进步中的贡献进行评估[4]。普赖斯在此基础上进一步分析,提出普赖斯定律,并推导出杰出科学家人数与全体科学家人数之比约等于0.812/nmax1/2。洛特卡定律及普赖斯定律的问世为研究人员利用文献计量指标进行学术评价打开了科学的大门,但是只利用发文量指标对学者学术影响力进行评价还不能反映学者所发表论文的质量。一篇文献在撰写过程中,一般都会参考其它相关文献,这样就形成了文献之间的引用与被引用关系。对引用情况进行分析,能够显示文献、学者、期刊等在科学发展过程中起的作用。20世纪50年代,美国情报学家Garfield创建了科学引文索引(SCI),20世纪90年代,Web of science引文数据库的建立,使引文分析法开始被科研人员广泛关注,总被引频次、篇均被引频次、影响因子等传统文献计量指标在学术评价中也逐渐得到科研人员和科研管理人员的认可和使用。2005年,Jorge E.Hirsch在传统文献计量指标的基础上提出了一个评价学者个人成就的指标h指数,就是其本人至多有h篇论文分别被引用了至少h次的评价指标。该指标可以更为有效地对学者长期累积的研究成果的影响力进行评价,但是该指标在学术评价上也存在着一定的局限性,如缺乏灵敏度(h指数越大,越难增长),对于发文数量少而被引频次高的学者的评价结果缺乏科学性等。随后,为了克服h指数的缺点,2006年,Egghe提出了h指数的改进指数g指数,它是一种基于学者累积贡献的评价指标,对于发文数量少而被引频次较高的学者的评价结果更加公平。除g指数外,一些其他的用于优化h指数的扩展指标也被提出,如e指数、AR指数、f指数、x指数、w指数、V指数等,用于弥补或完善上述文献计量指标的不足。2011年,Kosmulski提出“成功论文”的概念,即如果一篇文章的被引用频次大于其参考文献数量,就说明该文章是一篇“成功论文”。Kosmulski还进一步提出可以用成功论文数(the number of successful papers,NSP)指标评价学者的学术水平[5]。2012年,Matsas教授提出了一个用于评价学者在学术界地位的指标,标准化的影响因子(nomalized impact factor,NIF),学者的NIF的值可以简化为计算学者所有论文的被引频次之和与所有论文的参考文献数之和的比值。Matsas称NIF值大于1的学者可以定义为学术界的领导者[6]。该指标可以有效降低学者自引的影响,但同时一些学者可能刻意减少参考文献数量而影响评价结果。
此外,随着网络的飞速发展,许多科研交流平台应运而生,再加上期刊开放获取的大规模开展,科学交流日益呈现网络化的特点,科研人员可以通过博客、微博、ResearchGate等平台发布自己的学术论文,读者阅读、评论和下载学者的文献情况也一定程度上反映了该学者的学术影响力的大小,从而催生了替代计量学的兴起。王睿等人将Altmetrics指标与引文数指标进行对比分析,发现Altmetrics指标和引文数指标反映着读者对文献的不同关注方向,而且高Altmetrics指标的论文同时具有较高的学术影响力[7]。
在利用文献计量指标进行学术评价时,研究人员也会根据不同的评价目的、不同的评价主体以及不同的评价对象,选择不同的指标进行评价。如钟文娟在对《图书馆建设》的核心作者进行测评时,首先根据普赖斯定律确定核心作者候选人的最低发文量和最低被引量,选定在该刊发表4篇以上论文总被引频次在15次以上的作者为核心作者候选人,然后通过对核心作者候选人的发文指数和发文被引指数进行结合分析,把综合学术水平值大于100以上的作者确定为该期刊的核心作者[8];武汉大学邱均平教授利用发文量和h指数两个指标对图书情报领域高影响力的学者进行筛选,经过统计分析,认为该领域的高影响力作者至少需要在南大版20种图情核心期刊上以第一作者身份发文5篇以上,而且其h指数不少于5,从而确定了图书情报领域高学术影响力学者187人,结果显示核心期刊高发文量与h指数相结合的方法在评选高学术影响力作者方面的优势明显[9]。
显然,任何一个文献计量指标都不足以决定学者的命运,而且文献计量方法受出版周期的影响,无法及时反映学者的成果及其影响力。此外,在对学者所发文献的被引用情况进行分析统计时无法排除具有负面引用动机的文献。但是,文献计量方法凭借着指标丰富、统计简便的优势在科研机构产出评价、学科评价、科研人员评价等方面都得了到较为广泛的应用。
1.3 社会网络分析法
社会网络分析方法是基于的重要假设是节点的重要性等价于该节点与其他节点的连接而使其具有的显著性,通过计算节点的度、最短路径、节点和边上的权值的数据,发现网络中具有重要影响力的节点,通过对这些基本属性的统计和计算,相对定量地反映出节点在网络中位置的重要程度,进而评价学者在网络中的重要性[10]。2009年印第安纳大学Erjia Yan等对图书情报领域的16本期刊近20年发文的合著作者情况进行统计分析,研究发现社会网络中的点度中心度、中介中心度和接近中心度与被引频次等评价指标具有显著的正相关性,表明中心性指标也可以用于评价学者的学术影响力[11]。
近年来,社会网络分析方法与引文分析方法相结合,分析学科结构和知识流动,成为学术评价的重要方法之一。2015年,孟祥保在对初步选取的被引次数50 次以上和发文量5篇以上的62位国际图书情报学领域核心作者的互引网络分析中,指出度数中心性较高的是图书情报学领域的领军与核心人物,中间中心性和接近中心值较高的在专业领域具有广泛影响力[12]。吴海萍在对国外多维临近与创新学术群体的分析中,对被引频次高于25以上的高频被引作者进行了社会网络分析,指出位于图谱中心的作者与更多的作者之间存在共被引关系,处于该学术领域的核心地位,具有较高的学术影响力[13]。
社会网络分析法可以可视化地揭示学者之间的学术关系,并能直观地展示学者在科研合作网络和论文引用网络中所处的学术地位。但是该方法只是对整体网络进行分析,在对学者进行学术评价时还应考虑具体的个体研究评价结果。此外,社会网络分析法动态性较弱,在未来的发展中还需要重点研究如何动态地展示学者的学术地位。
1.4 综合评价法
综合评价法主要是针对单项评价法而言,针对评价对象的多个方面的属性,利用多种指标对其进行评价。在利用该方法进行评价时,指标体系的建立以及各指标权重值的确定是最关键的步骤。如金晶等在对诺贝尔生理学或医学奖获奖者发表论文的学术影响力评价研究中,选取了单篇论文总他引量、单篇论文年均他引量、刊物当年影响因子等指标构建了一套适合自然科学中不同学科领域的论文影响力评价指标体系,并利用topsis法计算综合评价值,该指标体系在对跨学科的科研论文进行评价时能够更加科学地显示论文的影响力[14]。首都医科大学马路教授在对教育部学位中心排名前10所高校的临床医学科研产出情况进行评价时,选取了发文量、篇均被引频次、平均百分位、热点论文百分比、F1000推荐论文数等10个评价指标,采用专家咨询法进行各评价指标的权重值的确定,并通过检验验证了该研究的排名与教育部公布的排名具有统计学意义上的相关性[15]。该研究虽然是针对临床医学学科的评价研究,但其运用多项文献计量指标构建科研产出评价指标体系的方法对于学者学术影响力的评价具有重要的借鉴意义。
综合评价法不仅可以把定性指标与定量指标相结合,而且还可以按照不同属性把指标分为不同类别,并在每一类下分解出子指标,形成若干细分层次的指标体系。虽然随之也带来计算相对复杂的难题,但是当面对复杂评价对象或评价问题时,综合评价法则成为研究人员或决策者的重要选择之一。
2 学者的学术影响力评价方法的发展趋势
2.1 定性评价方法与定量评价方法相结合得到更多认可
单纯的定性评价和定量评价都存在一定的缺陷,例如定性评价主观性较强,评价效率低;定量评价时滞过长,影响力较片面等。目前,在学者的学术影响力评价上,定性评价和定量评价相结合的方法以其更加科学的评价结果得到更多评价主体的认同和应用。为了更好地发挥两种方法的优势,克服两种方法的缺陷,国外学者Nicole将发文量、被引次数、前1%论文数等定量评价指标与同行评议方法结合对法国600个研究团队进行了评价[16],证明了定性评价与定量评价方法相结合进行评价具有一定的可行性而且评价结果的科学性更高。此外,还出现了一些定量和定性相结合的评价系统和指标,例如在生物医学领域,学者的F1000推荐论文数已被公认为反映其科研学术水平的重要指标,因为F1000是在全球近6 000名生物学和医学领域的顶尖科学家以及另外的5 000名优秀科研人员对论文定性评价的基础上,再给予定量的星级评价,F1000推荐的每篇论文都有一篇推荐评论和一个星级分数,F1000Prime得分也成为生物医学领域论文科学影响力评价的重要指标。
2.2 针对学者评价的文献计量指标研究日益深入
随着学者对文献计量学更加深入的研究,部分文献计量指标的缺点逐渐暴露。2005年赫希提出用于评价科学家个人成就的指标h指数之后,针对h指数的缺陷,科研人员又提出了许多改善h指数的扩展指标,如g指数、e指数、A指数、x指数等。李海英等人又在x指数的基础上,考虑作者的署名位次和文章作者数量等因素提出了一个新的改进的评价指标即V指标,但是至今仍然没有出现一个公认的指标可以进行全面科学的评价。后续的文献计量学家们还需要不断地开发新的指数,以最大限度地克服现有文献计量指标的局限性。这些新的指标的不断改进和优化有利于更加科学、合理地评价各领域的每一位学者的影响力[17]。
2001年汤姆森科技集团推出了一款文献分析工具ESI(基本科学指标数据库),并在随后的科研评价中得到了广泛的应用。2011年该公司又推出了一款Incites数据库,基于Web of science核心合集的数据,借助文献计量指标和各学科国际标杆数据,对学科、期刊、科研机构、科研人员进行评价,并可以可视化地呈现评价指标的统计和分析结果。近年来,借助ESI和InCites数据库进行文献计量指标统计进而评价学者的学术影响力的研究逐渐受到情报学和科学管理学学者的重视。例如闫素兰等人借鉴ESI数据库中确定高影响力学者的方法,将被引频次排在前1%的作者选定为高影响力的作者并对这些作者的文献信息进行了分析[18];杨芳等人选取InCites数据库中的总论文数、被引频次、平均百分位、学科相对影响力等指标对两位不同学科领域的带头人的学术影响力进行了比较研究,并指出该平台能够快速地得出文献计量学指标的统计分析结果,是科研人员评估的一个良好工具[19]。随着越来越多的学者逐渐重视并借助上述工具进行评价,科研评价效率将大大提高。
2.3 社会网络分析指标得到普遍关注
随着科研合作日益广泛,学者学术影响力不再仅仅指作者所发文章的被引用情况,基于科研合作的社会影响力也能在一定程度上反映学者科研能力和学术影响力。如中国医学科学院杜建等研究人员对评价对象处于合作网络中的中心度指标和引用影响力指标的相关性进行分析,结果发现中心度指标与引文分析指标存在一定的相关性且各有侧重。该作者还指出引用影响力指标能测度学者的卓越性,合作影响力指标能测度学者在学术界的核心性,要综合评价学者的学术影响力应将两指标结合起来考虑[20]。引文影响力指标与合作影响力指标互为补充,两者综合考量,有望显著提高学者学术影响力评价的准确性。
3 结论
随着科学研究不断发展,学者的数量在急剧增多,学者评价研究也得到了突飞猛进的发展。以学者发表的文献或著作为依据对学者的学术影响力进行评价的方法种类多样,各种方法也各具特点,且各有利弊。研究人员或决策者在评价时应根据评价目的、评价对象性质的不同选择合适的评价方法和评价指标。需要注意的是,任何评价方法或指标都不能决定学者的命运,如何科学、全面地评价学者的学术影响力仍然需要不断研究。