基于文献计量学的高校临床医学科研产出评价指标体系的构建及实证研究
2015-03-22,,,
,,,
文献计量学在借助文献的各种特征、数量基础上,采用准确和客观的定量评价方法去描述、评价和预测科学技术的现状与发展趋势,这一技术的应用让文献成为反映某一学科或技术领域发展变化的晴雨表,亦成为对科研产出进行评价的重要参考工具。
临床医学是研究疾病诊断和预防治疗的各专业学科的总称[1]。针对临床医学的计量研究,一般是对国家、地区乃至全球某个学科主题的总体发展情况展开的,是对发文量和被引频次等基本指标进行考察,得出排名靠前的国家、地区、机构或个人[2]。但是随着更多创新的、科学的评价指标的问世以及人们对学科评价的需求从广泛、粗糙到精细化、丰富化的转变,传统的计量指标在生物医药领域的运用显然存在缺陷。本文根据临床医学的特点,建立并利用其评价指标体系进行实证研究。
1 评价指标体系的构建
评价指标的选取应该考虑3方面问题。首先是开放性,即科研产出评价过程中使用数据的采集、分析过程必须是开放的、透明的和简便易行的[3];选取的评价指标可以从公开渠道获得数据,且数据来源必须具有一定的公信力,以保证数据的准确与可靠。其次是系统性,即选取的指标应该从不同角度考量科研产出的情况,指标间既不能相互冲突,也不能相互包含;还应考虑将数量与质量的评价相结合,指标中既要有体现科研产出数量的指标,也应有体现科研产出质量的指标。最后是可操作性,即选取的指标应该具备实用、操作性强和高效的特点,指标的选取不宜过多过细,而应尽量把复杂的工作简单化,以保证评价工作的效率及可持续性。基于以上考虑,经过文献调研与专家咨询,本文共选取了10个文献计量学指标。
1.1 评价指标的选取
1.1.1 Web of Science收录论文数
临床医学文献数量庞大,且分布较为分散。Web of Science是目前国际上公认的最具权威性的科技文献检索平台,它能够保证检索论文覆盖范围的广度和专业领域的深度,因此将其收录论文数作为反映论文数量与质量的评价依据。
1.1.2 CSCD收录论文数
科研评价不应忽略用本国语言发表的论文[3]。中国科学引文数据库(Chinese Science Citation Database,CSCD)是我国第一个引文数据库,收录的千余种中文期刊涵盖了生物学与医药卫生等临床医学相关领域。该库对入选期刊严格筛选,评价功能较高,权威性强[4]。
1.1.3 篇均被引频次
被引频次能够给予学术影响力客观的评价结果,是反映国家、地区、机构、期刊或个人论文影响的重要依据。为了消除论文总数对被引频次的影响,本文使用篇均被引频次作为评价指标。
1.1.4 H指数
H指数是2005年由Hirsch首先提出的[5]。一名科研人员的H指数是指他/她至多有H篇论文分别被引用了至少H次。例如,某人的H指数是30,这表示他已发表的论文中,被引用了至少30次的论文总共有30篇。当然H指数不仅可以用来评价一个学者,也可以用来评价一个团队、机构或者国家和地区。H指数最大的优点在于巧妙而有效地结合了发文量和被引用频次两个指标。
1.1.5 论文被引用率
篇均被引频次可以较好地体现一组论文被引用的总体情况,但这个指标掩饰了一组论文中个别论文的被引频次极高而其他论文可能根本无人引用的情况。论文被引用率考虑到了零被引论文的问题。
1.1.6 高被引论文百分比
H指数虽然综合考虑了论文数量和被引频次两个因素,但却忽视了那些高引频、低产出作者的贡献。2001年推出的文献评价分析工具ESI(Essential Science Indicators)弥补了这个不足,ESI定期根据被引频次排出位居世界前1%的高被引论文。一篇被引频次处于前1%位置的论文,其对所在学科领域的贡献和影响是毋庸置疑的。高被引论文百分比是指某一组论文中高被引论文数除以该组总论文数的百分比。
1.1.7 平均百分位
受到学科领域、文献类型和出版时间等因素的影响,被引频次、篇均被引频次等指标难免会有偏差,这也促成了进行标准化处理的百分位数指标的出现。百分位数是将一组观察值分割成100等分的一群数值,这些数值记作P1,P2,P3,…,P99,分别表示1%的资料落在P1之下,2%落在P2之下,99%落在P99之下。本文选择的百分位指标来源于InCites。InCites是汤森路透集团推出的一种科研评价工具,它所使用的是反向百分位,即将被引频次为0的文章的等级值设定为100,被引频次越高的文章等级值越低,被引频次越低的文章等级值越高[6]。例如一篇论文的百分位值为1,则该学科领域、同出版年、同文献类型中99%的论文的引文数都低于该论文,即数值越小,影响力越大。
1.1.8 F1000推荐论文数
F1000是为科研人员和临床医生提供的快速发现、评价和发表为一体的综合服务系统。其下的一个版块F1000 Prime,主要是以专家对文献的定性评价为主,由全球5 000余名生物学和医学领域的顶尖科学家根据论文对当前世界生物和医学研究的贡献程度和科学价值,将少数优秀论文筛选出来,并给出评级,推荐给读者[7]。该库学科范围聚焦在生物医学领域,且成功地将定性的指标定量化。
1.1.9 热点论文百分比
热点论文是ESI中的一个重要模块,是指在最近2年发表的论文中,在最近2个月内被引频次排在某学科领域前0.1%的论文[8]。热点论文反映了某个学科科学研究的最前沿和当前热点,是创新性研究的体现。热点论文百分比是指某一组论文中热点论文数除以该组总论文数的百分比。
1.1.10 发明专利授权量
专利是知识产权的重要组成部分,其对科技创新的作用正受到越来越多的关注,也逐渐成为衡量高校科技创新能力的重要指标之一[9]。我国的专利分为发明专利、实用新型专利和外观设计3种类型。其中发明专利是临床医学科学研究与开发活动重要的成果体现,可直接反映技术创新水平[10]。
1.2 指标权重的确定
利用专家咨询法和层次分析法确定了上述10个指标的权重系数(表1)。
表1 基于文献计量学的临床医学科研产出评价指标体系权重分布
2 实证研究
2.1 数据采集与统计
本文选取教育部学位中心2012年公布的学科评估排名中临床医学学科前10的高校作为评价对象,分别是上海交通大学、北京大学、复旦大学、北京协和医学院、中山大学、四川大学、首都医科大学、浙江大学、华中科技大学和第二军医大学,分析数据的年限是2010年1月1日至2014年12月31日。
通过InCites检索10所高校的Web of Science收录论文数、篇均被引频次、H指数、被引用率、高被引论文百分比、平均百分位、热点论文百分比等数据,时间限定在2010-2014年,然后在学科分类体系中选择Clinical Medicine临床医学学科,同时将文献类型限定为Article和Review。
CSCD收录论文数从CSCD数据库中检索获得,论文发表时间选择2010-2014年,同时学科范围限定为医药卫生类,并排除其下的预防医学、卫生学、中国医学、基础医学、口腔科学与药学等学科。
F1000推荐论文数来自于F1000 Prime,论文出版时间限定在2010-2014年,学科范围排除生物学、免疫学、公共卫生、药学、生理学等。
发明专利授权量从国家知识产权局专利检索及分析网页检索获得,申请(专利权)人填写各高校名称,限定文献类型为授权公告,发明类型为发明,公开(公告)时间为20100101-20141231,IPC分类号为A61B,A61F,A61G,A61H,A61J,A61L,A61M,A61N。需要说明的是,以检索词“北京协和医学院”检索时结果为0,但用“中国医学科学院北京协和医院”检索有6篇。
2.2 结果与分析
通过检索与数据筛选、整理,10所院校10个文献计量学指标的数据如表2所示。
表2 2010-2014年10所院校临床医学科研产出
从表2可见,上海交通大学的Web of Science收录论文数和CSCD收录论文数均为第一名,说明该校科研活跃,成果卓著;北京大学的篇均被引频次7.2次,有较显著优势;上海交通大学的H指数有较显著优势,以61排在首位。10所院校的被引用率差距不大,均在70%-80%之间,中山大学和第二军医大学以77%并列首位;北京协和医学院和北京大学的高被引论文百分比超过1%,说明这两所学校论文比其他几所院校在全球影响力更大;中山大学平均百分位分值最低排名第一,但10所学校都没有小于50%,说明影响力都只在中等偏下水平。北京大学F1000推荐论文数为59篇,排在第一位,说明该校的论文质量更多地得到了同行的认可;北京大学热点论文百分比为0.13%,排名第一。但总体看来,10所院校的论文在研究前沿和热点方面表现欠佳,上海交通大学的专利授权量遥遥领先。
本次实证研究设定指标单项满分为10分,每个单项分乘以相应权重相加的和为最后得分,满分为10分。每个学校每个单项的得分按该单项排名打分,排名第一10分,第二9分,以此类推。结果显示,北京大学综合表现排名第一,上海交通大学和中山大学分列第二和第三(表3)。
为了检验教育部学科排名和本次实证研究排名的相关性是否具有统计学意义,使用SPSS 20.0软件对Spearman相关系数进行计算,r=0.815。由于通常分析的数据来自某个总体的样本,得出的样本相关系数只是总体相关系数的一个估计值,因此做总体相关系数是否为0的假设检验。
假设检验:H0:=0;H1:≠0。结果P=0.004,小于0.01,因此拒绝无效假设H0,接受备择假设,认为两种排名的相关性具有统计学意义。
3 结语
运用文献计量学多项指标建立临床医学科研产出评价体系可以帮助学科定期从全景视角了解自身现阶段的科研成果,了解一段时间内学科科研发展方向的变化,从而进一步为科研发展做出决策。虽然目前医学界对建立何种科研产出评价体系尚未达成共识,希望本文的研究能够为今后开展科研产出评价工作,建立更科学、合理的评价体系提供借鉴。