一种学术影响力评价新指标及其改进方法研究*
2019-05-14张学梅
张学梅
(苏州市职业大学图书馆 江苏苏州 215011)
1 引言
对科学研究过程中的各种对象进行学术评价长期以来都是科学计量学领域的一个重要课题,并且形成了相对成熟的方法。研究者们提出多种思路与方法,对个人、科研机构、大学、期刊、地区乃至国家等多种科学实体的科研水平进行评价,以期促进科学进展。众所周知,任何卓越的科学研究成果都是由一个个科学工作者完成的。只有制定出科学合理公平的学者学术水平评价方法,才能对他们进行有效的评价,激励他们为科学发展作出更大的贡献,因此,对学者进行客观公正的学术评价意义重大。
学者评价方法研究中,从早期常见的发文量、被引量、平均被引率、影响因子到新兴的指数[1]、e指数[2]、e指数[3]、TDh指数[4]等等,目的都是进行学者学术水平测评,为改进学者评价方法提供了有价值的思路。近期,西里西亚医科大学代谢性骨病组的W.Pluskiewicz教授提出一种新的学者评价指标,即指数(Scientific Quality Index)[5],作为对学者研究成果进行客观量化评价的一种优化工具。指数定义为某位学者所发表论文中被引量大于等于10次的论文数量占总发文量的百分比与该学者全部论文的平均被引量之和。在指数的计算中,涉及到的被引量均去除自引,即只计算他引量。为便于标记,可用公式表示如下:
用W. Pluskiewicz教授的评价方法对来自波兰医科大学的33名研究人员开展实证分析,并将评价结果与h指数进行比较,结果表明,指数与h指数、总他引量、他引量不少于10的论文量、他引量不少于10的论文占总发文量的百分比以及论文篇均他引率都呈显著相关关系,其强度关系为:他引量不少于10的论文占总发文量的百分比>论文篇均他引率>h指数>他引量不少于10的论文量 >总他引量,可以看出,总他引量和他引量不少于10的论文量所起的作用比较小,而学者的发文量对结果几乎不起任何作用。该研究认为指数能够客观地反映科研人员科学产出的综合质量。接下来,W. Pluskiewicz等人又使用指数对骨质疏松症领域前40名的全球顶尖医学研究人员的科研产出质量进行评价,但并未对该方法做出任何改进与调整[6]。
首先,科研成果、新知识的产生从来都不只是某位科学家个人的产物,特别是随着科学技术的发展,知识生产方式的转型、跨学科、跨专业领域的研究需求迅速增加,单靠一个人的力量已经越来越难以完成一项复杂的科研任务,科研合作已经成为当今科学研究的一种重要实现方式,也是知识生产的一种重要手段[7]。以期刊论文为例,目前合著论文的数量已经远远超过独著论文的数量。在数量众多的合著论文中,缺少了任何一位合著者的作用,可能都会导致这项研究无法完成。如果在个人学术评价过程中完全忽略合著者的作用,抹杀合著者的贡献,必将影响合著者的科研合作积极性,束缚科研合作工作的开展,进而阻碍科学研究的发展。所以本研究在对指数的改进过程中涉及到的论文数据包含学者作为合著者的发文量与被引量。
(1)设C某个=含C有÷N名学者的集合为A,这些学者总共获得C引用=C次÷,N则人均被引量为C=C÷N;
(2)设集合A中第n位学者的发文量为Pn(1≤n≤N),该学者总被引量是Pn次,将这Pn篇论文分别按其被引量从大到小排列,并从第一篇论文开始给每篇论文标序号为1,2,3,……,k,……,Pn,然后从第一篇论文开始累加其被引量,和记为CSUM,≥此C时分两种情况:
①当Cn≥C时,当加到第k(1≤k≤Pn)篇论文时,有CSUM≥C,此时该学者的指数为:
②当Cn<C时,由于累加全部论文被引量后仍然达不到C,则在累加结束后,继续反复进行第①步计算,直到满足CSUM≥为止,此时该学者的指数为
注意这里k'>表示所有参加过运算的论文总量,有的论文是反复参加运算的,所以有k'>Pn。
3.1 数据来源
选择国内图书馆学、情报学界100名学者组成研究样本集合,以CNKI中国引文数据库为检索工具,检索到样本学者在2008—2017年共10年间的发文量、被引量、他引量等相关数据,作为研究的数据基础。选择10年这一比较长的引文窗,原因是学者们从选题、开展研究到撰写、发表论文及被引用都是需要一定时间的。10年一般可以保障一名学者发表一定数量的论文并获得相当引用量的时间需求。为尽量减少数据库更新带来的统计学误差,全部样本数据都在2018年6月20—24日获取。分别按照公式(1)(2)和(3)计算出每一名学者的指数与指数。为便于观察,计算得到的分值均按四舍五入法保留至小数点后第2位数字,不足2位的用0补齐。由于这两种指标都是新的方法,同时考虑到W. Pluskiewicz教授在他的研究中以指数进行比对,所以又计算出每一位学者的指数作为参照,以实现多角度的比较,验证评价效果。
3.2 数据分析
样本集合中100名学者共发表论文6 351篇,总被引用74 139次,人均发文量P为64篇,人均被引量C为741次。
表1 样本学者的指数、指数及指数总体分布情况
表1 样本学者的指数、指数及指数总体分布情况
指数类别 最大值 最小值 差值 中位数 平均值指数 286.33 0.51 285.82 9.78 27.80指数 106.03 8.64 97.39 44.33 44.67 h 指数 36 5 31 12 13.17
图1 样本学者的指数、指数及指数散点图
样本集合100名学者中,有96名的名次前后发生了变化,其中指数比指数名次上升的共有45名,下降的共有51名,名次不变的有4名。表2给出了部分学者指数与指数名次及其变化情况,主要列举的是样本中指数、指数或指数排在前20名的学者,共涉及到35人。表中名次1是学者的指数排名,名次2是学者的指数排名,名次变化情况是名次1和名次2的差,正数表示指数名次比指数名次上升,负数表示指数名次比指数名次下降,数字表示具体变化幅度。
表2 部分样本作者的指数与指数及其名次变化情况
表2 部分样本作者的指数与指数及其名次变化情况
序号 姓名指数 名次1指数 名次2名次变化情况1 初景利 106.03 1 286.33 1 0 2 于良芝 104.73 2 63.42 10 -8 3 茆意宏 95.77 3 106.71 5 -2 4 宋恩梅 93.82 4 44.42 18 -14 5 包昌火 89.00 5 7.42 59 -54 6 范并思 85.31 6 257.00 2 6 7 邱冠华 79.83 7 25.00 29 7 8 李国新 79.50 8 53.93 14 -6 9 任树怀 74.56 9 35.29 24 -15 10蒋永福 72.21 10 39.00 20 -10 11陈传夫 72.10 11 28.3 26 -15 12 孙坦 69.31 12 17.21 37 -25 13查先进 68.00 13 13.16 43 -30 14 叶鹰 66.04 14 50.33 16 -2 15马费成 65.90 15 63.08 13 2 16陈朝晖 65.57 16 8.00 56 -40 17刘细文 62.95 17 18.35 36 -19 18王继民 62.42 18 2.9 84 -66 19吴建中 62.12 19 13.28 42 -23 20 韩毅 62.00 20 2.75 87 -67 21朱庆华 60.56 22 221.75 3 19 22张志强 59.61 24 140.83 4 20 23王世伟 50.25 39 106 6 33 24邱均平 51.35 38 94 7 31 25胡小菁 59.32 25 83.67 8 17 26邓仲华 33.39 65 63.50 9 56 27黄晓斌 59.78 23 63.25 11 12 28邓胜利 54.10 33 63.17 12 21 29苏新宁 26.15 75 53.50 15 60 30 柯平 46.95 43 49.40 17 26 31黄如花 42.23 52 43.65 19 33 32马海群 39.71 58 26.61 28 30 33肖希明 56.78 29 30.28 25 4 34 毕强 32.33 67 23.94 30 37 35 司莉 43.25 51 37.8 21 30
表2学者中,名次唯一没有变化的是初景利,在两种指标下都是排名第一。他的发文量是59篇,在样本学者中并不算突出,但总他引量2 456次,在样本集合中居于第3名,而位于第1、2名的另两名学者尽管总他引量更高,分别是5 237和3 217,但同时他们的发文量分别是398篇和172篇,故而篇均他引量远低于初景利;基于同样的原因,他引量超过10次的论文占总发文量百分比这一参数也是初景利最高,故此获得了很好的指数名次。另一方面,初景利的论文中有一篇被引476次,是所有样本学者中单篇论文被引量最高的,并且还有其它几篇论文被引量也相对较高,所以只用3篇论文被引量就超过了人均被引量741,故同样得到了理想的指数分值。所以论文总被引量高且论文中高被引论文占比多的学者在这两种评价指标下都可以获得较高的分数。
通过对名次上升和下降幅度最大的10名作者发文和引文数据加以观察,发现名次上升幅度最大的10名作者,他们的发文量相对来说普遍较高,全部超过了样本作者的平均发文量64篇,如名次上升幅度最大的苏新宁,他的发文量108篇,总他引量1 224次,由于发文量较高,所以篇均他引量只有11次,这在指数的计算中,便会突显出该指数“惩罚论文高产者”这一弊端,使得最终得分较低;而他们的被引情况普遍较好,且大多数作者会有一篇或几篇被引量相对较高的论文,例如苏新宁的论文中被引量最高的一篇达到119次,所以只需要少量的论文便可累积到平均被引量741这一阈值,在指数计算过程中,由于分母较小,从而可以得到比较理想的得分,最终名次上升。为了更直观地说明指数“惩罚高产者”的弊端,再以样本集合中h 指数最高的学者邱均平为例,该学者发文量398篇,总他引量5 237次,篇均他引量13次,单篇论文最高他引量是154次,但是,由于发文量很高,他引量超过10次的论文占比只有38.29%,导致他的指数排名仅第39名,落后于一些总被引量和单篇最高被引量均更低,但由于发文量很少而得到较高指数的学者,指数的这一弊端,会在评价结果中导致严重失误,令那些发文量超过平均值甚至达到几百篇的学者,特别是其中一些拥有高被引论文的学者,在他们的指数计算中,由于分母太大,只能得到较低的分数,所以无法取得好的名次,导致评价结果与实际情况不尽相符。
名次下降幅度最大的10人中,他们的发文量与被引情况都不突出,发文量平均在18篇左右,总被引量平均只有210篇,还不及有些学者一篇文章的被引量,但是在计算指数时,由于和两部分的分母都较小,所以获得了更高的得分,排名较靠前,但由于被引量低,需要多次累加才能达到人均被引量741这一标准,所以他们的指数得分较低,导致名次下降。