基于SCI的科研成果综合评价模型的构建

赵 磊 邵伟文

(1. 河北建筑工程学院图书馆 张家口 075024; 2. 中国科学院文献情报中心 北京 100190)

·管理论坛·

基于SCI的科研成果综合评价模型的构建

赵 磊1邵伟文2

(1. 河北建筑工程学院图书馆 张家口 075024; 2. 中国科学院文献情报中心 北京 100190)

构建了科研成果多指标综合评价模型，介绍了评价模型的建模过程，以SCI数据库收录的某科研单位科研成果为数据来源，选取七个单项指标，运用评价模型得出科研人员科研成果的综合评价结果。

科研评价 评价模型 科研管理

1 引言

科研成果评价是一个极其复杂和重要的问题，评价标准和评价方法直接关系到评价结果的科学性、合理性，也关系到能否客观公正地反映科技工作者的劳动价值[1]。目前，国内运用较多的科研绩效评价工具是《科学引文索引》(简称SCI)数据库。但是，在使用SCI进行科研成果评价的过程中也存在一些问题。譬如当前的科研成果评价存在过分强调量化的倾向，过分强调论文的数量，忽视或不够重视科研成果的质量和实际效益等[2-4]。笔者认为，科研成果评价是一个复杂的过程，应该建立健全评价机制和评价程序，在利用SCI进行科研评价时不应该只使用单个指标，而是要把SCI的多种评价指标结合起来对科研成果进行综合性的、定量化的评价。鉴于此，我们构建了基于SCI的多指标综合评价模型，旨在科学合理地利用SCI这一分析工具，为科研成果评价提供参考。

2 多指标综合评价模型的构建

2.1 指标选取

为了避免单一指标评价的片面性，本文选取论文数、论文总被引用次数、论文篇均被引用次数、论文年均被引用次数、h指数、单篇最高被引用次数和单篇年均被引用次数7个指标作为评价模型的指标来源。各指标的含义如下：

论文数是指个人在一定时间内发表的论文总数。论文数是对科研生产力的直接反映，但是论文总数无法测度论文的重要性和影响力。

论文总被引用次数是指已发表论文在发表后的一段时间内被引用的次数之和。它直接反映了论文产生的影响力，能够在很大程度上测度研究成果对科学发展所做的贡献，但是不适于测度论文引证数分布极不均衡的情形。如果只有少数论文被大量引用，而其他多数论文的引证数却很低，那么采用总引证数的评价结果就会被夸大。

论文篇均被引用次数是指总引证数除以总论文数的结果。这个指标对发表论文少但每篇论文引证数较高的人比较有利，而可能不太利于论文多产者。

论文年均被引用次数用来表征论文作者的成果持续影响程度。

h指数把论文引证数作为衡量研究工作的内在指标，论文数量作为参考指标，h指数本身是在这两种指标之间取一个平衡，从而综合考察论文的数量和影响力[5]。

单篇最高被引用次数和单篇年均被引用次数两个指标的作用在于突出单篇论文的重要性。因为有的作者虽然发表论文数量极少但是论文质量非常高，影响力非常大。这两个指标可以突出核心论文的重要性。

2.2 评价模型关键步骤解析

本文提出的多指标综合评价模型的构建分为单指标平滑处理、计算单项指标得分、计算多指标综合得分三个部分。其中，单项指标数据序列对平均值和最大值的确定、单项指标权重的设定都由专家根据经验而定。因此，本文所利用的多指标评价方法是定性与定量评价的结合、主观评价与客观评价的统一，既融入了专家经验，又通过客观的指标选取与分值计算得出相对定量化的评价结果。需要注意的是，各个单项指标的选择不是固定的，本文选取了论文数、论文总被引用次数、h指数等七项指标，具体操作中可以根据需要适当增减评价指标。模型构建流程图如图1所示。

图1 多指标综合评价模型构建流程图

2.2.1 单指标平滑处理 将科研人员论文总数作为科研成果评价指标之一，数据序列A表示某科研单位所有科研人员在某一段时间内发表的论文数量，A=(a1，a2，……，an)。对数据系列A进行排序是很简单的，但是仅凭发表论文数量的多少，只能直接反映该科研人员的科研生产力，而无法测度论文的重要性和影响力。比如，某科研人员发表了10篇论文，他可能比发表5篇论文的科研人员的科研水平高一些，但如果据此认为他们之间有两倍的差距，可能会导致不合理的评价。为了使数据不至于有太剧烈的变动，减少指标赋予权值时偶然因素的干扰，首先将数据做对数平滑化处理。即对数据序列A取自然对数：

logA=(loga1，loga2，……，logan)

2.2.2 单指标分值确定

第一步，对平滑处理后的数据序列取平均值，即：ElogA=(loga1+loga2+……+logan)/n；

第二步，对平滑处理后的数据序列取最大值，即：maxlogA；

第三步，对获得平均值的对象赋予一个合适的分值S0，对获得最大值的对象赋予分值S。比如若采用百分制，可以取S0=80，S=100(S0和S的取值根据专家经验设定)，其他对象得分根据距离平均值远近的比例计算，即采用以下公式计算分值：

Sk=S0+(S-S0)*(logak-ElogA)/(maxlogA-ElogA)

(1)

由此，可以得到某科研单位所有科研人员在论文总数这一指标的得分情况。同理，也可以对其他指标采用相同的方法得出具体分值，最后对所有指标进行平均或者加权平均计算总评分。

2.2.3 计算综合评分 对每一项指标进行定量分析并给出合适的单项分值后，然后根据专家经验设定各单项指标的权重，最后进行总的加权平均获得综合评分。

3 实证分析

3.1 数据来源

以笔者对口服务的某科研单位为例，从SCI数据库中检索出该机构所有论文，然后对每位在岗科研人员的论文情况提取论文总数、论文总被引用次数、论文篇均被引用次数、论文年均被引用次数、单篇论文最高被引用次数、单篇论文年均被引用次数等数据(原始数据见表1)。需要注意的是，考虑到不同学科的差异性，本模型只适合对特定的学科科研人员的科研成果做综合评价。

表1 原始数据(采集日期：2011年5月24日)

如2.2所述，首先对每项指标进行定量分析并给出合适的单项分值，然后进行总的加权平均获得总评分，最后进行比较分析。在本研究中，各指标的权重根据专家经验分别设为15%、10%、15%、20%、20%、10%、10%。综合评分计算如下：

综合评分=论文数×15%+总被引×10%+篇均被引×15%+年均被引×20%+h指数×20%+单篇最高被引×10%+单篇年均被引×10%

3.2 数据处理与结果分析

笔者采用多指标综合评价模型，将上述数据代入模型公式(1)进行计算，为了防止有些科研人员某些指标为0而导致无法进行取对数运算，对原始数据做了技术处理，即将原有数据指标统一加上1。这也可以看成该指标有潜在增加1的可能性，比如论文数，可以默认将正在撰写的论文算成1篇，以方便取对数值，从而得出各单项指标的得分。然后，为各指标赋予权重，计算总评分。各指标具体得分情况见表2，各项指标排名前20名的名单见表3。

表2 各指标得分情况及综合评分

表3 各项指标前20名的作者

从表3可以看出，各项指标比较靠前的一般排名比较靠前，如果只有个别指标靠前的话，排名一般会比较靠后。根据此表，可以分析每个科研人员各项指标在全体科研人员中间的相对位置，也有助于科研人员个人调整自己的研究目标，比如论文较多的科研人员可以考虑多做难度和影响较大的工作，论文被引用频次较多的科研人员可以多考虑挑战性比较大的问题。

另外，我们取总评分名次前20名的科研人员，对其他指标重新排序(h指数除外，并列排名较多，意义不大)，确定其在此20人中的相对排名，得到如下雷达图(如图2所示)。该雷达图的每一根射线代表一位科研人员，射线上的点代表该科研人员各指标取得的名次，点越靠近中心，表明该科研人员的名次越靠前。

从图2中可以看出，各项指标都靠近中心位置的科研人员，总名次也靠近中心位置，这些科研人员往往是团队的核心人员。然而大部分科研人员各个指标的排名分布并不均匀，有靠近中心位置的指标，也有偏离中心位置的指标，从图中可以清晰地看出各科研人员不同指标的排名情况，进而可以分析得出导致综合排名先后的原因。同时，该模型的作用之一是有利于发现有潜力的科研人员。如图，总评分排名靠后，而论文数量不多，论文被引用情况良好的人员通常是从业时间不长的有潜力的科研人员。反之，有的科研人员综合评分较靠前，但仔细分析可能会发现其主要是在发表论文数量方面取胜。根据此模型和排名图，可以发现有潜力的科研人员、多产科研人员、科研成果影响较大的科研人员等，这对于科研管理部门进行项目管理、成果评价、挖掘潜在人才等具有较好的参考作用。

图2 科研成果各指标排名图

4 结语

本文提出了多指标综合评价模型，据此对科研成果的各项指标进行排序，同时根据总评分得出了总体排名情况，评价结果具有一定的可取性，能够在一定程度上反映各科研人员科研工作的实际效果和科研贡献，具有较强的客观性。本模型的数据来源主要来自SCI数据库，我们也可以统计科研人员所有发表的论文数据，还可以增加统计科研人员主持或者参与的科研项目、主持或者参与的各种国际国内学术会议等数据进行分析和建模。该模型中总评分的权重是根据笔者经验设定的，还有待进一步研究，比如可以对科研人员进行调查或由专家确定各指标的权重，也可以考虑将两者结合起来确定各指标的权重，从而保证评价结果的公正性和客观性。此外，模型考虑的仍然是简单的科研成果的数量关系，对科研成果的质量判断不足，所以还可以考虑引入科研成果同行专家评价、评论等指标，提高评价结果的科学性。

[1] 刘作义,陈晓田. 科学研究评价的性质、作用、方法及程序[J]. 科研管理,2002,23(2):35.

[2] 初景利,张冬荣. 第二代学科馆员与学科化服务[J]. 图书情报工作,2008,52(6):6-10,68.

[3] 张喜爱.正确发挥SCI评价作用 促进我国高校科研水平[J].科研管理研究,2006(8):188-190.

[4] 王 卉. 科研评价：扔掉SCI?[J]. 评价与管理,2007,5(2):77-79.

[5] 刘辉锋. h指数与科研评价的新视野[J]. 中国科技论坛,2008(5):24-28.

ConstructionofSCI-basedScientificResearchComprehensiveEvaluationModel

Zhao Lei1, Shao Weiwen2

1. Library of Hebei Institute of Architecture Civil Engineering, Zhangjiakou 075024, China; 2. Library of Chinese Academy of Sciences, Beijing 100190, China

A multi-indicator comprehensive evaluation model for scientific research is proposed. This paper detailedly introduces the process of establishing the evaluation model. It selects the SCI database as the data source, which embodies the research papers from a certain academic institute. By selecting seven indicators and applying the evaluation model, the final comprehensive evaluation results of these scientific researches are obtained.

scientific research evaluation; evaluation indicator; evaluation method

G311

赵 磊，男，1984年生，助理馆员，发表论文2篇；邵伟文，男，1970年生，馆员，发表论文5篇。