国内学术期刊质量评价指标体系构建探索与实证研究

●魏晓峰（河北建筑工程学院 图书馆，张家口 075024）

近年来，国内外有关学术期刊评价的理论探讨与实证研究日趋深入，多种学术期刊评价指标与期刊评价体系相继提出和广泛应用。指标选取上，一级指标逻辑性不强，不能有效体现与衡量期刊学术质量；而二级指标往往力求细致全面，既增加了数据收集与统计难度，又不利于各类指标的有机组合与应用。指标权重赋值上，目前各评价体系普遍采用层次分析法和专家调查法，一般仅限于期刊管理或图书情报而缺乏各学科或专业领域专家调查，由此确定的指标权重不能有效体现各学科之间的差异性。此外，利用不同的评价体系进行期刊质量评价的结果也不尽相同，势必会出现相互冲突或矛盾之处，影响期刊选购、职称评定、科研评价等工作绩效。当前国内大多涉及针对某种期刊评价指标的研究，仅有少数研究涉及某一类型或学科领域期刊评价指标体系。因此，本文对学术期刊评价体系进行整合研究与实证分析以供参考。

1 国内学术期刊质量评价指标体系构建

评价指标选取在全面性、科学性、易获取性和整个评价体系的简练性下，以增强期刊评价的时效性、公正性和高效率。在指标权重分配方面，需要综合考虑和兼顾图书情报以及其他学科或专业领域专家的评议意见，以确保权重分配的专业性和体现指标评价的学科特色。

1.1 期刊评价指标选取

期刊的学术质量主要通过期刊的学术含量和对外界的学术影响力两个方面体现，一般分别选用期刊来源（或载文） 指标和被引（或影响力） 指标进行衡量。本文以目前国内学术界比较公认的、影响较大的6种期刊评价工具［1－6］以及3篇最具代表性的期刊评价体系研究论文［7－9］为参考依据，在详细考察各类评价指标属性、功效和使用频次的基础上，最终选取了9个期刊评价核心指标。其中，期刊来源指标包括基金论文比、篇均参考文献数和篇均作者机构数，期刊被引指标包括篇均被引频次、影响因子、他引量、他引刊数、即年指标和Web即年下载率。由于考虑到期刊学术质量评价主旨、期刊所属地域区分度较小、当前学科交叉渗透发展趋势明显以及“同类可比”的期刊评价原则等因素，本文没有选用载文量、国际论文比、本学科论文比、被引半衰期和其他使用频次较小的指标。

1.2 评价指标权重分配

上述9个指标虽然都是从定量角度反映期刊的学术质量，但是对于期刊评价结果的贡献各不相同，而且由于各学科之间的差异性，各指标在不同学科中应用价值也不一致，因此需要结合评价目的等主观因素进行分析，赋予各指标不同的权重和充分考虑学科因素。本文选择半定性的层次分析法来确定各指标权重值，并将权重划分为基础权重和学科权重两部分；前者是指由图书情报领域专家、学术期刊编辑与图书馆员得出的权重，后者是指由某一专业或学科领域专家得出的权重。在综合上述分析和参考《中国人文社会科学核心期刊要览》 （2008年版）的指标权重处理办法的基础上，本文将基础权重和学科权重分别赋权值为0.7和0.3，二者加权后的权重值之和即为某学科领域学术期刊质量评价指标体系的综合权重。

（1）构建评价指标层次结构模型。本文运用层次分析法构建指标层次结构模型，依次包括目标层（期刊评价指标综合值）、准则层（包括期刊来源指标和被引指标两项）、子准则层（期刊被引指标下设影响强度、广度和速度三类）和指标层。

（2）构造评价指标判断矩阵。根据上述模型，本文构建了6个判断矩阵。准则层的2个1级指标构成1个2维判断矩阵，子准则层的3个2级指标构成1个3维判断矩阵，指标层的9个3级指标按其类别构成4个判断矩阵，分别是由3个期刊来源指标构成的1个3维判断矩阵和由6个期刊被引指标构成的3个2维判断矩阵。［10］根据Saaty权威性建议，采用数字1-9及其倒数为标度来确定各指标权重值。

（3）问卷设计与调查。本文设计了专家调查问卷，其中一级指标权重专家评分表如表1所示，其他层次指标权重专家评分表均以此类推。笔者采用电子邮件方式对国内一些具有副高级以上职称的图书情报领域高校教师与图书馆员（各占73.1%和17.1%）以及学术期刊编辑进行访问调查，共计发放问卷100份，回收问卷89份。利用yaaph0.5.2软件再对全部问卷调查数据进行统计，共计82份有效问卷均通过了层次单排序与总排序一致性检验，由此表明该调查问卷设计较为科学合理，评价指标层次结构模型与判断矩阵具有较好的适用性。

表1 调查问卷中一级指标权重专家评分表

（4）计算评价指标权重。本文采用专家评分法和层次分析软件yaaph0.5.2，对指标体系内同层指标进行两两比较，得到判断矩阵，计算矩阵对应的特征向量，再依次进行层次单排序和层次总排序及其一致性检验，从而确定各指标权重。根据全部的层次单排序统计结果，可以计算出指标层内各指标的层次总排序权重。判断矩阵一致性检验是指检验专家对各指标进行两两比较时所作出的判断思维是否一致。本文引入Saaty提出的判断矩阵平均随机一致性指标值进行具体的统计检验，然后计算出每份有效问卷中获得的各指标层次总排序权重的算术平均值，即各指标基础权重，如表2所示。在具体评价某学科领域学术期刊质量时，还需要对领域专家进行问卷调查以获取各指标学科权重，进而得出各指标的综合权重值。

2 实证研究

本文坚持“同类可比”的评价原则，选择数学期刊进行实证研究以体现基础与学科权重之间的差别。

2.1 问卷调查与指标权重确定

本文选择2011年国内“211工程”大学中数学专业综合排名前30所高校中具有副高级及其以上职称（正高与副高职称比例各为37.6%和62.5%）的数学领域专家为调查对象，以保证调查的较高权威性与可信度。共计发放问卷40份，回收问卷36份，其中32份有效问卷全部通过层次单排序和总排序一致性检验。然后分别计算出各评价指标的学科权重值，通过加权进而算出各指标的综合权重值，如表2所示。从表中可知，两类权重值相差较大的指标有基金论文比、篇均被引频次、影响因子和Web即年下载率，这在一定程度上反映出不同学科领域专家对学术期刊质量的不同理解与认知。

表2 数学期刊各评价指标的三类权重值分布

2.2 期刊选取和数据统计源

在参照国内多种期刊分类或导航目录的基础上，本文选取15种有代表性的数学期刊进行实证研究；同时选择《2009年版中国期刊引证报告（扩刊版）》和《中国学术期刊综合引证报告（2009年版）》为主要数据来源，以CNKI中国引文数据库同期数据为补充，以保证统计分析的科学有效性。通过直接检索或辅助人工统计得到各刊评价指标原始数据，如表3所示。数据检索与统计处理日期为2012年8月15～16日。

由于同一个指标体系内的不同指标数据之间存在较大差异，因此需要对各指标数据进行归一化规范处理，以便在同一个数量级上进行横向比较与评价。归一化处理的思路是将各指标中的最高值设置为1，其他数据依据相应比例取值，通过加权综合得到各指标综合评价值，其降序排列结果如表4所示。

表3 数学期刊各评价指标原始数据分布

表4 数学期刊各评价指标归一化处理后的数据与综合评价值分布

2.3 评价指标相关性分析

本文基于皮尔逊（Spearman）积差相关系数，利用SPSS17.0软件分别对评价指标体系中的目标层（即指标综合评价值）与各指标层及单项指标间的相关性进行分析，以考察各指标层对于上一层级设置的合理性。

（1）评价指标体系的总体分析。据统计，准则层与目标层之间的两个相关系数r分别为0.538和0.958，P值均小于0.01，表明本文构建的期刊评价指标体系中的准则层指标与目标层之间在0.01水平（双侧）上显著相关，来源与被引指标的设置对于整个评价体系而言是合理的。三个子准则层指标与准则层之间显著性相关（相关系数r分别为0.852、0.768和0.646，P值均为0.000），表明三个被引指标的设置也是较为合理的。此外，三个来源指标与准则层之间（r分别为 0.958、0.881和 0.550，P值分别为 0.000、0.000和0.002）、两个影响强度指标与子准则层之间（r分别为0.810和0.802，P值均为0.000）、两个影响广度指标与子准则层之间（r分别为0.986和0.957，P值均为0.000），以及两个影响速度指标与子准则层之间 （r分别为 0.838和 0.670，P值均为 0.000） 均在0.01水平（双侧）上显著相关，表明各项指标的设置对于整个评价体系而言均是较为合理的。

（2） 单项指标与目标层的相关性分析。限于篇幅，本文仅列出Web即年下载率与目标层之间相关性分析结果及相应的散点图，如图1所示。其中，篇均

数、篇均被引频次、影响因子、他引量和他引刊数与目标层之间在0.01水平（双侧）上显著相关（r值分别为 0.601、0.051、0.831、0.794和 0.654），而基金论文比、篇均作者机构数、即年指标和Web即年下载率与目标层之间在0.05水平（双侧）上显著相关（r值分别为0.429、0.395、0.423和0.411）。由此可知各项指标与目标层之间存在不同程度的正相关性，评价指标体系构建在整体上较合理。

图1 Web即年下载率指标与目标层之间相关性分析结果及相应的散点图

2.4 与《中文核心期刊要目总览》的比较分析

由于《中文核心期刊要目总览》 （2011年版） 中共列出17种数学核心期刊排名情况，因此本文选择其与上述期刊评价结果进行对比分析，以探寻两者间的差异性及其原因，对比情况如表5所示。需要说明的是，表中“升降幅度”一列是指某刊在本文研究中排名与其在《总览》中排名相比下的升降位数，正负数分别表示排名升与降，“/”表示某刊在《总览》中为非核心期刊。

表5 本文研究的数学期刊综合评价值排名与《总览》中排名的对比情况

从表中可知，《数学学报》等4种期刊在两个评价体系中排名均相同，《数学的实践与认识》等4种期刊以及《系统科学与数学》等2种期刊的排名分别有不同程度的上升或下降。由于本文与《总览》中的指标构成、评价时段与方法不尽相同，两者的评价结果必然存在一定差异。仅以排名变动较明显的《数学的实践与认识》和《应用数学学报》为例，两刊的来源指标值排名均普遍靠后，而前者的被引指标值排名多数较靠前，而后者多数较靠后。从表4中可知，来源与被引指标权重分别约占总权重的20%和80%。如果期刊各项指标排名均居前列，则其综合排名必定靠前，如《应用数学学报》；如果来源指标排名较靠后，而被引指标排名较靠前而且竞争优势较明显，则其综合排名也会相对靠前，如《数学的实践与认识》。此外，《总览》的评价指标中有6项量效指标和4项信息栈指标（如被索引量、被摘量、获国家奖或被国内外重要检索工具收录数等）均受期刊载文量的较大影响，一定程度上削弱了被引指标的评价效果。

本文构建的评价指标体系比较突出期刊学术影响力的评价效用，也能体现一定的期刊学术含量，有效避免了由于期刊编辑出版随意改进来源指标（如增加载文、被摘、Web下载、自引等数量）以获得较高评价绩效所带来的不良影响。因此，本文构建的期刊评价指标体系在总体上具有一定的科学合理性，与《总览》等传统做法不同，能够适用于不同学科领域期刊评价；在指标选择方面，既兼顾各类期刊的内在特征和外在影响，又考虑不同期刊的办刊特色或方向，能够较公平和客观地体现与评价期刊学术质量；在指标权重分配方面，既包含专业成分又融入学科特色，同时涵盖基础与学科两类权重，一定程度上避免了专家偏向等主观影响。

［参考文献］

［1］朱强，等．中文核心期刊要目总览（第六版）［M］．北京：北京大学出版社，2011：1－18.

［2］南京大学中国社会科学研究评价中心-来源期刊目录 ［EB/OL］.［2012－08－16］．http://cssci.nju.edu.cn/news.as-p?ChannelID=9.

［3］中国科学引文数据库项目组．中国科学计量指标:期刊引证报告（2011年卷）［R］.北京：知识产权出版社，2012：1－10.

［4］万锦堃,薛芳渝.中国学术期刊综合引证报告（2009年版）［R］.北京：科学出版社，2010：1－10.

［5］曾建勋．2010年版中国期刊引证报告（扩刊版）［R］.北京：科学技术文献出版社，2010：1－8.

［6］邱均平，等．中国学术期刊评价研究报告：RCCSE权威、核心期刊排行榜与指南 （2011－2012）［R］.北京：科学出版社，2011：8－26.

［7］庞景安,等.中国科技期刊综合评价指标体系的研究［J］.中国科技期刊研究，2000（4）：217－219.

［8］师昌绪，李廷杰．自然科学学术期刊综合评价指标体系研究［J］.中国科技期刊研究，2001，12（3）：165－168.

［9］苏新宁.人文社会科学期刊评价指标体系研究［J］.图书馆论坛，2006，26（6）：59－65.

［10］白景永．基于职业成长的高校教师科研能力评价体系设计 ［J］.继续教育研究，2011（7）：39－41.