中国高校ESI学科排名与教育部学科评估结果相关性分析*

张晓阳 韦 恒

（江苏大学科技信息研究所 镇江 212013）

中国高校ESI学科排名与教育部学科评估结果相关性分析*

张晓阳 韦 恒

（江苏大学科技信息研究所 镇江 212013）

对中国高校ESI学科排名与教育部第三次学科评估结果进行相关性分析，结果发现，大部分学科呈现高度线性相关，平均相关系数超过0.7。基于此，运用ESI的排名结果可以为学科整体评价作参考，宏观上把握学科的国际影响力。

基本科学指标集 ESI学科排名 学科评估 相关性分析

1 引言

关于同行评审与文献计量评估的相关性，国外已有报道：Garfield[1]认为单个作者的出版数和被引次数与诺贝尔奖具有相关性；Charles等[2]对英国研究水平评估活动（RAE）进行了研究，发现在一些研究类的学科中，RAE的评估和基于引文分析的文献计量指标之间存在着显著的相关性；Rinia等[3]发现荷兰物理学研究机构的文献计量指标和同行评价之间存在着显著的正等级相关，相关系数约为0.5；Abramo等[4]比较了由意大利评估机构通过同行评审得出的大学排名与通过文献计量模拟得出的结果，却有很大的差异；Aksnes和Taxt[5]以挪威的卑尔根大学一个研究小组的个案分析显示了文献计量学指标与专家委员会给出的评价等级具有很弱的相关性。相关研究似乎存在不一致的地方。

教育部学位与研究生教育发展中心邀请了约5 000名专家开展了第三次学科评估，评估结果受到广泛好评。ESI（基本科学指标集）根据SCI/SSCI的数据对进入全球前1%的机构学科影响力进行排名。这两者之间（同名学科）是否具有相关性？本文试对这一问题作一探讨。

2 数据来源与处理

2.1 数据来源

基本科学指标数据库（ESI）[6]2001年由美国科技情报所研制，可以按照科学家、机构、国家/地区和期刊通过近10年SCI/SSCI收录的论文数据挖掘发布排名榜。ESI对进入全球前1%机构的相关学科公布总论文数、总被引数和篇均被引数。本文采用的数据是基本科学指标数据库2013年5月公布的2002年1月1日至2013年2月28日SCI和SSCI收录的论文。

学科评估的数据来源于中国学位与研究生教育信息网的官方网站（http://www.chinadegrees.cn）[7]，该网站公布了2012年教育部第三次学科评估结果。该评估采用“客观评价与主观评价相结合、以客观评价为主”的指标体系，包括“师资队伍与资源”、“科学研究水平”、“人才培养质量”和“学科声誉”4个一级指标，指标权重全部由参与学科声誉调查的约5 000名专家确定。其中科研水平的二级指标为：代表性学术论文质量、科学研究获奖情况、出版学术专著或转化成果专利情况、代表性科研项目情况等。

2.2 数据处理

按照学科名称进行比对，提炼出10个相关学科，分别是：临床医学、计算机科学、材料科学、药学、生态学、生物学、数学、物理学、化学、地质学，见表1：

表1 ESI与学科评估学科名称对比

本次ESI学科数据收录了全球5 252所机构，从中筛选出中国高校，并保留在两个排行榜中共有的高校。

由于教育部的学科评估是按照学科评估的整体得分只取整数进行排序，所以存在少量得分相同的院校，这些院校只是按照学校代码顺序排列，没有进一步排名，本文根据ESI中这些高校的总被引数进行区分排序。

3 结果与分析

3.1 典型学科分析

以临床医学为例，该学科按照总被引数、总论文数量以及篇均被引数的学科排名与在教育部学科评估中的排名经过整理后的结果见表2：

表2 临床医学按照三种指标在两种评估中的排名对比

从表2可见，前9位高校ESI总被引数排名、论文量排名与教育部学科评估几乎完全一致，而篇均被引数与学科评估在前4位高校较一致，其它高校排名大部分相差很大。为考察整体排名是否一致，笔者对临床医学进行等级相关分析，发现该学科教育部评估结果与ESI中按总被引数排名相关系数为0.932，这是本文所做的10个学科中相关系数最高的，可以看出该学科论文的总被引数可以较好地反映各高校临床医学总体实力。按照总论文数量的排名与教育部学科评估排名的相关系数也高达0.924，属于高度线性相关；而基于ESI的篇均被引数排名与教育部学科评估排名的相关系数只有0.326，属于低度相关。表明临床医学学科的论文总量也能在较高水平上反映学科的总体实力，而篇均被引数则不能完全代表其实力。

3.2 10个学科情况

3.2.1 按照总被引数排名的相关度汇总 本文所选10个学科按照总被引数排名与学科评估结果相关系数汇总见图1：

图1 10个学科总被引数排名与学科评估结果的相关系数

由图1可以看出，10个学科中呈现高度线性相关（相关系数达到0.7以上）的共有7个学科，占据了总量的70%。其中临床医学、化学、地质学、物理学4个学科的相关系数更是超过了0.85；计算机科学相关系数为0.604，介于0.4～0.7之间，属于显著性相关；只有数学与生态学两个学科呈现低度相关。

按照总被引数来排序，中国高校ESI学科排名与教育部学位与研究生教育发展中心2012年公布的学科排名有较高的相关性，对于大部分学科来讲，本领域发表论文的总被引数可以反映本学科的总体实力，因而用被引频次来排名具有高度的客观性。

3.2.2 按照论文量排名的相关度汇总 本文所选10个学科按照论文量排名与学科评估结果的相关系数汇总见图2：

图2 10个学科论文量排名与学科评估结果相关系数

不难看出，论文量的相关系数与总被引数的相关系数大致相同，变化比较大的学科是数学与生物学，数学按照总被引数排名与学科评估的相关系数只有0.386，属于低度相关，而按照论文量相关系数为0.754，属于高度线性相关。而生物学情况相反，生物学按照总被引数的相关系数为0.747，而按照论文量的相关系数降低为0.418。国内数学学科排名第一的北京大学的论文量为1 419篇，总量与临床医学相比并不算多。究其原因，可能与学科性质有关。

3.2.3 按照篇均被引数排名的相关度汇总 本文所选10个学科按照篇均被引数排名与学科评估结果的相关系数汇总见图3：

图3 10个学科篇均被引数排名与学科评估结果相关系数

篇均被引数的相关系数除了生物学与化学相关度较高外，其他8个学科相关系数都低于0.4，属于低度相关，其中数学与药学相关系数为负值，即为负相关。所以以篇均被引数来对学科进行排名要谨慎使用。

3.2.4 平均相关系数 以上所做的都是按不同学科类别来进行相关性分析的，为了了解整体的相关性，本文对各学科相关系数进行了算术平均运算，见表3：

表3 平均相关系数汇总

就数值来说，按照总被引数与论文量的平均相关系数已经超过了临界值0.7，属于高度线性相关，这也符合前文所做的各个学科的总体情况，绝大部分呈现高相关趋势，也可以初步预测其总体应该属于高相关关系。而按照篇均被引数得到的平均相关系数仅为0.189 2，属于低度相关。

4 讨论

4.1 利用文献计量指标与学科评估结果之间的相关性可以研判学科竞争实力

本研究发现教育部学位中心学科评估与ESI中国高校的文献计量指标，如总被引数和总论文数量排序具有较高的一致性，平均相关系数超过了0.7，类似于国外学者的同类研究，其中临床医学、物理学、化学等7个学科属于高度相关，这说明本研究具有一定的现实意义，大规模学科评估几年才能做一次，而通过ESI文献计量数据则可以从一个侧面动态了解我国相关研究机构部分学科在全球或全国的位置，这对于监测这部分学科科研发展、了解竞争态势具有较好的参考作用，对于教育部门和高校开展大型学科评估也可起到前期调研预判的作用。

4.2 运用ESI指标进行学科评估需慎重，必须结合专家评审才能更准确

学科评估是学科整体水平评估，它涵盖了培养机构学科建设的方方面面，而ESI指标主要体现科研成果的数量与影响力，是学科建设的一部分数据；并且我国学科评估中的学科分类依据国务院学位委员会和教育部颁布的《学位授予和人才培养学科目录》[8]，有110个一级学科，而ESI中学科划分主要依据论文所载的期刊，只有22个学科，对学科分类的界定不是一一对应关系，考察时间也不一样；在本研究中也发现部分学科两种排名的相关性不高，如生态学、数学。因此运用ESI指标只能粗略地反映学科发展的实力，更为准确的学科水平评估需要采用更多更全的数据，并要组织专家评审。

5 结语

科研是学科发展的基础，论文是科研成果的主要指标，利用ESI数据进行学科评估具有一定的合理性，本文以教育部学位中心第三轮部分学科评估结果与ESI中国高校学科排名的高度相关性证实了这一观点。ESI数据具有动态性、及时性、简便性特征，可作为学科实力评估的辅助工具。为使ESI数据更直接地反映学科科研的变化，建议科研人员以期刊为载体研制基于《学位授予和人才培养学科目录》的ESI论文归类系统，一方面便于我国科研人员按学科投稿，另一方面便于培养机构对学科发展态势进行监测分析。

［1］Garfield E,Welljams-Dorof A.Of Nobel class：A citation perspective on high impact research authors［J］.Theoretial Medicine，1992，13（2）：117-135.

［2］Michael N，Charles O.Citation counts and the Research Assessment Exercise V：Archaeology and the 2001 RAE［J］.Journal Of Documentation，2003，59（6）：709-730.

［3］［荷］亨克·F.莫德.科研评价中的引文分析［M］.佟贺丰，王炼，曹 燕，等，译.北京：科学技术文献出版社，2010：157.

［4］Abramo G D，Angelo C，Di Costa F.National research assessment exercises：a comparison of peer review and bibliometrics rankings［J］.Scientometrics，2011，89（3）：929-941.

［5］Aksnes D W，Taxt R.Peer reviews and bibliometric indicators：a comparative study at a Norwegian university［J］.Research Evaluation，2004，13（1）：33-41.

［6］Essential Science Indicators［DB/OL］.［2013-05-01］.http://esi.webofknowledge.com/home.cgi.

［7］教育部学位中心2012年学科评估结果［EB/OL］.［2013-01-29］.http://www.chinadegrees.cn/xwyyjsjyxx/xxsbdxz/index.shtml.

［8］学位授予和人才培养学科目录（2011年）［EB/OL］.［2013-03-22］.http://www.cdgdc.edu.cn/xwyyjsjyxx/sy/glmd/272726.shtml.

（责任编校 骆雪松）

Correlation Analysis on the Results of the Ministry of Education of China’s Disciplinary Evaluation and ESI Discipline Ranking of Chinese Colleges and Universities

Zhang Xiaoyang,Wei Heng
Institute of Science and Technology Information,Jiangsu University,Zhenjiang 212013,China

The present article makes an analysis of the correlation between the results of the Ministry of Education of China’s 3rd round of disciplinary evaluation and ESI discipline ranking of Chinese colleges and universities and shows a high correlation between the two rankings in most disciplines,the average correlation coefficient being higher than 0.7.So it concludes that ESI discipline ranking can provide a reference for the international influence of disciplines at the macro level for general disciplinary evaluation.

Essential Science Indicators;ESI discipline ranking;disciplinary evaluation; correlation analysis

G350

张晓阳，男，1969年生，研究馆员，硕士生导师，江苏大学图书馆副馆长，研究方向为科学计量学，发表论文27篇；韦恒，男，1989年生，2012级图书情报与档案管理专业硕士研究生，研究方向为科学计量学。

*本文系江苏省研究生教改项目“江苏高校优势学科进入ESI数据库前1%动态监测研究”（项目编号：JGZZ13_099）的研究成果之一