《中国考试》2004—2013年刊发论文的文献计量学分析
2014-07-05陈睿
陈睿
《中国考试》杂志是教育部主管、教育部考试中心主办的专业期刊,自1991年创刊以来,历经23载,已发展成为考试研究领域的重要期刊。据《中文核心期刊要目总览(2011版)》编委会提供的数据,《中国考试》目前位居教育学、教育事业类期刊的第34位,入选该类核心期刊共有26种。这一数据说明,《中国考试》距离核心期刊还有一定差距,在办刊质量和影响力方面还有很大发展空间。鉴于目前对《中国考试》定量分析数据的不足,本研究采用文献计量学的方法,对《中国考试》2004—2013年所载研究论文的文献计量特征和学术影响力进行定量分析,探讨其发展的空间,为期刊的进一步发展提供借鉴和参考。
1 数据来源与分析方法
本研究以中国知网(www.cnki.net)为检索平台,在期刊高级检索条件“来源期刊”中输入“中国考试”,得到2004—2013年《中国考试》刊载论文1 686篇,对检索结果加以筛选,剔除征稿启事、广告、资讯、会议报道、领导讲话等类载文360篇,最后以研究性论文1 326篇作为统计对象,数据查询截止日期为2014年3月10日。将1 326篇研究论文的相关信息输入Excel文件,建立数据库,对数据信息进行统计分析。
1934年,英国文献学家布拉德福提出“布拉德福文献分散规律”(Bradford’s Law of Scattering),[1]核心期刊的概念由此产生。1971年,美国《科学引文索引》创始人加菲尔德利用引文分析法证实了核心期刊的存在,并提出“加菲尔德文献集中定律”(Garfield’s Law of Concentration),自此,核心期刊的概念得到广泛普及和巨大发展。[2]目前国内有较大影响的三个核心期刊评级机构(北京大学图书馆、中国社会科学院文献信息中心、南京大学社会科学研究评价中心)在评选核心期刊时均采取定量评价和专家定性评价相结合的方法。在定量评价中,影响因子、被引频次、Web下载量等是最常用的测度指标,其他如被引速率、被引广度、他引量、被摘率、基金论文比等指标在不同的期刊评价体系中使用情况不同。因为各评价体系在计算上述某些指标(如影响因子、被引速率等)时采用的算法有差异,所以本文主要通过刊载论文总量、被引量(包括总被引频次、篇均被引频次)、下载量(包括下载频次、篇均下载频次)、核心作者群、作者地区及机构分布、基金资助论文、高频被引论文的研究主题特征等反映期刊学术含量和被引情况的定量指标分析和评价《中国考试》近10年所载研究论文的发展状况。
2 相关数据与结果分析
2.1 刊载论文总量、被引量和下载量分析
由表1可知,《中国考试》2004—2013年所载研究论文共计1 326篇,被引论文766篇,被引率58%;总被引频次2 655次,篇均被引频次2.0次;下载频次160 077次,篇均下载频次120.72次。篇均被引频次和篇均下载频次的时间分布图分别见图1和图2。
从各年度载文量来看,除2006年、2007年所载论文数量稍多外,其余各年特别是2009年后,载文量基本保持在120篇左右。从被引论文数量来看,除2012年、2013年外,其余各年的被引论文数量基本保持在载文数量的65%左右。从被引频次来看,2006年因为载文量多,所以被引频次最高;篇均被引频次的高峰值出现于2005年;2004年、2006—2010年的篇均被引频次除2009年稍低外,其余基本保持在2.45左右;2011—2013年的篇均被引频次较低并呈下降趋势。这一分布规律符合文献计量学揭示的被引频次的时间累积效应,即人文社会科学的引用高峰在其发表后的5年甚至更晚一些的研究结论。[3]
在互联网时代,学术论文的Web下载量成为评价期刊影响力的一个不可忽视的因素。从图2可以看出,《中国考试》研究论文下载频次的高峰出现于2008—2010年,2010年后也呈下降趋势。有研究者对Web下载量与被引频次的关系进行研究,得到的结论是文献下载量与被引量两个指标没有必然联系。[4][5]从本研究的图1和图2可以看出,除2010年后篇均被引频次和篇均下载频次均呈下降趋势外,其他年度二者无规律可循。Web下载量反映了读者对论文主题的关注度,论文下载后被引用的可能性增加,按照表1中的数据计算,《中国考试》论文下载后被引用的平均概率只有1.7%,这从一定程度上说明了论文的创新性和学术价值有待进一步提高。
表1 《中国考试》2004—2013年研究论文数量、被引量、被载量统计
图1 《中国考试》2004—2013年研究论文篇均被引频次时间分布
图2 《中国考试》2004—2013年研究论文篇均下载频次时间分布
2.2 核心作者分析
期刊的作者队伍是期刊是否具有影响力和发展的重要因素,能否拥有高质量的作者群已成为学术期刊发展的关键环节。在文献计量学中,用于测评核心作者的指标有两个,一是发文量(重要性评价),一是被引量(影响力评价)。[6]本研究结合这两个指标测定《中国考试》的核心作者群。
2004—2013年《中国考试》以第一作者发文最多的是18篇,依据普赖斯公式M=0.749其中M为高频阈值,Nmax表示论文被引频次最高值)[7][8],计算得到M=3.17,选择发表4篇或4篇以上论文的作者为《中国考试》的核心作者候选人。
2004—2013 年《中国考试》作者发文被引频次累积最高为99次,依据普赖斯公式确定核心作者候选人的发文累积最低被引量为:M=0.749=0.749=7.45,即发文累积最低被引8次或8次以上的作者为《中国考试》的核心作者候选人。
综合上述两个因素:发文4篇或4篇以上、发文累积被引8次或8次以上的作者即为《中国考试》10年来的核心作者。经统计,核心作者有28位(见表2),共计发文184篇,占2004—2013年《中国考试》刊发研究论文总量的13.8%;核心作者发文被引频次共计809次,占总被引频次的30.5%。核心作者的发文数与文献计量学中核心作者发文数应占发文总量20%的下限有一定差距。[9]目前看来,《中国考试》尚未形成强大稳定的核心作者群,有待于进一步发展。
核心作者中,归属考试机构的作者有21位(其中教育部考试中心的作者有11位),高等院校的作者有7位。考试机构的工作人员是考试研究的主要力量,高等院校的核心作者较少。在考试机构的核心作者中,有行政职务的领导占据一定比例,如曾任教育部考试中心主任的戴家干、现任教育部考试中心主任的姜钢、曾任江苏省教育考试院院长的刘炳贵等,他们撰写的论文视野较高,对考试制度改革、考试评价制度改革以及考试机构的职能定位提出了全新的思考和改革思路,因此论文被引的频次较高。在高等院校的核心作者中,有4位是心理与教育统计与测量的教授,他们撰写的反映教育测量理论最新进展以及以测量理论为基础的考试研究与考试改革的论文被引频次较高,有鉴于此,应在高等院校的心理测量与统计、教育测量与统计专业中进一步挖掘有潜力的考试研究人员。
表2 《中国考试》2004—2013年刊文的核心作者
图3 《中国考试》2004—2013年刊文的核心机构
2.3 作者机构及地区分析
对载文作者的所属机构以及所属地区进行统计分析,可以看出考试研究的核心机构及刊物的区域延伸度和普及范围。[10]
刊发1 326篇研究论文的作者机构有315家,教育部考试中心以236篇、被引频次611次高居首位。依据发文量和被引量,按照普赖斯公式计算得到发文量12篇及以上、最低被引频次19次及以上的机构是《中国考试》发文的核心机构。这些机构共计17家,列于图3中,它们基本代表了国内考试研究领域的最高水平。
将1 326篇论文按照作者机构所属类型分类,得到表3。表3显示,考试机构和高等院校的作者是《中国考试》刊文的主要力量,两类机构论文的篇均被引频次基本持平。
表3 按作者所属机构分类的论文统计
将1 326篇论文按照作者机构所属地区分类,得到图4。图4显示,《中国考试》刊文作者地区分布呈现出广度和明显的地区间不平衡状态。我国31个省市区,除黑龙江、内蒙古、西藏3个省区无论文刊发外,其他省市区都有所遍及。除此之外,我国的香港地区有9篇、台湾地区有5篇论文刊发,作者的身份是美国的高等院校和考试机构的论文有8篇刊发。从各个地区的刊文数量来看,发文最多的5个省市依次为:北京、浙江、湖北、福建、江苏,这些地区是我国经济和高等教育的发达地区和科研重地,其中北京地区占绝对优势,遥遥领先于其他各省市区,占发文总量的47%。与经济发展水平相似,青海、宁夏、内蒙古、西藏等经济较为落后的地区发文量较少,甚至为零,与这些地区高等教育水平较低以及科研资源较为贫乏有一定关系。
2.4 基金资助情况分析
通过统计期刊所载论文中各类基金资助论文所占的比例,在一定程度上可以反映期刊的影响力。[11]期刊登载基金论文数量越多,说明期刊吸收学科前沿高质量论文的能力强,期刊的知名度就越能得到提升。[12]
在1 326篇研究论文中,有216篇基金资助论文,占刊发研究论文总数的16.3%。其中,国家级基金(国家社科基金、国家自然科学基金、国家科技支撑计划、中国博士后科学基金)25篇,省部级基金(全国教育科学规划项目、教育部人文社科规划基金、各省市教育科学规划项目等)124篇,厅局级(全国教育考试科研规划课题、各省市教育厅科研规划课题等)41篇,校级课题(高校、考试机构自主科研项目)26篇(见表4)。216篇基金资助论文的被引频次合计376次,篇均被引1.74次,低于无基金论文的篇均被引频次(2.05次),其中只有国家级基金的篇均被引频次高于无基金资助论文。
表4 基金资助论文统计
图4 按作者所属地区分类的论文数量统计
具有基金资助的课题是经过同行专家评议而产生的,具有较高的学术水平,因此,来源于课题研究成果的论文应该具有较高的学术水平。有研究者对基金资助论文与无基金资助论文被引情况进行比较的结果显示,基金资助论文的被引率显著高于无基金资助论文。[13]《中国考试》基金资助论文的被引频次不符合上述研究结果,分析其原因:第一,统计各年度基金资助论文情况(见表5),发现2010年以前基金资助论文数量较少,从2010年开始,基金资助论文数量明显增加,这些基金项目主要是“十一五”期间批准立项的各级各类课题,这些课题的结题时间应该在2010年至2013年,由于论文被引的滞后性(从表3可见,2013年46篇基金资助论文,只有2篇被引),影响了基金资助论文的被引量。第二,虽然考试研究在2009年后逐步得到重视,但是从绝对数量来看,还远远不够。国家级基金支持的力度不够,经查,全国教育科学“十二五”规划2012年度、2013年度立项课题,在15项国家级重点课题中,没有一项关于招生考试研究的课题,在203项国家级一般课题中,仅有2项关于考试研究的课题。[14]第三,由于《中国考试》非核心期刊,国家级和省部级基金项目在进行成果鉴定时需要有专著或在SSCI、CSSCI、北京大学图书馆版核心期刊上发表论文若干篇,这一因素也影响了高级别基金资助论文向《中国考试》投稿。第四,有些基金资助课题的结题鉴定要求低,只要有论文刊发即可结题,因此,不排除有些课题为了结题鉴定需要,匆忙完成一篇论文刊发,从而导致论文质量不高的情况。
2.5 研究主题和内容分析
对论文的研究主题及内容进行分析,有助于了解这一领域的研究热点及发展趋势。通过对1326篇论文中的166篇高频被引论文①《中国考试》2004—2013年所载研究论文被引的最高频次是44次,按照普赖斯公式确定高频被引阈值为5,即被引5次及5次以上的论文为2004—2013年《中国考试》的高频被引论文,共计166篇。的研究主题和内容进行分析,发现测量与评价、考试招生制度改革的论文最多;从考试项目来看,高考、自学考试的研究论文最多;反映测量理论最新进展、招生考试制度改革的创新思考、国外考试最新改革、考试技术的实践等论文的被引频次高,可参考价值大。但是同时也反映出一些问题,如对一些热点问题的聚焦不够、研究深度不够,对国外考试与技术的最新进展反映不够等。
表5 各年度基金资助论文情况
3 思考与建议
通过上述对《中国考试》2004—2013年刊载研究论文的统计分析,对杂志的发展有如下思考和建议。
第一,准确定位,找出差距,提高载文质量是杂志发展的核心。
根据普赖斯的观点,科学论文一般在其发表后1~2年后即可达到其被引用的峰值阶段。受此判断的影响,加菲尔德在1972年提出影响因子这一评价期刊的重要指标,并定义其计算公式是:期刊前两年发表论文在该年的被引证次数除以期刊前两年发表论文总数。通常认为,影响因子越大,期刊的质量越高,影响力越大。[15]前述国内三大期刊评级机构均将影响因子作为评选核心期刊的最重要指标,在评价体系中占30%及以上的比例[16][17][18]。随着人们对引文分析研究的深入,影响因子的算法发生变化。不同的期刊评级机构在计算影响因子时的算法也不尽相同,如南京大学社会科学研究评价中心将影响因子细分为一般影响因子、学科影响因子和他引影响因子,北京大学图书馆用3年的数据计算影响因子等。
为比较《中国考试》与核心期刊在影响因子这一重要数据上的差距,本研究采用加菲尔德的算法,计算3种期刊2013年的影响因子②在中国知网(www.cnki.net)检索平台期刊高级检索条件“来源期刊”中输入期刊名称,得到期刊数据,删除征稿启事、广告等类载文,计算被引频次。数据计算日期为2014年4月28日。。《中国考试》2011年和2012年刊文253篇,被引频次合计327次,影响因子1.29;位列《中文核心期刊要目总览(2011年版)》教育学/教育事业、师范教育、教师教育类核心期刊最后一位(第26位)的《教育财会研究》杂志2011和2012年刊文184篇,被引频次合计329次,影响因子1.79;位列《中文核心期刊要目总览(2011年版)》教育学/教育事业、师范教育、教师教育类核心期刊第一位的《教育研究》2012年和2011年刊文593篇,被引频次合计2 900次,影响因子4.89。
采用同一算法,比较《中国考试》与同类期刊的影响因子③在中国知网(www.cnki.net)检索平台期刊高级检索条件“来源期刊”中输入期刊名称,得到期刊数据,删除征稿启事、广告等类载文,计算被引频次。数据计算日期为2014年4月28日。。天津市教育招生考试院主办的《考试研究》2011年和2012年刊文153篇,被引频次合计166次,影响因子1.08;湖南省教育考试院主办的《教育测量与评价》2011年和2012年刊文441篇,被引频次合计293次,影响因子0.66;福建省教育考试院和厦门大学考试研究中心主办的《教育与考试》2011年和2012年刊文225篇,被引频次合计132次,影响因子0.59。
上述影响因子数据说明,《中国考试》在考试研究类期刊中具有一定影响力,但是与核心期刊还有一定差距,应在载文质量上下工夫,主动针对我国教育和考试改革的热点、难点和前沿问题进行组稿和约稿,为考试政策改革和学术研究提供交流平台。
第二,被引量(或称被引次数、被引频次)是核心期刊评选的另一个重要指标,在前述三大评选机构设定的评价指标中占10%~15%的权重。被引频次是指在某一时间段内,期刊论文被引用的绝对次数。按照这一指标,期刊发文量越大,被引用的可能性就越多,因此,增加载文量是提升被引量的一个方法;但是如果增加的载文质量不高,无形中增加了影响因子算法中分母的数量,从而降低影响因子,这种做法实为得不偿失。因此,只有在论文质量有保证的前提下,才能增加期刊的载文量。
第三,《中国考试》基金资助论文的刊发量在2009年后达到当年刊发论文总数的36%左右,已成为刊发考试研究课题成果的主要期刊之一。根据前述统计结果,《中国考试》基金资助论文的篇均被引频次低于无基金资助论文,说明基金资助论文的质量还有待提高。《中国考试》在积极吸纳课题研究成果(基金资助)论文的同时,要严把质量关,要杜绝个别课题为结题而凑发论文的不良习气。
第四,《中国考试》目前有核心作者队伍,但尚不够强大。基础理论研究较强的高等院校和科研机构的核心作者少,在教育研究领域有一定影响力的专家少。期刊是“办”出来的,[19]一流的期刊需要一流的作者,而优秀的作者同样离不开期刊的精心培育,作者与期刊的相互呼应、忠实信任将有利于学术期刊和学科研究科学地可持续发展。[20]《中国考试》应积极培育核心作者群,主动邀请教育研究和考试研究领域的知名专家为期刊撰稿,邀请知名专家就考试研究的热点和难点问题撰稿,同时可以加大对核心作者撰文的引导。
第五,《中国考试》的作者地区分布广泛,同时也存在较大的地区差异。海外作者的刊文数量少且地区有限,特别是近几年几乎鲜有海外作者的文章,对国外最新测量理论和考试技术反映不够。从对《中国考试》166篇高频被引论文研究主题和内容的分析看,反映测量理论最新进展、国外考试最新改革、考试技术的实践等论文的被引频次高,可参考价值大,因此,《中国考试》应密切关注国外考试研究和技术的最新动态,主动参加国际学术研讨会和报告会,甚至可以主办研讨会,邀请国外考试机构的专家做学术交流。通过这些途径和方式,一方面可以了解考试研究的最新动态,另一方面也可以挖掘潜在作者。
第六,《中国考试》应重视对期刊发表论文被引情况与高频被引论文内在结构的分析,从而制定相应的组稿、约稿和征稿计划,使期刊的进一步发展能够有的放矢。
[1] [7][15]邱均平.信息计量学[M].武汉:武汉大学出版社,2007:104,194,379.
[2] [3]蒋颖.人文社会科学领域文献计量学研究[M].北京:社会科学文献出版社,2013:153,143.
[4] 李文静.图书情报学核心期刊Web全文下载与被引对比分析[J].情报杂志,2010(2):43.
[5] 万锦堃,花平寰,孙秀坤.期刊论文被引用及其Web全文下载的文献计量分析[J].网络资源与建设,2005(4):61.
[6] [20]钟文娟.基于普赖斯定律与综合指数法的核心作者测评——以《图书馆建设》为例[J].科技管理研究,2012(2):57,60.
[8] 王佑美,伍海燕.中国高教研究领域高频被引论文的学术特征分析[J].中国高教研究,2012(1):33.
[9] 康蠡,周铭.1998—2007年档案检索研究论文的文献计量学分析[J].档案,2009(3):14.
[10] 刘晋飞.《高等教育研究》的学术影响力分析——基于CSSCI(2000—2010年)的数据[J].高等教育研究,2011(2):66-73.
[11] [16]朱强,蔡蓉华,何俊主编.中文核心期刊要目总览:2011年版[M].北京:北京大学出版社,2011:5,35.
[12] 李小娟,唐云富.引证研究:《心理发展与教育》的十年[J].重庆图情研究,2010(4):16.
[13] 赵静,接雅俐,杜志波.基金资助论文与无基金资助论文被引情况分析:以部分高水平医学期刊为例[J].南京医科大学学报(社会科学版),2012(6):501.
[14] 全国教育科学规划领导小组办公室.全国教育科学“十二五”规划2012年度立项课题名单、全国教育科学“十二五”规划2013年度立项课题名单[EB/OL].[2014-02-27].http://onsgep.moe.edu.cn/edoas2/website7/level3.jsp?id=1355275765485330、http://onsgep.moe.edu.cn/edoas2/website7/level3.jsp?id=1389921918442591.
[17] 苏新宁.构建人文社会科学学术期刊评价体系[J].东岳论丛,2008(1):40.
[18] 马红鸽.中国人文社会科学学术期刊评价指标修订及其问题[J].重庆科技学院学报(社会科学版),2010(18):135.
[19] 李国新.期刊是“办”出来的——《图书馆建设》30年感言[J].图书馆建设,2008(4):42-43.