我国科研人员对期刊评价认识的调查分析
2016-09-28耿海英苏金燕
耿海英 苏金燕
摘要:文章通过问卷调查方法,分析探讨了我国科研人员对学术期刊评价的认识和态度。研究总共发放问卷5000份,回收2752份,回收率为55.04%。调查发现,高校在读生,特别是博士生,很关心学术期刊排名情况;科研人员也非常关心学术期刊的排名情况,其中以有副高、正高评审需求的30-50岁人群关心度最高;在四大期刊体系中,CSSCI知名度最高;定性、定量评价指标的重要性基本相同;被引用指标在评价期刊学术水平时认可度最高,转摘、_下我指标次之:作者知名度越高,其论文学术水平越能得到大多数人的认可,作者单位知名度与这些单位作者的论文的学术水平之间呈正相关关系。调查结果也表明,参考文献越准确、越规范,则期刊的学术水平越高;外文文献使用比例的高低,通常也与论文的学术水平呈正相关关系。
关键词:期刊评价;期刊排名;评价体系;评价指标;调查问卷
中图分类号:G250.25 文献标识码:A DOI:10.1 1968/tsyqb.1003-6938.2016040
2015年11月4日,中国科学技术协会、教育部、国家新闻出版广电总局、中国科学院和中国工程院联合发布《关于准确把握科技期刊在学术评价中作用的若干意见》,指出“学术评价是科技期刊的一项基本功能”“要充分认识科技期刊及其在学术评价中的独特作用”。早在4年前,教育部在其发布的《关于进一步改进高等学校哲学社会科学研究评价的意见》中就提出,要“大力推进优秀成果和代表作评价”,要“正确认识《科学引文索引》(SCI)、《社会科学引文索引》(SSCI)、《艺术与人文引文索引》(A&HCI;)、《中文社会科学引文索引》(CSSCI)等索引数据在科研评价中的作用”。这也显示了各大部委对已有期刊评价体系的态度。因此,完善、发展期刊评价体系势在必行。
为了建立一套科学的人文社会科学期刊评价体系,中国社会科学评价中心于2014年开展了“我国人文社会科学学术期刊质量评价指标”的调查,旨在了解学界对已有期刊评价体系的认知程度及对已有评价指标的认可程度,为后续科学合理地选取指标、设计指标等提供参考。依据此次调查结果,从科研人员对期刊评价的认识与关心情况出发,准确研判和分析科研人员对我国期刊评价体系的熟识程度,及对引用、转摘、下载等评价指标的认可情况。
1.问卷设计、发放与回收情况
问卷围绕“对期刊评价的总体认识”和“对期刊评价指标的认识”两部分设计了若干问题。前者包括对学术期刊排名的关心程度、对期刊评价体系的认知和期刊评价体系的使用情况:后者包括对定性定量评价指标的认识、对期刊论文属性指标的认知、对参考文献特征指标的认识以及对被引用、下载和转摘指标的认识。调查对象选取了学科专家、编辑专家和重点读者(青年学者和博士、硕士研究生)三个层面的人员。这三类人员经常接触期刊、使用期刊,对期刊的发展和期刊评价有一定了解。
课题组于2014年5月至7月发出问卷5000份,截至2014年9月共收回问卷2752份,回收率为55.04%,回收问卷情况(见表1)。
2.对期刊评价的总体认识
2.1对学术期刊排名的关心程度的调研
调查结果显示,不同年龄、职称、学历的科研人员对期刊排名关心程度的确存在差别。在调查对象中,72%的人表示关心学术期刊排名情况。从年龄来看,31-40岁的科研人员最关心学术期刊排名(86%),41-50岁的科研人员次之(85%),然后是51-60岁的人群(77%)和61岁及以上人群(74%),最不关心该问题的是30岁以下人群。笔者认为,该现象的出现与职称评审有一定关系。因为期刊论文是一种重要科研成果形式,在职称评审时,85%的科研人员表示其所在单位将职称评审与期刊论文数量、质量挂钩。而有些机构将期刊影响因子、是否核心期刊作为期刊质量高低的评判标准,然后“以刊评文”,这就促使科研人员关注期刊排名。由于30-50岁人群是评定副高、正高职称的主要人群,所以这个人群最关心学术期刊的排名。
从职称来看,中级职称人群最关心核心期刊排名问题,其次是副高职称人群,然后是正高人群,初级职称人群对此问题的关注度最低。这也再次印证职称评定与学术期刊排名关心程度的关系,如初级职称人群大多为学历较低者,研究能力相对较弱,他们更关注的通常是论文能否发表以及论文发表的数量,而不太在意发表在什么刊物。
从学历(经历)来看,博士生(86%)最关心学术期刊排名,其次是博士后(81%),然后是硕士生(67%),最后是本科生(60%)。被调查对象中有1400人是在读学生,其中82%的学生表示其就读学校对毕业发文数量和质量有要求,特别是对于博士生来说,发表一定数量、质量的期刊论文是毕业的必要条件。期刊质量往往以期刊排名为参考依据,所以博士生最关心学术期刊排名问题。博士后人员经过博士阶段训练,对学术期刊排名问题有了一定认识,所以仍然关心此问题,但博士后出站时对期刊论文质量的要求(从一定程度上讲就是对期刊排名的要求)比对博士生的要求要弱,所以博士后人群对学术期刊排名的关注度小于博士生人群。
2.2对期刊评价体系认知情况的调研
长期以来,我国人文社会科学领域有四大期刊评价体系,即:北京大学的《中文核心期刊要目总览》(简称北大总览)、南京大学的《中文社会科学引文索引(CSSCI)》(简称南大CSSCI)、中国社会科学院的《中国人文社会科学核心期刊要览》(简称社科院要览)和武汉大学的《中国学术期刊评价研究报告——RCCSE权威期刊和核心期刊排行榜》(简称武大RCCSE)。
调查显示,南大CSSCI的认知度最高,仅7%的人没听说过CSSCI;其次是北大总览,仅8%的人表示没有听说过:社科院要览有16%的人没听说过:没听说过武大RCCSE的则高达35%。
对这四大体系所评价期刊学科范围的调查显示,38%的人了解南大CSSCI的期刊收录范围,35%的人了解北大核心的期刊评价学科范围,25%的人了解社科院核心期刊的评价范围,仅12%的人了解武大核心期刊评价范围。调查结果还显示,对四大体系期刊评价指标的了解都不多,即使是最高的南大CSSCI,了解其评价指标体系的人也仅占了16%。
2.3期刊评价体系的使用情况
期刊评价体系经常被高校或科研机构使用于其科研管理过程,具体使用情况却不得而知。调查结果显示,除武大RCCSE较少被使用外,其他三家在各机构中被使用的比例相当。
在调查人群中,有83%的人表示在其毕业或评职称时其就读学校或工作单位对发表的期刊论文有要求(见表2)。在学生毕业时,29.09%的学校以北大总览为期刊划分依据:在评职称时,35.6%的以南大CSSCI为期刊划分依据:在年度考核及课题结项时,仍然是以南大CSSCI期刊收录结果为主的最高,分别为31.69%和32.6%。总体来看,南大CSSCI收录的期刊是使用最多的(30.92%)。另外,有16.11%的学校在学生毕业时自己制定期刊名单,20.55%的单位在评职称、年度考核及课题结项时使用自制名单。除此之外,15.97%的学校、12.89%的单位使用其他期刊评价的结果。
3.对期刊评价指标的认识
3.1对定性定量评价指标的认识
科学合理的期刊评价应是定量分析和定性评价的结合,而其中指标的设置与权重以及定性与定量指标的权重分配对评价结果有至关重要的影响。
在进行期刊的定性评价时,调查对象认为期刊学术性(期刊内容的学术含量及比重)最重要:其次是期刊论文的学理性与创新性;然后是期刊公信度(学术水平与学风的社会认同度);第四是学术规范性(论文的写作规范和著录规范);第五是编辑质量(编校差错率及选择策划能力)。
调查对象认为,期刊评价时最重要的定量评价指标是被引频次;然后是期刊被转摘、转载数量;第三是期刊在各数据库中及开放获取网站中下载次数:第四是期刊获基金资助论文比例。
对定性指标及定量指标权重的调查发现,被调查对象认为定性指标应占到52%的权重,定量指标应占48%的权重。其中认为应该完全采用定性评价的人仅占04%,认为应完全定量评价的人更少,在2752个调查对象中,仅1人认为应完全采用定量指标。
3.2对期刊论文属性指标的认识
王翠英[4]调查发现,在180种科技期刊中,有124种(69%)期刊在稿约中明确提出对论文字数的要求,要求论文附摘要的有146种(81%),要求论文列出关键词的有114种(63%)期刊:对于论文字数来说,29.94%的调查对象认为论文字数与学术水平存在弱相关,有29.29%的人认为两者没有关系(不相关),仅5.78%的人认为字数越多学术水平越高(非常相关),甚至有11.21%的人认为字数越多学术水平越低(负相关)(见表3)。David Card研究发现,1970-2010年的40年间,经济学科顶级期刊论文的长度已经增长了近3倍,有些期刊已经出台相应政策限制每篇论文的长度,这种情况在其他学科也同样存在。对于摘要来说,认为有中文摘要的期刊学术水平会高一点(非常相关、一般相关及弱相关)的人占了72.78%,认为有英文摘要期刊的学术水平要高一点(非常相关、一般相关及弱相关)的人占了73.12%。也就是说,大部分调查对象认为,有英文摘要期刊比仅有中文摘要期刊的学术水平要高,有摘要期刊比没有摘要期刊的学术水平要高。对于关键词来说,认为有中文关键词的期刊学术水平会高一点(非常相关、一般相关及弱相关)的人占了71.5%,认为有英文摘要期刊的学术水平要高一点(非常相关、一般相关及弱相关)的人占了71.6%。由此可知,大部分人认为有关键词期刊比没有关键词期刊的学术水平要稍高。
从作者知名度来看,87.46%的调查对象认为作者知名度越高,则其撰写的学术论文的水平也更高(非常相关、一般相关及弱相关),并且有30.42%的人认为作者知名度与学术水平有非常相关的关系。从作者单位知名度来看,82.46%的人认为知名单位发表的学术论文的水平总体会高一些(非常相关、一般相关及弱相关),有17.92%的人认为单位知名度与学术水平之间存在非常相关的关系。由此反推,高知名度作者、高知名度单位作者(即使作者本身知名度不高)的论文更易被期刊录用、被学者引用。
李霖等认为合作性研究在提高论文质量上优于独立性研究,那么期刊论文的作者数量越多学术水平越高吗?合著论文比例越高,期刊质量就越好吗?从作者数量来看,35.47%的调查对象认为一篇论文作者数量跟学术水平之间没有任何关系(不相关),27.24%的人认为作者数量多一点学术质量也会相应的好一点(弱相关)。认为作者人数越多学术水平越高的人仅有2.83%,认为作者数量越多学术水平越低的人却有17.19%,这与论文署名中的名誉署名、赠送署名、搭车署名和买卖署名等不端署名情况的存在是有一定关系的。有66%的调查对象认为,期刊登载合著论文比例越大,则期刊学术水平越高(非常相关、一般相关及弱相关),仅22,95%的人认为不相关,这与李霖等的研究结论相同。
对于单篇论文来说,并非有基金资助的论文质量一定高于无基金资助的论文,甚至部分学科中无基金资助的论文质量更高,有学者甚至提出期刊是否应该停止刊登一些基金资助的论文,如药品企业基金资助的论文;对于期刊来说,有学者认为“基金论文比”比“影响因子”更能代表科技期刊的学术质量,但也有学者认为将“基金论文比”作为学术期刊评价指标是欠科学、欠合理的,基金论文比例高并不代表期刊学术水平高。无论学者得出的结论如何,在本文的调查中,有74.77%的调查对象认为基金论文越多,则期刊的学术水平相对越高,科研人员认为基金论文的学术水平还是比较高的。
3.3对参考文献特征指标的认识
早在1993年,冉强辉等就提到“引文著录规范化率是否纳入评估指标体系之中,有待商讨”,但“为了全面提高科技期刊的学术质量,引文著录规范化问题理应引起科技期刊编辑的重视”。本文的调查显示,有83.47%(非常相关、一般相关及弱相关)的人认为,期刊论文的参考文献著录形式越规范,则期刊的学术水平越高,有22.13%的人认为两者之间存在非常强的相关关系(非常相关)(见表4)。除了形式规范,更是有47.53%人认为期刊论文参考文献引用的真实准确性与期刊的学术水平高度相关(非常相关),认为学术水平高的期刊其参考文献的准确性就越高的人占到了90.98%(非常相关、一般相关及弱相关)。
毛大胜等认为,科技论文的参考文献数量可以反映论文的学术水平,数量越多水平越高,本文的调查也印证了此观点。79.61%(非常相关、一般相关及弱相关)的调查对象认为期刊论文引用的参考文献数量越多则期刊学术水平越高,并且认为与中文参考文献相比,引用的外文参考文献越多则期刊的学术水平越高。
从参考文献的类型来看,有80.13%的调查对象认为引用期刊越多则学术水平越高,有79.14%的人认为引用图书越多则学术水平越高,认为引用学位论文越多则学术水平越高的人占70.03%,对来自网络的参考文献的认同度则降低到61.63%,并且有13.26%的人认为引用的网络文献越多则学术水平越低,认为引用图书、期刊文献越多则学术水平越低的人则只有2.94%和3.34%。
3.4对被引用指标的认识
被引用次数一直是重要的定量评价指标,甚至被用作评价期刊质量高低的唯一指标。有88.73%的调查对象认为,期刊论文的被引用次数越多,则期刊的学术水平越高,甚至有44.22%的人认为两者之间高度相关(见表5)。认为期刊论文发表当年就被引用的次数多越多则学术水平越高的达到88.38%,认为期刊论文发表2年后被引用次数多则学术水平越高的达到89.21%,认为5年后被引次数越多学术水平越高的人有88.15%。与前面各指标相比,被引次数是认可度最高的期刊评价指标。
3.5对转摘、下载指标的认识
二次文献转摘和Web下载能从定量角度反映期刊的学术影响力,经常作为期刊评价的重要指标。对于转摘和下载指标来说,科研人员对转摘指标和下载指标的认可度也较高,其中有87.35%人认为,期刊论文被转摘次数越多,则学术水平越高:有85.06%的人认为,期刊论文下载次数越多,则学术水平越高(见表6)。刘雪立等研究发现,下载量与被引量呈高度正相关关系,但也有一部分出现下载与被引背离现象,Nieder等也认为下载量与学术水平之间没有普遍意义上的正相关关系。
4.结语
本次调查结果表明:我国在读学生在职科研人员非常关心学术期刊的排名情况,其中博士研究生与有副高、正高评审需求的30-50岁的人群最为关心:在四大评价体系中,CSSCI是知名度最高的,其期刊收录名单也是学生毕业、在职人员评职称时使用最多的:定性、定量评价指标的重要性基本相同,指标权重各占一半:被引用指标在评价期刊学术水平时是认可度最高的指标,转摘、下载指标次之:作者知名度越高则其论文学术水平越得到大多数人的认可,作者单位知名度与这些单位作者的论文的学术水平之间也呈正相关关系:认为参考文献越准确、越规范则期刊的学术水平越高,并且外文文献使用比例越高,通常学术水平也比较高。