引文分析法结合德尔菲法在医学期刊评价中的应用

刘小纬，孙政，骆华伟，舒畅*，黄卫华，田云鹏，杨丽（.浙江省医学科学院，浙江杭州00；.浙江省卫生和计划生育委员会，浙江 杭州0006；.浙江省医学学术交流管理中心，浙江 杭州000）

·医学情报研究·

引文分析法结合德尔菲法在医学期刊评价中的应用

刘小纬1，孙政2，骆华伟3，舒畅1*，黄卫华2，田云鹏3，杨丽3
（1.浙江省医学科学院，浙江杭州310013；2.浙江省卫生和计划生育委员会，浙江 杭州310006；3.浙江省医学学术交流管理中心，浙江 杭州310003）

目的建立一种客观公正的医学期刊质量评价指标体系，同时为制定《评审卫生高级专业技术资格医学卫生刊物名录》提供依据。方法将德尔菲法和引文分析法相结合，筛选出浙江省内107名在专业领域具有较高水平的专家，对国内1200多种期刊进行分层评价，经三轮投票。结果投票共评选出462种期刊入选名录，其中一级刊物177种、二级刊物285种。结论引文分析法结合德尔菲法具有客观﹑准确和权威性，且可操作性强，不失为一种评价﹑筛选医学科技期刊的有效方法。

医学期刊；评价；引文分析；德尔菲法

随着科学技术的高速发展，作为成果报道和知识传播主要载体的期刊其作用日益突现。科技期刊汇集了大量的科技研究成果，是一个国家科技实力和科技创新水平的窗口［1］。截至2012年，我国的期刊总数已达到5000种，居世界第二［2］，成为名副其实的期刊大国。然而，我国的期刊总体水平参差不齐，因此，对期刊的评价越来越受到各方的关注。兼具科学性与合理性的期刊评价体系能够基本准确地反映期刊的真实水平，能为科技工作者的科研成果获得理想的展示平台，在申报基金课题，评定科技论文、专业技术职称、科研成果时也可为管理部门提供相关的参考，同时也能为期刊自身明确定位、挖掘潜力提供动力和方向。故期刊的评价对促进期刊质量、开创良性竞争的出版环境以及推进我国学术水平，具有一定的现实意义。

期刊评价理论与实践源于美国。美国著名情报学家加菲尔德博士在20世纪60年代对期刊文献的引文进行了大规模统计分析，得到了“大量被引用文献集中在少数期刊上，而少量被引用文献散布在大量期刊中”的结论，被认为是国外期刊评价理论的起源，我国的科技期刊评价研究开始于20世纪70年代［3］。经过多年的发展，目前国内应用较多的科技期刊评价体系有：北京大学图书馆的《中文核心期刊要目总览》、中国科技信息研究所的《中国科技论文统计源期刊》、中国科学院文献情报中心的“中国科学引文数据库（CSCD）”、中国科学技术信息研究所的《中国科技期刊引证报告》、清华大学与中国科学文献计量评价研究中心的《中国学术期刊影响因子年报（JIF）》、武汉大学中国科学评价研究中心的《中国学术期刊评价研究报告（RCCSE）》等。在这些评价体系中，中国科技信息研究所采用以引文分析为主导的综合统计方法；武汉大学版力求从被引用和期刊发文两个方面定量反映期刊的学术质量和影响力，但实际上定性的作用非常有限；北京大学版则以定量评价为依据，以定性评审为补充，定性与定量相结合的比较标准的方法［4］。以上体系虽然使用多年，各有利弊，但是由于国内尚缺乏类似SCI、Medline的大型、权威、统一的数据库，每个数据库收录的期刊也不尽相同，并不能完整地覆盖国内出版的期刊，不同数据库提供的引文数据也不同，影响了评价的准确性，同时一些评价方法过于重视定量指标而轻视定性评价，过于简单化，影响了评价体系的科学性。期刊评价体系是否具客观性和合理性是反映期刊真实水平的重要因素。

浙江省从2008年起使用《评审卫生高级专业技术资格医学卫生刊物名录》来提升晋升论文的质量，对扼制“学术垃圾”取得了一定的成效。随着学科的发展和晋升人数的变化，对该名录的调整势在必行，迫切需要一种全面、客观、公平公正、保证学术质量、兼顾学科发展、满足高层次人才选拔、可重复操作且可全面评价期刊分级的方法。2012年，本课题组受有关部门委托，对该名录进行修订，以期能够更加全面公正地为浙江省医学工作者提供学术参考。课题组在听取以及参考了有关专家学者的意见后，将引文分析法和德尔菲法相结合，对我国1200多种医学期刊进行分类评价，在为广大医学科研人员论文的发表提供导向的同时，也希望为我国医学期刊评价提供一种相对合理﹑客观的方法。

1　对象与方法

1.1研究对象收集了维普、万方、知网三大期刊数据库、中国期刊引证报告（扩刊版）2011年版［4］、北京大学中文核心期刊目录总览（2011年版）［5］、中国科技论文统计源期刊（2011年版）［6］中的医学相关期刊，并在中国新闻出版总署在线查询网站查询核对已停期刊的信息，同时在网上发布《关于修订名录的公告》，向医学科研及管理人员征集各学科未录入的期刊。收集整理、去重去杂后共有1274种医学相关期刊（不含科普类期刊）入选备选目录。将期刊的所属学科、主办单位等基本信息进行了汇总，并按中图法进行分类，同时收集这些期刊的总被引频次、影响因子。所有期刊的指标原则上出自《中国期刊引证报告（扩刊版）2011年版》，对于没有在该引证报告上收录的期刊，再在其他数据库中收集，并且标注。同时查询期刊是否属于“北京大学中文核心期刊”和“中国科技论文统计源期刊”，并予以标注。

1.2专家的筛选选择各医学专业领域、了解本学科发展，且在期刊工作及评价上有一定造诣的专家，以国家级或者省级各专业学术委员会的主委和副主委专家为主，共计107名，均具有正高职称，工作时间在15年以上。专家积极指数以调查表的回收率来表示，回收率（%）=收回咨询表数/发放咨询表总数1100%。

1.3方法

1.3.1引文分析法检查各期刊的基本情况，包括主办单位、被国内外大型数据库收录情况、是否核心期刊、引文指标（影响因子、被引频次等）。将收集的期刊基本内容汇总，做成问卷表，以信函的方式发放给专家选勾期刊。期刊入选要求：一级期刊要求在国内相关领域具有领先的地位；二级期刊要求在国内有一定的影响力。建议专家参考期刊的引文指标进行分析，以学术质量为主要依据，兼顾学科的发展要求来拟定。数量要求：根据浙江省各医学专业晋升高级职称的人数比例来选定各专业的期刊总体数量，一级和二级比例为3：5和每一轮投票要求期刊数量呈一定比例的递减。要求专家对每种杂志是否入选为一级或者二级进行勾选，原则上一种杂志不能同时入选一、二级杂志；如果觉得无法满足入选条件则不选。

1.3.2德尔菲法［7］分三轮投票勾选，并按照一级和二级期刊的比例保持在3：5的原则。第一轮在专家初选出一、二级期刊后，汇总专家的意见，将初选出的刊物再次请专家遴选，并减少55%左右的期刊；第二轮要求期刊数量减少20%左右；第三轮选刊递减数量与第二轮相同，再次由专家勾选，最后汇总专家的意见，并定出一、二级期刊的最终名单。每一轮评选的专家有30%的轮换。将前一轮的得票数反映在后一轮的备选名录中，备选名录最后一页为空白表格，专家如有异议或者有另外推荐的期刊可在表格上补充。

1.4数据的处理每一轮问卷结果都建立数据库。由2名以上专业人员核实后，利用Excel表收集、录入数据，并进行全面的统计和分析。

2　结果

2.1问卷发放和回收情况第一轮发放问卷79份，回收74份；第二轮发放问卷65份，回收63份；第一、二轮的专家系数分别为93.7%和96.9%。第三轮共发放30份问卷，回收30份，专家系数100%。三轮问卷发放的专家积极系数均较高。

2.2筛选结果第一轮的投票筛选出一级期刊238种（≥15票），二级期刊476种（≥10票），共筛选出719种期刊进入第二轮投票。第二轮投票筛选出一级期刊203种（≥7票），二级期刊301种（≥15票），共504种，另有86种同时入选一、二级的期刊作为备选也进入第三轮投票，共590种。第三轮最终筛选出一级期刊177种（≥5票）和二级期刊285种（≥5票），并定稿。经三轮投票后共462种期刊入选新的《评审卫生高级专业技术资格医学卫学刊物名录》。

3　讨论

现行的科研评价体系中，科技期刊的评价是管理部门无法回避的问题，在晋升职称、科研成果评定、申报基金课题﹑人才评价时，均先需对期刊学术水平进行评估。虽然优秀的期刊中难免有低水平的论文，而一些低质量的期刊也有新论点新技术的高水平论文，但是不可否认，优秀期刊的整体水平较高，因此对科技期刊进行科学的评价对提升我国的学术水平、提高期刊的办刊质量具有良好的推进作用。目前，国内的医学期刊评价体系中，SCI和Medline收录的期刊普遍被视为最高级别，而其对它医学生物类期刊的评价，则是仁者见仁、智者见智［8-9］。目前，我国现行的期刊评价体系主要存在以下问题：评价指标简单化，过份关注定量指标，或者仅按照出版机构来简单划分期刊的级别，同时由于缺乏统一﹑权威的数据库，期刊数量和引文数据不完整，无法全面地反映国内期刊的现状。

关于如何制定合理的期刊评价方法，有学者提出了期刊评价分类分层评价思路，即为使定性评价具有一定的可比较性和可操作性，重点考察每个期刊在某些分项指标（如学术水平、编辑水平、出版水平）方面是否有独特的优势，此评价可以与计量学指标互为参照，最终给期刊一个总体评价［10］。该思路兼顾定性和定量评价，是较为客观的评价方法。但是采取何种定性方法，最大程度地减少人为影响因素，又兼具可操作性，是决定该方法是否客观、公正的重要因素。

德尔菲法创建于20世纪50年代，是利用专家的模糊性信息，通过通信或其他匿名的方式进行信息交换，逐步取得较一致的意见，是一种预测、评价和收集意见的方法，具有客观性、充分性以及一定的权威性［11］，是预测及评价研究领域较好的方法之一。目前，德尔菲法在层次分析、科技预测，医学、土地集约利用评价、生态环境、可持续发展以及教育等相关领域均有广泛应用［11］，是比较合适的定性评价方法。本文筛选了国内各学科领域中具有较高学术造诣的专家，结合引文分析法和德尔菲法，对国内1274种医学期刊进行定性和定量相结合的评价。从结果来看，基本反映了目前国内科技期刊的总体水平，尤其一级期刊几乎囊括了国内各个学科综合排名靠前、具有较高的学术声誉的期刊。修订的目录使用两年来，得到了省内绝大多数医药卫生科技工作者的认可，表明该法具有全面性和客观性。当然，由于德尔菲法比较依赖专家的意见，而一些专家对不熟悉领域的评价，以及一些综合性的期刊难以归类，这些因素均在不同程度上影响了评价的准确性。如何进一步完善该方法，有待于进一步探讨。

为了尽可能完整地收录国内医学期刊，作者对国内所有的数据库进行筛选，引文数据以《中国期刊引证报告（扩刊版）2011年版》为基础，对该报告中未收录的期刊才采用其他数据库中的数据，力求数据具有可比性。本文收集的1274种医学期刊基本完整覆盖了2012年之前我国公开发行的医学期刊，由于数据库的局限性，仍有2%数据来源于其他数据库，在一定程度上影响了评价数据的可比性，但就整体而言，数据仍具有较高的科学性。

张春霆［12］院士认为，学术评价是一个复杂的科学和社会问题，学术评价工作没有最好，只有更好，永远需要不断改进。国内对医学科技期刊的评价至今尚缺乏较完善有效、权威统一且可操作性强的方法，作者结合引文分析法和德尔菲法来评价国内的医学期刊，结果基本可靠。该法具有以下优点：可以最大程度地消除人为影响因素以及指标间的相关性带来的偏差，降低评价偏差，使结果更客观、准确和权威，且可操作性强，不失为一种评价、筛选科技期刊的有效方法。

［1］贺晓利，白燕琼.中国科技期刊的质量状况及对策.情报杂志，2003，22（10）:116

［2］杨宁.中国科技期刊总数5000居世界第二，整体质量不足［N/OL］.人民日报.（2012-10-03）［2015-04-29］.http://news. xinhuanet.com/zgjx/2012-10/30/c_131939096.htm.

［3］ 王健东.关于完善期刊评价体系的思考.出版发行研究，2014，（5）:78

［4］中国科学技术信息研究所，北京万方数据股份有限公司.中国期刊引证报告（扩刊版）2011年版.北京：科学技术文献出版社，2011：9

［5］ 北京大学图书馆.中文核心期刊要目总览（2011年版）.北京：北京大学出版社，2011：1

［6］ 中国科学信息研究所.中国科技论文统计源期刊概览（2011年）.北京：科学技术文献出版社，2011：9

［7］丁晋飞，谈立峰，汤在祥，等.德尔菲法其在公共卫生领域的应用和展望.环境与职业医学，2012，29（11）:727

［8］邱均平，张荣，赵蓉英.期刊评价指标体系及定量方法研究.现代图书情报技术，2004，（7）:23

［9］曾文军.医学期刊学术水平综合评价指标体系的研究.湖南：中南大学，2007：1

［10］叶继元.学术期刊质量评价与核心期刊评价之异同.图书情报工作，2009，53（18）:5

［11］袁勤俭，宗乾进，沈洪洲.德尔菲法在我国的发展及应用研究—南京大学知识图谱研究组系列论文.现代情报，2011，31（5）:3

［12］张春霆.学术评价的评价.中国科学基金，2010，（6）:328

浙江省医药卫生科技计划一般项目（201344510）*为通讯作者：E-mail:zjykyxb@126.com