河南省自然科学期刊学术影响力评价指标体系的构建*

张 猛,杨永利，施学忠，贾晓灿，夏振华，程志伟

郑州大学公共卫生学院卫生统计学教研室 郑州 450001

河南省自然科学期刊学术影响力评价指标体系的构建*

张 猛,杨永利，施学忠#，贾晓灿，夏振华，程志伟

郑州大学公共卫生学院卫生统计学教研室 郑州 450001

#通信作者，男，1964年5月生，博士，教授，研究方向：卫生服务统计方法与应用，E-mail：xzshi@126.com

自然科学期刊；学术影响力；指标体系；Delphi法；层次分析法

目的：建立河南省自然科学期刊学术影响力评价指标体系并确定各指标权重。方法：采用文献分析法和Delphi法进行指标的筛选，采用层次分析法计算各级指标的权重。结果：建立了一套由4个一级指标和15个二级指标组成的二级指标体系：一级指标包括稿源特征指标、引文指标、收录指标和网络传播指标，其权重分别为10.7%、53.2%、17.5%和18.7%，所有指标两两比较判断矩阵满足CI<0.10。结论：建立的河南省自然科学期刊学术影响力评价指标体系具有较好的科学性和可操作性。

科技期刊汇集了大量的科学研究成果，一个国家科技期刊质量的优劣直接反映了其科学技术的发展水平以及知识创新的能力[1-3]。科技期刊的评选是科学文献发展到一定阶段的必然产物，科技期刊的评价工作为优化科技期刊的使用情况提供重要的参考依据，同时可以提高科技期刊的内在质量，促进科技期刊的健康成长和发展[4]。由于科技期刊专业繁多，内容专深，难于量化、规范化和标准化等特点，迄今还没有一套较成熟的针对自然科学期刊学术影响力的评价指标体系[5-7]。该研究拟采用文献分析法、专家咨询法与层次分析法，从稿源特征、引文指标、收录情况和网络传播情况4个方面建立一套比较全面的自然科学期刊学术影响力评价指标体系，为自然科学期刊学术影响力的评价工作提供依据。

1 材料与方法

1.1 指标体系的构建步骤 第1步：拟定河南省自然科学期刊学术影响力评价指标体系。采用文献分析法，在多个数据库中检索近些年有关自然科学期刊综合评价指标体系或者期刊学术影响力评价指标方面的中英文文献。收集文献后，对检索到的重要文献进行分析；然后成立专题讨论小组进行多次讨论，初步确定河南省自然科学期刊学术影响力评价指标体系的基本内容。

第2步：第1轮专家咨询。采用专家咨询法，通过邮件发送专家评议表的形式征询专家对河南省自然科学期刊学术影响力评价指标体系各级指标的意见与建议。咨询的对象为来自于全国18种期刊的主编和编辑以及有多年审稿经验的专家共20人。此轮专家咨询的主要目的在于对讨论小组拟定的指标体系进行修订，专家可对指标的增加、删减或者修改提出意见，若指标得到65%的专家认可则该指标可进行指标的重要性、可行性和灵敏性的评价。若待评价指标的中位数大于7，变异系数小于0.25，则该指标将被保留在评价指标体系中，反之则被删除。

第3步：第2轮专家咨询。第2轮专家咨询同样以邮件发送专家评议表的形式进行。咨询的对象与第1轮相同。此轮专家咨询的主要目的在于对指标体系中各级指标的重要性进行两两比较，建立判断矩阵。

1.2 指标体系的分析方法 采用层次分析法确定各级指标的权重，其基本步骤为[8-9]：①分解研究问题(总体目标)，建立递阶层次结构，形成目标树图。②构建两两比较判断矩阵，计算各指标相对权重。③进行一致性检验，对各指标向量进行归一化处理后，对计算所得的权重系数进行检验，看其是否符合逻辑。一般认为，当CI<0.10时，可能无逻辑混乱，即计算所得的各项指标的权重可以接受。④运用乘积法计算出最下层(方案层)指标的组合权重。

1.3 统计学处理 将专家咨询结果用EpiData双录入，利用Excel分析各指标的中位数、变异系数并进行一致性检验。

2 结果

2.1 Delphi法结果 第1轮专家咨询，共发送专家咨询评议表20份，回收有效专家咨询评议表19份，专家积极系数为95%。19名专家，中位年龄49.2(35～60)岁，审稿经历中位数14.8 a。第2轮专家咨询，共发送专家咨询评议表19份，回收有效专家咨询评议表17份，专家积极系数为89%。17名专家，中位年龄48.6(35～60)岁，审稿经历中位数14.1 a。见表1。

表1 专家基本情况 例(%)

2.2 指标体系筛选结果 根据两轮专家咨询结果，确定了河南省自然科学期刊学术影响力评价指标体系为4个一级指标和15个二级指标组成的二级指标体系，其中一级指标包括稿源特征指标、引文指标、收录指标和网络传播指标(表2)。

2.3 指标权重计算结果 层次分析法计算结果显示一级指标稿源特征指标、引文指标、收录指标和网络传播指标的权重分别为10.7%、53.2%、17.5%和18.7%，CI<0.10。见表2。

表2 自然科学期刊学术影响力评价指标体系及其权重

3 讨论

3.1 Delphi法 Delphi法是一种常用的主观评价方法，可以充分利用专家的经验并且操作简便快捷，适用于初筛大量的指标和定性研究。专家咨询法的关键在于专家的挑选，其直接决定了问询结果的可靠性和有效性[10-11]。一般问询的专家是从与研究课题有关的各分支学科中选择的有经验的专家。若专家选取不当，一方面可能增加评价中的偏倚，另一方面则可能导致轮回之间应答率下降。该研究选取的20名专家为来自于18种期刊的主编和编辑，审稿经历较长，均熟悉期刊评价工作，具有较强的权威性和代表性，保证了该研究专家咨询结果的可靠性。

3.2 评价指标的选取及其权重分析 能够反映期刊学术影响力的指标有很多[12-14]。按照评价指标的时限性进行划分，可以分为静态指标和动态指标。多数指标为静态指标，常用于同一年中多种期刊之间的比较，如该研究所选取的稿源特征指标等；动态指标可用于纵向观察同一种期刊多年来自身学术影响力大小的变化，例如该研究选取的趋势指数。该研究采用层次分析法确立了各级指标的权重，研究结果显示一级指标“引文指标”下的“影响因子”所占权重最大(15.2%)，其次是他被引率(12.5%)。影响因子是在承认单篇文献被引次数越高越好的前提下，评价期刊作为一个文献的集合所反映的影响力水平高低的指标。但影响因子只能在一定程度上反映期刊的学术质量，并不能完全等同于期刊的学术质量。该研究在专家咨询法中对各指标的重要性、可行性以及灵敏性进行评价，经过两轮的专家咨询，各级指标均通过了一致性检验，专家咨询的结果符合逻辑性。严谨的分析过程保证了评价指标体系的逻辑性、科学性以及合理性。

3.3 该评价指标体系的优势和局限性 目前国内外还没有一套较为成熟和公认的针对自然科学期刊学术影响力进行评价的评价指标体系，该研究较为全面系统地建立了自然科学期刊学术影响力评价指标体系，指标体系包括了稿源特征指标、引文指标、收录指标以及网络传播指标4个方面，能较为科学和合理地反映期刊的学术影响力。在指标的选取上，该体系具有动态指标与静态指标相结合的特点[15]，动态评价与静态评价相结合，是该指标体系的另一个创新点。在指标体系建立的过程中，专家选取是关键，直接决定了指标体系的可靠性。该研究的另一个优势为选取的专家均为期刊界的权威专家，有丰富的审稿经验并且熟悉期刊评选工作，代表性好，保证了该研究所建立的指标体系的可靠性、科学性以及合理性。

但是该指标体系依然存在不足和局限性。由于用于期刊评价的指标繁多，且每个指标都存在不可避免的优缺点，从而导致了期刊评价指标体系建立工作的复杂性。咨询的专家在对每个指标进行筛选和评价时可能存在认识角度的不同，使得评价工作存在一定的局限性。目前仍有许多研究者不断提出新的期刊评价指标，因此对于期刊评价指标体系的建立仍需要在以后的实践中进一步完善。

总之，该研究建立了由二级指标组成的自然科学期刊学术影响力评价指标体系，构建过程中专家积极性好，代表性强，可信度高，构建过程严格，指标体系各层符合逻辑，一致性较好，可为期刊管理部门对期刊的选优以及优化提供科学依据。

[1]李宗红.我国师范高校自然科学学报影响力探析[J].中国科技期刊研究,2007,18(2):260

[2]何莉,董梅生,丁吉海,等.安徽省高校自然科学学报学术影响力综合评价分析:基于因子分析法[J].中国科技期刊研究,2014,25(3):427

[3]自然科学学术期刊评价指标体系研究课题组.自然科学学术期刊综合评价指标体系研究[J].中国科技期刊研究,2001,12(3):165

[4]俞立平,潘云涛,武夷山.学术期刊来源指标与影响力关系的实证研究[J].科研管理,2010,31(6):173

[5]SEGLEN PO.Why the impact factor of journals should not be used for evaluating research[J].BMJ,1997,314(7079):498

[6]FALAGAS ME,KOURANOS VD,ARENCIBIA-JORGE R,et al.Comparison of SCImago journal rank indicator with journal impact factor[J].FASEB J,2008,22(8):2623

[7]VINTHER S,ROSENBERG J.Impact factor trends for general medical journals:non-English-language journals are lagging behind[J].Swiss Med Wkly,2012,142(12):w13572

[8]孙振球.医学综合评价方法及其应用[M].北京:化学工业出版社,2006.

[9]孙振球,王乐三.综合评价方法及其医学应用[M].北京:人民卫生出版社,2014.

[10]SCHMIDT R,LYYTINEN K,KEIL M,et al.Identifying software project risks:an international Delphi study[J].J Manage Inform Syst,2001,17(4):5

[11]WAMBA SF,NGAI EW.Importance of issues related to RFID-enabled healthcare transformation projects: results from a Delphi study[J].Prod Plan Control,2015,26(1):19

[12]GARFIELD E.Citation analysis as a tool in journal evaluation[J].Science,1972,178(4060):471

[13]BONNEVIE-NEBELONG E.Journal citation identity,journal citation image and internationalisation:methods for journal evaluation[J].Scientometrics,2006,66(2):411

[14]ROUSSEAU R.Journal evaluation:technical and practical issues[J].Libr Trends,2002,50(3):418

[15]姜联合.科技期刊学术质量评价体系的动态优化[J].编辑学报,2001,13(5):251

(2017-05-17收稿 责任编辑姜春霞)

Construction of evaluation index system of natural science journals′ academic influence in Henan Province

ZHANGMeng,YANGYongli,SHIXuezhong,JIAXiaocan,XIAZhenhua,CHENGZhiwei

DepartmentofHealthStatistics,CollegeofPublicHealth,ZhengzhouUniversity,Zhengzhou450001

journal of natural science;academic influence;index system;Delphi method;AHP

Aim: To establish the evaluation index system for academic influence of journals of natural science in Henan Province and define the weight of each index.Methods: Document analysis method and Delphi method were used to screen the index,and then the weight of each index was defined by calculation with AHP.Results: The evaluation index system of natural science journals′ academic influence included the first level indicators such as the source characteristics index, citation index, indexed index and network communication index with weight of 10.7%,53.2%,17.5%, and 18.7% in order. On this basis, 15 second level indexes were chosen.CI<0.10.Conclusion: The evaluation index system for academic influence of natural science journals in Henan Province is scientific and operable.

10.13705/j.issn.1671-6825.2017.04.010

*河南省高等学校重点科研项目 15A330005

R195.1