高校学术期刊综合评价指标体系的咨询法研究

2013-02-05

四川轻化工大学学报(社会科学版) 2013年5期

（安徽卫生职业技术学院学报杂志社，合肥230061）

当前，高校学术期刊特别是高校学报在我国学术期刊方阵中占有很大比重，对于我国的科学研究和学术交流发挥着重要作用。随着我国报刊业和科研工作市场化步伐的加快，期刊的评价也越来越受到社会重视，出现了很多期刊的评价体系，但是，高校学术期刊的评价体系尚待加强研究和完善。本课题组采取开放式的专家咨询法，研究探讨高校学术期刊的综合评价体系的指标及其权重。

一、完善和创新高校学术期刊评价体系的必要性

（一）现行期刊评价体系需要不断检讨

纵观我国期刊评价研究史，是从“标准规范主导型”到“内在质量型“发展。而且，早期主要重视期刊评价的定性指标，如政治标准、编辑规范标准等，近年越来越重视期刊评价的定量指标[1]。目前在期刊评价特别是在核心期刊、重要期刊遴选中，主要运用诸如中国科技信息研究所提出的科技期刊的他引率、影响因子等10 项或8 项引文计量指标进行分析评价。通过引文计量分析反映期刊的影响力，从而反映期刊的质量和水平，有一定的可取之处。但是，引文计量分析评价过分注重学术质量评价，甚至只是论文评价，忽略了对编辑出版本身专业质量的评价，尤其是缺乏期刊编辑出版质量等权重计量评价。此外，引文计量分析评价也缺乏对期刊的市场经营情况及其市场适应性的评价。一本学术期刊的质量反映是多层次、多侧面的，因此，单纯用引文计量分析评价期刊，难以全面、客观、真实、准确地评价期刊质量和办刊水平。同时，通过引文计量分析对期刊质量的评价主要是读者评价，缺少同行专家的评价，而且这些指标的统计源数据过分依赖网络，其客观性程度不一定完全真实准确，其计量指标权重分配也缺乏普遍公认的依据，因而其评价不能完全真实准确地反映期刊的学术质量。不是所有核心期刊上的论文水平都一定高，也不是所有高被引论文的学术水平就一定好。

（二）不同类型的期刊存在不可比性，因而需要不同的评价体系

国内外对学术期刊评价体系研究较多，尤其是对科技期刊评价的指标体系研究较多[2]，但很多期刊评价体系，更多的是注重期刊的分级评价，对期刊的分类评价重视不够。一般的期刊评价指标体系都是基于期刊的共性指标，但没有考虑期刊分类的差异评价。依据《中国学术期刊综合引证报告2008 版》[3]，随机抽取专业期刊和高校学报各10 种，统计分析各自的他引率、影响因子等10 项引文计量指标，两者评价存在明显差异，特别是影响因子等主要指标，专业期刊总体明显高于高校期刊，如10 种医学期刊和10 种高校学报的影响因子均值分别是0.57、0.45，卡方检验表明两者有显著差异（p＜0.001）。不同种类的期刊，如自然科学和社会科学期刊，综合类和专业类期刊，学术类和技术类期刊等，各自的办刊宗旨，学科专业定位、办刊方向等均有不同，因而读者群就存在广狭等差异，读者群存在差异，引文率的可比性就存在差异。学科专业对引文率也有影响，来源期刊多的学科，影响因子必然比来源期刊少的学科高[4]。如果期刊评价体系的指标及其权重没有体现不同学科及不同类型期刊的差异，评价结果的客观性、合理性和公正性就不够充分，相互的可比性就缺乏可靠保证。期刊的质量和水平的衡量指标要求体现不同类型期刊的差异[3]，因此，必须对学术期刊进行分类管理和分类综合评价，只有这样才能充分保证对期刊的评价合理公正。

（三）高校学术期刊具有自己特殊的办刊要求和办刊特点，需要相应的评价体系

高校学术期刊具有自己鲜明的特征：首先具有学校性，它要服务于高校的教学科研，即展示和交流教学科研成果，编辑出版方向具有特定性；高校期刊大多为综合性期刊，包含学科专业复杂，内容广；高校期刊刊载的文章研究性、理论性较强，应用性相对较弱；高校期刊来稿和发行范围有一定限制，学科却复杂，其读者相对较少和分散，因而其引文指标计量得分必然相对较低。在科技期刊的评价和遴选活动中，套用一种专业期刊的评价体系，高校学术期刊明显处于不利地位，从而不利于发展。因此，高校学术期刊的评价需要有体现自己特殊性的评价体系。

（四）研究和建立高校学术期刊评价体系的意义

规范高校学术期刊编辑出版工作，促进高校学术期刊的发展和方阵建设；为高校优秀期刊和重点期刊等提供科学的遴选工具，有利于更科学合理地进行学术期刊的分类分级管理；适应中国期刊管理体制改革和发展的需要。国家期刊和教育管理部门多次强调要加强高校学术期刊综合评价体系的研究和建设。

二、研究方法和专家咨询调查的结果

（一）研究方法：采用专家咨询法

即通过调查咨询和统计相关领域专家意见的研究方法。按照国家出版总署《期刊出版管理规定》等相关法规要求，参考目前科技期刊评价体系的研究情况，结合高校学术期刊的特点，设计制作《高校学术期刊综合评价指标体系及其权重分配专家咨询表》,预设了期刊评价的一级指标3 项和二、三指标若干及各项指标的权重分配值选项，并预设了专家认为需要增加的项目，规定各级指标权重总值均达满分100 分的咨询表为有效。通过随机抽签的方法从《中国高校科技期刊通讯录》选聘50 名具有副高以上职称的学术期刊工作资深专家（其中，11 人兼任高校科研管理工作），进行调查咨询，50 天后回收，通过统计归纳咨询专家的意见，确定高校学术期刊的综合评价指标及权重分配。

（二）专家咨询调查的结果

收回有效的《高校学术期刊综合评价指标体系及其权重分配专家咨询表》45 份，有效率90%。采用EXCEL 软件系统，对45 份有效专家咨询表进行统计，获得专家关于高校学术期刊综合评价体系的指标及权重意见，其中：一级指标3 项，二级指标13 项，三级指标42 项，具体情况如表1。

三、关于高校学术期刊综合评价体系的讨论

本次研究，咨询专家通过对调查表预设指标的权重取舍，对高校学术期刊综合评价体系的意见协调趋同，共同提出了高校学术期刊综合评价体系的一级指标3项、二级指标13 项、三级指标42 项及其权重，皆赞同从学术质量、编辑出版质量及管理水平与经营发展实力等三个方面对高校学术期刊进行综合评价，并通过对指标的分级分解和权重分配，密切相关高校学术期刊的特性，积极体现了高校学术期刊评价的完整性、学术性和导向性，因而符合高校学术期刊综合评价应遵循的原则和要求，因而具有较强的可行性和应用价值。

（一）高校学术期刊的评价体系应遵循的原则和要求

1.高校学术期刊的综合评价体系应是对期刊质量全面、完整考量的体系

学术期刊其学术性是重心，学术质量是期刊的主要质量，因此学术期刊综合评价要重点考量学术质量。考量学术质量，应综合分析相关指标计量,评价期刊的整体学术质量。期刊的本质是编辑出版，编辑出版质量不仅是期刊的基本质量，而且是决定期刊质量的关键因素，没有好的编辑质量就不可能有好的学术质量,期刊的编辑出版质量与期刊的学术质量密不可分，因此，期刊综合评价应坚持着眼于编辑出版专业，考量编辑出版质量。同时，管理质量是考量期刊质量的重要动态指标，在市场经济社会，期刊的市场化发展是必然趋势，期刊经营和发展实力是期刊学术和编辑质量的表现，也是期刊学术和编辑质量的保证，期刊评价时不能忽视。总之，只有将学术质量、编辑出版质量、经营管理和发展水平三方面作为高校学术期刊综合评价的三大一级指标，才能全面、合理和公正地综合考量期刊的质量。

2.评价指标既坚持编辑出版本身的专业性，又突出学术期刊的学术性

高校学术期刊是以学术研究为主，学术质量是其根本质量，这是所有作者、编者、读者的共识。主张全面考量期刊的质量，应该突出学术期刊的学术质量评价。所有参与咨询的专家充分考虑到了这一点，对一、二、三级指标的权重，都向学术方面进行了倾斜，如一级指标，学术质量、编辑出版质量、经营管理和发展实力的平均权重分别是46.2%、35.9%、17.9%，二级指标中，图表与统计方法、文章结构的平均权重分别是7.60%、9.13%等，学术质量的指标权重是占第一位的。这样倾斜于学术的权重评价值基本是合理的，可以作为高校学术期刊综合评价的权重参考值。

表1 高校学术期刊综合评价体系一、二、三级指标及其权重分配

3.评价指标遵循定性评价与定量评价相结合的原则

高校学术期刊的学科专业范畴复杂，研究形式多样，因而其质量体系亦复杂多样，很难单纯用一种计量指标体系来考量。本次研究提出的高校学术期刊综合评价体系，各级指标中都包含了很多定性评价指标，如一级指标中的编辑出版质量、管理与经营发展实力，二级指标中的执行期刊编辑规范、管理运行水平，三级指标中的年发表论文获奖数、管理运行制度等。对期刊综合评价，这些定性评价是必不可少的，否则就是以偏概全，不能客观公正地评价高校学术期刊。适当运用定性评价，引入同行专家的评价，补充完善读者评价，并通过定性评价与定量评价相结合，不仅能克服用网络计量指标评价所犯的以偏概全的缺陷，大大增强了评价的客观公正性，还利于实施期刊编辑出版质量的评价，特别是可以相关高校学术期刊的特性评价。不过，为严格控制定性评价的人为主观因素的影响，确保期刊评价具有最大客观公正性，应对定性评价部分尽量选用客观性强的指标，并明确标准要求，实行量化。本研究对期刊定性评价部分都实行了客观性分解和量化，统一指标计量，如对编辑出版质量通过分解为客观性较强的若干二级和二级指标进行计量评价。

4.评价指标充分相关高校学术期刊的特殊性

前面讲的遵循定性评价与定量评价相结合的原则，是相关了高校学术期刊的复杂多样性的一个方面。在二、三级评价指标的设立中，充分考虑了高校学术期刊的办刊宗旨和定位及发展方向，考虑到高校学术期刊的学校性，其主要是为高校的教育教学科研和学术交流服务，因此，在二级评价指标中，设立了年载文量与教育教学论文比，论文作者分布及专业水平；考虑到高校学术期刊的综合性，设立了学科的专业特色与知名度等。同时，还考虑到多数高校具有行业性，地方性，在三级指标中设立了服务相关行业或地方发展研究情况的评价指标。此外，将管理水平与经营发展实力合并在一起考量，并偏重于管理水平的考量，也是考虑到高校学术期刊的特殊性，其市场经营化还有个过程，也不大可能完全市场化。

5.评价指标体系具有开放性，适应并促进高校学术期刊的发展

高校学术期刊是不断发展变化的，对其评价，特别是对高校示范型学术期刊的综合评价应该是开放的，动态的，因而其评价体系也应该具有开放性，动态性。本次专家咨询研究提出的高校学术期刊的综合评价体系，设立一二三级指标时对此进行了尝试，如在学术质量评价中，引入论文作者分布及专业水平考量，并设立了年发表校外作者论文比等三级指标，用以适应并促进高校学术期刊逐渐开门办刊的发展形势；在编辑出版质量评价中，将设计制作质量纳入考量，用以适应并促进高校学术期刊的设计制作创新。虽然，高校学术期刊市场化还有很长的路要走，但是，学术期刊市场化是必然趋势，有人认为，学术期刊未来将逐渐由现在的“内在质量主导型”向“市场竞争力主导型”发展[5]，因而，本评价体系首次将期刊的市场经营能力，特别是首倡将市场竞争力纳为高校学术期刊的考量指标，这样做，主要是为适应并促进高校学术期刊的市场化发展。

（二）本研究成果具有可行性和应用价值

本研究提出的《高校学术期刊综合评价体系》基本涵盖了学术期刊编辑出版工作的各方面，密切相关了高校学术期刊的特性，因而能全面完整地对高校学术期刊的办刊质量进行全面、真实、准确的评价。通过咨询一定数量专家得出的期刊评价体系，具有一定的民主性、公认性、科学性和权威性。而且，评价采取定性评价与定量评价相结合方法，不仅增强了客观合理性和公正性，而且对于综合性强的高校学报的评价具有较强的适用性。总之，本研究提出的《高校学术期刊综合评价体系》，突出了高校学术期刊的共性，体现了高校特性，增强了客观公正性，富有导向性，因而具有较强的可行性和应用或指导价值。