人文社会科学学术期刊质量评价体系构建及实证研究——基于专家视角分析

吴林娟

(1.南京大学 政府管理学院，江苏 南京 210023;2.南京工程学院 学报编辑部，江苏 南京 211167)

一、研究背景

我国自20世纪90年代以来，以总被引频次、两年影响因子等量化指标作为期刊排序依据的量化评价体系一直在我国期刊评价中占主导地位。目前人文社会科学学术期刊的评价体系以定量居多，尽管在学科分类、评价指标、权重设计、统计源选取等方面各有不同，但均倚重于以引文为主导的影响力评价。人文社会科学与自然科学在研究对象、研究方法、成果产出方式、文献引用主要来源等方面都存在不同，实际上人文社会科学学术期刊的评价更多元、更复杂。定量评价虽然可以增进期刊评价的客观公正性，但不能等同于在专业领域学术同行的肯定，忽略了对学术期刊论文内容质量的有效评估，而且容易掩埋学术期刊本身的历史传统、学术史地位、学科背景和风格特色等个性内容，在推动学术创新、引领学术风气建设上的作用较弱，尤其是对于一些“小众”学科的人文社会科学学术期刊更是如此。而坚守初心、引领创新以弘扬中国特色，建设高品质的学术期刊，展示高水平研究成果，正是习近平总书记于2021年5月9日在给《文史哲》编辑部全体编辑人员回信中对哲学社会科学期刊提出的殷切期望[1]。

近几年，随着国家对学术评价的重视，中央及各部委发出的一系列文件进一步对评价要求、原则等进行了明确。2018年11月7日，教育部办公厅发布关于开展清理“唯论文、唯帽子、唯职称、唯学历、唯奖项”专项行动的通知，要求“健全立德树人落实机制，扭转不科学的教育评价导向，推行代表作评价制度，注重标志性成果的质量、贡献、影响”[2]。2021年5月18日，中共中央宣传部、教育部、科技部在《关于推动学术期刊繁荣发展的意见》的通知中明确要求，要“改进完善学术期刊评价体系，以内容质量评价为中心，坚持分类评价和多元评价，完善同行评价、定性评价，防止过度使用基于‘影响因子’等指标的定量评价方法评价学术期刊特别是哲学社会科学期刊”[3]。

因此，在期刊评价中，如何“破五唯”，如破除“单一量化指标造成学术成果重量轻质，粗制滥造，浪费科研资源”[4]等危害，引导期刊在恪守学术规范的基础上，校准办刊方向，提高发文质量，创新学术范式，积极策划选题，加强特色栏目建设，探索扩大期刊学术传播力和社会影响力的新办法，增强期刊的国际影响力和话语权，成为高品质、具有国际影响力的学术期刊，关系到建设具有中国特色、中国风格、中国气派的哲学社会科学的核心命题[5-6]。

目前，国外如科厄[7]、凯特琳[8]、奈德霍夫[9]等一些学者早就进行了基于专家调查的同行评议的学术期刊评价研究[10]。国内大部分文献研究都是对定量指标评价体系，或者是以定量为主定性为辅、二者相结合的评价研究，涉及人文社会科学学术期刊指标定性研究的文献相对较少。叶继元教授曾以法学期刊质量为例论证学术期刊质量评价的多元性和复杂性，“以期刊学术质量和特色为评价重点，突出期刊的内容评价和效用评价，兼及形式评价[11]。他在对图书馆学期刊对构建基于同行专家的以内容、价值为导向的质量“全评价”体系分析框架进行应用性评价时，对能够更好地反映“影响”“价值”“效用”等质量的指标进行了精心设计[12]。张积玉认为，应突出学术期刊的定性内容评价，这是由人文社科期刊内容上的学术性、功能上的既出成果又出人才、效果上的重在社会效益以及学术影响力的持久性等特点决定的[13]。中国社会科学评价中心目前已经利用“中国人文社会科学期刊综合评价指标体系”从吸引力、管理能力和影响力三个层次对期刊进行评价，评选出我国人文社会科学领域的顶级、权威、核心和扩展期刊733种[14]。潘涌、郭雅莲认为，“学术成果的核心元素体现在成果本身的思维内涵、学理品质、创新程度、积极影响”[15]。蒋重跃认为，对期刊的评价与评价论文的学术含量不同，涉及刊物定位、栏目设计、选题策划、稿源组织、制度建设、流程安排等诸多方面评价[16]。刘宇依据社会空间和资本理论构建了期刊学术地位影响因素模型，并通过问卷调查对模型进行了实证分析，强调学科、主题、编校质量、审稿制度、期刊栏目、关注度等对期刊学术地位的重要性[17]。张洋等通过对传统期刊评价方法、指标与体系的分析研究及总结，针对当前的新型网络环境特性，引入网络数据作为评价数据源，结合传统指标与新型网络计量指标，构建了一个将定性、定量指标相结合的电子期刊评价体系并进行了实证研究[18]。高宏利等根据高校科研评估体系构建的原则,从5个维度来评估高校科研水平,并对5个维度中的19个反映高校科研水平的相关要素进行了实证研究[19]。

结合已有研究及落实中央治理“五唯”及建设高品质学术期刊精神，根据人文社会科学学科的特点，笔者认为应该由学科专家(大同行、小同行)、期刊编辑、期刊管理者、期刊评价专家等多元评价主体来进行评价，引入反映人们对评价客体的看法、期望值和满意度等定性指标，重点对期刊内容质量进行评价，扭转“重量轻质”局面，使学术标准不被简单等同于影响因子、转载率、引用率，而更注重学术观点、方法创新及学术风气引领。本文力图构建适用于人文社会科学学术期刊的突出期刊创新质量、学术特色、服务贡献、重视价值引领等内容和效用的评价体系，这与“破五唯”要求有内在的联系[20-21]。

二、评价体系构建

(一)指标筛选结果及其描述

通过文献资料分析和专家访谈咨询，本文确定了18个定性指标。指标体系共分为学术创新、特色风格、学术声誉、学风建设、功能影响五类一级指标，评价指标体系如图1所示。

图1 基于专家视角的人文社会科学学术期刊质量评价指标体系

1.学术创新

学术质量的评价主要是指对评价对象的实质内容进行精细的评价,其核心是对创新能力的评价。目前对人文社科期刊来说，关于创新力的评价大多为定性指标,主要通过同行专家的审读来直接测度[22]。事实上，学术期刊是刊发学术论文的载体，所刊发论文的学术创新水平对期刊有决定性影响。论文原创思想、学术价值、创新度才是期刊质量评价真正应该关注的，“创新”才是期刊评价的导向。学术创新指标包括原创思想度、学术价值、难易程度、选题策划新颖度四项。

(1)原创思想度。期刊原创思想度是期刊论文质量相对于目前学术界关于该论题的新颖度，是相对于已有知识和信息而言的。创新性是衡量学术论文有无发表价值的最根本的标准。学术研究是一项探索性活动，创新性是学术论文的生命。原创思想度高的学术论文更能反映出作者对学术问题研究的独到理解、新的观点、结果和结论，当然其创新程度可大可小。

(2)学术价值。学术价值是指论文的研究成果对某一学科领域理论研究方面的贡献。学术期刊中学术价值即知识被利用和扩张的程度和范围，是精神价值与物质价值的统一。它是人类探索世界的结晶，表明人把握客观世界以及主观世界能力达到的水平。文章的原创性是学术价值的主要体现，表现为是否具有问题意识、新的研究方法和论证资料，以及论证是否科学等。无论是什么层次的期刊都不乏高质量的研究成果，因而具有各不相同的学术价值。

(3)难易程度。难易程度主要考察期刊论文研究复杂程度、投入劳动，涉及深度、努力程度、工作量。如论题复杂度，有多少理论难点，实证研究的难易度、资料难度，资料获取处理的难易程度等，还包括投入的劳动是否严谨、扎实，完成研究的时间、配合的人员数量及其科研水平等。

(4)选题策划新颖度。期刊选题策划和创新能力也影响着期刊的创新。善于策划出具有双重效益的、新颖、好的重大选题，才能使刊物内容始终聚焦于本学科领域前沿，反映学科发展的新成果、新理论、新形势，才能使期刊具有强大的生命力。

2.特色风格

期刊的特色是自身特有的可以清晰区别于其他期刊的最鲜明的内涵和外在，是在长期的办刊过程中形成、彰显出来的个性和风格。期刊特色风格包括期刊内容上的特色以及装帧设计和印制等形式上的特色。这里主要强调期刊在内容上的特色和价值，包括理论探讨、学科热点前沿、原典爬梳、学术批评与争鸣四项指标。

(1)理论探讨。理论是构成学科的基础，有些期刊的特色即是侧重理论探讨，以高屋建瓴的理论指导与精当的办刊方法，给读者提供更好的理论成果。理论引导能发挥正确导向作用，没有理论探讨的研究是没有灵魂的。

(2)学科热点前沿。期刊必须跟踪国际国内学科前沿与热点问题研究，才能提升整体研究和问题研究水平。跟踪相关学科最新研究热点和难点，适时策划稿件，进而形成自己期刊的特色，既有益于引导学科发展方向，又能提升期刊的学术质量。

(3)原典爬梳。很多人文社会科学传统学科“注重对原典的爬梳，较少对当下研究成果的引用,而新兴学科更加注重对刊布于学术期刊最新研究成果的综述和引用”[23]。因此，研究中国文化和思想“返归原典”的信念是非常重要的，必须从自己的文化中爬梳出现代语言和概念。对原典的爬梳与诠释利于汲取思想的精华，重现原典的原貌与风采。

(4)学术批评与争鸣。学术观点不仅需要颂扬，同样需要真诚、严肃的学术批评和争鸣。学术是在批评与争鸣之中发展的。不同的学术思想需要被尊重，因此需要进行健康的学术争鸣、批评。很多问题在学界的学术批评和争鸣之后，偏向可以得到纠正，很多思想也因为得到了同行认可而成为真理。

3.学术声誉

声誉是指声望和名誉，是一个难以量化又综合性极强的对学术“质量”的评价。期刊声誉更多的是一种主观判断，难以量化。期刊声誉是期刊学术水平和社会声誉、期刊整体质量和社会认可度、为社会发展所作贡献等多方面的总括，是学术共同体在推进期刊发展，发挥期刊功能上做出的贡献给予的承认与尊重[24]。声誉是一个长期指标，要想建立或改变声誉，需要很长时间持续不断的努力，期刊某一方面的不良行为会影响到整个声誉。在期刊领域尚缺乏对声誉这种主观色彩很浓的指标进行评价的环境，但它能够更本质、准确地反映期刊的质量和地位。

(1)论文与服务质量。从整体的角度考察，学术期刊质量应是论文质量和服务质量的辩证统一。论文与服务质量与期刊声誉呈正相关性。拥有良好论文与服务质量的期刊才有可能获得作者和读者的信任和赞誉。

(2)学科贡献度。任何一门学科的发展与成熟都离不开研究者的努力，学科的历史正是由这些研究者的成果累积而成。期刊作为刊载学术研究成果的重要平台，对于促进学科发展贡献着自己的力量。

(3)管理质量。管理就是合理组织生产力和维护生产关系，为达到一定的目的而进行的有效活动。期刊管理质量指期刊管理者是否按照科学的规律，合理、严密地进行管理，最有效地用好人力、物力、财力，发挥编辑团队的优势。

4.学风建设

当前，虽然有很多学者兢兢业业致力于科研成果的产出，但学术不端和学风不正现象也很严重。而以定量指标为主的评价体系无法体现学风情况，在面对学术失范和学风不正等现状时，评价体系应在整饬期刊学术风气方面有所担当。一个健全而成熟的学术评价体系，必须有自己的立场。对学风问题的评价，应更多借助专家评议这样的定性评价方式。学风建设指标主要包括价值导向、理论联系实际、反学术不端、评审制度四项二级指标。

(1)价值导向。引导学者树立承担意识，承担学风建设责任，规范自己的学术作风。因此，人文社会科学期刊要能够在价值导向上引导学者树立正确的学风观念，从而规范期刊的整体形象、声誉和质量。

(2)理论联系实际。理论联系实际是指理论应接受实践检验，实事求是，一切从实际出发。学术期刊是否坚持理论联系实际，是能否办好学术期刊的一个重要方面。

(3)反学术不端。“学术不端是指未能遵守学术规范，违反了学术共同体公认的行为准则的行为”[25]。学术不端主要表现在，“成果内容上抄袭剽窃、编造数据事实、侵占他人成果，在作者署名上不反映作者真实情况和实际贡献”[26]。目前，学界在科研诚信和学术风气上出现的浮躁学风，滋长了学术不端行为，严重损害学界的声誉，阻碍科学进步。因此，学术期刊作为把握“不端成果”是否得以刊登的媒介必须在“反学术不端”上有所作为。

(4)评审制度。评审制度不够严苛使得依靠人情、疏通关系、缴纳金钱就可以发表论文的情况变得寻常。学术期刊执行稿件刊登准则、同行评审制度和专家匿名评审制度的严格程度直接影响科研成果评判的独立性和学术风气。

5.功能影响

本文功能影响指标包括了解学科新成果、获取知识、指导学习或工作三项指标。

(1)了解学科新成果。创新是社会经济发展的动力。科研成果是知识创新的结果，科研成果发表和传播是学术期刊的重要功能。学术期刊在对论文进行遴选、发表和传播的过程中，对具体的创新活动发挥着直接的导向作用。

(2)获取知识。人文社会科学学术期刊的功能主要体现在对人文社科领域知识的传播和评价上，传播学术成果、引导学术发展方向、规范学术风尚等。学术期刊是读者直接获取知识信息最有效的渠道。

(3)指导学习或工作。人文社会科学学术期刊凝结了作者与编辑的智慧，是人文社会科学流通领域的核心。每种期刊都有值得他人学习、借鉴的地方。学术共同体的学习和科研大多依托于学术期刊的指导。

(二)评价方法

基于专家视角的期刊内容与效用评价体系的构建按照以下步骤进行：第一，遴选期刊作为评价对象；第二，依据评价指标体系，确定相应的指标权重、方法与原则以及结果；第三，通过发放调查问卷，专家按照问卷填答要求对期刊分级打分评价。打分结果作为评价期刊基本质量的依据；第四，结合评价指标体系和确定的对应指标权重，利用属性数学理论最终确定评价结果。具体评价思路为：首先根据专家分级打分结果，构建期刊的指标层，以各指标的单指标统计属性，测度评价矩阵(矩阵的行向量为该期刊相应指标的单指标统计属性测度)，结合措施层的指标权重可得准则层的多指标统计属性，测度综合评价矩阵，依据准则层的指标权重，计算出目标层的综合评价矩阵；其次对单指标和多指标进行属性识别，识别准则采用置信度准则(确定级别)或评分准则(确定综合得分)；最后可得期刊质量的专家评价结果。

三、实证研究

(一)研究样本和专家人选的选取

作为文学生产机制一环的文学期刊，是作家、研究者发表文章、交流观点，以及文学思潮或文学流派交流的阵地和冲锋号。它不仅体现了编者的意志，也相对完整地呈现了作者对文学的观点。其读者群固定且有明晰的风格和自己的目标。因此，文学期刊的质量对文学生态化的发展有直接影响。南京大学CSSCI(2019—2020)来源期刊目录收录中国文学学术期刊18种,《中文核心期刊要目总览》(2017版)收录28种，《中国人文社会科学核心期刊要览(CASS)》(2013版)收录15种，武汉大学中国科学评价研究中心(RCCSE)(2017—2018)收录15种。本研究剔除刊载文学作品为主的创作型期刊，选取具有正式连续出版物号(CN)中国文学学术期刊20种作为实证对象，利用上文构建的评价体系，重点就其内容、价值和意义进行质量评价。

南京大学评价专家叶继元教授2010年提出的包含评价目的、评价主体、评价客体、评价标准及指标、评价方法和评价制度六大要素的“全评价”分析框架认为，评价目的是龙头，它制约评价主体、评价标准等的有效选择。本文的评价目的是对文学期刊质量的全面评价，因此最可靠的是同行专家的主导评价，评价主体是专家，经遴选确定为以下四类：第一类为中国文学期刊权威或优秀期刊的编委和编辑；第二类为高校文学院副高职称以上的教师；第三类为期刊评价专家；第四类为中国文学权威期刊高产作者。所涉地区包括北京、南京、深圳、山西、内蒙古、甘肃、福建等省市。专家调查方式为访谈、电话、邮寄、电子邮件发送问卷。同时，考虑调查的复杂性，为了提高专家评价的可操作性，笔者自主设计了集成20种期刊在一个界面的“启动宏”，点击嵌入的“评价”按钮即可弹出相应评价指标的excel文档(图2)。调查时间为期1个月，共对90位专家发放问卷，回收56份有效问卷。

图2 基于专家视角的学术期刊质量评价调查

同行专家评价在选择合适的专家上至关重要。同行专家分为大同行和小同行，对内容质量的评价方面小同行的评价更精准。本次评价目的是对学科分类中的文学这一期刊类别进行质量评价，在专家的选择上考虑了评价主体的多元性和文学期刊各类专家的数量，但实际上文学领域之间及二级学科之间的跨度较大，因基于同行专家期刊内容质量的评价实践还处于探索阶段，在本次实际调查中所选同行专家对20种期刊设置的有关内容质量指标均进行了全面评价，可能存在部分专家因对有些期刊的不熟悉造成部分评价的盲目问题，但相对于纯粹的文献计量评价和以文献计量为主、专家评价为辅的评价则更为细致，有利于反映各学术期刊的定位、功能与特色。为保证数据的最大可信度，在后续研究中，问卷调查的设计将允许被调查者(同行专家)对未阅读过、不熟悉、不了解的期刊和内容不填写，进行匿名调查，并考虑同行专家的学术机构、地域分布、研究方向等因素增加问卷调查发放量，提高回收率。同时，在学科专家的选择上将进一步考虑其学术造诣、人品、诚信度、活跃度等进行慎重选择，进一步考虑调整文学期刊的属性，调整不同学科方向专家的比例，以保证同行专家评价的公正性。

(二)确定评价指标权重

1.确定方法与过程

因评价指标重要程度各有差异，面对复杂决策问题，可用每个指标的权重系数来反映指标的重要性。本文利用层次分析法(简称AHP)进行指标权重的确定，即把复杂问题分解为目标层、准则层、指标层，据此按照一定标度将主观定性判断量化，进而进行分析与决策。其基本步骤包括建立层次结构模型，构造判断矩阵并进行一致性检验，最终确定层次指标权重。

首先设计调查表，邀请包括中国文学类权威期刊的资深编委、优秀作者及高校学科带头人在内的10位权威专家采用9分制法对同级指标进行两两对比。其次，利用Expert Choice 11.5 软件将专家打分的判断矩阵进行数据处理(包括权重的计算和一致性检验)，最终指标权重以10位权威专家所计算权重的均值为准。所得评价指标权重见表1。

2.指标权重结果分析

从表1可见，一级指标权重分别为0.263、0.196、0.280、0.165、0.097，被调查专家普遍认为期刊质量评价中学术声誉最重要，期刊学术创新为其次，然后是特色风格、学风问题和功能影响。可以看出，期刊学术声誉的重要性得到专家的普遍认同。学术创新权重占26.3%说明它对学术期刊质量的影响不容小觑。二级指标权重分配见图3。

图3 二级指标权重情况

表1 基于专家视角的期刊质量评价指标权重

期刊学术创新共有4个指标，从调查结果可以看到，期刊学术价值和原创思想程度指标重要性的认同度较高，选题策划新颖度和难易程度权重相对较小。四个权重最终取平均值后的结果为：原创思想度0.313，学术价值0.347，难易程度0.119，选题策划新颖度0.221。

特色风格共有4个指标，得到的权重分别是理论引导0.199，学科热点前沿0.400，原典爬梳0.139，学术批评与争鸣0.263。被调查者认为学科热点前沿最为重要，远高于其他三个指标。另外，学术批评与争鸣占26.3%权重，说明其重要程度也不容忽视。而理论引导和原典爬梳权重相对较低。

在学术声誉中，论文与服务质量权重占42.1%，说明对于学术声誉来说，论文与服务质量是最重要的影响因素。另外，学科贡献度权重为0.376，说明其在学术声誉评价中也具有重要价值。而管理质量0.202的权重也被认为是重要的指标。

在学风问题中，评审制度权重0.337为最大，而价值导向0.228，理论联系实际0.209，学术不端0.225，它们的权重比较接近，其重要性都不可忽视。

期刊功能影响3个指标的权重分别为0.555、0.228和0.217。了解学科新成果在期刊功能影响中有着显著权重比例，获取知识、指导学习或工作两项指标相对较弱且权重值接近。

(三)评价过程的数学计算

基于专家视角的人文社会科学学术期刊质量评价数据，最终根据专家对学术创新、学术声誉、特色风格、学风问题、功能影响五方面综合评价的结果，揭示20种文学期刊的质量情况。

属性测度一般根据具体问题结合实际情况、实验数据以及专家经验，借助一定的数学处理方法给出。利用属性测度函数给出属性测度是一种常见的方法。在定性评价中，通常需要多名专家一起对同一个研究对象进行评价。这就需要引入属性统计和统计属性测度的概念。相对于其他综合评价而言，属性综合评价有许多独特的优势，特别是在有序集的综合评价中，属性综合评价保留了更多的信息，可以以属性测度(评价结果向量)的形式展现，评价更加真实、细致。本文通过对专家评价数据的统计汇总，计算出每种期刊的各级指标属性测度。首先依据属性数学理论单指标属性测度函数，计算出各期刊的二级指标(单指标)属性测度和统计属性测度，其次结合各级指标权重，依次加权计算出每种期刊的准则层与目标层的统计属性测度。

准则层(一级指标)统计属性测度的计算公式为 Tk=∑ukjTkj，这里Tkj为二级指标(单指标)统计属性测度，ukj为对应的二级指标权重。目标层的统计属性测度的计算公式为S=∑ukTk=(S1,S2,S3,S4,S5)，这里Tk为一级指标(多指标)统计属性测度，uk为对应的一级指标权重， Si分别对应于评价集中的5个等级：非常低、低、一般、高、非常高。另外，量化评价结果(综合得分)可通过公式F=∑flSl计算，这里Sl为目标层统计属性测度的第l个分量，fl为对应的指定分值。一般计算过程可取fl= l，也就是5个等级指定的分值分别为1分至5分，1分最低，5分最高(出于习惯的考虑，也可把评价结果得分换算成十分制或百分制)。

(四)评价结果分析

通过数据统计，20种样本期刊质量等级排序见表2，一级指标分数如表3所示。

表2 基于专家视角的20种文学期刊综合评价结果

表3 样本期刊一级指标得分

根据同行专家评价情况，综合单项评价结果，最终将20种期刊分成3个层次：第一层次2种；第二层次12种；第三层次6种(图4)。

图4 基于专家视角的20种文学期刊分层聚类图

第一个层次的《文学遗产》《文学评论》的期刊质量被认为居于同类期刊前两位，也是20种被调查期刊中获得“优秀”的2种期刊，是超过4.6分仅有的2种期刊。

第二个层次的期刊有《中国现代文学研究丛刊》《文艺理论研究》《红楼梦研究》《中国比较文学》等12种。值得一提的是，《中国现代文学研究丛刊》和《文艺理论研究》虽然同样属于“良好”等级的刊物，但是他们的得分仅次于“优秀”的《文学遗产》《文学评论》，在学术创新、学术声誉和学风问题方面都有很好的表现。在此层次中，排在最末位的是《小说评论》，其在各指标中也有很好的表现，但相对其他更优秀的同类期刊而言经过各种指标评价被认为在“良好”等级中处于相对较差的地位。

第三层次为《新文学史料》《鲁迅研究月刊》《南方文坛》《当代文坛》《中国文学研究》《现代中文学刊》6种期刊，其排名偏后的主要原因是在“原创思想度”“学术价值”“难易程度”“选题策划新颖度”“理论引导”“学科热点前沿”“学科贡献度”“理论联系实际”“反学术不端”“了解学科新成果”“指导学习或工作”等指标中的得分相对较少，说明这个层次的期刊在这些质量指标上有待提高。

另外，将本文同行专家的评价结果与南京大学(CSSCI)、北京大学《中文核心期刊要目总览》(简称《要目总览》)、武汉大学(RCCSE)、中国社会科学院的核心期刊来源期刊评价(简称《要览》)等以文献计量法为主，辅以专家法的评价体系中(参考目前公布的最新版本)共同收录的期刊评价结果对比发现，本文的评价结果与这几种代表性评价体系的评价结果有相同也有不同(表4)。

由表4可知，此次专家评价的20种文学期刊大多进入了四大评价体系中，但最大的不同主要体现在评价结果的排序上。《文学遗产》《文学评论》《文艺理论研究》普遍被同行专家认同为质量较高的期刊，但在本研究中的排名与四大评价体系的排名有细微差别；其他期刊都有不同程度的升降。原因在于四大评价体系主要以引文指标作为文献计量学重要指标对期刊进行评价，难以反映期刊创新能力、风格特色、学术声誉等情况。比如根据本文评价结果排在第五位的《红楼梦学刊》，在其他以文献计量学为主的评价体系中均排名靠后，因为量化指标虽具有合理性，但一些承载中国特色的研究成果的独特价值和学术内容的创新无法通过这些指标反映。尤其对2009年才正式更名《现代中文学刊》这样找准定位开始发展的期刊，纯粹从定量指标来评价往往不能准确评价其真实水平，而专家评价显示了更多优势。

表4 20种文学期刊质量评价与CSSCI、《中文核心期刊要目总览》等对比分析

四、结语

目前，国内学界在期刊评价定性和定量相结合评价方面虽然形成了共识，但实际上仍然以定量为主，很多评价结果都是根据文献计量指标值的大小进行排序。在常用的定性和定量加权计算的时候，将二者结合在一起计算存在的问题是常常使得最后的结果仍然是定量评价起了主要作用。这样的期刊评价体系在准确有效地反映同行专家对期刊的评价意见方面体现不够。

本文为人文社会科学学术期刊构建了基于专家视角注重期刊内容和效用的质量评价体系，并进行了实证研究。该评价体系重点是对期刊进行本质的内容评价，突出专家评价，内容和效用评价不与定量指标混合在一起。评价指标的设置注重人文社会科学学科特点和指标对期刊质量的导引，突出重点又兼顾一般并进行了简化，降低了指标获取的难度，同时又保障了评价体系的科学性。当前，克服学术评价中过分量化的倾向仍然是一个复杂、艰难和长期的过程，专家评价也因“人情”“主观”等的“异化”存在一定的局限性，为克服局限，首先应在评价时明确评价目的，对精细复杂的内容评价选择精英同行进行评价；其次，动态完善同行或小同行专家库，在专家库中选择两组或几组最适合的同行专家，回避利益相关者后对评价客体进行评价；再次，建立并完善同行专家评价监督机制，设定监督条款和规则，使同行专家遵守评价规则实事求是地进行评价，对评价不端行为设定相应条款加以约束，建立相关制度以保障同行评价的公正。如叶继元教授认为，“今后要建立元评价(对评审专家评价的再评价)和公示、反馈、申诉、仲裁等制度，以使得评价失误降到最小”[12]。同时，根据不同的评价目的，适当的计量指标仍然是需要的，它可以与定性指标相互印证实现互补，而重点突出对期刊内容的专家评价。本文构建的评价体系对完善现有期刊评价体系、揭示期刊的评价结构提供了新思路，对了解学界研究者对本学科期刊的学术认同具有参考作用。