基于核心功能的学术期刊质量评价指标体系框架探讨

叶继元， 袁曦临

(1.南京大学 信息管理学院，江苏 南京 210023；2.东南大学 经济管理学院，东南大学 情报科技研究所，江苏 南京 211189)

学术期刊是发表研究成果的阵地，是传播新知识，促进科学发展和社会进步的得力工具。学术期刊质量评价多年来一直被学界、期刊界和出版管理部门所重视，近几年中央连续颁布了一系列有关学术评价、学术诚信等的文件，一方面强调要破“四唯”“五唯”“SCI至上”，另一方面呼吁要回归同行评议，分类评价、实行代表作制、定性定量相结合的综合评价方式等，要“构建具有自身特质的学术评价体系”[1]。然而，如何完善同行评议，如何通过学术共同体充分交流、争鸣形成内部相对公认的学术“标准”，并以此来确认代表作，如何综合定性与定量评价，加快构建中国特色的学术评价体系等问题，已引起学界、期刊界等的热烈讨论。“破”旧的评价体系相对容易，但“立”新的评价体系则困难得多。学术期刊评价体系是整个学术评价体系重要组成部分，学术期刊具有将学者、最新研究成果及其评价融入一体的独特功能，因此从学术期刊评价入手，有助于整个评价体系的重构。迄今为止全国性大规模的学术期刊质量评价工作尚未开展。原因固然很多，但没有构建一个相对公认、科学、合理的学术期刊质量评价指标体系无疑是一大原因。所谓指标，是指意图要达到的指数、规格或标准。所谓指标体系是指若干级指标组成的有机体。指标及其指标体系是构成评价体系的基础，是评价标准的具体化，是评价体系中的核心内容。制定科学、合理的指标和指标体系是实现评价目的的关键环节。环顾国内外有影响的学术评价实践，无不在设计指标体系上下足功夫。没有好的指标体系就不可能有好的评价体系。目前全国高校和学术机构正在落实中央破“四唯”“五唯”“SCI至上”精神，修改包括本单位认可的重要学术期刊或“高质量”学术期刊目录等考核、评价文件，但本单位的学者根据何种学术标准和指标来筛选期刊，是以计量方法为主评出的核心期刊或引文库来源期刊为标准，仅换个“马甲”，贴个新“标签”，还是由几个管理者与专家在原有期刊目录基础上加入自以为“质量”好的期刊而形成新的目录？如果这样，那会存在重蹈覆辙或比原有评价体系更坏的风险。因此，回归学术期刊核心功能，集中全国学术共同体的主流意见，凝聚学术标准及其他共识，逐渐重构学术期刊质量评价指标体系与整个评价体系，无疑是目前急需解决的重要问题。这不仅对学术评价理论研究，而且对学术期刊评价实践均具有重要意义。

一、以往主要研究回顾

回顾历史，直至1972年影响因子才在ISI《期刊引用报告》(JCR)中第一次被正式提出，1987年国内科学界才开始采用国际通用的计量指标进行科研绩效的统计和评估。有观点认为影响因子和SCI促成了中国科研体制中现存的种种弊端，这是片面和有失公允的。1993年南京大学校长曲钦岳院士认为基础性的研究成果要通过国际同行评议，在国际性学术刊物上发表论文，才能判断是否达到国际水平。因此，影响因子等评价指标在相当一段时间内确实起到了引领中国基础学科研究水平的作用[2]。然而，伴随核心期刊、影响因子等概念越来越多进入科研管理之中，滥用和误用的现象随之出现。1994年后笔者即撰写了《文科“学术榜”与核心期刊刍议》[3]、《关于“核心期刊”与“SCI期刊”的思考》[4]、《核心期刊研究纵横》[5]等一系列论文，讨论和分析核心期刊在学术评价中的使用和适用问题，提出对核心期刊引入学术评价要冷静思考，“对核心期刊不能绝对化，非核心期刊中也有好论文”[6]。2000年之后，陆续发表《论文评价与期刊评价》[7]，《高校文科科研定性定量评价与学术发展》[8]，《学术期刊的评价与学术研究质量的提高》[9]等，反复强调影响因子只是期刊评价的一个重要量化指标，但不是唯一指标，必须结合其他量化指标使用，尤其要和同行评议，专家的定性评价相结合。期刊质量评价在本质上不同于近年来国内盛行的核心期刊、引文库来源期刊等的评价，尽管二者有强相关性，但在评价目的、主体、方法等要素上均有显著不同。如何有别于核心期刊、来源期刊的评价指标体系，如何回归学术期刊的原本核心功能，侧重于期刊内容及其效用来重构新的指标体系，以评促进，是进行学术期刊质量评价的前提和关键环节。

早在2010年7月和12月，原出版总署分别颁布了《报纸期刊出版质量综合评估办法(试行)》(以下简称“评估办法”)和《全国报纸期刊出版质量综合评估指标体系(试行)》(以下简称“指标体系”)。这两个文件尽管集中在“出版”质量，但由于对“出版”的含义是广义理解，既包括编辑、出版形式、装帧等，也包括期刊的学术水平等，故出版质量与期刊质量并无实质性区别。这些文件考虑到了学术期刊质量评价的一些特点，比以往的评价设计有很大进步，但在评价目的、主体、客体、方法、标准及指标、制度等方面还存在不少问题。一些专家、学者，包括笔者都曾对《评估办法》和《指标体系》进行了评价和探讨[10-12]，笔者曾强调，要重视学术期刊特点来评价，要明确评价目的，对过分量化、简单化的倾向要提出富有建设性的意见和建议。2013年，笔者应用学术“全评价”理论，针对学术期刊评价中存在的质量和创新力评价弱化、过分数量化、过分形式化、过分行政化、评价主体淡化、评价结果软化等问题，分析其产生的社会、经济、文化等原因，提出过“三面三力”的期刊质量评价指标体系框架。所谓“三面”，即形式面、内容面和效用面；“三力”，即潜力、实力和效力。每个“力”下，一般可再分为若干个小“力”。比如“潜力”可再分成支撑力、学术素养力等，“实力”可分成创新力、准确力和解释力等，“效力”则可分成精神(思想)启发力、物质贡献力和文明推动力等。“三面”是所有学术期刊所具有的共性，而“三力”则允许有个性、有变通，且指标的解释也可不同。笔者与研究团队曾应用“全评价”理论对法学、图书馆学学术期刊质量进行过示范性评价[13]。

2019年11月中国科协、财政部、教育部、科技部、国家新闻出版署、中国科学院、中国工程院发布《关于组织实施中国科技期刊卓越行动计划有关项目申报的通知》，开展科技期刊综合评价方法研究，以切实推动我国科技期刊高质量发展，加快培育世界一流科技期刊步伐，建设“高质量”学术期刊。2020年下半年，中宣部出版局首次选取全国100种社科学术期刊，委托专业机构进行内容质量检查，今年下半年将继续进行。这些都说明，学术期刊质量评价问题已经提到了议事日程上来。

从国外研究看，国外学术期刊界、出版界、学术界最近几年针对影响因子至上、“唯”的问题也进行了探讨，发表过《旧金山宣言》(The San Francisco Declaration on Research Assessment，DORA)和《莱顿宣言》(Bibliometrics: The Leiden Manifesto for research metrics)。2017年在荷兰莱顿召开有关学术评价会议，参加人员有评价专家、科学家、文献计量学者、期刊出版者、学会代表、基金提供者、决策者等，会后代表们联合提出倡议要求改革学术期刊评价。2019年5月28日该倡议被命名为《反思影响因子：寻找评价学术期刊的更好方法》[14]在国际著名期刊Natuer上发表。该倡议认为，期刊质量不能用影响因子一个指标而应该用一组指标来评价，一组指标应对标期刊的所有功能。期刊质量评价的新方案应该有一套研制规则，建议成立一个国际性监管机构来实施。这说明期刊质量评价和质量评价指标体系的设计受到国际同行的重视，也从一个侧面反映出这是一个国际性难题。

有鉴于此，笔者在吸收国内外有关研究成果的基础上，仍然运用学术“全评价”分析框架，重点是回归学术期刊的核心功能，在成果注册、存档、定位策划、稿件评价、推荐传播、培育学术新人、价值效益上来重构学术期刊质量评价指标体系框架，为开展期刊质量评价，打造中国高质量期刊打下坚实的基础。

二、重构的理由

期刊出版作为科学研究活动的一个重要环节，是学术交流的核心平台，其成果能够记录和反映科学研究的理论前沿、实践创新以及重要发现。因此对于学术期刊的评价并不仅仅是对一个出版物的评价，其重要性在于对学术研究和学术发展会产生深远影响。为何要重构指标体系，主要有两个理由。一是核心期刊/来源期刊等的评价不是期刊质量评价，尽管二者有正相关性；二是期刊质量主要与期刊的性能和功能有关，但还与用户对其价值和效益的感知有关。

1.核心期刊/来源期刊的评价不是期刊质量评价

核心期刊/来源期刊的评价主要根据布拉德福文献集中与分散经验定律和加菲尔德引文定律，布氏定律与管理学的二八率极为相似，反映的是少数专业或领域期刊集中了该专业或领域大量信息，与相关期刊、边缘期刊等有一定的比例。在核心期刊上密集的论文，一般都经过同行评议后才正式发表的，因此这些论文要比没有通过评审的稿件的“质量”要高，但并非正式发表的论文质量一定都高，不同的期刊有不同的出版标准，发表出来的论文水平是有差别的。加氏定律是指大量分散的各学科专家、同行的引用信息的分布符合布氏定律，因此加氏定律是布氏定律的派生和发展。“引文”既包含“同行评议”要素，又能计量，是一个既可定性(同行评议)又可定量的指标。但它同样不能完全等同于围绕一定的评价目的同行对期刊质量的“直接评价”。这两个定律与期刊“质量”有相关性，且有正相关性，但“正”相关性并不完全等于“质量评价”。否定他们与质量毫无关联，或者相反，认为就是“质量”评价，都是片面的。从这个意义上说，在本质上布氏定律和加氏定律指导下的核心期刊评价不能完全反映学术期刊的质量。

这一观点在国际学界上是达成共识的。早在2007年11月，欧洲科学编辑学会(EASE)就发表声明，建议期刊影响因子仅仅被用于或审慎用于衡量和比较整个期刊而不是单篇论文，更不能用于对研究者或研究项目的评价上。2012年12月美国细胞生物学学会年会期间，一些学术期刊的编辑和出版者提出反思科研评价问题，在此基础上形成了“旧金山宣言”，呼吁科学界停止使用期刊影响因子等期刊计量指标，直接用于评价单个研究论文或学者个体的贡献，或作为聘用、晋升、资助等方面的依据。2013年5月，有78个科学组织的155位科学家签署了这份宣言。2015年3月，由欧洲21个最知名的大学组成的欧洲研究型大学联盟(League of European Research Universities)声明支持该宣言。《科学》杂志撰写社论支持“旧金山宣言”。2017年4月Nature Research正式签署了旧金山宣言[15]。

最近几年，中国教育部、科技部等发布一系列有关改进学术评价的意见，明确提出要反“四唯”“五唯”“SCI至上”，其实质都是要求在评价中避免片面化和绝对化。包括影响因子在内的引用数据不是评价期刊的唯一指标，要合理使用引文等文献计量数据。这些与国际学界主流观点是相吻合的。因此，重构学术期刊质量评价指标体系具有正当性。

2.期刊质量主要与期刊的性能和功能、价值和效益有关

什么是质量(quality)？国内外有各种定义。按照ISO(国际标准化组织)的定义，质量是“一组固有特性满足要求的程度”。或者被定义为：质量是反映实体满足明确或隐含需要能力的特性总和。这里的“特性”是指事物所特有的性质，“固有特性”就是事物本来就有的属性。这些固有特性的要求大多是可测量的。质量是反映事物、产品或工作的优劣程度的指标。其内容十分丰富，是动态发展的。同时，质量又是一个综合的概念，不仅包括其预期的功能和性能，而且还涉及用户对其价值和利益的感知[16]。质量与性能、功能有密切关联。因此，学术期刊质量评价，以学术期刊的核心功能为主，构建评价指标体系有其合理性和科学性。

根据国际期刊界的观点，自1665年世界上最早学术期刊之一、且寿命最长的《哲学汇刊》创刊350多年来，学术期刊的核心功能基本没有什么变化。学术期刊始终具有五大核心功能，一是注册功能(Registering)，即通过出版，期刊将作品中的知识产权、日期与作者联系起来，这可以用来确定优先权。二是策划功能(curating)，即通过编辑和其他同行的评审，录用稿件被挑选出来并放在一个集合中，这个集合标志论文之间的联系，并划出一个学术领域的理论和方法的范围。类似于我们常说的，制定期刊发展战略、工作方针、层次定位、用稿范围、编辑标准等。三是评价功能(Evaluating)，即在来稿出版前通过同行评议，根据几个标准(如质量和新颖性)对稿件进行评价，看是否达到发表水平。作者可从同行专家那里得到反馈的评价意见。通过出版，期刊证明作品已被评价过；稿件出版后期刊继续通过发布更正和撤稿来履行其评价职能。比如，近几年医学、生物学期刊的撤稿事件就是出版后的评价结果。四是传播功能(Disseminating)，即通过将工作公开，期刊正式将论文分发给专家社区；通过开放访问和其他交流工具，期刊将论文提供给更广泛的社区。随着网络技术的发展，学术期刊的传播广度、深度以及传播效率都有了质的飞跃；五是存档功能(Archiving)，即通过将论文与适当的元数据联系起来，并使其在网上、索引和数据库上可利用，期刊有助于永久性保留学术记录和方便发现[13]。

中国的学术期刊晚于国外近二百年，但一百多年来，尤其是近40年来，数量发展很快，具有正式连续出版物编号的期刊就有一万种左右，不少期刊亦发展出自身的特色。比如具有育人功能，即利用期刊平台对学术新人的稿件格外重视，只要新人的稿件在某个方面有新颖或可取之处，就帮助作者不断修改稿件，直到达到发表水平。许多著名学者，回忆起首次在学术期刊上发表论文时，都十分感谢期刊编辑对稿件的修改和建议。又如，有的期刊定位于应用研究或技术实践，有的则突出理论研究。除了期刊核心功能外，期刊的效益、价值也是质量的重要标志，因此，期刊的社会效益与影响、经济效益与影响、学术价值等在设计新指标时都应纳入其中。鉴于目前学术期刊发展迅速，学术期刊也正在成为传播数据、方法和其他数字对象的平台，期刊影响因子等指标是基于引文的，仅能反映期刊功能的有限方面，因此在新的学术交流环境下制定新的指标尤为重要。

2014年在荷兰莱顿召开的一次国际会议，美国佐治亚理工学院教授西格斯(Diana Hicks)在《自然》杂志上发表题目为“书目计量学：莱顿研究计量宣言”，在肯定量化评价作用的同时，强调量化评价需要与质化评价有机结合。《莱顿宣言》总的原则可以概括为4个主要方面：基于指标的量化评估是辅助性的，而基于同行评议的质性评估是主导性的。量化评估应支撑质化的专家评估，而不是取而代之；量化指标可以降低同行评议中的偏见并促进更为深入的审议[17]。在《莱顿宣言》总则下，去衡量一种学术期刊的质量就应基于学术期刊的使命、目标和职能，指标的选择和应用的方式应该考虑更为广泛的社会、经济、文化环境，以及地域性的差异、学科性的差异和个体性的差异。

三、理论依据与构建原则

学术“全评价”理论(AFES：Academic Full Evaluation System)是笔者作为主持人完成的国家社科重大项目《建立和完善哲学社会科学评价体系研究》的一项成果。2010年在《南京大学学报》发表了《人文社会科学评价体系探讨》，正式提出“全评价”体系分析框架[18]。概言之，“全评价”体系或理论就是六大要素、三大维度与若干条推论。六大要素是说，任何一个有组织的评价体系，至少由评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度六大要素组成，每一大要素又由多个较小的要素组成。要素之间相互作用、影响。其中，评价目的最为重要，它决定着其他五大要素及其他要素的选择。评价主体是指学者、专家、学术同行、学术共同体，学术机构(大学、研究院所)、学术期刊、网站、科研管理部门(基金委、社科司、科研处)等，评价主体的选择应依评价目的而定。评价客体即评价的对象，包括学术期刊、学术图书、学术机构、学者等，每一评价客体又可以分成若干类型，分类评价或跨类评价，也视评价目的而定。评价方法主要指定性、定量和定性定量综合法三大块。评价标准及指标是评价体系的核心，它也受制于评价目的。评价制度包括评价专家遴选制度、监督制度、评价对象申诉制度、评价结果公示制度、反馈制度、评价结果共享制度、第三方独立评价制度等。三大维度是指，任何一个评价客体，均可从形式、内容和效用三个层面去测度，即形式评价、内容评价和效用评价。每一个维度或层面也可以看成是一级指标，一级指标下可以逐步分解出二、三级指标。若干推论主要是指“评价目的制约论”“同行专家主导论”“定性定量方法互补论”“评价制度保障论”等。“全评价”体系是在充分吸收国内外学术评价理论和实践成果基础上，提出的一个组成要素较为全面、层次分明、逻辑较为严密的哲学社会科学评价体系框架，对评价的历史、现状具有很强的解释性，对评价的未来发展有预测性。此论甫一提出，得到学界同仁的认可[19]；《新华文摘》《高等学校文科学术文摘》《光明日报》《中国社会科学报》[20]和国家社科基金全国哲学社会科学规划办公室网站也进行了文摘、转载和报道。此后“全评价”体系被学界相关同行在学术期刊、学术图书、学术网站等实际评价上加以应用，如《中国人文社会科学期刊综合评价体系的建构与实践》[21]《基于学术评价的档案学经典著作指标分析》[22]等，证明了“全评价”体系相较于单纯的形式评价具有更多合理性和科学性。相较于国外《旧金山宣言》《莱顿宣言》中的主要观点，“全评价”体系提出的更早、更具逻辑性。“全评价”体系有助于使破“四唯”“五唯”落实到实处。

事实上，任何一个指标体系都是在社会历史环境中迭代更新、不断变化和发展的；既需要吸收以往指标体系中合理指标，又需要设计出满足新需求的新指标。随着2001年《布达佩斯开放获取倡议》提出“开放获取期刊”模式后，越来越多的传统研究机构与协会、出版社、图书馆、商业出版机构、OA专业组织及非专业的个人学者研究与探索OA期刊的出版。OA期刊的经营模式主要采用作者支付文字处理费用模式(APC)，在一定程度上摆脱了传统期刊由用户订阅的模式。2020年OA出版数量首次超过传统订阅出版。NATURE、SCIENCE等顶级学术期刊纷纷加入开放出版行列。OA出版论文保持着10%以上的年增长率，已经成为主流的出版模式。OA期刊给数字网络时代的研究者提供了更为广泛的发表研究成果的空间，大大加速和促进了学术的交流与传播；但另一方面，OA期刊也面临质量不稳定的问题。作者付费的资金问题与论文学术质量问题的双重压力成为OA期刊能否长期生存的关键。

目前学术期刊质量评价在认识上存在概念模糊和混淆的问题，缺乏全面和与时俱进的理解，缺乏对学术期刊核心功能和价值的考虑。很多评价仅仅是对学术期刊的某一方面的评价，而不是真正的、全方位的质量评价。本研究所构建的指标体系着眼于回归学术期刊本位，从学术期刊的核心功能出发，强调整体性、系统性和通用性。在通用性基础上再根据不同学科、类型期刊的特点设计个性化特色指标。

1.时代性原则

2019年，中国科协、中宣部、教育部、科技部四部委联合印发《关于深化改革培育世界一流科技期刊的意见》，提出“到2035年，我国科技期刊综合实力跃居世界第一方阵，建成一批具有国际竞争力的品牌期刊和若干出版集团，有效引领新兴交叉领域科技发展，科技评价的影响力和话语权明显提升，成为世界学术交流和科学文化传播的重要枢纽”的目标；学术期刊的质量，概略地说是指学术期刊符合一些既定的办刊标准或达到办刊目标的程度，涉及到期刊编辑、学术、出版、发行等各个方面的水准或质量，其中尤以期刊的学术质量为主要。尽管文件是针对“科技期刊”，人文社科期刊更具有特点，但文件精神对人文社科期刊无疑也具有重要参考价值。

现代国际期刊出版的模式和过去相比，有了非常巨大的变化，现代学术期刊的建设和发展是以主编和外审专家队伍为主的。学术期刊是联系作者、审稿者、编者、读者的跨越各个单位的“社会学术机构”或某学科、多学科的学术共同体，其工作模式是一种分散的合作的开放性的形式，往往主编和审稿专家队伍非常强大，经费来源也日益国际化，传播渠道日趋多样。我国目前的学术期刊，特别是人文社科学术期刊尚存在学术性不强、审稿制度不全、国际学术影响不大等问题，针对这些问题，需要通过设置相应的指标和权重，诸如策划能力、独立风格、创新指数、专家审稿人数、审稿严格程度等指标，使这些指标能对期刊的常态工作发挥导引作用，促进整体期刊水平提高。本指标体系正是对目前学术期刊单一评价现状的一种修正。例如，围绕策划的指标可以考虑编辑委员会的专业知识和来源的多样性，以及稿件的接受率和接受标准的透明度。随着开放科学(open science)和独立分析(independent analysis)的发展，围绕数据的指标(如数据引用或报告标准)将变得更加重要。与评价研究有关的一些指标可以考虑评价过程的透明度，同行评审专家的数量和多样性及其及时性等。

2.功能性原则

学术期刊是以学术生产和传播为服务对象，其主要功能是提供各学科最前沿的思想理论和学术文化，及时反映国内外学术界的最新动态，搭建学术研究和学术交流的平台。因而学术性是学术期刊的核心，是学术期刊的命脉或根本，也是评价的最本质内容。

对于学术期刊内容质量的评价，一般包括两个方面：学术性评价和管理性评价。前者主要是通过编辑审稿、专家评审、读者评价来实现的，究其实质都是同行评议的体现，不同之处在于编辑审稿、专家评审是在期刊发表论文之前，而读者和社会评价是在论文发表之后。后者这类评价易受到时势的影响。学术期刊质量评价与核心期刊评价既有相同点，亦有不同点。其不同点在于，期刊质量评价是以衡量期刊学术水平、编辑水平、出版水平、政治水平等为标准或目标的，以同行评价和管理评价为主；而核心期刊主要从载文量、文摘量或率、引文量或率的大小、比例来测定期刊所属的层次，以文献计量学的指标为主。特别是对于人文社会科学研究来说，引文的发生不仅与时代语境直接关联，也与引用者的动机、认识水平和解读阐释的角度有关，一些极具价值的理论、思想或观点，需要经过长期社会实践之后，才有可能为人们所认识和接受。针对这些问题，本指标体系力图做到对现行的期刊评价方法和体系予以补充和完善。

3.效用性原则

效用理论起源于19世纪70年代的欧美国家，效用评价的高低反映的是被评价对象的价值、意义、作用与满意度。学术期刊的效用有广义与狭义之分，广义的效用是指学术期刊依据自身资源与能力，结合办刊目标与目的，在办刊实践中有目的、有计划、系统地满足社会对学术研究和学术交流与传播的各种需求，包括育人、科研、信息指引、决策支持等方面；狭义的效用是指期刊利用自身资源与优势直接地为学术科研的发展提供直接而具体的服务，用于衡量学术期刊为社会、经济、学术、文化等发展所提供的直接产出、带来的贡献和效益。总之，效用评价可以改变单纯从定量上评价期刊的倾向。

本期刊质量评价体系的核心就是要将以引文、文摘等为指标的定量评价与同行专家定性评价有机结合起来，以专家定性评价法为主，计量法为辅，提高评价的合理性、公正性、权威性和评价效率。笔者所提出的学术期刊质量评价的基本框架，并已在学术集刊、部分学科期刊中进行过试验评价。此外，随着网络社交媒体的出现与普及，对于学术期刊论文的效用也可以通过点击次数、浏览量、下载量、分享量、喜欢度、在线回复等来评判。特别是一些专业社交网络，如Research Gate、LinkedIn或Google Scholar在评判论文影响力方面有着不容忽视的作用。可以这么认为，学术期刊的出版过程正在走出小众学术精英的象牙塔，变得日益民主化，学术大众的参与变得日渐普及。网络社交媒体正在改变游戏规则。

4.审读与事实证据性原则

学术论文发表在期刊上之前，必须由同一领域的研究人员评估研究论文是否达到出版水平。这就是同行评议。同行评议的主体是学术同行，也包括学者化的编辑。从宏观上来说，高素质的学术编辑需要具备以下能力：对纷繁复杂的学术文化与学术现象的辨析和洞察能力；对各种学术内容及其体现的价值观的把握和判断能力；对各种学术潮流及其发展走向的预测和驾驭能力。只有确实具备了以上三种能力，才能在变幻莫测的学术文化现象和学术思潮面前，头脑清醒，举重若轻，游刃有余。同时，又能对新兴的学术思想和学术观点保持足够的敏感性，发现创新的火花，挖掘出有潜力的、有发展前途的作者，发现有意义的选题和稿件，并鼓励和督促选题研究的开展和深入。专家、编辑的审读是一种定性评价，即由专家直接面对期刊的文本，根据自己的阅读和研究经验，直接评判期刊的综合质量。为了让定性评价具有一定的可比较性和可操作性，本指标体系列出了一些定性指标(用文字定义要达到的质量标准，而定量指标则用数字表示)，如期刊编辑水平可以从策划能力、组织能力、文字能力、交流能力等方面去评价，重点考察每个期刊在某些分项指标方面是否有独特的优势，不以“数字”来评价，而以“事实证据”(事件、典型案例等)来评价，此评价可以与引文、文摘等计量学指标互为参照，不是简单加权计算，而是由专家最终给期刊一个总体评价。

5.新技术应用性原则

2014年5月15日，中国科学院、国家自然科学基金委员会联合发布《关于实施开放获取政策的声明》，强制将中国科学院所各类公共资助科研项目所产生的论文、国家自然科学基金会全部或部分资助科研项目产生的论文，在论文发表后12个月内实施开放获取。这一声明的出台成为我国开放获取的标志性事件[23]。全球的出版商、编辑包括作者正在不断地尝试新的交流方式，由EDP Sciences创办的实验性新期刊4open就建立在“开放获取、开放数据、开放代码和开放同行评审”四大支柱之上。[24]在4open上作者可以发表科学研究中的任何一种形式的成果，如研究设想、数据、方法、报告、软件等；总之，学术期刊的形态已经发生了巨大的变化。虽然目前OA出版商大多遵循传统出版流程，但差异是显著的。仅就资金来源一项来说，其资金来源途径复杂，包括：作者付费模式、机构补贴模式、众筹模式、聚合模式等多种。开放存取活动目前已经使得学术机构如图书馆等成为开放文献索引系统的建设者/管理者；从而直接参与到在线编辑出版的工作中。学术机构通过内容聚合，优化了搜索引擎，扩大了OA学术文献的可用性与可见性[25]。这些新的变化无疑改变着对于学术期刊质量评价的要求，催生出新的指标，要求更多关注对于学术期刊数字化、新技术应用的评价。

6.学术规范性原则

学术规范是学术研究中最基本的“规矩”，学术研究及其成果无论是学术图书还是期刊论文，其研究过程、写作过程，包括引文、文字、编辑、出版不仅必须要符合“技术”的学术规范，更要符合独立思考、批判性创新思维、学术平等、积累与创新等“基本”的学术规范。学术规范是学术共同体根据学术发展规律制定的有利于学术发展与繁荣的各种准则和要求，也是长期学术活动中的经验总结和概括。从制度经济学的观点出发，任何一项制度的出现都是源自利益相关各方的理性选择，就学术评价的制度而言，如果学术共同体的学者、学术编辑、科研管理者没有形成共识，没有内在的思想上的认同，就很难被学术共同体的各方很好遵守和维护，即便通过行政指令强行推进，结果也难免会面临被扭曲和变形，因此出现上有政策，下有对策的风险。自觉地接受和维护学术规范是学术评价中最为重要的原则，符合学术规范是学术成果质量的重要体现和重要方面，在评价指标体系中列出学术规范及其相关指标，对学术成果质量的评价是必要的。以学术期刊为例，由于长期受过度行政化、形式主义的影响，不少学术期刊对学术“基本”规范所知不多，或仅停留在表面上，缺乏践行，因此可以从三个维度，即形式、内容和效用来评价对“基本”学术规范的认知与遵守。从形式上测评学术期刊是否有对基本规范的表述。如期刊的发刊词、投稿指南、审稿政策、编者按、社论等是否体现科学精神、独立思考、学术积累与创新、学术平等；从内容上测评，就是由同行专家对已出版的期刊及论文的内容进行审读、分析，以判断其是否真正贯彻落实所表述的基本规范；从效用上测评，即在期刊及其论文出版一段时间后，调查、统计作品被利用的情况和产生的各种效益或成效，考察其被引用、被转载、获奖、被单位采纳情况等。效用/成效评价更注重用事实、时间来说话，因此也更具有复杂性和重要性。三者协同递进，唯此才能测评出学术期刊的真正水平[26]。

四、新指标体系框架的构建

学术评价体系始终伴随学术研究生态的转变而在探索中不断前进，坚持质量与数量相结合，坚持主观与客观相结合已在很多评价实践中被提倡和实施，合理建构科学有效的评估体系已成为共识。仔细阅读和分析《旧金山宣言》和《莱顿宣言》的十大原则，与笔者与团队11年前提出的学术“全评价”体系或分析框架中的许多观点极为相近，可谓不谋而合。诸如评价“应当首先明确评估的目标，而所采用的指标也应切合这些目标”与“评价目的制约论”；“保护卓越的本地化研究”与“文科评价特点论”等。当然也存在一些不同，这些不同更多反映了国内外学术环境和学术评价生态的差异。学术“全评价”体系认为，任一评价客体都可以从形式、内容和效用三个维度去评价。因此学术期刊质量评价的一级指标分别为期刊的形式、内容和效用。期刊的形式主要是办刊的支撑条件，包括人、财、物等。其中“人”是最重要的要素，包括主编、编辑、编委会、审稿人、作者和读者。期刊的内容，主要是看期刊的核心功能如何发挥。这些功能主要是知识产权注册功能、学术论文资料存档功能、期刊策划功能、稿件评价功能、期刊传播功能和期刊教育、社会功能等。期刊的效用主要是看期刊的学术价值、对学科、学术体系等贡献和影响，取得多少社会效益、经济效益，地位、声誉等。一般说来，其权重由低向高，逐步上升，即形式评价较低，内容评价较高，而效用评价更高。当然，具体权重如何，应视具体的评价目的而定，还要征求专家意见确定。

具体构建主要步骤有：首先通过调研，将国内外有关学术期刊的定量指标归纳、整合，按照解释性、可操作性要求，选择适当的指标；其次依据“全评价”形式、内容和效用三大维度分列出三大一级指标，将筛选出的指标分别列入其中一个一级指标内。对内容和效用指标，亦参照教育部名刊名栏、新闻出版总局期刊质量定性指标，对照学术期刊的五大核心功能，选择一些指标，自拟一些指标；再次列出指标的数据(事实)来源和指标性质；最后列出指标体系框架。学术期刊质量评价指标体系框架如下。

从表1可以看出，这是一个针对所有学科的学术期刊质量评价的指标体系框架。框架者，撮其“共性”抽象构建也。在具体的评价中，可在“框架”下，根据一定的评价目的，针对评价客体的特色，增删某些指标。如表1中以育人优异性M4为例，列出选择项指标，凡是期刊在几大功能上有特色的均可列出。共性的指标是规定项目，而个性的指标则是选择项目。此种设计试图将原则性与灵活性有机结合起来。

表1 学术期刊质量评价指标体系框架

从表1还可知，一级指标3个，二级指标10个，三级指标36个(另有3个选择指标)。其中定量指标20个，定性指标12个，定性加定量4个。形式指标中的期刊支撑条件以定量指标为主，内容指标中功能反映以定性指标为主，效用指标中的反响和影响则定性定量均有。

对引文数据、转载数据等应合理使用，不可“唯”，但可作为专家评价的参考或基础或校验，避免从一个极端走向另一个极端。例如引文指标，表中列出了最基本的被他引用总次数和影响因子两个指标，H指数、G指数、即年指数、被引半衰期、扩散因子、学科影响度等均未列出，一则考虑其适度性，二则考虑可操作性。在具体评价中，可以根据评价目的有所选择。

至于影响因子的分子和分母如何界定和计算，国内外是否要统一，是可以深入讨论的。比如，分子是引用总次数还是总篇次数；分母是可引用文献数(citable items)还是一页以上的所有载文数，可引用文献数仅限定为“article(研究论文)”和“review(评论性文章)”，而其它文章均不计，尽管实际上这些“其它文章”会被引用，也计算在分子里。但无论如何，影响因子作为评价学术期刊的一个指标是没有疑问的。

五、新指标体系的适用性讨论

所谓适用性，一般是指用来评估所提出的指标体系在实践应用中的适应程度。适用性检验是评估指标体系的战略目标是否与其实际的评价能力相一致。具体来说，就是评价指标体系能否适用于目前的学术期刊生态，能否解决学术期刊中存在的问题，以及操作是否简便，评价结果是否可靠，能否为学者、编辑及读者所认同等。

就期刊质量新评价指标体系而言，其适用性最主要看它能否解决目前学术期刊评价中的现实问题。举例来说，面对“双一流”高校建设，如何选择确定不同学科的高质量期刊目录就是一个难题，如选定的期刊目录标准过高，则本校师生很难在其上发表，期刊目录也就沦为一纸空文；但若提出的期刊目录标准过低，则会沦为学界笑柄，也没有起到激励学科发展的作用。所以这是一个各个高校普遍会遇到的两难选择困境。因此，新评价指标体系要能够满足不同机构从不同的核心功能定位选择适用的期刊，本指标体系的M1-1导引能力就考虑到了期刊的政治引领导向、社会应用导向、学术研究导向等不同定位；此外，学科之间也存在较大的差异性，人文社会学科尤甚，如法学学科所遇到的困难就很突出。不同国家的法学研究，有鲜明的国家主权性质和地域特征，因此法学期刊的质量评价很难参考国际的知名法学期刊标准；即便是国内的法学期刊彼此之间也存在难以直接比较的问题。法学是一门理论性和实践性学科，所以法学期刊必须要协调好理论研究和司法实践的关系，目前我国法学界公认的高质量法学期刊有《法学研究》《中外法学》《中国法学》《比较法研究》《法学》《法商研究》，但在司法实践层面这些期刊则并不被主要关注，在律师群体中阅读频率较高的主要是《中国律师》，《犯罪研究》《法学评论》《人民检查》《人民司法》《法律适用》等[27]。可见，在对法学期刊的评价中就存在着两个不完全一致的标准，律师群体认为好的法学期刊应该“对司法实践有帮助”。如《中国律师》，作为一种注重案例分析、司法实践的期刊，其研究性虽然不够突出，但很多律师认为其确实能够提高自己的法理素养和工作实践。[28]这表明期刊的办刊宗旨及其在其读者群体中体现的效用，对于学术期刊的质量评价而言是十分重要的。本指标体系的E3-10考虑到了读者和作者对于期刊的社会评价和反馈；回归到学术期刊的基本功能，就会发现学术期刊作为一种社会性的建制，从本质上讲是一种知识互动的产物和媒介，法学研究的发展既需要注重法理的理论性期刊，也需要关注和启发司法实践的应用性期刊。如果学术期刊中只能听见来自法学院的声音，而少闻来自法律实践中的疑虑和质问，不能不说是角色功能上的缺位。而这个问题将有可能通过新的期刊质量评价体系得到一定程度的解决。

近40年来，伴随科技进步与社会发展，国家对高等教育和科学研究的投入大幅增加，但是研究资源的投入总是有限度的，如何合理、公平、有效地进行研究资源的配置是科研管理部门必须面对和完成的任务，而学术期刊的质量评价研究可以为解决这一问题提供方案。值得指出的是，评价不能没有指标，但指标一旦被用于任何类型的评价，就有扭曲的倾向。研究者有可能选择有利于指标的研究问题，而不是选择感兴趣和重要的主题，这正在成为研究活动本身的驱动力。没有指标不行，但有了指标又会异化，这就是所谓的古德哈特定律(Goodhart’s law)：指标悖论。此论早在1975年就被提出来，在经济和社会等各个领域都存在指标悖论的现象。因此，必须确保负责任地构建和使用新的指标。新的指标应是有效的(反映所测量的概念)；正向的，比如近期深圳设计出“GEP”(生态系统生产总值)指标，较之于“GDP”(国内生产总值)指标，更为正向；透明的(应公布作为标准基础的数据，并明确说明限制和不确定程度)；公平的(应避免系统性偏差)；适应性的(当偏差、滥用或其他弱点变得明显时，要随时更新指标)；以及可复制的(使用该指标的人应该能够复制这些指标)。为防止滥用指标，任何指标的使用都应符合四个标准：一是正当性。在评估个人或机构所做研究时，期刊指标应该只起到次要的和明确定义的作用。二是语境化。除了数字统计之外，指标还应报告统计分布(例如，文章引用计数)，正如自2018年以来ISI《期刊引用报告》(JCR)中所做的那样。应考虑不同学科之间的差异。三是知情性。专业协会和相关专家应帮助培养对指标的认识和了解。例如，在博士培训课程中可以开展这样的教育。四是负责性。所有利益相关者都需要警惕指标的使用如何影响研究人员和其他利益相关者的行为。不负责任的指标使用应该被叫停。这样看来，根据评价客体的主要功能精心设计指标，规范使用指标，根据指标使用情况及时调整，不失为应对“指标悖论”的可行之举。

六、结 语

研究表明，期刊引文、论文转载与期刊质量的判断在统计上具有强或正相关性，从一定程度上看，用引文影响、转载来评价期刊质量有其合理性。但与此同时，也有相当多的研究指出，期刊引文、论文转载等的计量分析存在若干局限。随着我国社会变革和经济发展的加速，亟需建立起符合、反映中国国情和历史深度，能够指导中国学术现实发展的学术期刊质量评价指标体系，指标体系是期刊评价的前提，而期刊评价是学术评价的基础，期刊评价问题不解决，学术就不可能自立和强大，要做到这一点，就需要回复到学术期刊自身的功能立场，摆脱“唯”“至上”等绝对化的评价思维模式，保持学术对国家、对社会现实问题深刻关注和持久的热情。

中国的学术期刊尽管有自己的“国情”，但作为一个新提出的期刊质量评价框架，仍然需要考虑网络信息时代的变化，并与国际学术发展保持一致。一个真正适合中国，能够行之有效，并得以落实推广的学术期刊质量评价指标体系，绝非一个学者、一个学科、一个大学或出版社之力可为，有赖于学者、期刊编者、文献计量和评估专家等利益相关者的共同努力，需要制定一套原则来管理、完善指标，也可以参照国际做法，成立一个由期刊利益相关者组成的理事机构，以维持这些标准、指标的修订、应用和推广等事宜。根据“全评价”体系，在具体进行期刊评价时，先要确定评价目的，根据“指标体系框架”优化指标，尤其是特色指标，制定各指标权重和求和办法，适当分类评价对象，选择恰当评价方法，制定专家遴选、回避、轮流、元评价等制度，以及评价结果公开、反馈、申诉、复议等程序与制度。尤其要注重评价“组织方”的筛选或认定，对学术界、期刊界、管理界均认可的“第三方”或“联合机制”委以重任(有关评价机制问题容后专题论述)。相信经过同仁不懈的努力，中国特色学术期刊质量评价指标体系和学术评价体系一定能够建立起来。