政策视角下同行评议研究现状与问题

摘 要：[目的/意义]自习近平總书记2016年“5·17”讲话后，国家两年多来出台多项政策文件，对项目评审、人才评价、机构评估等学术评价活动提出了指导性意见，特别强调发挥同行评议方法在学术评价中的作用。[方法/过程]对政策文件进行内容分析，在总结归纳文件中与同行评议有关的核心观点基础上，对目前同行评议研究现状进行分析，分析研究中的不足之处并给出有针对性建议。[结果/结论]研究发现这些政策文件强调同行评议方法在学术评价中的作用，强调专家遴选及评审专家、评审过程的监督和公正问题，目前国内外研究主要集中在同行评议方式、专家遴选、质量控制和评价效果等方面，谁来评、怎么评、评得怎么样是同行评议过程中需要解决的三大核心问题。

关键词：同行评议;评价方式;评价效果;专家遴选;质量控制;国家政策

DOI：10.3969/j.issn.1008-0821.2020.09.014

〔中图分类号〕G301 〔文献标识码〕A 〔文章编号〕1008-0821（2020）09-0127-06

Peer Review Study from the Policy Perspective：

Research Status and Problems

Su Jinyan

（Chinese Institute of Social Sciences Evaluation Studies，Chinese Academy of Social Sciences，

Beijing 100732，China）

Abstract：[Purposes/Significance]President Xi Jinping stressed the irreplaceable role of philosophy and social sciences for building socialism with Chinese characteristics，social science evaluation system was an important part of it.Series national evaluation documents were published.[Methods/Process]Based on the analysis of policy documents，which published from 2018，the research status，problems and suggestions of peer review were discussed.[Result/Conclusion]As an evaluation method，peer review was mentioned in all of these national policies.The evaluation model，evaluation effectiveness;expert recruitment and quality control of peer review were discussed in this paper.

Key words：peer review;evaluation method;evaluation effectiveness;experts recruitment;quality control;national policy

2016年5月17日，习近平总书记在哲学社会科学工作者座谈会上指出，“面对新形势新要求，我国哲学社会科学领域还存在一些亟待解决的问题”，我国目前的“学术评价体系不够科学”，“要建立科学权威、公开透明的哲学社会科学成果评价体系，建立优秀成果推介制度，把优秀研究成果真正评出来、推广开”[1]，国家对哲学社会科学评价工作的重视程度提到新高度。

1 国家政策中的同行评议

为贯彻落实“5·17”讲话精神，2018年至今两年多时间内，中共中央办公厅、国务院办公厅、教育部、科技部、人力资源和社会保障部等连续出台《关于深化项目评审、人才评价、机构评估改革的意见》《关于分类推进人才评价机制改革的指导意见》《关于深化哲学社会科学研究人员职称制度改革的指导意见》《关于进一步加强科研诚信建设的若干意见》和《关于优化科研管理提升科研绩效若干措施的通知》等多项政策文件，如表1所示，直接或间接地指导着我国哲学社会科学评价工作，对项目评审、人才评价、机构评估和期刊评价等学术评价的评价方法、评价指标等给出了指导性意见，特别强调要发挥同行评议在人文社会科学评价中的作用。2020年2月，教育部、科技部印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》（简称《意见》），指出要破除论文“SCI至上”，并提出10条具体意见，再次提出要“完善学术同行评价”。

1.1 强调同行评议在学术评价中的作用

在人才评价时，要建立以同行评价为基础的业内评价机制[2]，注重发挥同行评议机制在人才评价过程中的作用[3]，特别是职称评审时，要突出同行评价在职称评审中的作用[4];在项目评价时，特别是基础研究与应用基础研究类项目，要以国际国内同行评议为主[5];在学科评价时，特别是基础学科的评价，要突出原创导向，以同行评议为主[3];在评价方法上，实行定量评价与定性评价相结合，定性评价要体现导向性、专业性[4];在推行代表作评价法时，代表作应受到同行专家的公认[4]。

1.2 强调同行评议专家遴选和专家库建设

对于同行评议专家的遴选，强调专家库入库标准和评审专家遴选规范[3]，建立以随机、回避、轮换、公示为基本原则的专家遴选制度[3-4];对于专家范围，可根据不同学科情况，探索引入国际同行专家评价[3-4];对于专家库的建设，强化业内代表性，细化专家领域和研究方向，优化专家来源和结构，建成安全可靠、开放共享可及时补充高层次专家的国家专家库[3]。

1.3 强调同行评价评审過程的公正性

对于参与同行评议的评审专家，要求签署科研诚信承诺书[6]，建立评价专家责任和信誉制度，实施退出和问责机制[2]。对于同行评议的评审过程，要求建立评价程序规范[3]，健全评委会工作程序和评审规则[4]，严肃评审纪律，加强监督管理，提高评价活动的公开性和开放性，保证评价工作的独立性和公正性，确保评价结果的科学性和客观性[3-4]。

国家之所以多次提出要重视同行评议在学术评价中的作用，是因为目前的项目审批、个人晋升等科研活动或多或少地依赖于期刊评价结果，但“学术界和学术期刊界与评价机构的‘缠斗已不下20年”[7]。近期出台的《意见》[8]明确提出要深刻认识论文“SCI至上”的影响，要“完善学术同行评价”，“组织实施部门要完善规则，引导学者在参加各类评审、评价、评估工作时遵守学术操守，负责任地提供专业评议意见，不简单以SCI论文相关指标和国内外专家评价评语代替专业判断，并遵守利益相关方专家回避原则。组织实施部门可开展对评审专家的实际表现、学术判断能力、公信力的相应评价，并建立评审专家评价信誉制度。”2020年2月17日科技部发布的《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》[9]中也明确要求“强化代表作同行评议”及“发挥同行评议在高质量成果考核评价中的作用”。

2 同行评议研究现状

通常认为，1416年威尼斯共和国采用类似于同行评议方法对向其首次设立的专利制度申请专利发明进行审查是同行评议的雏形，1665年英国皇家学会创办的《哲学会刊》是世界上最早的同行评议期刊，邀请若干同领域的学者对投稿文章的创新性、科学性、可靠性等进行综合评定，并将其作为是否发表该文章的判断依据。随着时间推移，同行评议内涵被逐渐扩大，有狭义与广义之分，本文是指广义的同行评议，即在项目评审、人才评价、机构评估、期刊评价等学术活动中，由1个或多个相关领域的专家进行评价，来决定基金资助、职称评定、论文发表等结果的活动。目前，国内外同行评议研究主要集中在以下4个方面：

2.1 同行评议方式研究

从同行评议评审方式看，主要有通信评议、专家小组或委员会评议和现场同行评议等方式[10];从组织方式看，以评审单位自行组织为主，委托第三方进行评审的方式在逐渐增加;从专家匿名情况看，单盲评审和双盲评审是主要形式，开放评审则成为近些年来的新趋势[11]。目前，开放评审还没有一个标准的定义和有共识的实施框架[12]，但一般认为开放同行评议主要包括公开身份和公开评议报告两部分，以及公众参与评议过程、作者与评议专家、评议专家之间直接交流等方面[13]。现阶段开放评审的研究应用主要集中在期刊论文同行评议方面，其中F1000Resarch、Froniter和Pubpeer等是国外较有代表性的期刊开放同行评议平台，实现向外界公开评议专家信息、建立作者与评议专家交流通道、作者与评议专家和编辑在线对话等功能，玛格泰克采编系统、勤云采编系统和知网腾云采编系统等是目前国内使用较多的网络期刊采编系统，但其开放同行评议功能略弱。开放评审方式是否适用于项目、人才等其他学术评价，在越来越高的“公开公正公平”“开放透明”的呼声中，值得探讨。

2.2 同行评议专家的遴选

同行专家是同行评议的主体，基金资助项目、机构评估项目等对同行评议专家的遴选方式、标准及专家库建设等研究较多，另外期刊外审专家库建设也有较多讨论。美国国家科学基金会（NSF）成立于1950年，其评审专家的产生方式较为多样，既可以由申请人建议，也可以由计划官员来选定或者来自其专家库，遴选标准是具有领域专长、没有利益冲突、客观公正以及评议人分布多样性等[14]。德国科学基金会（DFG），成立于1951年，现有48个学科专业评审委员会，专家由直接选择和学会推荐两种方式产生，每4年选举1次，遴选标准是评议专家须具有博士学位和3年以上工作经验[15]。英国高等教育基金会的卓越研究框架（REF）自1986年发布第1版报告起，一直注重同行评议的作用，现有34个专业委员会，就专家遴选标准和程序发布专门报告[16]。我国国家自然科学基金委员（NSFC）自1986年成立起就十分注重同行评议专家的遴选工作，在《国家自然科学基金项目评审专家工作管理办法》中规定由自然科学基金委聘请评审专家并建立评审专家库，规定了聘请担任评审专家的科学技术人员应当符合的条件及不能作为评审专家的情形。全国哲学社会科学工作办公室负责国家社会科学基金课题资助等事宜，于2015年建成同行评议专家库系统，按照一定原则，如正高职称、年龄一般在60岁以下等，不定期遴选同行评议专家[17]。

2.3 同行评议的质量控制

同行评议方法被广泛采用，但其局限性也一直备受争议，就像学术期刊基本都有严格的同行评议程序，但是仍然出现2017年施普林格·自然出版集团《肿瘤生物学》期刊107篇论文的撤稿事件，及2020年初我国《冰川冻土》的《导师崇高感和师娘优美感的统一》事件。其实早在1978年和1981年，美国科学院科学与公共政策委员会就组织专家进行了连续6年的调查，发表了2份关于“美国国家科学基金会的同行评议”调查报告。为弥补同行评议的局限，保证同行评议质量，国外主要科研资助机构都建立了质量控制机制。NSF采用建立大规模评审专家库、回避利益冲突、定期监督与评估及为“非共识”项目提供专门资助等方式保证同行评议的可靠性，纠正同行评议结果偏差。DFG则采用“2+1”评审方式、随时逐项审批制、规避利益冲突、监察制度等组织实施同行评议。我国国家自然科学基金委员会自2005年起采用“3+X”评审方式，并通过《国家自然科学基金项目评审回避与保密管理办法》《国家自然科学基金资助项目会议评审驻会监督工作实施细则》及《国家自然科学基金项目评审专家行为规范》对评审专家的评审行为进行规范、约束和监督，定期对评审专家履行评审职责情况进行评估。国家社会科学基金方面则会定期公布“认真负责的鉴定专家”名单，对评审专家进行激励。

2.4 同行评议效果讨论

在采用了科学的同行评议方式、选用了合适的评审专家、对评审质量进行了控制监督的情况下，同行评议的效果到底如何呢？与被人诟病的定量评价相比，同行评议的优势和不足又体现在哪里呢？就拿期刊评价来说，期刊评价过程中有两种最常用的方法，一是依赖于专家问卷的定性评价方法[18-19];一是依赖于论文被引次数的定量评价方法[20]。一方面，有很多学者认为以这两种方法对期刊进行评价后得出的评价结果一致性较差，例如Hodge D R等在2010年以25种社会工作领域的期刊为样本，采用定性方法（专家问卷）和定量指标（5年影响因子和H5指数）计算对期刊进行排名后发现两者存在较大差异，专家问卷排名第1的期刊用定量指标排名时仅列25种期刊中的第13位[21];Kao C等在2008年以我国台湾出版46种管理学期刊为样本用两种方法进行了期刊排名，发现两种方法得出的排名结果截然不同，46种期刊中只有1种期刊采用两种评价方法的排名相同，超过一半的期刊排名结果有很大差异。但也有学者却研究发现两种评价方法得出的评价结果有较强的相关关系[22-23]。我国学者对同行评议与文献计量在科研评价中的作用分析做了比较，发现无论是在学术论文的发表、科研项目经费资助审批还是在学科发展态势评估与研发评价实践中，采用定性、定量两种方法得出的评价结果有的非常一致，但有的差异很大[24]，有学者认为同行评议和科学计量优点鲜明，但各自又有难以克服的局限性[25]，甚至有学者直接提出“量化评价扼杀人文学术”[26]。但笔者以人文社会科学33个学科共计1291种期刊为统计样本，采用调查问卷形式由专家对这些期刊进行同行评价，然后对同行评价结果与即年影响因子、影响因子和5年影响因子的相关性做比较分析，研究后发现同行评价和引文指标两种方法对期刊进行评价时，两者得到的评价结果具有较高的一致性，虽然存在一定学科差异，比如社会科学领域的一致性高于人文科学领域的一致性[27]。

3 同行评议研究存在的问题

3.1 现有同行评议研究还有薄弱点

一是对同行评议方式有所讨论，但是对于各评议方式的效率、效果讨论较少。二是对大型周期性基金资助项目评审、机构评估等的专家遴选标准研究较多，但遴选标准通常较为笼统，并且对于專家因素对同行评议效果影响的讨论不多。三是对同行评议质量控制方法、控制效果的实证性研究较少，无法确切了解质量控制情况。四是强调定性与定量相结合的评价方法，但同行评议的权重、与定量评价的关系的具体案例研究较少，对同行评议局限性的讨论较少。

3.2 对同行评议自身局限性研究不充分

虽然政策文件中强调同行评议方法的重要性，但同行评议是有其自身局限性的。一是主观性，每个专家的评价结果是十分主观的，它很大程度上受到评价者道德品质、学术水平及研究领域等因素的影响。二是利益相关性，每个专家都是社会人，有时难免受人情关系影响，如果评价者与被评价者存在利益关系，更是可能影响评价结果。三是保守性，同行评价是建立在专家原有知识基础上的，对创新性事物判断难度较大，不同专家的评价结果有时会出现很大差异，形成“非共识”现象。四是复杂性，组织一次同行评价要耗费大量人财物和时间成本。如何正确认识同行评议自身局限性，是进行研究的基础。

3.3 对同行评议如何“立”的问题研究较少

虽然国家一直在强调要发挥同行评议作用，强调在开展学术评价时，对期刊论文、图书专著等科研成果要合理地设置评价指标，不能用影响因子指标“一刀切”[2]，在科学引文索引（SCI、SSCI和A&HCI）和核心期刊论文发表的数量、论文引用次数及影响因子排名等仅可作为评价参考[3]。为何国家、学者一直呼吁要注重“同行评议”，避免影响因子“一刀切”，却仍然存在这些问题呢？因为，目前多是讨论影响因子、期刊论文“破”的问题，却对同行评议“立”的问题讨论较少。

4 同行评议研究的对策建议

不破不立，不立不破。“破”影响因子、期刊论文的同时，同行评议也要“立”住。

4.1 解决同行评议方法“立”的问题

一是解决同行评议概念意识“立”的问题。通过对同行评议方式、专家遴选标准、同行评议质量及效果进行研究，可以更清楚地了解各同行评议方式的优势和局限性，更准确地了解专家因素对同行评议结果的影响，更谨慎地定义同行评议与定量评价的关系，从而制定出更加科学合理可操作的政策，把同行评议从概念意识角度“立起来”。

二是解决同行评议组织实施“立”的问题。国家级基金资助、机构评估等有较为成熟的同行评议规程和专家库，但对于高校、科研院所等科研机构及第三方评价机构来说，作为评价的组织者，如何在评价实施过程中更好地使用同行评议方法？同行评议研究要为其组织实施，如遴选专家、组织评价提供依据，把同行评议从组织实施角度“立起来”。

三是解决同行评议操作执行“立”的问题。一方面，引导科研人员更加客观地认识同行评议的作用;另一方面，科研人员又是同行评议真正的评价主体——评审专家，对同行评议质量控制进行研究，让科研人员更好地发挥同行评议功能，把同行评议从操作执行角度“立起来”。

4.2 解决同行评议过程中的问题

同行评议研究最终是用来指导同行评议实践活动的，所以要重点分析组织实施同行评价需解决的基本问题。

一是解决谁来评的问题。同行评价过程中，评价专家是主体，专家遴选是关键，但目前只有原则性的专家遴选标准和程序，并且没有可快速抽取专家的共享专家库可以使用。拿国家自科基金来说，每年有大量课题项目需要评审，但《国家自然科学基金项目评审专家工作管理办法》中评审专家选聘的条件却比较笼统，不够明确。如选聘条件第一条是“具有较高的学术水平、敏锐的科学洞察力和较强的学术判断能力”，这不仅难以筛出谁符合条件，更难以判断谁不符合这个条件，这些条件有点形同虚设。很多满足这些选聘条件学者都希望能够成为国家级项目的评审专家，但如何才能被选入到国家自科基金委的专家库中呢？这是个问题。国家自科基金委成立以来一直十分重视专家库建设，并公开一些与专家遴选有关的文件，但有些组织实施评价部门以一己之力很难完成高质量、成规模的专家库建设工作，增加了同行评价活动的组织难度。

二是解决怎么评的问题。组织实施部门是第三方，无论是初评还是复审，制定规则、组织评价、保证质量是工作重点。目前，通讯评审、会议评审或两者结合是采用最多的同行评价方式，由于每个被评价对象的评审专家是有限的，如“2+1”或“3+X”模式，由于评价专家数量少增加了评价结果偶然性。这就对评价专家的水平和道德提出了很高要求，评价专家的遴选、激励、约束和监督，是保证同行评议质量的重要环节。如果说通讯评审以“小同行”专家为主的话，在会议评审时经常会存在“大同行”甚至“非同行”的问题，然而根据《意见》第四条规定，“不简单以SCI论文相关指标和国内外专家评价评语代替专业判断”，如何正确发挥“大同行”会评专家的作用是需要考虑的问题。

三是解决评价效果问题。方法没有好坏，只要达到评价目的就是好方法，但同行评价评出来的效果到底怎么样，如何平衡同行评价与定量评价的关系，这是个问题。就同行评价的效果，目前我国没有系统的研究，也就是说，破除论文“SCI”至上而采用同行评价方法后会不会达到预期目的还有待进一步验证。

在当前破除论文“SCI至上”的要求下，同行评议作为学术评价方法被再一次推上前台。其实，无论是学术评价的组织者、评价者还是被评价者，都希望能够更好地发挥学术共同体作用，但目前国内外同行评议研究还不够系统，是个需要加强研究的领域。

参考文献

[1]习近平.在哲学社会科学工作座谈会上的讲话[M].北京：人民出版社，2016.

[2]中共中央办公厅，国务院办公厅.关于分类推进人才评价机制改革的指导意见[EB/OL].http：//www.gov.cn/zhengce/2018-02/26/content_5268965.htm，2018-02-26.

[3]关于深化项目评审、人才评价、机构评估改革的意见[M].北京：人民出版社，2018.

[4]关于深化哲学社会科学研究人员职称制度改革的指导意见[EB/OL].http：//www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/201910/t20191028_337889.html，2019-10-28.

[5]國务院.关于优化科研管理提升科研绩效若干措施的通知[EB/OL].http：//www.gov.cn/zhengce/content/2018-07/24/content_5308787.htm，2018-07-24.

[6]关于进一步加强科研诚信建设的若干意见[M].北京：人民出版社，2018.

[7]朱剑.“三大核心”：拿什么来取而代之？[J].济南大学学报：社会科学版，2019，29（2）：5-25.

[8]教育部，科技部.关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见[EB/OL].http：//www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html，2020-02-20.

[9]科技部.关于破除科技评价中“唯论文”不良导向的若干措施（试行）[EB/OL].http：//www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm，2020-02-17.

[10]郭碧坚，韩宇.同行评议制——方法、理论、功能、指标[J].科学学研究，1994，（3）：63-73.

[11]Walker R，da Silva P R.Emerging Trends in Peer Review—A Survey[J].Frontiers in Neuroscience，2015，（9）：169.

[12]Ross-Hellauer T.What is Open Peer Review？A Systematic Review[J].F1000Resarch，2017，（6）：588.

[13]孟美任，张晓林.中国科技期刊引入开放同行评议机制的思考与建议[J].中国科技期刊研究，2019，30（2）：149-155.

[14]National Science Foundation（NSF）.Merit Review[EB/OL].https：//www.nsf.gov/bfa/dias/policy/merit_review/，2020-02-15.

[15]Deutsche Forschungsgemeinschaft（DFG）.Review Boards[EB/OL].https：//www.dfg.de/en/research_funding/index.html，2020-02-15.

[16]Research Excellence Framework（REF）.Roles and Recruitment of the Expert Panels[EB/OL].https：//www.ref.ac.uk/publications/roles-and-recruitment-of-the-expert-panels-ref-201703/，2020-02-15.

[17]全国哲学社会科学工作办公室.关于开通使用同行评议专家数据库的补充说明[EB/OL].http：//www.npopss-cn.gov.cn/n/2015/1110/c219469-27799803.html，2015-11-10.

[18]Walters W H.Key Questions in the Development and Use of Survey-based Journal Rankings[J].Journal of Academic Librarianship，2017，43（4）：305-311.

[19]Herrmann R，Berg E，Dabbert S，et al.Going Beyond Impact Factors：A Survey-based Journal Ranking By Agricultural Economists[J].Journal of Agricultural Economics，2011，62（3）：710-732.

[20]Pajic D.On the Stability of Citation-based Journal Rankings[J].Journal of Informetrics，2015，（9）：990-1006.

[21]Hodge D R，Lacasse J R.Evaluating Journal Quality：Is the H-index a Better Measure than Impact Factors？[J].Research on Social Work Practice，2010，21（2）：222-230.

[22]Kao C，Lin H，Chung S，et al.Ranking Taiwanese Management Journals：A Case Study[J].Scientometrics，2008，76（1）：95-115.

[23]Gordon M D.Citation Ranking Versus Subjective Evaluation in the Determination of Journal Hierachies in the Social Sciences[J].Journal of the American Society for Information Science，1982，33（1）：55-57.

[24]萬昊，谭宗颖，朱相丽.同行评议与文献计量在科研评价中的作用分析比较[J].图书情报工作，2017，（1）：134-152.

[25]姜春林，张立伟.学术评价：同行评议抑或科学计量[J].中国高等教育，2014，（Z3）：20-22.

[26]仲伟民.量化评价扼杀人文学术——关于人文学科学术期刊的评价问题[J].澳门理工学报：人文社会科学版，2015，（3）：100-109.

[27]苏金燕.人文社会科学期刊评价中同行评议与影响因子相关性分析[J].图书情报知识，2020，（3）：4-13.

（责任编辑：陈 媛）