同行评议专家反评估实证研究

李光文 吴达 （天津市科技统计与发展研究中心 天津300041）

0 引言

我国“国家中长期科技发展规划纲要（2006—2020）”中指出，到2020年，中国科技进步对经济增长的贡献率要提高到60%左右，研发投入占GDP比重要提高到2.5%。[1]随着我国政府对科技研发投入的不断增加，如何公平、合理地分配科研资源成为社会日益关注的热点问题。现实社会中存在的学风浮躁、学术不端等问题对科研事业的健康发展产生了消极影响。中国科协新当选主席韩启德在与媒体见面时讲到：“学风问题的解决是一个长期的过程，在一定程度上还是很不理想，我觉得它有深远的历史原因、文化原因、社会原因，甚至是制度原因，如果我们科学体制机制不进一步改革，如果我们的评价技术不改革，如果我们的管理机制不进行改革，包括科研资源分配的机制不进行改革，那么影响我们学风的这些根源还不能够得到根本改变，我们在长期之内还需要努力改进这些问题。”[2]

同行评议作为一种评价方法被广泛运用到规划设计、项目评议、经费资助、课题结项、科技奖励、刊物论文评议、成果出版等方面，被国内外专家公认为是目前最切实可行的方法。同行评议可以促使科研管理机构的决策更加民主和科学，使科学技术的发展更契合我国社会的发展要求。

在同行评议过程中，专家的评价意见直接影响评审结果。本文利用专家反评估指标对同行评议数据进行分析，反映出同行评议过程中的一些问题，为同行评议工作提供参考。

1 研究现状

1.1 同行评议研究

同行评议最早始于专利申请中的查新，随后应用到论文评审、科学技术评价。目前同行评议已被国内外科研管理机构广泛使用。

英国学者Gibbons认为同行是“该领域的科学家或邻近领域的科学家”。我国自然科学基金委对同行的解释是“由科学系统的同行组成的群体”。美国学者Chubin对同行评议的定义是“被科学界用来判断工作程序的正确性，确认结果的可靠性以及对有限资源的分配，诸如杂志版面、研究资助经费、公认性和特殊荣誉”。英国G&G认为评议是以提问的方式评价本领域研究工作的科学价值。“国家自然科学基金项目管理规定（试行）”指出，评议是对申请项目的创新性、研究价值、研究目标、研究方案等做出独立的判断和评价。[3]

综上所述，同行评议是以申请者的客观材料为基础，借助评议专家对某一学科较深入的了解和研究，对一项成果未来的价值做出主观评议和判断的评审方法。同行评议方法方便易行，集成性、科学性的特点使其在科技项目评审决策中占据重要地位，但是这种评议方式受专家个体差异性，如主观意志的影响和专业知识水平的局限以及评议过程中其他偶然因素影响，容易产生个人偏见和片面性。[4]

1.2 同行评议专家反评估研究

赵黎明等（1995）提出了累计数、离散率、命中率、成功率4个反评估指标，成为国内考察评审专家指标的基础，但是对于如何基于这些单项指标建立评价体系并未做出说明。[5]郑称德（2002）提出基于评议结果的专家评议工作业绩评测指标，包括经验指标、偏差指标、命中指标及有效性指标，并根据专家意见得出这3个指标的权重分别为0.25、0.35和0.4。[6]王成红等（2004）进一步探讨了对同行评议专家评议结果进行定量评估的问题，给出了科研项目评价值的数学模型。文章给出了同行评议专家关于基金申请项目评价值的调整算法，对已有的2个定量指标进行了改进，并给出了算数偏差、最大绝对值偏差和项目的非共识度等3个新的定量评估指标。这些定量指标具有的物理、数学意义，对合理选择同行评议专家有重要意义。[7]

保罗·尼文（2003）曾在《平衡计分卡》中提出了指标的选择原则和指标数据字典的概念，对建立专家评价指标体系做了较深入的研究。[8]英国同行评议调查组给研究理事会咨询委员会的报告中全面讨论了定量方法的作用，他们认为“如果用合理的价格能获得相关有用的信息，例如使用自然和社会科学引文索引，也许在检查同行评议全面实施的时候，可以切合实际地、试验性地使用它。”[9]

2 同行评议专家反评估实证研究

2.1 数据来源

天津市科技计划项目立项和结题评审使用了同行评议方式，从2007年起使用了局域网评审，2008年开始将结题工作专家评审意见进行数据库管理，评审过程中积累了大量数据。本文使用这些数据进行专家评审反评估实证研究，共选用了140个项目组，2 653个项目的评审数据。

2.2 实证研究

2.2.1 评审累计数分析 对专家参加评审次数进行统计，统计结果数据显示，参加7次评审的专家有1位；参加5次评审的专家共6位；参加4次评审的专家共9位；参加3次评审的专家共40位；参加2次评审的专家共103位。

表1数据说明，天津市科技计划项目评审尽可能多的邀请专家参与，让更多专家参与项目评审，这样有两个好处：一方面可以避免评审专家队伍过于固定，影响同行评议的公正性；另一方面邀请更多专家参与评审，扩大了专家队伍，特别是给年轻学者更多参与项目评审的机会，增加了学者参加科学研究的积极性，有利于良好学术氛围的形成。

表1 专家参加评审次数统计

2.2.2 评审结论一致性分析 每个项目组邀请5位专家独立为项目评审打分和做评价结论，评价结论分立项和不立项，限定每位专家评审结论为立项的项目数量。其中，3名及以上专家同意立项的项目视为通过专家评审。

表2说明同行评议结论符合要求，为天津市科技计划项目立项提供了重要的参考依据。

表2 同意立项比分布情况

2.2.3 专家评审命中率分析 对专家的某次评审结果进行分析，将专家对每个项目的评审结论与该项目最终是否立项进行比较。如果专家结论与项目评审结果一致，则设为命中。将专家在该次评审中所有项目的命中数量与项目立项总数进行比较得出命中率。

统计数据中，共有56位专家参加了3次以上评审，选取这部分专家评审数据进行命中率统计。统计结果显示命中率最低为58.3%，最高为100%，56位专家历次评审结果命中率分布如图1。从图中可以看到绝大多数专家命中率很高，在80%以上。

图1 所有专家评审结果命中率分布情况

图2 专家历次评审命中率标准差分布情况

对这56位专家历次评审结果进行的命中率标准差统计，统计结果显示命中率标准差最大是0.198，最小是0.014，多数专家的命中率在0.1以内，如图2。参加3次以上评审的专家命中率很高，历次评审命中率标准差很小，说明这部分专家在评审工作中公平公正，科学严谨地完成评审任务。

2.2.4 离散率分析 项目最终得分是根据5位专家打分加权计算得到，项目得分满分为100分，对专家打分和项目最终得分进行比较。专家打分与项目汇总得分差距最小的为2.6分，最大为31.9分。专家打分与汇总得分差距小于10分的占74.4%，如图 3。

图3 专家打分横向离散率

对参加3次以上评审专家的打分差距进行分析，差距最小的为3.04分，最大为18.54分，专家打分与汇总得分差距小于10分的占84.5%，如图4。对参加3次以上评审的专家打分差距明显小于所有专家。

2.2.5 项目结题评审意见与项目执行结果比较分析 选取部分已结题项目，对合同书与结题报告数据进行比较研究，选取可量化的指标：出版专著、培养人才、申请专利、申请发明专利、发表论文。通过这些指标判断项目实际完成情况，统计结果显示5项指标完成率平均为90.9%，如表3。

图4 专家打分横向离散率（部分专家）

表3 合同书指标完成情况

项目实际完成指标，且专家对“项目完成情况”的结论为“完成”，则认为专家评价意见与项目实际完成情况一致。统计显示一致率平均为91.85%。说明结题评审中专家能根据项目的实际完成情况进行客观公正的评价。

3 相关建议

3.1 适当加强同行评议过程信息公开

同行评议被我国采用以来，各级科研管理机构都制定了完善的管理办法。绝大多数专家的评审工作是公平、公正的。但是少数专家的失信行为被媒体放大。主要是因为专家评审工作要求保密，信息发布较少，再加上立项命中率较低，使没有成功立项申报者对同行评议过程产生了质疑。

建议在保证专家评审工作保密的前提下，在评审结束后加大评审信息公开，将专家评审意见和评审结论适当向社会公开。一方面可以扩大社会各界对同行评议工作的监督，促进专家评审工作的公平公正；另一方面将专家评审结果反馈给项目申请者，使申请者了解自己项目存在的不足，同时也是一次学术交流过程，有利于学术发展和创新，部分基金项目已经实行了评审结果反馈。

3.2 建立统一的评审专家库

丰富的专家库资源是项目准确遴选评审专家的基础，建立统一专家库可以解决同行评议中的一些问题。统一专家库建立后，实现在国家与省市科研管理机构中共享，各级科研管理机构共同维护、完善专家信息。建设统一专家库的同时建立专家诚信档案，将专家在评审工作中的行为记录到诚信档案中，建立起专家后评估体系，专家后评估得分作为专家遴选的主要依据，形成专家诚信体系建设的良性循环。

3.3 完善专家评审过程的组织工作

完善评审过程组织工作。保证评审工作过程的公平、公正、公开。在专家评审前，认真审查评审专家资格，严格执行专家回避制度，避免项目申请者与评审专家发生利益冲突。健全专家遴选办法，为项目匹配最合适的评审专家。在专家评审过程中，严格执行保密规范，严格要求参加评审的工作人员，避免评审信息泄露。评审工作结束后，客观公正地汇总评审结果，将专家评审意见反馈给项目申请者。

4 结语

通过对天津市科技计划项目评审实证研究可以看出，同行评议中绝大多数专家能够按照评审要求，认真负责地完成项目评审，专家评审效果较好，专家评审结果与项目完成情况一致性高，说明同行评议是一种比较科学、可靠的科研项目评价方法。特别是多次参加评审的专家的各项反评估指标明显高于其他专家，说明这部分专家的学术水平较高、科研诚信好，应该充分利用好这部分专家资源，特别是用于重大科研项目的评价工作。

但是，在研究过程可以看出专家反评估方法本身具有一定的局限性，只能作为反映专家评审能力的一个参考，不能作为判断专家评审能力的标准。在实际操作中应该结合专家诚信档案，以事实为依据，严肃、客观地对专家评审能力进行评价。■

[1]中国人民共和国科学技术部[EB/OL].http://www.most.gov.cn/kjgh/.

[2]人民网[EB/OL].http://scitech.people.com.cn.

[3]刘鲁宁.科技项目同行评议体系反评估模型分析与设计[D].哈尔滨：哈尔滨工业大学，2007.

[4]毛莉莉.论同行评议的公平、公正原则[D].上海：东华大学，2007.

[5]赵黎明，徐孝涵，张卫东.对同行评议专家的反评估分析[J].中国科学基金，1995（7）：66-70.

[6]郑称德.同行评议专家工作业绩测评及其模型研究[J].科研管理，2002，23（2）：43-47.

[7]王成红，何杰，刘克，等.关于同行评议专家定量评估指标研究的几个新结果[J].系统工程理论与实践，2004（2）：83-90.

[8]张艳，江志斌.重大建设项目评审专家遴选指标体系研究[J]，理论探讨，2004（12）：9-11.

[9]Mohammadreza Hojat.Impartial Judgment by the“Gatekeepers”of Science:Fallibility and Accountability in the Peer Review Process[J].Advances in Health Sciences Education，2003（3）：75-96.