国家工程技术研究中心运行评估方法研究与实践

朱志凌+柳春

摘要： 通过国家工程技术研究中心运行评估的实践，综述了评估对象、原则和程序，探讨了评估指标体系的设计，以及评估方法的使用，建立了专家评议结果相关模型，为合理利用综合评价结果提供实践参考。

Abstract： Via operational evaluation practice of Chinese National Engineering Research Center（CNERC）， this paper summarizes the objects， principles and procedures of the evaluation， discusses the application of the evaluation method， then establishes a frame model for expert evaluation results， and proposes practical reference for the application of comprehensive appraisal results.

关键词： 运行评估；综合评价；国家工程技术研究中心

Key words： operational evaluation；synthesized appraisal；CNERC

中图分类号：G322.2；F124.3 文献标识码：A 文章编号：1006-4311（2014）19-0014-03

0 引言

国家工程技术研究中心（以下简称“工程中心”）是国家科技创新体系建设和国家科技发展计划的重要组成部分，代表行业或领域的最高研究水平。旨在“创新、产业化”方针指导下，探索科技与经济结合的新途径，加强科技成果向生产力转化的中间环节，促进科技产业化；面向企业规模生产的需要，推动集成、配套的工程化成果向相关行业辐射、转移与扩散，促进新兴产业的崛起和传统产业的升级改造；促进科技体制改革，培养一流的工程技术人才，建设一流的工程化实验条件，形成我国科研开发、技术创新和产业化基地[1]。

截止到2011年，已有156家工程中心通过验收、投入正式运行，为进一步加强对工程中心的运行管理和分类指导，工程中心的管理重点正逐步由组建转移到监督管理和优化调整上来。开展运行评估作为一种有效的技术手段，在工程中心的监督管理中发挥了积极的作用，对各工程中心的自身发展也起到了一定的激励与引导作用[2-3]。

根据《国家工程技术研究中心暂行管理办法》相关规定的要求，2011年对工程中心四年来（2007～2010年）运行效果的客观评价及运行状态的分析，对比工程中心的组建宗旨及职责定位，对各工程中心的运行状况进行分析评价；通过动态管理，为加强和规范工程中心的管理提供决策依据[4]。

目前关于工程中心评估的文献主要涉及省级工程中心评估实践，从科研管理层面，针对评估指标体系的建立和评估方法进行研究探讨，例如江苏省开展了省级工程中心的验收评估实践[5]，陕西省对省级工程中心进行了专项绩效评估实践等[6]。本文通过国家工程中心运行评估的实践，综述了评估对象、原则和程序，探讨了评估指标体系的设计，以及评估方法的使用，建立了专家评议结果相关模型，为合理利用综合评价结果提供实践参考。

1 评估对象、原则和程序

1.1 评估对象 本文涉及的评估对象为2008年以前（含2008年）通过验收，正式投入运行两年以上的高新技术类工程中心。

1.2 评估原则 主要包括：①导向性原则。评估工作立足于工程中心的发展战略，紧密围绕工程中心的组建宗旨、目标定位，引导、鼓励工程中心向规定建设目标发展，实现国家战略目标。②客观公正原则。评估工作做到公开、透明，鼓励利益相关方的有效参与，充分发扬民主，客观、公正地评价工程中心的运行绩效。③科学、可行、高效原则。针对运行评估的目的和基本特点，选择科学、可行的评估模式和技术路线，在保证质量前提下，简化程序、易于实施、提高效率；评估指标的设计做到概念准确、含义明晰、层次合理、完整全面反应评估对象特征。

1.3 评估程序 本次评估工作采用“统一框架与标准，分领域组织实施”的工作方案。通过工程中心自评价、同行专家评议（包括会议评估与通信评估两种形式）、管理部门评价和现场调研等多种评价活动，对各工程中心的工程化能力与水平、行业作用以及运行管理三个方面的运行绩效进行了综合评价。

2 评估方法和指标体系

2.1 评估方法的选择 本次运行评估采用定性评估与定量评估相结合，会议评估、通信评估与现场考察相结合，综合评估与专业评估相结合的方法，以评估指标的判断准则为绝对标准，将中心运行表现与指标判断准则的对比作为主要依据，辅之以中心之间的横向对比，评价各工程中心的运行状况。

2.2 指标体系的建立 本次运行评估按照《工程中心管理办法》及其他相关的政策文件，根据工程中心组建宗旨、职责、职能的相关要求，建立了评估框架、设计了评估指标体系。该指标体系建立在历次绩效运行评估指标体系的基础上，依据工程中心发展目标要求[7]。

指标体系共设工程化能力、行业作用和运行管理3项一级指标8项二级指标，各项指标及说明见表1。

3 同行专家评议

工程中心运行评估同行专家评议采取分领域答辩评议和通信评议相结合的方法，该同行专家评议方法在美国国家科学基金会与国立卫生研究院等科学基金资助机构的项目评价中已经得到广泛应用[8-9]。

3.1 专家的遴选 根据《科学技术评价（试行）》及相关政策文件的要求[10-17]，评议专家应具有较高的专业知识水平和实践经验、敏锐的洞察力和较强的判断能力，熟悉被评价内容及国内外相关领域的发展状况；同时具有良好的资信和科学道德，认真严谨，秉公办事，客观公正，热心科学技术事业，敢于承担责任。遴选专家应遵循随机、回避和更换的原则，突出评估专家组年龄结构、知识结构和学缘结构的合理性。endprint

本次参与评估的工程中心按领域分为五组（以下简称为A、B、C、D和E组），各组评议专家来源涵盖高校、军队、研究院所、协会/学会、企业，以行业技术专家和管理专家为主；通信评议专家以小同行技术专家为主。

3.2 专家评议表的设计 为便于评议专家对评估指标的理解和实际操作，将每项二级指标抽象提炼出具体的2-4项评价判断，专家根据工程中心运行情况，对所设选项进行选择，并参考评价判断的选择情况对该二级指标进行打分。每项指标打分满分为10分，优秀为9～10分，良好为7～8分，合格为5～6分，问题较多为5分以下。例如对二级指标“工程化研发方向”的评价设计见表2。

在上述专家评议表的基础上，针对会评专家参与现场答辩的特点，设计各组综合评议意见表。会评专家组应对本领域工程中心提出综合性意见，其主要内容包括工程中心在评估期内的取得的主要成绩、存在的主要问题及未来发展建议。

4 同行评议结果分析

4.1 同行评议评分模型 参考相关文献并综合考虑会议评估和通信评估两种形式，设计同行评议评分模型。以A组为例，若m位会议评估专家，n位通信评估专家对p个工程中心进行评估，设YmA，YnA分别为A组工程中心会议评估和通信评估评分矩阵，则YmA=（ym1，ym2，ym3，…，ymp）T，YnA=（yn1，yn2，yn3，…，ynp）T，设XmA，XnA分别为A组会议评估和通信评估专家评分矩阵，则

XmA=■，XnA=■

式中，xab为第b个专家对第a个工程中心的评分值。YmA表示m位会议评估专家对p个工程中心进行评分，YnA表示n位通信评估专家对p个工程中心进行评分。按照评估专家评分统计方法，分别计算两者的算术平均值和标准差[18-19]，即

yma=■xab/m（b为正整数，且l？燮b？燮m），标准差为SDma，

yna=■xab/n（b为正整数，且l？燮b？燮n），标准差为SDna。

4.2 专家评议结果偏差模型 由于评估专家的学术背景、科研经历、心理特征、思维模式、标准把握等都有可能存在较大的差异，因此评估专家对于同一客观事实的认识和判断就有可能形成偏差，评估的结果就不能够准确地反映客观情况[20-23]。针对本次评估特点，对专家评分偏差分析如下：

由于专家的个体差异以及评分尺度把握的不同，个别专家评分可能整体偏高或偏低，表现为专家评分偏离整体评分的标准，此类偏差称作个体偏差，用△1表示。内部影响偏差是专家基于对自身熟悉领域的偏好所产生的偏差，特别在小同行技术专家评分中易出现，用△2表示。条件影响偏差是基于会议评估和通信评估两种不同形式下，各位专家对打分原则掌握的尺度不一致，对某个工程中心的评估没有达成共识而产生的偏差，用△3表示。由于各专家组间评分的尺度存在差异，导致各领域间同等水平的工程中心横向对比存在分值差异，从而产生组间偏差，用△4表示。

综上分析，建立专家评议结果偏差模型：

△=△1+△2+△3+△4

式中，个体偏差为△1，内部影响偏差为△2，条件影响偏差为△3，组间偏差为△4。

4.3 同行评议结果综合分析 通过分析专家评议结果偏差模型可知，实际评估活动中所产生的偏差都有可能影响到工程中心运行评估最终结果的准确性。本次评估实践采取了相应措施保证评估结果的准确性，尽可能消除上述偏差，具体分析如下：

根据本次评估活动特点进行分析，△1是由专家的个体差异决定的，通过计算平均值和标准差，并采取筛除同组内异常值的办法消除个体偏差，从而不影响整体评估结果。

△2主要表现在小同行技术专家评分中出现明显偏离均值的现象，综合分析会议评估和通信评估评分结果，以统计学方法为手段，可以鉴别出无效数据。

△3主要表现在通信专家与会评专家在个别工程中心的打分上，具有较大的差异，其原因主要是会评专家听取中心答辩，部分疑问通过提问进行了解，对情况了解更加深入，而通信专家只通过中心提交材料进行打分，两者所掌握的信息量及准确度存在一定的差异，导致非共识性差异，针对上述情况对个别中心进行现场评议，整合多方意见得出评议结果。

△4主要表现在各领域间同等水平的工程中心横向对比存在分值差异，各组分数之间的差异除了本组工程中心总体水平不一致外，还要考虑每组专家不同，各自掌握的打分原则也不相同，需要综合考虑平衡。对不同分数段内各组中心数量分布以及不同比例内各组中心分数分布进行列表分析，见表3、表4。通过组间横向对比，对评分结果进行校正，在较大程度上消除组间偏差的影响。

5 结语

本文综述了工程中心运行评估原则、程序、评估指标体系和方法，并以同行评议为研究重点，探讨了专家遴选机制和原则，建立了同行评议评分模型和专家评议结果偏差模型，深入分析个体偏差、内部影响偏差、条件影响偏差和组间偏差的产生原因、表现形式以及消除（减弱）方法；通过数理统计的方法，合理利用同行专家评议结果，为工程中心运行评估综合评价提供科学的数据支持，同时也为同行评议方法的应用提供较为全面的实践参考。

参考文献：

[1]王发明，蔡宁.国家工程技术研究中心理想运行目标体系研究[J].科技进步与对策，2009，26（6）：25-28.

[2]曹煜中，王发明.国家工程技术研究中心运行模式及路径选择研究[J].技术经济，2008，27（2）：22-25.

[3]李钢.国家工程技术研究中心的运行及其机制研究[D].杭州，浙江大学经济学院，2003.

[4]关于开展2011年度国家工程技术研究中心运行评估的通知，国科计函[2011]18号.

[5]孙兴莲，白冬梅.江苏省工程技术研究中心运行管理现状与政策建议[J].江苏科技信息，2008（2）：42-43.endprint

[6]贺福明.省级研究机构绩效评估探讨与实践[J].管理观察，2011（24）：132-133.

[7]国家工程技术研究中心暂行管理办法，国科发计字060号.

[8]张彦.论同行评议的改进[J].社会科学研究，2008（3）：86-91.

[9]徐彩荣，李晓轩.国外同行评议的不同模式与共同趋势[J]. 科学学与科学技术管理，2005，26（2）：29-33.

[10]何杰，王成红，刘克.对同行评议专家评议工作进行评估的一些思考[J].中国科学基金，2004，18（1）：47-50.

[11]王成红，何杰，刘克，宋苏.关于同行评议专家定量评估指标研究的几个新结果[J].系统工程理论与实践，2004，24（2）：83-89.

[12]齐丽丽，司晓悦.对我国同行评议专家遴选制度的建议[J].科技成果纵横，2008（5）：26-28.

[13]陈媛，樊治平，谢美萍.科研项目同行评议专家水平的评价研究[J].科学学与科学技术管理，2009，30（10）：38-42.

[14]张恬，张宏翔.同行评议形式的争论及发展现状[J].中国科技期刊研究，2009，20（1）：152-154.

[15]杨翠.关于同行评议自我评价规避方法的若干问题和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]冯锋，于晟，于振良.关于科学研究项目同行评议的一些政策性分析[J].中国科学基金，2007，21（1）：42-46.

[17]吴建军，刘璐.国家自然科学基金项目同行评议现状研究[J].中国科技博览，2009（12）：151.

[18]谢焕瑛.国家重点实验室评估专家评分偏差效应分析[J]. 研究与发展管理，2006，18（6）：134-137.

[19]谢焕瑛.国家重点实验室评估体系研究[D].大连：大连理工大学管理学院，2006.

[20]谢焕瑛.国家重点实验室评估信度与离散度分析[J].武汉理工大学学报，2007，29（7）：80-82.

[21]谢焕瑛.国家重点实验室评估专家的若干问题研究[J].研究与发展管理，2006（4）：108-111.

[22]谢焕瑛，张健.关于国家重点实验室评估若干问题的思考[J].中国科学基金，2003（02）：111-113.

[23]郑称德.同行评议专家工作业绩测评及其模型研究[J].科研管理，2002，23（2）：41-45.endprint

[6]贺福明.省级研究机构绩效评估探讨与实践[J].管理观察，2011（24）：132-133.

[7]国家工程技术研究中心暂行管理办法，国科发计字060号.

[8]张彦.论同行评议的改进[J].社会科学研究，2008（3）：86-91.

[9]徐彩荣，李晓轩.国外同行评议的不同模式与共同趋势[J]. 科学学与科学技术管理，2005，26（2）：29-33.

[10]何杰，王成红，刘克.对同行评议专家评议工作进行评估的一些思考[J].中国科学基金，2004，18（1）：47-50.

[11]王成红，何杰，刘克，宋苏.关于同行评议专家定量评估指标研究的几个新结果[J].系统工程理论与实践，2004，24（2）：83-89.

[12]齐丽丽，司晓悦.对我国同行评议专家遴选制度的建议[J].科技成果纵横，2008（5）：26-28.

[13]陈媛，樊治平，谢美萍.科研项目同行评议专家水平的评价研究[J].科学学与科学技术管理，2009，30（10）：38-42.

[14]张恬，张宏翔.同行评议形式的争论及发展现状[J].中国科技期刊研究，2009，20（1）：152-154.

[15]杨翠.关于同行评议自我评价规避方法的若干问题和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]冯锋，于晟，于振良.关于科学研究项目同行评议的一些政策性分析[J].中国科学基金，2007，21（1）：42-46.

[17]吴建军，刘璐.国家自然科学基金项目同行评议现状研究[J].中国科技博览，2009（12）：151.

[18]谢焕瑛.国家重点实验室评估专家评分偏差效应分析[J]. 研究与发展管理，2006，18（6）：134-137.

[19]谢焕瑛.国家重点实验室评估体系研究[D].大连：大连理工大学管理学院，2006.

[20]谢焕瑛.国家重点实验室评估信度与离散度分析[J].武汉理工大学学报，2007，29（7）：80-82.

[21]谢焕瑛.国家重点实验室评估专家的若干问题研究[J].研究与发展管理，2006（4）：108-111.

[22]谢焕瑛，张健.关于国家重点实验室评估若干问题的思考[J].中国科学基金，2003（02）：111-113.

[23]郑称德.同行评议专家工作业绩测评及其模型研究[J].科研管理，2002，23（2）：41-45.endprint

[6]贺福明.省级研究机构绩效评估探讨与实践[J].管理观察，2011（24）：132-133.

[7]国家工程技术研究中心暂行管理办法，国科发计字060号.

[8]张彦.论同行评议的改进[J].社会科学研究，2008（3）：86-91.

[9]徐彩荣，李晓轩.国外同行评议的不同模式与共同趋势[J]. 科学学与科学技术管理，2005，26（2）：29-33.

[10]何杰，王成红，刘克.对同行评议专家评议工作进行评估的一些思考[J].中国科学基金，2004，18（1）：47-50.

[11]王成红，何杰，刘克，宋苏.关于同行评议专家定量评估指标研究的几个新结果[J].系统工程理论与实践，2004，24（2）：83-89.

[12]齐丽丽，司晓悦.对我国同行评议专家遴选制度的建议[J].科技成果纵横，2008（5）：26-28.

[13]陈媛，樊治平，谢美萍.科研项目同行评议专家水平的评价研究[J].科学学与科学技术管理，2009，30（10）：38-42.

[14]张恬，张宏翔.同行评议形式的争论及发展现状[J].中国科技期刊研究，2009，20（1）：152-154.

[15]杨翠.关于同行评议自我评价规避方法的若干问题和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]冯锋，于晟，于振良.关于科学研究项目同行评议的一些政策性分析[J].中国科学基金，2007，21（1）：42-46.

[17]吴建军，刘璐.国家自然科学基金项目同行评议现状研究[J].中国科技博览，2009（12）：151.

[18]谢焕瑛.国家重点实验室评估专家评分偏差效应分析[J]. 研究与发展管理，2006，18（6）：134-137.

[19]谢焕瑛.国家重点实验室评估体系研究[D].大连：大连理工大学管理学院，2006.

[20]谢焕瑛.国家重点实验室评估信度与离散度分析[J].武汉理工大学学报，2007，29（7）：80-82.

[21]谢焕瑛.国家重点实验室评估专家的若干问题研究[J].研究与发展管理，2006（4）：108-111.

[22]谢焕瑛，张健.关于国家重点实验室评估若干问题的思考[J].中国科学基金，2003（02）：111-113.

[23]郑称德.同行评议专家工作业绩测评及其模型研究[J].科研管理，2002，23（2）：41-45.endprint