科技评估方法的进展动态与方法论启示

王汐朋++杨渝玲

摘要： 在国际科技评估领域，近年来对原有既成的方法有了较多进展。因果定性分析、群组概念图、博弈论和进化评估的建模等评估方法，为当今中国科技评估体系的发展提供了重要参考。充分考察国际科技评估进展动态，对于中国科技评估规范的及时更新，具有方法论意义。

Abstract： In the field of international science and technology assessment， more progress has been made to the existing methods. Causal qualitative analysis， group concept map， game theory and evolutionary assessment modeling methods provide an important reference for the development of China's science and technology assessment system. It is of methodological significance to fully investigate the progress of international scientific and technological progress in the assessment of China's scientific and technological assessment.

关键词： 科技评估；评估方法；方法论

Key words： science and technology assessment；assessment method；methodology

中图分类号：G321.5 文献标识码：A 文章编号：1006-4311（2017）36-0235-03

1 考察国际科技评估方法的必要性

科学决策一直把评估当作重要工具来评价研究项目、计划或者整个研究机构。中国从上世纪90年代以来，不断地加强科技评估管理和研究。从“谋断合一”走向“谋断分离”，为提高政府决策的科学化水平、降低决策风险，始终致力于高质量的评估需求。在具体的评估活动中，评估标准与规范是重要依据。科技越来越趋于复杂化，也给科技评估的规范和标准带来全球性挑战，突显了制定评估方法和考量方法的紧迫性。如今科技评估已越来越成为“战略智能”的来源，即评估活动不仅着眼于过去、现在，而且更关注对于未来科技战略的制定和启示。在国际间形成基本一致的概念框架模式、标准与规范，对于推进国际间科技的交流与合作无疑有着深远的价值。

中国的科技评估是为适应对公共科技投入进行监督和科学决策的需求应运而生。因而，早期主要关注为国家科技计划的管理服务的评估，开创了适应国情的评估理论方法和体系。纵观中国20余年的发展历程，“专业化”、“规范化”是每一项评估工作追求的标准，并且在每一项评估活动中，都把“客观、公正、科学”的信誉看作是自身赖以生存的生命线。中国第一个行为规范和技术规范是在2001年出版的《评估规范》。该规范作为中国评估理论和实践经验的浓缩，标志着中国科技评估开始步入专业化阶段。

不过，由于实践时间相对较短，加之国情和国内科技发展阶段的特点，尽管中国已经形成自身的评估特色，但是在全球化的背景下，能够与国际接轨的评估行业标准，尤其是科技评估的标准尚有待于进一步完善和修订。因为国际评估组织每一部的标准与规范的都明确要在实践中不断的更新、修订与完善。比如JCSEE在2010年已經更新到第三版、UNEG也分别在2005、2008、2011年分别制定、补充各项标准与规范，而我国科技评估规范和方法尚未及时更新。

因此，中国迫切需要结合目前的科技发展状况要加强更新和完善，以制定符合中国国情特色、适应我国科技发展和能够与国际接轨的评估标准与规范。研究分析最新的国际有代表性的评估标准与规范将成为新形势下必要而迫切的工作。在国际科技评估领域，近年来对原有既成的方法有了较多革新进展。《American Journal of Evaluation》（AJE）、《Evaluation： The International Journal of Theory， Research and Practice》（EIJ）、《New Directions for Evaluation》（NDE）、《Evaluation and Program Planning》（EPP）是世界评估领域权威的四大刊物。本文聚焦评估方法，对其近年文献进行调研评析，并就方法论层面探讨。

2 科技评估方法的进展动态

近年来，评估方法进展的一个新趋势是结合具体特定领域来制定。对传统的定量分析有新的突破，逐渐重视定性分析。对原有评估方法的集成运用也有新的探索，特别是参数相关性的建模。总体来说，都极为注重具体项目的特定条件，都试图从特定条件出发来设计。

2.1 定性比较分析研究

相对于传统的定量分析，定性比较分析方式善于处理复杂性因果关系问题。其中定性对比分析方法是一种有效的手段，用来提供在干预手段与背景产生交互情况下的证据，可以从特定条件如何与预期结果相结合的考察中获得因果途径的端倪。Fritz Sager和Ce′ line Andereggen（AJE，2012（1）：60-78）认为，定性比较分析方法可以用来处理政策决策中各因素之间现实主义复杂的因果关系，并通过在17例瑞士交通政策的例子中应用两步定性比较分析方法证明了其观点。Keith Zvoch（AJE，2014（9）：430-440）指出，因果关系是伴随着适合多层级和潜变量模型的估计算法的发展。他的研究提供了以定性为导向的评估者越来越相关的五个方法内容的概要，包括因果推断/实验设计、多层级模型、结构方程及潜变量模型、纵向数据分析、缺失数据以及便于理解和使用的教材资源。总的来说，定性研究方法变得越来越概念集成化和技术成熟化。对支撑因果推论的框架设计与分析的基本看法已经转变了传统的方法实践并迎来对现代数据建模技术之间潜在关系的新认识。endprint

2.2 结合案例对原有评估方法的集成与混合

António Firmino da Costa（EPP，2013（4），1-9）以评价葡萄牙全国阅读计划为例重点介绍评价复杂计划的基于多元化并建立于混合方法的集成方法，其在评价第一阶段使用的评价模型使持续且系统的监控、以及分析项目计划等的开发和实施成为可能，并指出了混合方法在评价计划的潜力。Carter Bloch和Mads P. Sensen（EPP，2014（3）：105-117）指出，由于人们对科学基金如何分配才能提升社会经济发展的问题更加重视，这些需求涉及到了一系列复杂问题。借鉴评估基金影响的案例，说明了混合方法为政策影响分析带来了强大而完整的价值。Yuriko Sato（EIJ， 2012（2）：230-245）运用了对照组和实验组结果的标准化平均差的方法解释了日本对国外留学生的评估政策。Zaheer Khan，David Ludlow（EPP，2013（5）：27-41）在评估大规模的综合研究项目中定义了参与式评价方法并使用了基于用户的评价结果，并强调参与式评价方法可以有效应用于其他领域的合作研究项目。Staffan Bjurulf，Evert Vedung and C. G. Larsson（EIJ，2013（1）：56-73）用三角测量集群效应结合方法来克服影响评估结果可靠性的挑战，三角测量集群效应结合方法是用阴影控制、通用控制和过程追踪结合起来一起揭示因果关系。Alyssa W. Goldman和Mary Kane（EPP，2014（12）：9-17）对概念图与网络分析进行了研究并指出，测量结构关系的分析方法，）群组概念图是通过一系列相关的图标形象展示观点的混合性方法，这些图标和附加的图形对规划、评估和理论发展都有帮助。群组概念图通过点、集群和距离描述解释设计构念的潜在特性。重点是把网络分析应用到群组概念图上以量化集群关系之间的强度和方向。

2.3 结合案例研究新方法的应用

Leon Hermans、Scott Cunningham和Jill Slinger（EIJ，2014（1）：10-25）基于对评估和博弈论方面文献的综述，阐述了博弈论作为评估方法有用性问题，通过对荷兰沿海政策评估中使用博弈论，表明博弈论有助于开启实施过程依赖于部分利益相关者行为的政策暗箱。博弈论的潜力很大程度上在于其作为正规模型方法的应用。Zaheer Khan和David Ludlow（EPP，2013（5）：27-41）在评估大规模的综合研究项目中定义了参与式评价方法并使用了基于用户的评价结果，并强调参与式评价方法可以有效应用于其他领域的合作研究项目。Jessica Shawand Rebecca Campbell（AJE，2014（6）：250-260）指出了“过程运用”的流程在多点评价中的纵向评估方法。过程运用（Process Use）指利益相关者和评估者改变成为参与评估活动的一种功能的途径。虽然过程运用的讨论屡见不鲜，但是探索为过程运用的测量和评估而制定的方法论戰略不多，特别是关于过程运用的实证研究一直局限在单点评估项目的跨部门研究上。研究者对多点评估项目的过程运用进行了纵向研究，在三个时间点上对利益相关者在学习、态度和行为方面的变化进行了评估：评估咨询之前；接近长达一年的参与式咨询项目的总结点；项目终止6-8周后。结果表明不同区域的流程使用会随着时间推移出现差异性的发展。

2.4 对评估体系和模型建构的研究

Wes Martz（AJE，2013（3）：385-401）探讨了由组织理论和管理领域的学者建立的用以评价组织绩效的五个现存模型，包括目标模型、系统模型、过程模型、战略选择模型以及竞争价值模型，作者根据现有模型的分析建立了一个用来评估组织绩效的检查方法，将评估逻辑细致地纳入其框架，并且在保存现有模型优势的基础上减轻比较突出的局限性。Hung-Yi Wu（EPP，2012（3）：303-320）研究了在银行绩效中把关键绩效指标（KPI）引入到银行机构的平衡记分卡（BSC—）战略布局中。关键绩效指标，是由专家组成的委员会从相关的文献中筛选并组合出对于银行业绩最重要的评估指标，并使用决策测试和评估实验室（DEMATEL）这种多标准分析工具确定关键绩效指标之间的因果关系，找出关键的核心和影响因素，从而在逻辑角度上建立了提高银行绩效的可视化的战略布局。Jennifer Brown Urban、Monica Hargraves和William M. Trochim（EPP，2014（8）：127-139）研究了进化理论、发展系统理论和进化认识论，为了解评估、评估发展历史以及评估的作用提供了理论基础。进化评估是在项目和评估演化阶段实施的，进化评估的模型融入了自下而上和自上而下的评估发展的概念，由此产生的框架对许多项目管理和评估问题有重要的意义。研究者说明了进化评估视角如何能够用随机控制实验在评估中阐述重要的辩论，这样的辩论能激起人们对“证据为基础评估”的反思。从进化评估视角看，对证据为基础评估的一般性解释是评估进化的重大挑战，说明了评估阶段的不一致而导致的后果，支持以研究者为导向的评估和以实践者为导向的评估的重要性。

3 中国与国际科技评估方法的比较和借鉴

评估标准与规范基本的精神中国已经具备，但是国际科技评估标准的结构在长期的实践中已经基本趋于统一，而我国的标准尚未精准投放到每一个评估者和评估活动中。国际的标准一直随着实践和情况的进行动态调整，不断修正与更新，我国的规范制定于2001年，在此之后一直没有及时更新。国际科技评估标准和规范已基本形成了系统的管理制度的一个重要指标，并且实施动态管理，从面上看，辐射到涉及评估的各个环节，从点上看，精准地针对评估中的不同职能定位有不同的标准，包括评估组织、评估者和参与组织与个人的标准与规范。

在一项评估活动中，有些原则是必须遵循的。如果不遵循其中某些原则，需要有充分的理由（如法律方面的限制）。当然，这些原则是在西方文化特别是美国文化背景中产生的，未必与其他国家特别是中国相适应。但是，国际科技评估原则中，要求评估者所秉持的价值导向、道德规范和理念方法，对于任何文化背景下的评估活动，仍不失为一个普遍适用的职业规范。这对于结合我国的国情、科技发展阶段和评估实践的特点来综合衡量与比较，制定出符合中国特点的评估标准与规范，有启发和借鉴的意义。

总而言之，充分考察当今国际科技评估方法研究的新动态，是中国科技评估发展的重要方法论。国际科技评估组织和评估层次较为多元，评估标准与规范在实践中运用的时间也较长，经历了不断的修正的过程，有重要的参考价值。在全球化背景下，为科技决策的制定与有效实施，制定出符合中国国情，同时又能够与国际进行交流、对话和合作的科技评估标准与规范的任务迫在眉睫。

参考文献：

[1]菲利普·夏皮拉，斯蒂芬·库尔曼.科技政策评估——来自美国和欧洲的经验[M].方衍，邢怀滨，等译.北京：科学技术文献出版社，2015.

[2]党倩娜，杨莺歌，吴磊.国外创新评估的发展概况[J].科技进步与对策，2010（5）.

[3]王嘉.科技成果评估方法与指标体系的研究[D].中国矿业大学（北京），2010.endprint