气象技术方法类科技成果后效评估指标体系研究

胡宜昌，邹立尧，王亚光

(中国气象局气象干部培训学院 北京 100081)

0 引 言

建立科学、合理的科技成果评估机制，有利于促进科技创新。科技成果评估活动与成果应用密不可分，一方面，科技成果在被推广应用之前，评估结论能在促进成果的推广应用方面为管理部门提供参考；另一方面，科技成果推广应用一段时期之后，再次评估成果的应用价值既可以校验之前的评估结论，促进评估工作的改进，又可以为成果进一步的推广应用提供指导。所以，完整的科技成果评估活动通常是“评估—实践—评估—实践……”的循环反复、相互促进的过程。当然，各阶段评估的侧重点不同，实践之前侧重于成果应用价值的评估，实践之后侧重于应用效果的评估，且为成果再次用于实践提供更为客观、科学的价值判断。

目前，各行业开展科技成果评估工作时，普遍缺乏成熟的跟踪评估机制，对成果价值的评估大多止步于应用前的验收鉴定，对成果实际应用过程中所表现出的真实效用缺乏充分的了解，难以发现成果推广应用过程中存在的问题，自然也不利于评估管理工作的进一步完善。对于一些短期内难以得到行业普遍认可的研究成果，尤其应当建立合适的后效评估机制，在成果应用过程中逐步加深对其价值的认识，为具有较好推广应用价值的成果创造足够长的孕育时间。

气象科技成果根据其属性特征可分为三大类，即科学认识类、业务工具类和管理咨询类，其中业务工具类成果又可以根据其功能和表现形式分为技术方法、仪器装备和业务系统。科学认识类成果以认识自然现象，揭示客观规律为主，多涉及基础理论方面的新进展、新发现，其科学价值往往需要经过学术界的广泛评议才能被认可，应用价值难以在短期内得到充分体现，短期内的跟踪评估不足以涵盖其真实效用；管理咨询类成果以政策规划、咨询(评估)报告、调研报告等为主，其应用价值的发挥易受政策、环境等诸多因素的影响，成果的真实效用难以独立衡量；业务工具类成果的开发及应用具有较强的目的性，往往直接针对业务工作中亟需解决的关键问题，成果的应用价值也表现出较强的时效性，所以开展检验其效用的跟踪评估既必要又可行。

本文从跟踪评估的角度，针对气象技术方法类成果，对其在一段时期业务实际应用过程中所表现出的效用进行综合评估。研究将从概念定义出发，通过对技术方法类成果的特征分析，设计对应的后效评估指标体系，提出具体的操作方法，为进一步完善气象科技评估管理工作提供参考。

1 后效评估的定义

1.1 内涵分析

后评估、事后评估等概念在论文、著作中时常出现，而且几乎都是针对项目的评估。李军等[1]指出，后评估是项目完成后的一段时间内，由独立的专业化咨询服务机构或与项目执行部门相对独立的专门评估机构，按照有关规定和规范化要求，依据项目的实际数据和必要的预测数据，对项目的目的、执行过程、效益、作用和影响等进行系统、客观的再评估。丁士海等[2]指出，后评估是项目经过论证、立项、实施、验收后，对已完成项目的目的、执行过程、效益、作用和影响所进行的系统的、客观的综合分析和研究总结的一种方法。

部分行业已经认识到后效评估的重要性，“后效评估”一词偶尔也出现在有关的研究工作中，例如，土地整理后效评估、[3]流域水资源配置后效评估、[4,5]医药安全后效评估、[6]信息化产业经济效益的后效评估。[7]然而，还没有文献资料对后效评估的概念给出明确定义。从不同文献资料中关于后效评估部分的内容描述来看，一般认为，后效评估是指政策执行、产品应用等经历一段时间后，利用相应的评估方法对其实际效果进行客观评价。

2000年 12月，国家科技部印发《科技评估管理暂行办法》，[8]其中对科技活动的“后效评估”含义有所提及。《办法》中指出，科技评估按科技活动的管理过程，一般可分为事先评估、事中评估、事后评估和跟踪评估等4类。其中，事后评估是指在科技活动完成后对科技活动的目标实现情况以及科技活动的水平、效果和影响所进行的评估；跟踪评估是指在科技活动完成一段时间后的后效评估，重点评估科技活动的整体效果，以及政策执行、目标制定、计划管理等综合影响和经验，从而为后期的科技活动决策提供参考。

根据以上关于后效评估的内容介绍，后效评估的含义主要包括 3个方面，即评估对象需开发完成并经过一段时间的实际应用；评估内容包括评估对象的实际应用效果及产生的影响；需要对评估对象的应用前景做进一步预测。研究通常关注科技活动整体的后效评估，对于科技活动产出的科技成果而言，其在实际应用过程中是否实现了预期的功能与效益，其可持续应用程度如何，这些应该是科技成果后效评估更为关注的问题。

1.2 后效评估与认定的关系

后效评估是科技成果评估体系的重要组成部分。与成果认定相比，由于有实际应用后的数据结果做支撑，后效评估更利于评价科技成果的合理性和有效性，有助于成果的改进及进一步推广应用。

为促进科技成果的推广应用，成果评估至少应包含两部分内容，即推广之前的成果认定和推广应用一段时期后的后效评估。成果认定主要关注成果自身的功能是否符合相关要求，其目的是为加强成果推广应用提供参考；而后效评估更多的是关注成果在实际应用过程中功能的实现程度和效益的发挥情况，其目的是发现成果在实际应用中存在的问题，包括成果自身的功能问题和外部环境问题，为成果改进或外部环境改善提供参考，促进成果的进一步推广应用。

本文所研究的后效评估独立于科研项目，是指技术方法类成果经过一段时期(通常为 2～3年)的业务应用之后，从其实际的功能表现、效益发挥、业务影响等方面进行评估，通过理论数据和实际数据的对比分析，更加系统、客观地判断成果的推广应用价值，为成果在业务应用中的可持续性提供综合评价。

2 后效评估指标的设计

2.1 指标体系

气象技术方法类成果主要是指在实现气象业务活动目标的过程中，基于科学认识，构造与实施具体操作过程中的步骤、程序、技巧的总称，其所涵盖的范围包括预报预测、综合观测、监测预警、风险评估、影响评价等。追求效用是技术方法类成果的基本属性，结合气象业务追求“准确、及时”的特点，通过调研分析，本文提出了气象技术方法类成果的后效评估指标体系(见表1)。

表1 气象技术方法类成果后效评估指标体系Tab.1 The index system for post-application effect evaluation on meteorological technology and methods

2.2 评分规则与标准

设计评分规则和标准是后效评估的关键环节之一。本文研究分析了表 1中后效评估指标的评价点，设计了相应的量化规则与标准(见表2)。

表2 气象技术方法类成果后效评估指标的量化规则与标准Tab.2 Rules and standards of post-application effect evaluation index quantification for meteorological technology and methods

如表 2所示，根据指标的不同行为表现，结合成果的典型特征，评分规则与标准设定了不同指标的评价等级。后效评估指标的综合得分为：

综合得分的最高分值为100分，即：

在进行具体的评分操作时，首先参考评价点确定各二级指标所处的评价等级，然后结合相应的二级指标的分值权重确定该二级指标的得分，最后所有指标的得分累计求和得出综合评分。

3 后效评估方法

3.1 指标权重分析

表 2中各评估指标分值的确定是评估结论最终能否量化的关键。各一级指标和二级指标都对应着一个最高分值，同级指标的最高分值之和为 100分。表 2中各指标之间最高分值的比较可视为权重分配的问题，通过权重计算确定分值。

确定指标权重的方法较多，常用的分析计算方法有专家评定法、层次分析法、秩和运算法。通过对专家咨询意见进行整理分析，计算各指标的权重，一级指标权重为 Wi(i＝1，2，3)，二级指标权重为 Wij(i，j＝1，2，3)。各一级指标的最高分值为 Xi＝100×Wi，二级指标的最高分值为 Δxij＝100×Wi×Wij。

3.2 综合评分

后效评估可以采用检测、会议、函审等方式进行，也可以根据申报材料直接操作，不过这些都以成果后效评估指标体系、评分规则与标准为基础。先由专家根据后效评估规则与标准，对各指标评价打分；然后根据所有专家对各指标的评分，计算各指标的平均分值；最后依据指标评分分值及其对应的权重，计算后效评估成果的综合评分。

4 结 论

本文从科技成果后效评估的概念、意义出发，开展了有关气象科技成果后效评估指标体系的研究。针对气象科技业务工具类成果中的技术方法类成果，建立了相应的后效评估指标体系，对各指标的定义和评价点做出了解释说明。设计了后效评估指标的评分规则与标准，并提出了后效评估的具体操作方法，为气象科技成果的评估管理工作提供了参考。

值得注意的是，后效评估具有一定的导向性作用，如果使用不当，将会影响成果的改进和进一步推广应用。本文所建立的后效评估指标体系还需要在实践工作中不断完善，以期更合理有效地发挥后效评估的作用。■

［1］李军，张勐，刘林海，等.充分发挥后评估在科技计划项目管理中的作用[J].科技信息，2004(7)：48-49.

［2］丁士海，韩之俊，陈湘来.科技基础研究计划项目后评估管理模式研究[J].科技管理研究，2009(6)：113-115.

［3］杨悉廉，齐小燕.基于成功度模糊综合评价的土地整理后效评价研究——以寿县安丰塘镇土地整理项目为例[J].现代农业科技，2009(22)：265-272.

［4］王浩，王建华，秦大庸.流域水资源合理配置的研究进展与发展方向[J].水科学进展，2004，15(1)：123-128.

［5］刘高峰.流域水资源配置后效评价研究[J].东北水利水电，2006(10)：1-6.

［6］董碧蓉.循证医学与临床实践[J].井冈山大学学报：自然科学版，2010，31(1)：129-133.

［7］张鹏.各地掀起“云产业大户”争夺战实际经济价值有待后效评估[J].通信世界，2011(27)：36.

［8］国家科技部.科技评估管理暂行办法[Z].2000.