气象科技项目应用效益评价指标体系构建

刘爱霞，邹立尧，张文云，李 磊

0 引言

近几年来，气象行业在科学技术的投入呈现出项目多、经费多、类型多的特点，并产生了一定数量的具有国内外领先水平的科技成果。面对前所未有的科技资源投入，气象科技管理工作在手段、方式、程序、流程和内容等诸多方面不能满足需求，“管理出效益”的作用尚未充分体现，而且衡量气象科技成果的社会承认及其产生的经济效益方面尚未建立科学的评价机制和方法。而国内许多部门和行业已建立了符合现代科学技术活动规律和特点的科技项目管理系统。这些系统对完善科研管理流程，强化科技项目管理，规范科研活动，提高管理效率，公正评价科技成果，促进成果应用发挥了积极的作用。为了进一步提高气象科技管理水平和管理效率，规范科技活动，提高公共财政的使用效益，促进科技项目成果应用，有必要建立一套管理科学、交流顺畅、评价客观且可为气象科技发展提供依据的气象科技项目应用效益评估系统。

对于指标的测量，本研究创新性地将人力资源评估中的等级锚定法引入项目评估中，不仅解决了不同量纲的指标的标准化，同时使定性指标的量化更为科学。

1 评估指标以及效度分析

对于评估指标通常是通过借鉴已有的指标并在此基础上结合实际情况发展新指标。课题组在阅读和分析相关资料、文献的基础上进行多次讨论并征求相关专家意见，初步拟定了表1中的评估指标，但这一指标体系能否准确地测量所要评估的内容和领域尚需通过专家的经验进行判断，为此，我们运用专家调查法，将拟定的评估指标体系制成咨询问卷表，选定对气象科技项目工作比较熟悉，在该领域具有一定权威的24位专家，这些专家中包括气象科技项目的应用与服务、气象科技项目的管理以及从事气象科技项目研究方面的专家，考虑到气象项目的地域特征，专家主要来自北京、广东、湖北、辽宁、陕西、上海、四川、新疆八大地区。问卷对整个指标体系的效度进行了征询，同时对体系中的每一个指标采用李克特五分量表的形式进行了征询,请各位专家对评估项目的恰当性进行打分，征询结果列于表1中，其中效度评分就是问卷中关于有效行的赋值；效度系数是通过专家对指标有效性的打分计算，设评估指标集为 U={u1, u2, …,uk}，参加指标体系效度打分的专家人数为n，专家 j对指标体系效度的评分集为 Xj={x1j, x2j,…,xkj}，专家的人数为 n ，则第 i个指标ui的效度系数为:

其中xˉi是n个专家对评估指标ui效度评分的平均值，即，F为评估指标效度评分中的最大值（本研究因采用李科特量表，因此该值为5），整个评估指标体系的效度定义为：

该系数绝对值越小，表明各专家对指标效度的认识越趋向一致，指标体系的有效性就越高，反之，则有效性越低。

如果专家都认为某指标对项目的评估是恰当的，那么该指标的效度平均评分必须大于3.0(对于指标体系效度评分的常模（norm）为3（李科特量表）)，否则该指标是一个效度较低的指标，应该从指标体系中删掉。由表1中的数据可知：所有拟定的指标的效度平均评分均大于3，，因此这些指标都予以保留，而且：每个一级指标和二级指标以及三级指标（评估时需要考虑的方面）的效度都符合有效性的要求。

2 指标的赋权及测量

2.1 指标的赋权

确定指标权重的方法有很多种，基本上可以划分为两大类，即主观赋权法和客观赋权法，主观赋权法是指各指标的权重依据人的主观判断来确定，通常是专家依据指标的含义以及指标所反应的绩效方面对于项目目标的相对重要程度确定指标的权重。客观赋权法一般是根据指标本身的相关程度和指标所包含的信息变异计算权重。例如，变异系数赋权法、复相关系数赋权法等。

表1 一级指标的平均效度评分和效度系数

表2 指标的权重

客观赋权法虽然不受专家的主观随意性的影响，但由于它在赋权时只考虑了指标之间的相关程度和指标信息的变异，也就是说，它关注的是指标能否有效地将各个被评估对象区分开，而项目评估的目的并不是为了将各个被评估项目拉开档次，而是在对目前项目的实际效益进行客观评价，因此，在赋权方法的选择上我们选择主观赋权法。采用如下描述的专家评分法，在编制专家征询意见表时，为了避免出现逻辑混乱，首先请专家对指标的重要性进行排序，为最不重要的指标赋值（10），然后每个指标都与它进行比较，如果重要性是它的2倍，则赋值为20，介于2倍与3倍之间，则赋值25，以此类推，最后每个指标的权重（同一征询表内）由下式给出：

考虑到项目类型的差异，我们对公益性行业（气象）科研专项、中国气象局气象新技术推广项目、国家科技攻关计划/科技支撑计划这三类项目分别进行了权重的征询。权重征询包括的专家与指标效度征询的专家相同，其中有两份回收问卷因出现逻辑混乱而作废，为保证调查结果的精度，我们又在天津局内补充了两份专家问卷。问卷的处理结果如表2。

表3 等级区间描述

2.2 指标的测量

指标体系中既包括定性指标又包括定量指标，这些指标的量纲不同，按照一般综合评估的程序，需要将它们进行无量刚化处理，本研究为了简化评估程序，采用目前流行的等级锚定法（Anchored Rating Scale）对定性和定量指标进行无量刚化处理。已有的实践表明，等级锚定使主体的评价更为客观和精确。在评估中，为评估主体提供一个锚，基于被评价项目对指标上指示目标的完成程度，评价主体能够准确的找到与其所对应的级别，保证结果的客观性和精确性，避免人为因素对评估结果产生的干扰，同时，这样的指标的测量方式采用的是无量钢化的标准化处理，不用再对每个指标进行单独的标准化处理。

课题组在与行内专家进行充分沟通的基础上，将所有指标的评定分值分为四个区间（见表3），同时对于每一个指标的相应区间给出了测量等级的描述。这些描述只区分到二级指标，即同一二级指标下的三级指标的描述相同。

3 有关说明

虽然前期已经把需要进行评价的项目分成了三个大类，但在区间描述的时候我们对所有的指标进行了区间描述，但每个项目的考核指标各不相同，所以并非每个项目都包含了所有三级指标的评估内容，如果项目本身没有此项指标，则本指标所占的权重将按比例分配到与该指标同一个上一级指标下的其他与该指标同级指标中。

比如：第1个一级指标“主要研究成果”有6个二级指标，其中第1个二级指标“成果主要内容”有3个三级指标，3个指标的权重分别为0.29、0.36、0.35（以“公益性行业（气象）科研专项”为例），如果第1个三级指标“制定了国家/行业标准”并不是考核指标里所要求的内容，则此处不打分，那么此项指标的权重0.29则分配到同一个上一级指标即二级指标“成果主要内容”下的另外两个与该指标同级的三级指标“建立了气象实用技术”和“建立了气象业务系统”中，按权重分配比例为36:35。如果此二级指标下的三级指标都不是考核指标，则该二级指标的权重按比例分配到同一个一级指标下的其他二级指标中，以此类推。

[1]Joint Committeeon Standards for Educationa Evaluation.The Pro⁃gramme Evaluation Standards[M].CA:Sage,1994.

[2]XIX/02-Budgetary over View and Evaluation Directorate-General XIX-Budgets，European Commission.Evaluting EU Expenditure Pro⁃grammes:A Guide[Z].1997.

[3]李瑛.决策统计分析[M].天津：天津大学出版社，2009．