电力行业科技项目后评估方法研究*

许唐云， 瞿海妮， 赵三珊， 徐 恺

(1.国网上海市电力公司电力科学研究院，上海 200437;2.上海南华兰陵电气有限公司，上海 201111)

科技项目后评估主要是对已完成的科技项目成果进行综合的全面评估，对于科技成果的推广利用、深化研究具有非常重要的作用.针对科技项目的评估方法，国内外的科研人员、项目管理人员等进行了大量的研究工作，在科技项目评估指标体系设计，参数量化方法，权重设置，指标融合计算等方面取得了一系列的研究成果.根据欧盟在1996年提出的“绩效管理2000”[1]科技项目评估框架，实现了科技活动全方位考核、评价的目标.日本也在2000年提出了《国家研发考评实施方针》[2]，对科技项目成果的评估方法、流程、要求等进行了规定.在中国，科技部等单位也提出了一系列的规范和要求，对科技项目和科技成果的评价做了较为全面的规定.

科技项目和科技成果评估所采用的方法包括定性分析，定量分析，定性与定量结合三种主要策略.典型的科技成果定性分析法包括同行评议法、德尔菲法等[3].以运筹学为基础的数据包络分析法(DEA法)理论完整并在实际评价过程中具有较强的适应性.把德尔菲法和层次分析法相结合，也在项目评估中得到广泛应用，该方法首先邀请专家进行打分，然后用层次分析结构法计算权重，通过目标规划的方法完成综合评价[4].也有国内学者提出把层次分析法、德尔菲法和模糊评价方法集成应用，以实现科技成果评估[5].通过优化的模糊综合评价方法在工业产品质量评价中效果较好[6]．国内还有学者提出了把人工神经网络应用到科技项目评估过程中，模拟专家实现科技项目进行评价，虽然降低了评价的主观性，但是可信度低，需要继续深入改进[7].

电力行业在科研投入持续、快速增长，开展了大量的研究开发工作，取得了形式多样、内容丰富的科研成果.由于电力行业的科技活动具有自身的一些特色，对电力科技项目的评估在遵循科技项目评估方法、策略和模型的一般原则基础上，应当考虑电力科技项目和科技活动的特点，有必要针对电力的科技项目成果进行分析和设计.本文主要讨论针对电力科技成果的评价问题，即后评估问题，对立项评估、过程评估等也具有一定的参考作用.

1 评估指标体系的设计

1.1 电力科技活动类型分析

电力行业属于工业技术类行业中的一种，主要从事业电力相关产品和技术研究与开发，也包括电力系统运行、维护和管理决策类的一些项目.基本上不从事基础理论类的研究工作，研发目标多以产品、实用技术、标准和规范为主.对电力行业科研活动项目的分类方式可以有多种.例如以从事的专业可以分发电、输电、配电、运行、维护、检修、设备等；按照电压等级分为高压、低压，中压；按照设备和技术的类别可分为一次设备、二次设备、自动化和调度管理等.通过对国内多家大型电力企业近年来科研项目和科研管理经验的总结和分析，按照上述指标对项目分类对开展评估操作不利.总结多家电力行业企业的成功经验，对电力类科研项目按照科研项目成果的表现形式分类对于后评估工作的开展是有利的.

按照电力科研项目成果的表现形式，一般科研将科研活动分为3种形式，即应用基础类项目、应用技术类项目和软科学类研究项目.

应用基础类研究项目主要从事检修、维护、加工、制造、调试、测试过程中的基础性原理或工艺性技术的研究、开发和设计.项目成果以工艺技术方案、调试维护和作业规程等作为主要形式，一般不具有物理装置或产品等实物类别的技术成果.某些科研项目可以形成软件系统或虚拟的数字模型.

应用技术类研究活动主要从事新的机械、电子或自动化装置、工艺装备的研究开发，研究的主要成果一般通过样机和小批量产品形式体现，一般会参与试验、试点应用.

软科学类科研活动主要和科技管理、企业运行管理有关系，可以形成各种规范性的技术文件、技术标准、技术报告，可以对企业的运行、检修和维护作业、管理过程提供规范性指导或辅助支撑作用.此外群众创新，QC活动等以人才培养为主要目标的项目也可被认为是软科学研究活动中的一种.

1.2 评估指标体系的建立

所有的科技活动都是为公司整体的发展战略服务的，但是不同的科技项目对发展战略的服务和支撑作用是不同的，有的项目倾向于解决基础的理论和工艺问题，有的则主要解决新产品、新装置的开发和测试问题，软课题类研究项目主要解决管理、决策类问题.由于服务目标不同，所以评价的方法也有差别，应当根据科技活动性质设计成果评价指标体系.

应用基础类项目主要解决公司发展过程中必须解决的关键工艺、原理等方面的技术问题，研究成果主要以知识产权成果、科技论文、核心专有技术等为主要表现方式，所以主要注重科技成果的先进性、科学性和创新性.应用技术类科技项目主要解决新产品、新装置、新系统的开发问题，成果评价应注重成果的可靠性、技术成熟度及推广应用的前景和价值.软课题成果主要体现在对管理和决策的支持作用.在深入调研基础上，针对3种不同类型的科研活动，设置的评价指标体系分别如图1～图3所示.

应用基础类项目综合评价指标分为技术水平指标、效益指标、风险指标、项目成果指标4种.在技术水平指标下设置细分指标科学性、先进性和创造性3项；在效益指标下设置推动作用、人才培养2个细分指标；在风险指标下设置技术风险指标，在项目成果指标下设置获奖荣誉、发表论文、申请专利3个细分指标.

应用技术类项目综合评价指标分为技术水平指标、效益指标、风险指标、量化成果指标、推广条件指标5种.在技术水平指标下设置细分指标技术先进性和技术可替代性2项；在效益指标下设置市场需求、经济效益、社会效益3个细分指标；在风险指标下设置政策风险、技术风险、经济风险3个细分的技术指标；在项目成果指标下设置获奖荣誉、发表论文、申请专利3个细分指标；在推广条件指标下设置资金条件、设备条件、人力条件、成果转化适应性因素4个二级评价指标.

软科学研究类项目综合评价指标分为技术水平指标、效益指标、风险指标、项目成果指标4种.在技术水平指标下设置细分指标科学性和创造性2项；在效益指标下设置推动作用、优化作用2个细分指标；在风险指标下设置技术风险1个细分的技术指标;在项目成果指标下设置获奖荣誉、发表论文、申请专利3个细分指标.

2 基于AHP的权重配置方法

科技项目评价指标权重的科学确定对于科技项目评估非常重要.基于非直观经验的权重配置方法包括把复杂总目标分解成多个子目标，然后考察各个子目标对上级目标的贡献并形成递阶层次结构.该方法以子目标相对重要性为基础，间接地结合了领域专家的经验，遵循分解-判断-综合的处理过程，在实际评估过程中应用广泛.

以应用基础类评价指标体系的一级指标参数的权重分配为例，通过AHP方法配置权重的方法如下.

首先，根据专家的经验设置4个一级指标(技术水平指标、效益指标、风险指标、项目成果指标)的两两判断矩阵W.

然后检验一致性，计算一致性参数：

式中，RI为平均一致性指标，根据判断矩阵阶数从标准表中查得(表1).

表1 RI值

当一致性参数小于设置值时表明专家经验设置的相对权重具有较好的一致性.根据指标间相对权重可以确定各指标的权重向量：

γ=[0.61 0.20 0.05 0.12].

当不能通过一致性检验时应调整两两判断矩阵.在多级指标体系中，可根据上述方法逐级计算出各个指标的权重.

3 数据融合处理

3.1 权重调节和特异评价处理

为了实现多个专家不同评估意见的处理，本文提出了如下的数据融合策略：

在样本量较小(如评估专家的数量小于3)时，采用加权平均的单一指标的融合策略.设对于某个指标有n个专家进行评价，每个专家的评价结果为sk，(k=1,…,n)，每个专家的评分为wk,则综合后的评估结果s可表示为：

在样本量较大时，可以采用特异性去除后的加权平均单一指标的融合策略.特异性去除主要考虑到某些专家由于个体差异或差错导致出现了较为显著的错误结论，如果将其结果纳入最终评价体系会对结果产生较为显著的影响.特异性去除策略主要采用方差判断策略.仍然假设对于某个指标有n个专家进行评价，每个专家的评价结果为sk，(k=1,…,n)，每个专家的总评分分别为wk.则评价结果的均值可表示为：

评价结果的平均方差值可表示为：

我们可以认为，所有方差大于平均方差两倍以上的评估结论都是存疑的，可以被去除.即所有满足下式的评估结论都不被纳入最终的评价计算过程中：

σk=(sk-E)2/n>2σ.

设去除特异性评价结论后的样本数量为n′,则单指标的评估结果s可表示为：

3.2 多级指标融合及快速算法

在确定单一指标的评估值基础上，结合递阶层次结构方法确定的各级指标权重采用自底向上的算法可以确定综合评价指标的最终计算结果.设某类项目的综合评价指标体系中有m个一级评价指标，每个一级评价指标分别有nk个二级评价指标(k=1,…,m).所有一级评价指标对综合评价指标的权重分别为wk.对于第k个一级评价指标，其所有的二级评价指标权重分别为wkj,其中(j=1,…,nk).则最终确定的综合评价指标可用下式计算：

式中，skj表示第k个一级指标下的第j个二级指标的单一指标评估值.

按照上述公式计算多指标综合数值时间需要非常多的求和及求乘积的计算，计算过程略显复杂.在实际的评估过程中，可以直接求出综合评价指标与二级指标参数之间的比例关系，然后假定多指标综合评价结果按百分制计算，则可以计算出每个二级指标的一级权重参数，然后将融合后的单一指标评估值求和就可以了(单一指标评估值可以在评价时取0至二级指标一级权重之间的任意值)，即通过简单的求和就可以获得多指标综合评价值.

以多指标综合评价结果最大值100为基础，计算二级指标的一级权重的计算公式为：

wkj=100×wk×skj

式中：wkj表示第k个一级指标下的第j个二级指标的一级权重(百分比).

4 总结

根据本文所提出的评价体系和数据处理策略，研制了适用于国家电网及下属各级公司、电力系统一般工业企业的科技项目成果评价系统.在本文确立的指标体系基础上，明确定义了全部一级、二级指标的含义、适用范围和专家评价准则.

在某大型电力行业企业，通过对自2008年以来约100个项目的后评估结果进行分析，根据本文提出的评估方案开展评估，过程非常简洁、易操作、重复性好，具有良好的推广应用价值.