公安应用创新项目成果评价指标体系研究

2015-11-02经验人于宝刚

中国科技信息 2015年15期

经验人：于宝刚

公安应用创新项目成果评价指标体系研究

经验人：于宝刚

开展公安应用创新项目成果评价是一项重要的科研管理工作。结合公安应用创新项目特点，依据成果评价指标体系的构建原则，结合文献调研和专家咨询，构建了一套由5个一级指标、17个二级指标组成的成果评价指标体系。利用层次分析法计算了各级指标的权重，建立了基于加权平均求和法的公安应用创新项目成果评价方法。

多年来，为适应国家科技体制改革和公安工作改革形势，公安科技管理部门及时调整、出台相应的科技管理政策，有效地推动了公安科技的不断发展和进步。但是，在公安科技项目管理过程中，我们发现公安应用创新项目存在着较为突出的问题，即项目成果的创新程度不够高、实用性不够强。应用创新计划项目的关键是应用与创新。反思现阶段的应用创新项目结题验收后，不排除部分项目成果因社会、技术、经济等因素限制影响了推广转化而被束之高阁，但还是有大部分的成果属于落后研究，或者是实用价值不大，甚至是重复研究。项目成果评价工作遇到了新的问题，产生了新的挑战。因此，通过构建一套较为系统科学的项目成果评价指标体系，提高项目管理的规范性，推动项目成果的应用性和创新性，已成为一项亟需开展的工作。

设计指标遵循的原则

公安应用创新项目特点鲜明，强调成果应用实际效果，主要开展应用技术研究和实用产品装备研发，为提升公安科技创新能力提供科技支撑。设计指标体系是项目成果评价工作中的一项基础而又关键的工作，但要确立一套能全面、准确地反映研究成果技术水平的指标体系，是一项十分复杂和因难的工程。因此，研究设计项目成果评价指标体系时应该遵循导向性、科学性、系统性、独立性、可对比性、简明可行性等6项原则。

构建评价指标体系

以“应用成果评价”、“技术成果评价”、“成果评价指标”为主题对同方知网的期刊、学位论文进行检索。通过检索，共检索到与应用类成果评价指标体系密切相关的文献有40余篇。通过拆分、合并，共抽取出20余项评价指标，如科学性、创新性、先进性、技术重现性和成熟度、技术难度和复杂程度、经济效益、社会效益、推广前景、推动科技进步的作用、技术文件、知识产权状态、论文引用评价、成果风险评价、技术壁垒评价等。

公安应用创新项目成果是指为落实科技强警战略、提高公安科技研发能力和实战科技应用水平、促进公安事业繁荣发展，针对公安业务实战需求，按照突出重点、贴近基层、聚焦实战、快速见效的原则，开展新型使用产品、软件系统开发及应用技术方法等应用性创新技术而研发的具有实用价值的成果。根据定义，依据设计指标体系应遵循的基本原则，我们对公安应用创新项目成果运用系统论的观点进行系统分析，分别就上述评价指标进行预选，并咨询多名从事科研管理的专家，不断地进行修正完善，对指标做了进一步的筛选，剔除了一些重复、大部分相关或鉴别力不强的指标，最终构建了公安应用创新项目成果评价指标体系，共计5个一级指标、17个二级指标。（表1）。

表1　公安应用创新项目成果评价指标体系

计算指标权重

层次分析法（AHP）

层次分析法（analytic hierarchy process， AHP）是一种把复杂问题分解成若干因素，按照因素属性的不同将其分组形成有序的递阶层次结构的方法。采用1～9的比例标度，通过两两比较判断，区分确定层次中各因素的相对重要性，构造判断矩阵，计算各因素的相应权重。层次分析法是一种运用定量与定性相结合，将人的主观判断用定量形式表达和处理的方法，改变了长久以来决策者与决策分析者之间难以沟通的现状，有效提高了决策的可信性、有效性和可行性。AHP的基本步骤为：明确问题并确定目标，根据因素属性不同确定因素间关系，建立递阶层次结构；对于某一层次因素下一层次的所有因素的重要性进行两两比较，构造两两比较判断矩阵；根据两两比较判断矩阵计算被比较因素的相对权重，即进行层次单排序，并对判断矩阵进行一致性检验。

（1）构造递阶层次结构

将消防部队应急救援能力综合评估指标体系分三层，第一层A为基层消防部队应急救援能力即总目标，第二层B包括应急救援人员、应急救援器材装备、应急组织管理和应急救援保障四个子系统，第三层C即每个子系统下面的若干个子指标项。

（2）构造判断矩阵

假定A层中Ak因素与下一层B1，B2，……，Bn因素有关联，则可构造2所示的判断矩阵：

表2　判断矩阵

表2中，bij是相对Ak而言，用Bi对Bj相对重要性的数值来表示，通常bij取1，2，3，…，9及其倒数，其标度含义如表3所示：

表3　9标度含义

（4）判断矩阵的一致性检验

（3）单层指标权重的确定

表4　平均随机一致性指标RI的数值

（5）计算系统目标的合成权重

确定同一层次上不同因素对总目标的相对重要性的权值排序称为层次总排序，这一过程是由最高层次到最低层次逐层进行的。层次总排序完成后，仍旧需要进行与单排序类似的一致性检验，当层次总排序随机一致性比率时，认为层次总排序结果具有满意的一致性，否则需要重新调整判断矩阵的元素取值。

若上一层A包含m个A1，A2，…，Am因素，层次总排序的权值分别为a1，a2，…am，下一层B包含n个B1，B2，…，Bn因素，它们对于Ai因素的层次单排序的权值分别为b1i，b2i，…，bni（当Bk与Ai无联系时，则bki=0），此时B层次总排序的权值依据公式

当层次评价指标权重计算

利用层次分析法计算指标的权重。通过参阅部分成果评价方面的相关文献，咨询一部分熟悉成果评价工作的专家，构造了一、二级指标判断矩阵并计算了各指标权重（表5～10）

表5　公安应用创新项目成果评价一级指标判断矩阵及权重

表6　公安应用创新项目成果科学性二级指标判断矩阵及权重

表7　公安应用创新项目成果先进性与创新性二级指标判断矩阵及权重

表8　公安应用创新项目成果难度与工作量二级指标判断矩阵及权重

表9　公安应用创新项目成果成熟度与适用性二级指标判断矩阵及权重

表10　公安应用创新项目成果社会效益与经济效益二级指标判断矩阵及权重

评价指标合成权重计算

相对总目标A的权重是根据每个指标相对上一层次对应因素的权重值，通过层次总排序计算其相对于总目标的权重值。各层次指标相对于总目标的权重值如表11所示。

表11　公安应用创新项目成果评价指标体系各指标权重

项目成果综合评价价值计算方法

采用加权平均求和法计算项目成果评价值，方法如下：

为了成果评价的客观性，可以对每个二级评价指标划分评价等级，采用“百分制”，每个等级制定相应的评分标准。评价专家首先根据指标评分标准对二级指标打分，根据公式（其中，F是某专家给被评价成果的评分，Xi是该专家根据指标评分标准对某项指标的具体评分，Wi是该项指标的权重）计算得出各二级指标的得分，加权求和后就是该成果的总得分。