高等院校信息化项目申报评价体系探究

2015-12-02耿志刚

中国教育信息化 2015年3期

路萍，耿志刚

（北京工业大学信息处，北京100022）

一、引言

1.顶层设计的宏观要求

根据《北京市经济和信息化委员会关于开展“智慧北京”顶层设计的通知》文件要求，各高校根据自身发展的总体目标积极开展信息化顶层设计工作。自2013年起，顶层设计报告作为经信委评审信息化项目的重要依据，原则上不能申报顶层设计中未描述清楚与相关业务关系的新建或审计改造项目。同时，顶层设计也作为高校电子政务绩效考核的重点内容。

2.高校信息系统建设现状

随着大数据、移动应用等各种信息化技术的快速发展，以及自身业务、管理需求的变革，每年各高校都有许多信息化建设需求。本文探讨如何在学校顶层设计的总体框架下，在资金有限的前提下，根据已有的软硬件环境、前期系统建设的应用情况、人力条件、数据资源等因素，建立一个校内信息化项目申报评价体系，对申报项目进行定性定量相结合的事前评价。从而实现校内信息化项目申报的有效管理和控制，提高申报的通过率和后续建设的成功率。

二、高校信息化项目申报管理活动

1.项目申报涉及人员范围

任何一个信息化项目都是从需求开始，并以满足需求为结束条件的。因此，在项目申报时就应进行需求管理，在相关人员之间建立对需求的基本共识，并进行协同。在选择产品以及需求确定的过程中，涉及到学校的信息化主管人员、业务管理者、系统运维者、应用用户等多个主体，以及供应商、服务商等外围人员，因此对需求的评价是多维的。

2.项目申报活动的基本流程

项目申报活动的基本流程如图1所示。

图1 高校内部信息化项目评审工作流程

（1）需求开发：包括本年度新报项目以及去年通过专家评审，因预算经费不足放入待申报项目库中的项目。起草项目申报材料，获取需求，数据采集。

（2）需求评审：制定需求评价指标体系、评审计划、专家评审会、记录问题、修正问题。

（3）需求基线：对批复的项目建立需求基线、确定需求属性。

（4）需求跟踪：建立跟踪矩阵、管理需求变更。

（5）变更统计：按项目统计功能、性能、经费以及人员变更情况。

（6）结题统计：按部门统计验收结题百分比等。

三、高校信息化项目申报评价指标体系的建立

1.高校信息化项目申报评价指标体系的层次模型

在信息化项目申报需求评价活动的整个过程中，评价指标体系的建立起着至关重要的作用，其最基础、最关键的工作是指标选取与分解。本文试将高校信息化项目申报评价工作表示为一个有序的、阶梯层次的结构模型，具体分为以下三组指标。

（1）原有系统功能性能评价

申报的系统是否有前期建设，如果有，则应是校净。eirong对原有系统的功能、性能进行评价：分析原有系统功能点使用百分比，原有功能与新需求的差异性；从软硬件平台基础以及应用系统的开放性、可移植性、可扩充性，评估在原有系统升级改造的利弊；根据原有系统的功能可维护性、安全性等因素评估继续使用原系统的弊端和潜在风险。其指标如图2所示。

图2 二级指标——原有系统功能性能评价指标

（2）新建（改造）系统必要性评价

必要性评价包括：从功能模块使用频率、历史数据量、系统运行稳定性等因素判定原有系统的应用情况；评估能否利用原有模块通过功能重组实现新需求；新需求引起的新功能是否会改变原有的业务模式；新的业务管理是否已成熟、已经能进行手工运转，迫切需要计算机系统进行更为有效的操作；原有系统的软硬件平台已运行年限、有无校内外技术人员进行运维支撑等，都影响必要性评价结果。其指标如图3所示。

图3 二级指标——新建（改造）系统的必要性评价指标

（3）新建（改造）系统可行性评价

可行性评价从校内因素和校外因素两方面判定申报项目是否具备建设（改造）的条件，有无实现的可能。①内部因素主要包括：1）人力因素：学校领导对该系统建设的支持力度，系统涉及部门的协调力度，以及系统管理员的技术水平等。2）管理因素考察：申报项目是否是业务部门根据其局部目标制定的，与学校整体战略目标、信息化顶层设计的契合度如何，现有业务、需求业务的标准性、规范性等也是评价的重要指标，因为再好的产品，再先进的系统也只是辅助、促进作用，而不能代替管理本身。3）学校的网络环境、数据中心的基础软硬件是否能满足新建系统的需求，是否还有其他产品支出等。②外部因素包括：1）是否有满足新需求的成熟软件产品，是否需要大量二次开发，在高校应用效果如何，能否适应校院两级管理需求。2）软件开发商或集成商的技术实力、开发模式、产品版本控制、现场支持力度、运维服务模式等也是可行性分析必须参考的重要因素。其指标如图4所示。

图4 二级指标——新建（改造）系统的可行性评价指标

上述评价指标模型为1-3级指标描述。在实际应用中，评价指标体系可能需要建立更加细粒度的指标子集，例如：必要性评价中，对原有系统功能模块的使用情况可以从“已使用模块与现有业务的匹配度、用户对已实施模块的满意度、已实施模块的使用率”等4级指标进行评价。然而，等级划分过细，会增加评判复杂度，也会影响最终评判结果，本文建议整个评价模型深度不超过4级，单级评价指标不超过7个。

2.高校信息化项目申报评价指标体系特点

（1）多层次结构、多目标、指标描述方式多样。

（2）支持动态管理，即根据不同的评价对象分类（信息化办公类设备、应用开发类、软件采购类、硬件购买类、网络及通讯类、安全产品类）进行指标项的动态选取，建立不同的评价子集。

（3）大部分指标值难以通过应用系统和工具直接获取，需要人工采集。

（4）存在相当的主观性，对专家的依赖性大，而且涉及应用行业、软件、硬件、网络、安全等不同方向的因素。因此评价结果的科学性、准确性、正确性很大程度上取决于专家的素质、指标设计的合理程度、评价计算方法的选择等。

四、评价方法的构建

针对该评价体系层次多、指标多，且既考虑到实际数据的采集，又考虑到专家、校领导或主管部门的意见，本文考虑应用层次分析法（Analytic Hierarchy Process，AHP）进行评价。AHP是一种将半定性、半定量问题转化为定量问题的拟定量方法，基于AHP所建立的高校信息系统项目需求评价系统是一个量标系统，由指标集和权重集组成。[1]其中指标集是反映学校信息化建设项目的评价因素所组成的标准序列，权重集是按指标的层次对应性有序排列而成的权重值表。根据这两个集合，计算各层各指标的组合权重，得到相对于目标的优先顺序。

1.指标权重集的确定

采用AHP方法确定权重集的主要工作是对同一层次的评价指标两两比较相对重要性，建立判断矩阵，得到各评判指标的相对权重，获得权重集合。基本实施过程如图5所示。

图5 基于AHP计算评价指标权重集流程

对于每一层（级）指标子集，需设定相应的单层权重子集vikm，且须保证，即第k层的某指标i下级指标层权重值和为1，其中m=1,2,……n表示以指标i为目标的层次模型的底层指标。

2.指标实际值的采集

基于学校的公共数据库，建设指标参数和实际数据映射关系，抽取定量数据。例如，从固定资产库获取原有系统使用的软硬件使用年限；从项目管理库中获得合同金额、验收结题情况；从各原系统本身可获取业务数据量等信息。但从指标体系可以看出，大部分指标实际值需人工采集，甚至是定性的打分数据，因此需根据评价指标体系设计、定义相应的流程和活动获取指标实际值，并保证其可用性、准确性。

（1）制定数据采集计划——规定数据采集的基本要求，确定所需的人力、物力资源、时间安排、规定结束条件等。

（2）数据采集表格设计及说明——根据评价指标体系最底层指标集设计数据采集表，以及指标项说明、取值范围说明等。

（3）数据采集活动及范围——向所涉及的业务部门、管理部门、以及供应商、运维商等发放数据采集表。

（4）数据填报及过程沟通——在各相关单位填写数据的过程中，评价活动主管部门有责任向数据采集对象讲解指标含义，协助理解指标体系，确保数据的合理性、规范性。

（5）利用工具对产品进行测试——在条件允许的情况下，对预采购产品进行测试，获取相应的指标值，如代码错误率、最大并发数、大数据查询响应效率、高危漏洞数等。

（6）采集数据及文档审查——评价活动主管部门对采集的各数据表和文档进行审查。如项目验收证明等。

3.指标实际值的无量纲化

在本文建立的评价指标体系中，指标实际值肯定存在异量纲情况，而且数值差异较大（有金额、数量、百分比等），直接加权平均不合理，且没有实际意义。因此需将指标实际值转化为无量纲的相对数——比重，数值大小在[0，1]范围内。最简单的方式可采用qms=tms/max（tms）×100%，其中tms表示指标实际值，qms为指标评价值，m=1,2，……n表示以某指标i为目标的层次模型的底层指标，s=1,2，……为各被评项目的顺序编号。

4.评价计算及排名

利用无量纲化后的指标实际值，即指标评价值，以及评价指标体系的权重集，按下述方法进行单项指标、综合指标评价计算，得到项目申报优先排序。

（1）单项统计

单项统计是指针对指标层次模型中的任一指标，对各评价对象进行考评。本文采用加权平均法计算相应的指标拟量值：设对各评价系统第k层的指标i进行单项考评，先利用单层权重子集对指标i所属各层子指标进行多层次的权重组合计算，即把指标i当成总目标计算组合权重，从而得到最底层子指标对应指标i的权重集，记为vkim，再根据相应的指标评价值qms即可计算出指标i的拟量值，计算公式为

（2）综合统计

对一个评价对象做出总评价需要把许多考察指标综合成一个。[2]针对指标层次模型的总目标，利用总层权重子集中的权重向量(即层次模型的最低层指标对于总目标的组合权重），对各个评价对象进行综合考评。综合统计同样是根据指标评价值qms和权重子集Ck，用加权平均法计算相应的指标拟量值pis。

（3）统计结果的使用

无论是单项统计还是综合统计所得到的拟量值都是无量纲的。学校信息化项目主管部门可根据计算结果对各部门申报的项目进行单项排名（对各个二级、三级子目标的排序)、综合比较（对总目标的排序），形成评价报告，作为评审依据，向有关校领导和专家评审委员会提出申报工作建议。

五、评价系统设计

1.模型设计

（1）指标层次模型的设计

用层次分析法建立的评价模型在理论上是一个网状结构，考虑到对源数据的提取和最终评价数据的显示，在实现上需将层次模型转换为树状结构；即每个叶子节点有且只有一个父节点。

1）指标树的录入采用二维表形式：层次编号、根节点编码、叶节点编码，可通过指标对照表选择。

2）专家填写判断矩阵以及后续的评价指标单层评价与综合评价，使用TreeView等控件进行指标树的显示与指标项的选择查询。

（2）专家判断矩阵模型设计

通过专家填写判断矩阵确定指标权重的方法，涉及的主要基表包括：

PG_PROFESSOR 专家信息

PG_PARAMETER 指标代码和名称对照表PG_TREE指标树

PG_ROOT根节点目录（用于显示指标树）PG_MATRIX 专家判断矩阵

PG_MATRIX_CHECK 判断矩阵的单层一致性检查结果以及单层矩阵的权值

PG_RI 一致性指标

PG_KIM 某一专家的总层一致性检查结果以及层次模型中各个指标的权值

PG_KIM_END专家权值表，即所有通过总层一致性检查的专家给出的权值的平均值

PG_KIM_TOTAL 层次模型中各层指标相对于总目标的相对权值

关于判断矩阵PG_MATRIX，在设计时特别考虑以下两点：

1）相同的指标子集因评价对象的不同可设置不同的权重分类子集（例如，针对网络通讯项目、软件采购项目和应用开发项目的“产品因素”三级指标虽然相同，但权重值可以不同），需专家根据评价对象分类重复判断相同节点的判断矩阵。

2）判断矩阵的上三角形与下三角形沿对角线对称，且对角线值皆为1，因此只录入和存储上三角形即可。主要包括专家编码、当前判断矩阵根节点编码、项目分类子集代码、矩阵行号/列号、进行相对比较的分子指标代码/分母指标代码，以及相对比值。

2.功能设计

上述探究要想切实可行、具有应用价值，需建设相应的管理信息系统，包括以下五方面功能：

（1）评价指标体系树状模型的设置：包括指标的选取设置、层次模型的动态建立与调用。

（2）建立权重设置平台：包括专家资质审查、专家填写判断矩阵、判断矩阵的单层一致性检查和总层一致性检查、专家填写判断矩阵有效率确认，以及获取最终的单层和总层权重子集。

（3）数据采集表的在线填报、集成、校验和数据的无量纲化。

（4）评价计算，进行单项的、综合的排名，按项目类型、申报部门等多角度生成评价报告。

（5）评价指标实际值、评价结果数据的历史保存、纵向比较。这些评价排名虽然只是初步结果，还需领导和专家评议才能进行申报，有的项目甚至根本没有上报资格，但这些结果依然可以作为一种参照进行保存，为以后的申报工作进行有意的判断。例如，学校自行排名结果与经信委审批结果符合度、项目批复金额与申报金额百分比、各部门项目验收率排行等。