交通运输行业信息化项目后评价方法研究

何东航 李翠翠 李卫 顾明臣

[摘    要] 随着信息化的快速发展，交通运输管理逐步向现代化、智能化、便捷化的方式转变。信息化建设项目的运行为交通运输管理带来了便捷，同时也对信息化运行维护资金安排带来了压力。开展交通运输信息化项目后评价工作势在必行，也是保障信息化项目建设成果高效、稳定运行的重要手段。文章以四川省交通运输信息化项目为例，分析交通运输行业信息化项目特点，明确后评价研究路线，同时基于四川省交通运输信息化项目实际特点，系统地提出三层阶梯型信息化项目指标评价体系，利用专家咨询法确定各层指标权重，为交通运输行业信息化项目的科学后评价提供支撑。

[关键词] 交通运输;信息化项目;后评价;指标体系;专家咨询法

0      引    言

“十二五”以来，交通运输管理部门组织开展了交通运行监测与应急指挥系统、公路水路建设与运输市场信用信息服务系统、交通运输行政执法综合管理信息系统、综合交通出行信息服务平台等重点信息化工程建设。交通运输信息化项目为行业用户开展业务工作带来了极大的便利，但由于项目具有投资规模高、周期跨度长、经济社会效益不够明显等特点，更需要行业管理部门定期对重点信息化项目开展后评价工作，对于指导后续信息化项目的建设，规避待建项目的实施风险，具有重要意义。本研究将交通运输信息化项目后评价定义为：交通运输信息化项目竣工验收并投入使用一段时间后，基于行业制定的评价指标和评价方法，将项目实际运行效果与项目前期工作文件的主要内容进行对比分析，综合评价项目的使用效果、创造的效益、发挥的作用和产生的影响。交通运输行业后评价体系的建立为交通信息化项目建设提供一个更加客观、科学全面的评价结果，对后续建设项目提供指导建议，为交通运输信息化主管部门指导拟建项目、调整在建项目、改善已建项目提供依据。建立交通运输信息化项目后评价体系是保证交通运输重大信息化项目后评价工作顺利开展的重要保障条件。

1      研究现状

1.1   国外相关后评价研究

目前国外常用的评价模型[1-2]有三种：COBIT框架、 FEA（联邦企业架构）绩效参考模型、 基于EAF（企业架构框架）的评价体系。COBIT[3]是1996年由美国信息系统审计与控制协会（ISACA）开发的开放性绩效管理框架。該框架从计划组织、获取实施、交付支持、监督监控4个层面对IT进行考核，共包含34个控制目标及318个子目标，可以实现对IT全过程考核。

2002年美国政府开发了联邦企业架构，该架构由五大类参考模型构成，包括绩效参考模型、业务参考模型、服务组件参考模型、数据参考模型和技术参考模型。其中，绩效参考模型是评价电子信息化项目绩效的标准。印度政府开发制定电子政务评估框架，该框架针对不同类型的电子政务项目设定了不同的指标体系和评价模型。通过对不同指标的打分确定评价结果，评价结果可以用来引导项目预算的拨付。

1.2   国内相关后评价研究

1.2.1   杭州市电子政务绩效评估

浙江大学、国际善治、中国法治研究院于2012年12月16日推出我国首个电子政务发展指数——杭州市电子政务发展指数。该评估体系从基础保障、组织管理、安全保障、信息化建设、资源共享、业务协同等方面提出相应指标系统，能够量化考核杭州市电子政务发展水平。

1.2.2   国家电子政务工程项目绩效评价

2015年1月，国家发改委印发了《关于开展国家电子政务工程项目绩效评价工作的意见》，提出开展国家电子政务项目绩效评价工作，重点对电子政务项目建成后达到的建设目标和应用效果进行评价。提出了评价指标体系，明确了评价的范围和主要内容。

1.2.3   北京市交通运输信息化绩效评价

北京市交通运输信息化绩效评价[4]开始相对较早，主要包括项目效益后评价、项目管理后评价。项目效益后评价以项目运行后取得的实际效果与项目前期工作中经济社会效益进行比对，评价其偏差情况及原因。项目管理后评价是对项目全生命周期各个阶段的管理工作进行评价。

国内关于电子政务信息化绩效评估研究起步相对较早，于近几年陆续开始真正实施应用。关于交通运输行业信息化项目后评价相关研究仍旧处于起步阶段，目前大多数省份采用个别信息化重点建设项目一事一议的方式进行初步评估。综上所述，国内目前针对交通运输信息化建设项目绩效评价的技术体系，还未形成面向交通行业管理、交通企业运营、面向交通信息化建设全过程、侧重交通信息化内在使用价值的全过程绩效评价技术体系和操作指南，目前仍处于研究摸索阶段。

2      后评价思路与流程

2.1   后评价思路

本项目采用系统分析与专家咨询及现场调研相结合、宏观研究与国内外比较分析相结合的方法，广泛搜集资料，拓宽视野，从如何推动和开展交通运输行业信息化项目后评价工作的角度出发，实事求是地分析交通运输信息化项目后评价工作的问题以及项目的特有特征，同时，重视从行业外的经验借鉴以及从用户需求角度对信息化项目建设以及项目管理的要求进行考察，在此基础上研究提出交通运输行业信息化项目的后评价体系及评价方法应用方案。本研究以四川省交通运行信息化项目为例，紧紧把握四川省交通运输信息化项目后评价的需求特征、组织体系和实施条件，坚持需求与效益结合的发展理论，以实现行业发展绩效为目标，以关注用户服务体验为导向，注重对工程运行过程中的应用效果、社会经济效益、可持续性的合理评估，强调工程的可持续发展能力，通过项目后评估，规范工程建设和运营管理，有效控制信息化建设项目风险，推进行业信息化可持续性发展。

社会服务效益：反映信息系统对社会公众带来的效益。包括交通信息系统的应用推广使地区用户出行方式、出现行为的改变。

公共治理效益：该指标是评价项目实施对加强行业监管、提高行业业务效率是否起到应有的作用，是否带来的交通污染减少、环境改善等作用。

3.1.3   系统可持续性

项目可持续性评价主要从项目内外部两个角度来评价项目的可持续发展能力，主要包括战略价值评价和运行保障评价。

（1）战略价值评价：该指标评价信息化项目对行业信息化发展的整体贡献与推动能力，主要包括项目推广价值评价和项目创新发展能力评价。

项目推广价值：项目是否具有行业推广价值。

项目创新发展能力：有利于系统内核信息技术和应用软件后续开发的能力。

（2）运行保障评价：该指标评价从内部因素角度对信息化项目进行评价。主要包括组织管理、人员配置、运维机制、资金保障、培训机制等方面。

組织管理：是否设立信息化机构，职能是否健全。

人员配置：配置人员数量、角色与系统运行的匹配程度。

运维机制：是否建立运维考核管理办法。

资金保障：近三年运维资金执行情况，包括资金使用情况、运维效果等。

培训机制：切实可行的培训计划和措施，包括培训计划的制订、培训次数、培训效果等。

上述信息化项目后评价指标分为定性指标和定量指标。定性指标可基于评价结论对标评价标准，确定各定性指标分值;定量指标可通过计算公式对标评价标准，确定各定量指标分值。本项目各级指标满分设为200分，现场专家根据评价对象材料及自评估报告，给出相应分值。

3.2   后评价模型建立

基于项目后评价指标，确定项目后评价模型实现对交通运输行业重点信息化建设项目的后评价。

后评价指标权重：根据交通运输行业信息化项目特点，构建信息化项目后评价指标体系（如图2所示），基于专家咨询法确定各层指标权重。根据四川省交通信息化项目建设现状和特点，本研究将四川交通信息化项目分成业务支撑类系统、数据资源类系统和公共服务类系统三大类，针对不同类型应用系统需分配不同指标权重。

分类评价及综合评价：二级指标评价

式中：Xj2——第j个二级指标的评价分值;

Xji3——第j个二级指标的第i个要素的评价分值;

n——第j个二级指标包含的三级指标要素个数。

若某信息系统建设项目内容仅包括三级指标中的部分项目时，则该项工程二级指标得分为：

X2=〔∑三级指标得分/（∑二级指标总分-∑缺项部分总分）〕×（∑二级指标总分）

总体评价得分：X=∑一级指标得分=∑二级指标得分

根据综合评分计算方法，可得到交通信息化项目后评价的最终得分。

4      结    语

本研究提出交通信息化后评价总体思路，通过分析交通运输信息化运行维护管理因素和瓶颈，制定交通运输信息化运维管理体系框架示意图，根据实际信息化建设项目进行设计并且深入研究，形成交通运输信息化建设项目后评价评分结果，旨在清晰反映各信息化项目建设成果的建设和使用效率，且能够合理安排运维资金，对开展交通运输行业信息化项目建设具有很好的指导意义。

主要参考文献

[1]杨洋.电子政务系统绩效评价体系研究[D].上海：同济大学，2005.

[2]连炜玮.烟草数据中心项目绩效评价系统的设计和实现[D].北京：北京工业大学，2009.

[3]Koen Brand，Harry Boonen.IT Governance：A Pocket Guide Based on COBIT[M].Van Haren Publishing，2004.

[4]郭爱思.北京市交通信息化项目绩效评价体系研究[D].北京：北京邮电大学，2010.