信息系统运行质量评价方法研究

廖华元 方坚 程亚龙

【摘 要】本文提出了信息系统运行质量评价管理模型的概念，明确了信息系统运行质量评价工作的目标、评价的关键领域；在此基础上，进一步论述了构成信息系统运行质量评价体系框架的主要环节，包括：目标识别、关键成功因素识别、指标确定、评价矩阵设计、评价监控；最后对实践中三个有益的经验进行了总结。

【关键词】信息系统；运行质量评价管理模型；运行质量评价体系

【中图分类号】C931.6【文献标识码】A【文章编号】1672-5158（2013）07-0072-04

1 引言

随着企业信息技术应用的不断深化，当前ERP、OA、PDM、SRM等核心应用系统在企业已经普遍投入使用，企业的信息化建设形成了一定的规模。信息系统对企业的业务运营和发展起到重要的支撑作用，已经成为企业决策、内部管理和业务执行中强有力的工具。

信息系统平台建设过程可以遵循项目管理的要求，按照相应的信息系统建设的方法进行项目建设；信息系统项目建设都有其预定的目标，达到项目目标和满足相应的管理需求，也是项目能够成功验收的先决条件。然而，信息系统平台成功验收之后，如何对日常运行的信息系统进行有效监控和管理，督促应用部门按照既定的业务蓝图方案执行业务和管理活动，并不断地优化信息系统和改善应用效果，确保系统的建设成果的持续保持？另外，企业不同的业务单元/部门应用同一信息系统的运行质量如何进行评价？如何帮助这些业务单元/部门提高应用水平，提升应用效果？

上面都是企业管理者很关心的问题，能否参照企业效绩管理的思路，建立一套信息系统运行质量的评价体系，以量化评价指标对应用单位进行评价，直观地反映信息系统运行质量情况？建立相应的评价指标能够很好地引导企业改善信息系统应用状况。我们建立的评价体系必须尽可能全面、客观和科学，如果建立的评价指标本身质量存在问题，那么指标导向的结果可能是不正确的或片面的，有时甚至会出现误导。

建立信息系统运行质量监控的评价体系工作涉及的内容较多，需要考虑的因素也较为零散，没有这方面现成的资料可以参考，这就很有必要对此工作进行系统地分析和总结，为科学地组织该项工作提供依据和帮助。本文将围绕信息系统运行质量评价管理模型的理论，对信息系统运行评价工作中的策略、方法及操作程序进行分析、探讨和归纳，希望能对从事该项工作的人士有所帮助。

2 信息系统运行质量评价管理的目标

2.1 与企业信息化相关的评价活动的层次划分

图1 与企业信息化相关的评价活动的三个层次

与企业信息化相关的评价活动通常可以分为三个层次：绩效管理评价、信息系统运行质量评价和信息系统服务质量评价。

1、绩效管理评价主要是基于企业的战略目标建立的绩效管理指标体系的评价活动。绩效管理指标体系通常依据平衡计分卡（Balanced Score Card）的原理进行建设，平衡计分卡主张从企业的战略出发，从财务、客户、内部流程和学习成长四个方面来评价组织的绩效。绩效管理评价工作的目标是衡量企业、部门和员工的绩效状况，引导企业的组织和员工服务于企业共同的战略目标，帮助企业实现既定战略目标。

2、信息系统运行质量评价是基于信息系统运行质量评价管理目标建立的运行质量评价体系的评价活动。参与评价的信息系统是已经进入正常应用阶段的系统，不包括正在建设阶段，还没有上线运行的信息系统。信息系统运行质量评价管理的目标是运行质量评价活动的出发点，该层次的评价活动是需要围绕信息系统运行质量评价管理目标来开展，并帮助企业实现管理目标。

3、信息系统服务质量评价活动主要的评价是基于IT部门的信息系统服务支持能力。该层次评价管理内容包括：评价信息系统服务级别、信息系统可用性、连续性、容量和IT事件的及时解决情况等。目标是通过服务质量评价活动提升IT部门服务水平，最终提升用户满意度。

通过对与信息系统相关的评价活动的分层，我们发现：绩效管理评价是与企业经营管理的成果相关的，是企业经营战略导向的；信息系统服务质量评价是与IT部门的提供的服务能力相关的，是用户满意度导向的；而信息系统运行质量评价则是与信息系统运行效果相关的，是信息系统的建设目标导向的。

2.2 信息系统运行质量评价管理的目标

要搞清楚信息系统运行质量评价具体应该从什么地方入手，关键还是要理清我们进行信息系统运行质量评价管理的目标到底是什么？如果信息系统做到了数据处理的准确、完整和及时，是否就可以说这个信息系统运行得很好了？是否就可以满足管理目标了？我们需要进行深入分析，但首先要明确信息系统运行质量评价管理的目标。

企业在建设信息系统项目时，正常情况下需要先明确应用需求和建设目标，项目需求和建设目标也是项目能够验收的重要标准。我们认为进行运行质量评价工作，其目标是通过设立评价的指标体系，量化分析信息系统运行的质量状况，监控信息系统运行，引导信息系统运行符合相关的业务蓝图方案、管理规范等支撑文件的要求，以支持信息系统建设目标的持续实现，并不断地优化改进。

通过对评价管理目标的澄清，我们发现：

1、信息系统运行质量评价并不直接关心企业经营管理的成果，这方面是企业绩效管理评价关心的事情。信息系统运行质量评价关注是系统运行是否还在按既定的业务蓝图方案、管理规范和其他相关管理文件要求在运行，进而推动信息系统建设目标的落实，最终是为企业战略目标的实现而服务。需要说明的是，企业确定信息系统的建设目标应该是与公司的战略目标是相符的；而我们在建设信息系统项目时，制订的解决方案、业务蓝图方案以及其他相关的管理规范是能够保障信息系统达成建设目标的。

2、企业经营环境不是一成不变的，企业战略目标和管理需求会不断地调整，这就要求信息系统也必须不断优化和改进，以适应变化的需求。信息系统运行质量评价虽不直接关注经营绩效与企业战略目标的实现，但必须关注信息系统建设目标的变化，要监控和促使信息系统运行优化与改进。

3 信息系统运行质量评价体系

3.1 信息系统质量评价管理模型

信息系统运行质量评价体系方面可以参考企业绩效管理的相关经验设计以下管理模型：

图2 信息系统运行质量评价管理模型

信息系统运行质量评价管理模型包括9项内容，参考“波特战略轮盘模型”设计为轮盘形状。信息系统运行质量评价管理目标（见2.2）位于管理模型的核心，是其他各个领域评价活动的目的地。模型中其他8项是整个运行质量评价管理的关键结果领域（KRA）（注：KRA是实现整体目标不可或缺的、必须取得满意结果的领域，是关键成功要素的聚集地），具体内容包括：

1、数据领域

数据可比为信息系统的“油料”，给信息系统提供了运行的驱动力。信息系统的数据可以分为输入数据和输出数据两大类。对数据领域的运行质量评价可以关注输入数据的准确、完整、及时和输出数据的适用性。评价数据的准确、完整、及时和适用性的评价标准依据支撑文件领域提出的相关要求或管理规则制定。

2、功能领域

功能可比为构成信息系统的“驾驶台”，提供了信息系统运行的操控界面。信息系统直观上看就是由一个个功能点组织起来的，而信息系统运行也表现为各项功能点有机地运行。对功能领域的评价可以关注用户对各功能点操作的正确性和使用的全面性。评价的标准依据支撑文件领域的操作手册、操作规程、蓝图方案、解决方案等制定。

3、流程领域

流程可比为信息系统运行的“线路图”，提供了信息系统运行的行驶路径。信息系统运行所执行的业务流程是由用户的一系列“动作”组成，这些“动作”有的涉及系统的功能和数据；有的与系统的功能并无关系，但是却是流程中不可缺少的环节，就是常说的“线下”操作，但这些都是信息系统运行评价管理的范畴。流程领域的评价可以关注重要业务流程执行是否与支撑文件领域的业务蓝图方案、解决方案、决议等相符合，评价标准依据支撑文件领域相关文件制定。

4、运维领域

系统运维可比为信息系统的“后勤保障”，提供了信息系统运行的维护服务。系统运维虽不直接参与信息系统运行相关的业务过程，但对信息系统的“健康”运行则至关重要。对运维领域的评价可以关注事件和基础数据、权限、程序及系统参数的变更处理过程是否合规。该领域的评价标准依据支撑文件领域的相关系统运维管理制度、服务管理规范等制定。

5、用户领域

用户可比为信息系统的“驾驶员”，提供了信息系统运行的操控者。用户对信息系统运行的作用是不言而喻的，任何系统都由人直接或间接进行控制和操作的，管理文件也是由用户来执行的，用户领域对信息系统运行质量有着决定性的影响。对用户领域的评价可以关注用户基本素质要求、培训情况和考核情况等。该领域评价标准依据支撑文件领域的项目章程、实施公约、管理制度等规范性文件制定。

6、支持团队领域

支持团队可比为信息系统运行的“教练”，提供了信息系统运行的指导者。支持团队包括关键用户、企业内部系统工程师和外部咨询顾问等。支持团队对信息系统运行起到培训指导、检查督促和管理的作用，而且也是运维活动的执行者。对支持团队领域的评价可以关注支持团队的设置状况、支持能力等。该领域评价标准为支撑文件领域的项目章程、实施公约、管理制度等规范性文件。该领域评价标准依据支撑文件领域的项目章程、实施公约、管理制度等规范性文件制定。

7、支撑文件领域

支撑文件好比是信息系统运行的“操作规定/指南”，提供了信息系统运行的规则。信息系统运行评价的支撑文件包括：业务蓝图方案、操作手册、相关管理办法、相关管理/技术标准和其他相关的决议性文件。支撑文件领域为以上6个领域提供了评价的标准，因此支撑文件领域在评价管理模型中包围着以上6个领域。对于支撑文件领域的评价应该关注支撑文件本身的编制质量，及时反映应用需求变更的情况。

8、持续优化领域

持续优化好比是信息系统运行的“路况分析”，帮助信息系统根据情况调整路线，保证平稳快速地驶向目标。信息系统运行本身不是一成不变的，是需要根据建设目标和应用需求的变化进行持续调整的。持续优化领域在评价管理模型中包围着其他领域，喻示着信息系统运行的各个领域都需要持续优化和调整，以适应不断变化的应用需求和建设目标。对于持续优化领域的评价可以关注用户应用建议、支持团队的解决方案、会议决议及执行情况。

信息系统运行质量评价是一项综合性较强的IT绩效管理工作。涉及的领域相互关联，这有点像我们评估一下能不能开车去北京，我们不仅要注意加对和及时加足油料（数据），还要注意正确地使用汽车的方向盘、油门和变速箱等操控部件（功能）；同时你要选好道路（流程），特别是你还得有驾照和驾车经验（用户）；开车时遇到汽车故障，还得确定在哪些地方可以维修（运维），技术问题可以咨询教练（支持团队）和查阅资料（支撑文件）；开车的时候还得小心路面情况和交通提示，适时地调整行程（持续优化），这样才能按计划平安地到达北京。

3.2 信息系统运行质量评价的关键成功因素

关键成功因素（KSF）是一种信息系统开发和规划的方法，关键成功因素指的是对管理成功起关键作用的因素。关键成功因素法就是通过分析找出使得管理成功的关键因素，然后再围绕这些关键因素来确定需求，并进行规划。

关键成功因素的识别，主要是分析影响具体目标的各种核心因素以及影响这些因素的子因素，从中选择决定管理成败的重要因素。关键成功因素的选择力求精炼，通常控制在五、六个因素以内，可以根据评价对象的不同设立不同级次的关键成功因素。在目标识别的基础上，由信息化专家和业务专家参与，通过一系列讨论和分析，完成关键成功因素的确定。

常见的信息系统质量评价管理的关键成功因素如表1：

3.3 信息系统运行质量评价的指标

评价指标的一个重要的管理假设就是一句管理名言：“如果不能衡量它，你就不能管理它”。所以，评价指标一定要抓住那些能有效量化的指标或者将之有效量化。

评价指标是对关键成功因素（KSF）的明确和细化，是关键成功因素的具体评价体系。一个关键成功因素的具体评价指标可以很多，实际应用过程中，根据每个指标的重要程度选择最重要的几个指标，通常控制在三个以内。例如，评价对象是SAP-FICO模块的“输入数据准确性”时具体指标可以是：会计凭证冲销率、内部订单准确率、会计科目准确率。财务模块的“输入数据准确性”虽然可以表现在较多方面，但是这三个指标是其中通常出现问题较多，影响较大的表现方面，需要重点关注。

完整的评价指标主要包括的内容如表2：

* 评价指标库

针对具体信息系统所有领域的运行质量评价指标，我们可以称之为该系统的运行质量评价指标库。从理论上来说，所有工作都有方法量化，但量化的成本上升以及量化的重要性和可管理性决定了对评价指标的选择。所以在评价指标库的基础上，具体应用评价指标时，会有一个指标筛选的过程。

* 评价指标筛选

评价指标筛选是指在评价周期内，根据相关的选取原则在指标库中选择评价指标的过程。

* 评价指标的建立和筛选原则

可以参考的通用原则如下： 1、重要性：指标是本周期的工作方向和工作重点的内容，不能缺少的；

2、可理解：指标简单明了，容易被大家执行和理解；

3、可控制：指标有直接的责任归属方，能够被责任人掌控；

4、可实施性：指标能够促使责任方采取措施改进运行质量；

5、可信赖：指标有稳定的数据来源和科学的数据处理方法来支持；

6、可衡量：指标能够量化，有可信的衡量标准或计算公式；

7、可低成本获取：获取指标结果的成本要低于其带来的价值；

8、与目标一致：指标要与我们信息系统运行质量评价的目标一致。

3.4 信息系统运行质量评价矩阵

运行质量评价矩阵是开展评价工作的重要文件，其本身并不直接用于填写评价结果。通过建立评价矩阵，我们可以确定在当前评价周期内需要用到的元素，包括已经筛选出来的评价指标等。评价矩阵是将来开展评价计算、编制评价报告的基础，建议管理层内部在使用之前进行内部评审确认。

建立评价矩阵需要明确横向和纵向的所有项目，前面所论述的“关键结果领域”及其相关的“关键成功因素”、“评价指标”都可以构成横向的项目，另外横向上为了进行量化评分，还需要考虑“指标权重”；在纵向的元素就是“评价对象”。

“评价对象”是参加评价的应用单位。具体情况下，可以针对应用单位下的各个业务部门，或者应用单位的信息系统的各个子系统进行细分。

图3 信息系统运行质量评价体系框架

根据以上论述，我们可以设计图3所示的信息系统运行质量评价体系框架。该框架由围绕信息系统质量评价模型的五个环节组成，五个环节分别是目标识别、关键因素识别、指标确定、评价矩阵设计和评价监控。

1、目标识别：根据评价模型，分析具体的信息系统的应用领域特点、应用范围分布和评价管理的需求，确定运行质量评价的具体目标；

2、关键因素识别：基于评价模型的8大领域，分析相关的关键成功因素，也就是找出各个领域中影响运行质量的重要因素，这实际上是一种对目标进行层层分解的工作方法，具体见3.2内容；

3、指标确定：基于8大领域的关键因素进行具体细化，找出可以量化表现的系统特征，以少数几项数据体现关键因素的质量情况，评价指标的构成内容见表2；

4、评价矩阵设计：在明确评价目标、关键因素和评价指标的基础上，就可以设计相应系统的评价矩阵，具体见3.4的内容；

5、评价监控：这是运用评价矩阵对评价对象的系统运行质量进行监控的过程。评价监控的方式可以采取月度、季度和年度运行质量报告的形式，将评价对象的系统运行状况向管理层进行汇报，并提供分析意见，帮助应用单位提高运行质量；还可以通过BI工具，设计信息化的分析图表，定期向管理层展现相关系统的运行状况和系统运行的预警分析。

信息系统运行质量评价体系框架的5个环节构一个循环，这表示通过对信息系统运行质量的评价监控，我们还需要发现评价过程中的不足之处，并重新完善各环节的工作，不断提升信息系统运行质量评价的水平。

通过对信息系统运行质量评价体系的理解，我们结合实际评价活动，总结的几点实践经验如下：

1、灵活制定评价管理目标。确认评价目标是整个工作的起点，我们在明确总目标（见2.2）的同时，还可以确定相应的子目标。子目标同开展的具体评价工作相关，是当前阶段评价工作的重点。比如：通过评价需要引导应用单位/部门改善和提高的管理层关心的地方；各应用单位/部门通过评价，要确定运行质量排名情况，促进各应用单位/部门采取措施改进不足之处等。子目标的确定，使评价工作的具体开展有了更加明确的方向。

2、重视评价组织的作用。评价组织是开展评价工作本身的决策者和执行者。如果将评价工作视为一个信息化项目，评价组织有时还可以包括：领导小组、评价经理、工作小组等。评价工作的评价目标、评价矩阵、评价报告等都需要在评价组织内部取得共识，保证评价工作的持续和有效。

3、重视驱动性指标的作用。在评价体系的8个评价领域中，数据、功能、流程领域的指标通常是结果类型的指标，也是就是我们评价的内容都是已成事实的结果，我们评价工作干的是“亡羊补牢”的事；而运维、用户、团队、支持文件和持续优化领域的指标，则是所谓的驱动性指标，评价指标可以起到预防作用，我们干的是“未雨绸缪”的事。我们认为在某些情况下，驱动性指标有着更重要的作用，比如：我们评价管理结算中心系统，由于涉及大量银行资金的收支，这种系统更加重视预防性工作。

4 结论

随着企业信息化建设不断深入，企业管理的各个领域都将有信息系统上线运行，而衡量和评价这些系统在应用单位/部门的运行情况的情况，促使应用单位/ 部门提升应用效果也是企业管理层日益关心的难题。信息系统运行质量评价体系的建立，很好地解决这一难题，为信息系统运行管理提供了全新的思路。

本文作者的创新点：创造性地提出了信息系统运行质量评价模型，并基于这一模型建立出评价体系，提出了相应的评价方法，对实际工作有较好的指导性。经过企业的应用实践，基于该方法设计的评价指标较为完善，能够全面反映应用单位的实际运行水平，收到了良好的应用效果。

参考文献

[1] 卡普兰，诺顿 战略中心型组织[M].中国人民大学出版社，2008

[2] Joan Magretta.Understanding Michael Porter：The Essential Guide to Competition and Strategy.McGraw-Hill[M]，2011

[3] 迈克尔.波特 竞争战略[M].华夏出版社，2005

[4] 昝新明.基于关键因素分析法的财务战略绩效评价体系设计[J].财会通讯（综合版），2008，（10）

[5] 尚晋，杨有.关键成功因素法在电脑选购方面的应用研究[J].《重庆航天职业技术学院学报》.2009，2

[6] 张爱民.关键成功因素法在决策者信息需求识别中的应用[J].晋图学刊.2009，06