烟草企业信息化项目后评估指标体系构建

□施书林 盛 丰 陶 陶

一、烟草企业信息化项目后评估指标体系构建原则

开展后评估工作的关键是建立起合理、科学的烟草企业信息化项目后评估指标体系。烟草企业信息化项目后评估指标从多个方面反映了烟草企业信息化项目的情况。它把复杂的问题分解成几个相互关联的部分，科学、客观、真实地反映已完成的信息化项目或规划的目的、实施过程、效益、效果和影响，从而使后评估具体化和组织化[1]。同时，可以在后评估指标中设置定量指标和定性指标和通过从多个角度衡量对比评估指标，将复杂问题直观化。因此，结合烟草企业信息化项目建立的实际情况，在建立后评估指标体系时需遵循现实性、客观性、全面性、可操作性、反馈性、科学性、系统性、定性与定量相结合性、可量化性等原则。

二、烟草企业信息化项目后评估指标体系的研究方向

结合烟草行业管理工作的各项规范要求，把控信息化的规律性，通过对行业信息化项目特点的分析，梳理各层管理者和各业务部门的管理者业务需求，从项目目标评估、项目实施过程评估、项目效益评估、项目影响评估和项目可持续性评估等几个方面分析研究信息化项目后评估的方法、过程、评价维度和评估结果的应用方法。信息化项目后评估主要分为五个研究方向[2]。

(一)项目目标实现评估。

1.预期目标符合性。将软件项目运行时实际产生的一些经营管理和技术指标的效益与项目前评估和决策时所定的目标进行比较，检查项目是否达到预期目标或达到预期目标的程度。若没达到预期目标，就要分析所产生偏差的原因，从而判断项目的成功与否。

2.预期目标合理性正确性评估。指通过对当前经营管理实际情况分析和判别与项目需求提出时的想法是否存在偏离，并考查项目实施过程中需求部门随着对管理需要理解的不断加深，不断完善需求后，导致项目内容与范围变更后，系统发生的变化及合理性等[3]。

(二)项目实施过程评估。项目实施过程评估主要对项目在整个实施过程中的组织管理水平和规范性进行评估。

1.团队组成的合理性。主要评估项目团队组成和人员专业技术水平的合理性。

2.项目计划的合理性。主要评估项目进度控制措施和工作计划执行的符合程度。

3.项目实施的合规性。主要评估项目实施全过程的合规性。

4.项目实施的过程。主要评估项目的质量管理、变更管理、过程控制以及厂商开发规范性、分析与设计能力、实现与测试能力等[2]。

5.项目试运行过程。主要评估项目培训效果、知识转移效果、文档交付情况等。

(三)项目使用情况评估。

1.用户满意度。主要评估项目在人机交互、易用性等方面的指标。

2.厂商服务力。厂商服务力，是指在信息化项目承建商在信息化项目建成以后所提供的各种服务活动。主要评估厂商技术支持和运维服务能力。

3.项目实用性。主要评估项目在实际使用过程中的人员使用范围、业务适用情况等。

4.系统性能评估。主要评估系统的正确性、可靠性、稳定性、实用性和可维护性等内容。

5.项目的影响力。主要评估系统与相关系统的兼容性、编码一致性、功能可扩展性以及有利于数据共享、固化流程、减少资源浪费等内容。

6.安全适用性。主要评估系统在正常使用和满足预定使用的条件下要保证系统中所涉及到的数据信息、硬件设备的安全，以及各项信息安全指标的符合性和随着安全技术发展应对新的安全风险的能力[4]。

(四)项目效益实现评估。

1.经济效益评估。主要是针对收入增长率、内部收益率、投资回收情况、成本降低率等指标进行评估。但是考虑到很难对经济效益进行量化评价，考虑进行定性评价[5]。

2.业务效益评估。主要针对业务处理时间、业务流程优化、客户满意度、业务效率提升程度等。

3.管理效益评估。主要评估决策改善度、管理效率改善度、计划改善度、产品服务改善度等。

4.员工效益评估。主要评估系统与对于人员的知识结构、综合素质、工作能力与水平的提升情况[6]。

(五)项目持续发展评估。持续性评估是对软件项目在未来运营中实现既定目标以及持续发挥效益的可能性进行预测分析。

1.项目的适用性评估。主要评估项目对经营管理需要变化的适应能力，对其是否适应业务需求未来发展的适应能力进行评估[7]。

2.项目的可扩展性评估。主要评估项目设计思想和技术框架的开放性和可扩展性。

三、烟草企业信息化项目后评估指标体系

针对烟草企业信息化项目后评估指标体系建立，结合烟草企业信息化项目特点，主要从项目目标实现评估、项目实施过程评估、项目使用情况评估、项目效益实现评估、项目可持续性评估这5个研究方向考虑构建烟草企业信息化项目后评估指标体系。将此5个研究方向作为构建指标体系的第一级指标点，同时也是该指标体系的5个评价维度。再分别对此5个评估维度进行分析和研究，再分别细划分出二级指标点。同样再从二级指标点中细划分出三级指标点。

接着，通过访谈上百名烟草企业领导和员工，补充和完善初步建立的指标体系，通过文献查阅及专家咨询，消除反复、不正确或难以获得的指标，通过这一过程，分别获得了5个一级指标，15个二级指标，77个三级指标。再选取16名知名管理学专家、项目后评估体系专家和统计学专家分成5个评估小组，对各项指标进行筛选，并分别对不合理的二级和三级指标进行删除。经过筛选评估，最终建立了具有三级指标结构的后评估指标体系，其中一级指标共有5个，二级指标共有15个，三级指标共有51个。

(一)项目目标实现指标A1。将指标A1细划成目标设定情况A11和目标完成情况A12等2个二级指标。二级指标目标设定情况划分成三级指标：目标设定的充分性A111、目标设定的有效性A112和目标设定的明确性A113；二级指标目标完成情况划分成三级指标：目标完成质量A121、目标完成率A122、完成的及时性A123和验收的有效性A124。

(二)项目实施过程指标A2。将指标A2细划成项目组织管理A21、项目过程管理A22和项目试运行管理A23等3个二级指标。二级指标项目组织管理划分成三级指标：项目规范管理A211、管理制度保障A212和项目机构人员情况A213；二级指标项目过程管理划分成三级指标：项目论证情况A221、项目计划执行情况A222、目标变更管理A223、项目质量控制A224和项目技术水平A225；二级指标项目试运行管理划分成三级指标：试运行测试情况A231、试运行变更情况A232、培训情况A233和文档移交情况A234。

(三)项目使用情况指标A3。将指标A3细划成应用效果A31、厂商服务力A32、系统性能A33、项目影响力A34、运行维护A35和系统安全性A36等6个二级指标。二级指标应用效果划分成三级指标：用户满意度A311、项目使用度A312、应用业务覆盖率A313和应用系统实现率A314；二级指标厂商服务力划分成三级指标：售后服务团队A321、响应时间A322和问题解决A323；二级指标系统性能划分成三级指标：系统稳定性A331、硬件设备利用率A332、数据正确性A333、系统响应时间A334和可持续性A335；二级指标项目影响力划分成三级指标：系统兼容性A341和功能扩展性A342；二级指标运行维护划分成三级指标：运维管理满意度A351和日常运行及维护执行A352；二级指标系统安全性划分成三级指标：数据灾备情况A361和安全事件A362。

(四)项目效益实现A4。将指标A4细划成间接经济效益A41和影响力A42等2个二级指标。二级指标间接经济效益划分成三级指标：工作流程优化A411、业务效率提高率A412、成本节约度A413、数据共享率A414、项目资源有效利用率A415和系统维护的经济性A416；二级指标影响力划分成三级指标：项目认可度A421、知识产权获得A422、技术成果A423和项目差异A424。

(五)项目可持续性A5。将指标A5细划成系统适用性A51和系统扩充性A52等2个二级指标。二级指标系统适用性划分成三级指标：业务增长满足A511、功能满足A512和技术框架的开放性A513；二级指标系统扩充性划分成三级指标：功能扩张满足A521和模块变更便利性A522。

四、结语

本文从项目目标实现、项目实施过程、项目使用情况、项目效益实现与项目持续发展等5个维度出发，最终构建出具有三层指标结构的信息项目后评估指标体系。考虑到不同类别信息化项目客观存在的差异，今后可根据各自类型项目的特点，分别建立相应的指标体系，如软件开发类项目指标体系、信息化硬件设备类项目指标体系等，这样会使得烟草行业开展信息化项目后评估工作更加全面客观，更具有科学性。