银行信息系统项目后评估模型与评分卡设计研究

余建农， 覃庆玲， 胡 俊

(中国建设银行 湖北分行， 武汉 430079)



银行信息系统项目后评估模型与评分卡设计研究

余建农， 覃庆玲*， 胡 俊

(中国建设银行 湖北分行， 武汉 430079)

项目后评估是项目全生命周期管理的重要环节.该文以银行信息系统项目建设活动为研究对象，利用项目评估实践、调研跟踪、数据采集、定向交流等方式获取的信息，参考业界通用的成本效益分析法、层次分析法，研究建立了BISPAM银行信息系统项目后评估模型(Bank Information System Project Post-Assessment Model).整个建模过程包括评估内容确定、评估指标选择、指标权重计算及一致性检核.根据建模成果，为了提高效率和后评估工作的可操作性，设计了3种评分卡，即业务应用类项目后评估评分卡、管理信息类项目后评估评分卡、基础设施类项目后评估评分卡.结合某行代理专用卡应用项目(项目编号:CCBSX-2004003)的后评估过程和跟踪结果，对该模型和评分卡进行了验证，结果表明：BISPAM银行信息系统项目后评估模型和评分卡能够准确评估项目投产后的目标达成度，定性和定量评价项目的实际成效.该研究结果对同类信息系统项目的后评估具有推广和参考价值.

银行信息系统； 项目后评估； 评估模型； 评分卡； AHP层次分析法

近年来，随着移动互联网、云计算和大数据等新兴信息技术的快速发展，我国银行业的业务与IT技术正步入深度的融合，银行业务流程、渠道、范围和方式正发生深刻变化.为了更有效推进银行业信息化建设，对已投入运行的信息系统项目和创新活动进行后评估显得日益重要.

对银行信息系统项目进行后评估，即是对已完成的项目目标达成度、技术水平、经济效益、社会效益等进行系统、客观的综合分析和评估.通过对项目完成情况进行针对性的检核和筛选，获取关键指标量化值，与项目决策时的预期进行比较，评定项目的经济、技术目标达成度，判断项目成效.在后评估内容的选取上，结合银行信息系统项目建设的特点和专家评估实践经验，将成本效益、开发过程、系统运行、标准符合性、影响力和可持续性等确定为银行信息系统项目后评估的重要内容.

目前业界信息系统评估方法分为：以定性为主的评估方法、以定量为主的评估方法、拟定量评估方法等3种.其中拟定量评估方法是定性和定量分析方法的结合，通常由数理统计入手，然后进行全面、系统的技术分类和比较研究，再进行有针对性的量化分析，最后进行定性描述.通常包括层次分析法(AHP)[1]、成本效益分析法等.

层次分析法(AHP)是美国运筹学家匹兹堡大学教授萨蒂(Saaty T.)[2]于20世纪70年代初提出的一种层次权重决策分析方法，其特点是在对复杂问题的本质、影响因素及其内在关系进行定性分析的基础上，利用确定的定量信息，使决策的思维过程数学化.其应用范围广泛，许多国家重大科技课题、政府决策、企业工程项目都采用AHP方法进行评估和分析.成本效益分析法通过计算信息系统生命周期内的成本和收益情况，判断系统经济目标的达成度，主要有净现值(NPV)收益法、现值指数法、财务内部收益率法3种计算方法.净现值NPV(Net Present Value)指在项目评估期内，按行业基准折现率或其他设定的折现率计算的各年净现金流量现值的代数和，本文采用净现值法进行成本收益计算.

本文根据银行业务的特点和行业评估实践，参照CMMI及SPCA关于软件能力成熟度模型评估的部分内容，采用拟定量评估方法，即用层次分析法(AHP)进行建模，用净现值(NPV)方法进行成本效益计算，构建了BISPAM银行信息系统项目后评估模型(Bank Information System Project Post-Assessment Model)和评分卡工具.

1银行信息系统项目后评估模型建立

银行信息系统项目后评估模型BISPAM(Bank Information System Project Post-Assessment Model)建立，包括评估内容模型确定、层次化指标选择[3]、指标权重计算规则及一致性检核等内容.

1.1评估内容确定

根据商业银行经营特点及银行信息系统开发、运行及评估实践，从成本效益分析、项目开发分析、系统运行分析、标准符合性分析、影响力分析和可持续性分析等6个方面对银行信息系统项目进行评估.银行信息系统项目后评估内容见图1.

1.2评估指标选择

依据后评估内容，参照《商业银行信息科技风险管理指引》，选取成本效益、开发过程、系统运行、标准符合性、影响力和可持续性等六项作为一级指标.然后，根据商业银行信息系统开发、运行实践，

借鉴业界相关标准(如CMMI、SPCA等)，在“成本效益分析”、“项目开发分析”、“系统运行分析”等一级指标下，细分出二级、三级指标；根据商业银行经营特点及专家、行业经验，在“标准符合性分析”、“影响力分析”、“可持续分析”等一级指标下，细分出二级、三级指标.指标分解如表1所示.

图1 银行信息系统项目后评估内容Fig.1 Contents of bank information system project post-assessment

一级指标二级指标三级指标评价评价分值权重值指标得分1-盈利分析盈利分析效益4-及格50.330516.53开发事前评估可行性报告1-优秀100.02032.03项目审批1-优秀100.02492.49IT外包1-优秀100.02032.03组织及人员保障1-优秀100.02032.03开发中期评估方案设计合理性1-优秀100.02032.03技术先进性1-优秀100.02032.032-开发分析项目计划管理1-优秀100.02112.11需求管理1-优秀100.02112.11质量管理1-优秀100.02032.03配置管理1-优秀100.02032.03测试管理1-优秀100.02032.03开发后期评估上线方案评审1-优秀100.02032.03开发周期1-优秀100.02942.94系统可靠性1-优秀100.02472.47系统安全性1-优秀100.00820.82系统性能系统可维护性1-优秀100.00820.823-运行分析系统可恢复性1-优秀100.02472.47系统处理能力1-优秀100.02812.81流程管理1-优秀100.00770.77ITSM有效性问题管理1-优秀100.00770.77专家库建设1-优秀100.02472.47

续表1

1.3指标权重计算规则及一致性检核

银行信息系统后评估分级指标选择、筛选后，采用标准AHP方法建立各层级指标判断矩阵，描述同层级指标间相互关系；然后，根据判断矩阵的赋值，计算指标相对权重并进行一致性检核；最后，计算层级指标相对总目标权重，并进行一致性检核[4].

1.3.1一级指标权重计算及一致性检验

1)一级指标权重计算方法

首先，建立一级指标判断矩阵，再根据判断矩阵，计算一级指标权重[5].指标权重计算方法有三种，求幂法、和积法和方根法.AHP层次分析法是一种定性与定量相结合的分析法，上述三种方法均可满足指标权重计算的要求；其中，求幂法计算精度最高，但在实际工程应用中多采用和积法和方根法.本文采用方根法进行计算.

a)判断矩阵的一行元素彼此相乘，得到行乘积.

(1)

b)然后对该乘积进行N次方根处理(N等于判断矩阵阶数)，得到特征向量的一个元素.

(2)

c)求出特征向量

(3)

特征向量经归一化处理(单个向量元素除以整个元素和)后即为权重向量.

2)一致性进行校验

通过计算判断矩阵最大特征根λmax和CR，进行判别[6].若CR<0.1，则说明判断矩阵具有满意的一致性，否则，需要调整判断矩阵并重新计算.

a)特征根的计算

(4)

N指判断矩阵维数，W为一级指标组合权重，A为判断矩阵.

b)判断矩阵一致性指标CI计算

(5)

c)随机一致性比率CR计算

CR计算公式如下：

(6)

式中，RI为平均随机一次性指标值.

1.3.2二级指标相对权重计算 本文二级指标元素仅用于对下层指标的工程内容分类汇总评价.在实际的计算过程中，不单独进行相对权重计算，采用按三级指标计算得分，分类汇总得出.

1.3.3三级指标组合权重计算及一致性检验 首先，建立三级指标判断矩阵，计算出三级指标相对权重(也称为层次单排序)；其次，根据三级指标相对权重及一级指标权重，计算三级指标组合权重[7](也称层次总排序).最后，对三级指标层次总排序一致性进行检验.

三级指标组合权重即为所求权重(相对于总目标).

2评分卡设计

为了方便用户对项目进行后评估，根据后评估模型设计了专用的评分卡工具.评分卡工具采用EXCEL表实现，具有权重计算、成本效益计算、指标等级评估、指标得分计算、项目评分计算等功能，可操作性和实用性强.评分卡工具根据银行信息系统种类，分为业务应用、管理信息、基础设施等3种.现以业务应用类评分卡为例阐述其使用方法.

2.1项目收益计算表

如表2所示，该表用于计算项目成本收益情况，用户填入折现率、各期成本和收益后，自动计算项目收益，计算结果将用于评分.

表2 收益计算表

注：1.T0指项目前期收入支出现金流；T1、T2、T3指项目第1、2、3年的收入支出现金流(折现率15%)；

2.新增存款转化收益按存贷款利率差计算、新增客户转化收益按每户获取成本计算.

2.2指标权重计算及一致性检核

2.2.1一级指标权重计算及一致性检核 建立一级指标判断矩阵，如表3所示.

表3 一级指标判断矩阵

一级指标权重计算表(表4)根据判断矩阵的赋值，利用Excel的函数功能自动计算权重W1和CR(一致性检核).

2.2.2三级指标相对权重计算及一致性检核 由于二级指标只起分类作用，所以直接计算三级指标相对权重.分别建立三级指标相对一级指标各元素的判断矩阵，下面以“系统运行分析”一级指标为例进行说明[8].首先，制作判断矩阵，并填入矩阵阶数及RI(8阶)值，如表5所示.

三级指标相对权重计算表将根据判断矩阵的赋值，利用Excel的函数功能自动计算权重W1和CR(一致性检核).三级指标相对权重计算表请参见表4.

表4 一级指标权重计算表

表5 三级指标判断矩阵

矩阵维数：8 RI (8)：1.41

2.2.3三级指标组合权重计算(层次总排序) 如表6所示，以各三级指标相对权重向量为列元素(与一级指标无关的元素赋0)组成三级指标权重矩阵A，然后乘以一级指标权重矩阵B，可计算出三级指标组合权重W.该表具有自动取值、计算等功能.

表6 三级指标层次总排序

续表6

2.2.4三级指标层次总排序一致性检核 如表7所示，该表可以自动取值并利用Excel的函数功能计算CR.

表7 三级指标层次总排序一致性检查

2.3评分表

三级指标组合权重计算出来后，将数据拷贝到评分表“权重值”列中.除“效益”指标是根据“项目收益计算”表计算结果自动评价外，其余三级指标均需要专家进行现场评估，最终评分值和指标得分由评分表自动计算得出.

3评分卡应用案例及效果

以某行专用卡项目后评估为例，对项目后评估流程及评分卡的应用及效果进行逐项说明.该专用卡项目，是某行为拓展中间业务收入，代理他行专用卡而开发；目的是利用银行网点优势，通过收取代理手续费、吸收存款及保证金获取收益.该业务应用系统2004年开发，当年投产，2005年升级改造.

3.1使用“项目收益计算表”计算项目收益

打开“业务应用类项目后评估评分卡”，选择“项目收益计算表”，填入相关参数，即可计算项目成本收益情况.成本效益采用净现值方法(NPV)计算.项目收益计算表可参见表2.

通过计算，该项目2004年～2006年三年收益净现值为114.28万元.

3.2正确使用“参数表”

“参数表”用于存放评分卡所使用到的一些参数.

表8 指标达成度表

该表存放“效益”指标的达成度.用户需要填入“效益”指标的预期值；实际值和目标达成度由评分卡工具自动计算.

3.3使用“评分表”完成评估

用户根据指标完成达成度，在“评分表”中对指标进行等级评估[9].指标评估等级包括：优秀、良好、中等、及格、不及格五个等级，分别对应10分、8分、6分、5分、0分(参见表9).用户对指标进行等级评估后，工具自动进行评分，然后乘以权重值，计算出指标得分.各指标得分汇总后，即为项目总得分，项目满分为100分.

表9 指标评估等级表

三级指标除了“效益”指标根据“参数表”和“项目收益计算表”自动计算外，其它各指标需要专家评估其等级.等级评估完毕后，工具将自动计算等级得分，然后乘以指标权重，自动计算加权得分，并最终汇总项目的总得分.某行专用卡项目后评估得分情况，参见表1.

通过评估和计算，某行代理专用卡项目评估总得分75.19分，其中效益实际达成度仅57.14%，未能达到项目预期目标.在业务可持续性方面得分较低，业务规模受限，盈利增长乏力，反映出该项目在立项审批阶段对于盈利能力的测算不准确，市场调研不足，业务可持续性发展预期偏乐观，决策方面需要反思，汲取教训.

4结论

通过调查研究，发现目前业内银行信息系统项目大多未进行项目后评估，项目成效无法准确回溯和评价，难以从中获取有价值的经验教训.即使进行了后评估，也多为人为主观判断，缺乏量化的评估模型和实用型操作工具.

层次分析法较好地结合运用了专家经验，简便、灵活，具有很强的实用性.评分卡具体通过EXCEL的函数功能实现评估模型相关数据的计算，具有很强的可操作性.

通过某行代理专用卡项目后评估实际案例验证，BISPAM银行信息系统项目后评估模型(Bank Information System Project Post-Assessment Model)和评分卡能够对项目目标达成度、技术水平、经济效益以及项目成效等进行准确、有效的评估，对同类系统的后评估工作具有参考价值.

银行信息系统项目后评估尚未建立国家及行业规范和标准，该文研究建立的模型和评分卡可以在实践中进一步优化，为形成行业规范及标准做有益的探索.

本文判断矩阵采用九标度方法，在评估过程中，尚需结合专家经验寻找操作性更好的标度方法.在项目评价指标的选择方面，还可以探索用回归方法做进一步的筛选和检验[10].

[1] 王振源， 段永嘉. 基于层次分析法的智慧城市建设评价体系研究[J].科技管理研究，2014(17)：165-169.

[2] SAATY T L. Multicriteria dcision making [M]. Pittsburgh:RWS Publications， 1990

[3] KHALII M I A. Selecting the appropriate project delivery method using AHP[J]. International Journal of Project Management，2002， 20(6):469-474．

[4] 薛 崧， 张计龙， 成伟华， 等. 基于AHP模型的图书馆RFID解决方案评估——以复旦大学图书馆为例[J] .武汉大学学报(理学版)，2012(S1): 277-281.

[5] 李 彦， 朱吉胜. 层次分析法的一种改进及其应用[J].电子设计工程， 2011， 19(15)：29-33．

[6] 高 尚. 三种层次分析法中权值的计算方法[J].科学技术与工程， 2007(20)：5204-5207．

[7] 樊为刚， 候丽红. 层次分析法的改进[J] .科技情报开发与经济， 2005， 15(4)：153-154．

[8] 梁 军， 毛振寰. 计算机网络与信息安全[M].北京：北京邮电大学出版社， 2005．

[9] 杨 泉. 风险评估定性与定量分析方法[C]//国家信息中心信息安全处.中国信息协会信息安全专业委员会，2004 年会论文集.北京：北京科技出版社， 2006:54-55．

[10] 徐维祥， 张全寿. 从定性到定量信息系统项目评价方法研究[J].系统工程理论与实践， 2001， 21(3):124-127.

Study on banking system project post-assessment model and the scorecard design

YU Jiannong， QIN Qingling， HU Jun

(Hubei Branch of the China Construction Bank, Wuhan 430079)

Project post-assessment is an important part of the total project life cycle management. In this paper, bank project construction activities are studied, using information generated from project assessment practice, research tracking, data acquisition and directional communication way to obtain information such as general reference industry of, bank information system project post-assessment model (BISPAM) is set up taking cost-benefit analysis and analytic hierarchy process (AHP). The entire modeling process contains assessment content determination, choice of evaluation index, index weight calculation and consistency check. Based on the results of modeling, in order to improve the evaluation results of the efficiency and maneuverability, three kinds of scorecard are designed, including the business application projects post-assessment scorecard, the management information projects post-assessment scorecard and the infrastructure projects post-assessment scorecard. Combing post-assessment process and follow-up results of a bank agent special card application project (project number:CCBSX-2004003), the model and the scorecard are verified. The results show that the bank information system project post-assessment model and the scorecard are able to accurately assess the degree for a goal after the project put into production and the actual effect both qualitatively and quantitatively. These results have certain value of reference and popularization for post-assessment of similar information systems.

bank information system; project post-assessment; assessment model; scorecard; analytic hierarchy process(AHP)

2016-05-30.

中国建设银行三峡分行金融科技应用开发项目(2004003).

1000-1190(2016)06-0867-08

C931.6

A

*通讯联系人. E-mail: 942891430@qq.com.