教育信息化项目风险评估指标体系的构建

钱冬明 罗安妮 王娟 徐显龙

摘要：该文旨在构建适用于教育信息化项目的风险评估指标体系，用于项目相关人员在项目实施的各项进程中识别和判断风险，并不断采取相应措施减少风险的发生概率，降低风险的影响程度。该文通过对国内外项目相关文献的梳理、具体教育信息化项目的调研、专家论证等方式，形成并确定教育信息化项目风险评估指标体系，并依据层次分析法的相关原理，设计相应问卷，对各指标权重进行计算，依据教育信息化项目的特点，建立了4个一级指标（分别为主体风险、客体风险、技术风险、政策法规）、11个二级指标和29个三级指标，并计算出相应的指标权重。该文初步建立的风险评估指标体系，能够在项目实施的各个阶段趋利避害，实现项目利益的最大化，减少不必要的损失。

关键词：教育信息化项目；风险评估；指标体系；层次分析法

一、问题的提出

教育信息化作为推进国家发展创新的重要动力源，在全球范围内受到广泛重视，各国在教育信息化的建设发展上投入巨大。《教育信息化十年发展规划（2011-2020年）》中明确提出，各级政府在教育经费中按不低于8%的比例列支教育信息化经费。2007年至2013年间，欧盟FP7投资了91亿欧元以促进ICT的发展；美国NSF每年也将会有大量的经费用于工程教育研究拨款。教育信息化正在全球如火如荼地开展。

各国教育信息化的探索大都以“试点”为主要表现形式。同样，“试点先行、有序推动、科学管理”是我国推进信息化发展的重要策略。教育信息化项目作为“试点”的载体，在信息化探索道路中承担着重要的角色。然而，较于金融、科技等领域的项目推进成效，我国教育信息化项目的成果却远未达到预期目标。究其原因，项目风险作为导致成本超支、进度超期、开发质量低下的一个重要因素应首当其冲。风险管理作为教育信息化的新课题，是推进信息化发展的有力保障。

风险的发生往往给教育信息化项目带来巨大的损失，风险的管控就显得尤为重要，在教育信息化项目执行的各个阶段对风险的识别是非常重要的环节。目前，国内外针对教育信息化项目风险指标的研究还很少，本研究将基于国内教育信息化项目研究的现状，通过文献调研、案例访谈、专家论证等方式确定形成教育信息化项目风险评估指标体系，并结合层次分析法设计问卷，最终依据回收的数据计算各项风险指标的权重，为项目的实施提供参考依据。

二、研究现状

国外对项目风险管理评估指标的研究大都以理论为主，以文献调研、数据模拟、环境分析法、访谈或问卷调查等方式来对项目风险做出分析。Davide Aloini等人对1999年到2007年间的130余篇文献进行审查，并最终得出19个ERP项目管理中的风险因素；Baccarini通过访谈法，对信息技术项目中可能存在的风险做出总结并提出相应的风险管理方案；ESP在用户指南中将教育信息化因素分为专家、项目主体人员所带来的风险以及项目在实施过程中的风险；Johnson P.Thomas等主要从安全性的角度基于约束性元胞自动机模型针对某个具体的信息技术项目展开了分析。

在国内，对教育信息化项目风险评估指标的研究大都還停留在案例研究的层面，其研究大多以单个或几个信息化项目为研究数据来源。如唐若根据流程图法和环境分析法识别出纳维教育集团国际高中筹建项目3个开展阶段的18种风险，构建了国际高中筹建项目风险的指标体系；唐仕喜等人着眼于多媒体教学课件开发的各个阶段来辨识风险，并提出了相应的管控措施；熊进运用质性分析、文献分析等方法，对高等教育治理的“项目制”及其可能存在的风险做出了探索并尝试给出了解决对策。牛飒、韦建冬、韩裕等人在不同类别的教育信息化项目中做了相应的实践探索。除了对项目风险的具体案例研究，也有一部分学者对教育信息化项目的风险评估指标做出了研究。其中，张中元、张喜瑞、庞华等人对信息化项目中可能存在的风险进行了归纳整合，并提出了相应的项目风险评估指标，具体如表1所示。

整体来看，国内外针对教育信息化项目的风险管理或评估的研究还比较少，也并没有一个系统、全面的教育信息化项目风险评估指标体系可供参考，大部分学者都是选择借鉴IT、金融行业、企业管理中的一些项目管理实践经验或研究成果。而教育信息化的推进实属大势所趋，只有全面了解各类风险存在的可能性，才能有效地规避风险，创造更大的效益。

三、风险评估指标体系的构建

本研究通过文献调研的方式，对多篇国内外相关文献进行研究整合，初步列出风险识别清单；而后再将识别清单运用于10个具体教育信息化项目中进行案例调研，以此对风险指标进行调整完善。最后，以专家论证的方式对指标进行修订并最终确定教育信息化项目风险评估指标体系。

（一）文献调研，初步建立风险识别清单

在对风险评估相关文献调研的基础上，秉持全面、系统、可操作性原则，初步识别了教育信息化项目实施过程中可能存在的所有风险清单。最终，结合教育信息化项目的实际特点，对这些可能存在的风险因子从主体风险、客体风险、环境风险、技术风险四方面进行分类，来初步构建教育信息化项目风险评估指标体系。

1.主体风险

项目实施方的人员结构、管理层的宏观调控与支持度是决定教育信息化宏观统筹方面的关键因素。如政府投资工程具有工程项目大、专业性强等特点，尤其需要对过程进行质量监控。然而，如果管理层本身缺乏专业管理经验、对项目不熟悉，对项目成本、进度难以科学地控制，就会很容易导致拖延项目完成时间；用户的参与意识以及是否能准确描述需求对项目的深入落实、反馈评价上也有着重要的作用；此外，大部分教育信息化项目技术层面的内容会交给供应商来执行，因此富有经验、精于管理的供应商也是项目成功的一大保证。

2.客体风险

基础设施、软件系统与信息资源是风险体系中客体风险的主要内容。具备实施项目所需的信息化软硬件环境，是开展项目的基础保障。此外，在信息时代，网络成了我们信息资源的主要来源。信息资源具有数量大、内容丰富但却变化频繁、结构复杂、价值不一等特点，因此资源的有效性、丰富性、实用性等方面也十分重要。

3.技术风险

技术的应用与创新是保障信息化发展的重要一环，如技术成本、成熟度、安全性等。其中，技术成本指项目拟采用的技术所投入的资金是否和项目的收益成正比；技术成熟度则指选择使用的技术是否较为复杂或者是之前未使用的新技术。从实践来看，很少有教育信息化项目注重网络安全隐患，而这类隐患一旦触发就不可收拾。由此在教育信息化推进过程中，技术风险是不可或缺的—个重要指标。

4.政策法规

教育信息化项目具有项目经费投入多且周期长、项目重社会效益且关联性强、项目受政策影响大且需求变化多等特点，有很大一部分教育信息化项目是由政府投资，宏观政策管控下实施的。这就使得这类项目受政策制度的影响较大，政策方向一旦调整，就可能导致整个项目的下马。

（二）具体案例调研，进行验证

为了进一步确定初步识别的风险指标的有效性，项目组联系10位具有丰富教育信息化项目执行经验的专家，进行了具体教育信息化项目负责人的深度访谈。其中，政府教育信息化管理人员有3位，企业高管有5位，以及来自不同学校的大学教授2位。访谈的主要内容从项目基本概况、项目评价、项目所存在的风险、解决方案以及最终的项目成果这几个方面展开，平均访谈时长为45分钟，而后由专人进行转录。在访谈结束后，会请各位接受访谈的专家针对该项目填写风险问卷表。

通过对访谈结果转录和风险问卷表的分析，笔者统计了在各个访谈案例中项目负责人对风险的描述频次，并将其对应的比例与预设的风险具体指标相比对，发现其一致性较高，每个具体的风险在这10个项目当中都至少出现了3次，并且90%以上的风险都出现了5次及5次以上，进一步佐证了初步识别的风险指标的科学性与全面性。

（三）专家论证，确定指标体系

在形成风险因素清单并对各因素进行归纳整合后，指标以专家论证的方式针对指标中一些要素进行进一步的修订，主要如根据项目主体同一性将“人力资源”与“组织结构”合并；将“上层领导支持”和“社会影响”这两个反映外在风险的因素合并等。最后，专家指出，每个具体项目在开展的过程中，风险各不相同，因此除了对风险进行一些宏观的评估外，还应针对其特味性结合实际项目情况来考量。

经过文献调研、案例访谈、专家论证等方式，最终形成了风险评估指标体系。研究构建教育信息化项目风险评估体系包括4个一级指标、11个二级指标、29个三级指标。其中，主体风险主要指项目进程中的组织机构、用户和供应商三方面存在的风险；客体风险则是指项目在开展过程中，在软硬件、资源等方面存在的风险；技术风险则从项目开展所需的关键技术入手，评估其在经济性、可行性与适用性上是否满足项目要求；最后，由于教育信息化项目开展主体的特殊性，项目在开展过程中是否受政策制度、财务经费等方面的影响也是一个较大的影响因素。具体评价指标维度如表2所示。

四、权重的确定

国内外大部分指标体系的构建主要围绕着影响因素确定与权重体系设定两大步骤来开展。关于指标的权重设定，大多以层次分析法、德尔菲法、均值法、熵权法等来确定，本文主要依据层次分析法的相关原则进行指标体系权重的确定。层次分析法是指通过不同指标之间的两两比较来确定指标间权重的方法，其系统性、所需定量数据少的特性使其受到许多研究者的追捧，这种方法对项目风险评估过程中出现的多个指标和方案的选择提供了有效的解决方案。

（一）调查问卷的设计

美国学者saaty等人通过研究发现，分级太多容易对评价者造成干扰，影响评价的有效性，而分级太少则不容易区分各个指标之间的重要程度，实验证明九级比例标尺最适合确定权重系数，如表3所示。

因此，本文指标体系权重确定的问卷将基于层次分析理论，将各项指标的重要性分为1到9这九个维度，各位专家综合考虑各个风险的重要性进行选择，最终通过两两比较的方式确定各指标的相对权重。

（二）评价结果分析

1.对象的选择和基本信息分析

评价对象是对指标进行评估的客体，对象的选择关乎指标权重计算的有效性，因此评价对象的选择尤为重要。本指标体系主要是关于教育信息化项目的风险，因此评价对象需要对教育信息化项目有一定宏观上的认识和理解，同时组织或作为主要参与成员参与过多个项目的实施。因此，评价对象主要分为四类人员，分别是教育信息化相关事业单位工作人员、教育信息化项目研究者、教育类企业工作者、校长或学校领导等。基于问卷星平台，通过邮箱、微信、拜访等多种方式，向这些具有丰富经验的项目管理人员展开调查，总计回收问卷61份，有效问卷60份。被调查者分别来自北京、上海、天津、江苏等12个省市，其中41%的调查对象为校长或学校领导，30%的调查对象为教育类企业工作者，17%的调查对象为教育信息化项目相关研究者，12%的调查对象为教育信息化相关事业单位工作人员，且85%以上的调查人员具有5年及5年以上从事教育信息化项目相关工作的经验。

2.指标权重的计算

运用层次分析法确定指标权重主要依照以下步骤进行：建立评价层次模型、构造指标比较判断矩阵、层次單排序一次性检验及权重计算和层次总排序权重计算。

（1）建立评价层次模型

根据文献调研、实际案例调研以及专家论证，最终确立了4个一级指标、11个二级指标和29个三级指标，这些指标的层次模型如图1所示。

（2）构造指标比较判断矩阵

评价对象根据九级比例标尺，选择各指标的相对重要性选项，根据两两比较的原则，构造比较判断矩阵。n个指标需比较n（n-1），2次，如4个一级指标，则需要比较4*（4-1）/2=12次。根据各个评价对象比较的结果，构造n阶判断矩阵A（nxn），Aij代表第i个元素相对于第j个元素的相对重要性。如某位评价对象针对一级指标评定后构造的比较矩阵如表4所示。

依据评估模型，每位评价对象的数据需构造16个判断矩阵，本次共计回收有效问卷60份，因此需构造960个判断矩阵。

（3）层次单排序一致性检验及权重计算

为了鉴别所构建的矩阵是否能够进行权重排序，还需要进行层次单排序和层次总排序的一致性检验。以层次单排序的一致性检验为例，我们将CR看成一致性比例，CI看作一致性指标，RI为平均随机一致性指标，入为最大特征根，n为判断矩阵的阶数，则有公式：

根据Saaty的研究，当cI值小于0.10时，可以认为判断矩阵具有良好的一致性。下页表5为不同阶判断矩阵的RI值。

基于上述公式，对前一步骤构造的960个矩阵进行一致性检验。由于问卷的设计是基于相对重要性转换的数据，因此对于评估对象而言能够较好的理解，因此构造的矩阵的一致性比率均低于0.10，为有效数据。接下来将进行权重的计算。

由于问卷针对了四类不同类型的专家，因此在计算出所有评估对象的权重后，采取平均赋予专家权重的方式进行计算，即每类专家分别赋予25%的专家权重，最终各项指标的权重则为这四类专家赋予权重的加权平均值。

W=25%W₁+25%W₂+25%W₃+25%W₄

（2）

（4）层次总排序权重计算

在对判断矩阵进行层次单排序一致性检验后，还需要进行自上而下的整体权重的计算，即层次总排序权重计算。

设第k层n个因素相对于总目标的权重为Xn，第k+1层m个因素相对于第k层第n个因素的权重为Yn，那么第k+1层m个因素相对于最高层次目标的权重为：Wm=XnYn。

以主体风险中的项目组织风险B1为例，由上可知，B1风险指标对应的权重为X1=39.03%，其一级指标A1对应的权重为Y1=37.36%，按照Wm=XnYn，即可计算出项目组织指标B1相对于主体风险Al而言的权重为14.58%。

而后，对层次总排序权重进行一致性检验，最后使用规范列平均法将所得数据权重向量进行加权平均，归一化后得到最终指标体系，如图2所示。

五、指标应用

教育信息化项目的开展一般基于现实需要，如建设某一教育信息管理系统、完成市级、区级、校级的信息化硬件部署等。但是在具体实施的过程中，由于教育信息化项目具有特殊性，项目涉及人员多、关联的学科较广，顶层设计人员在实际风险管控中很难全面考虑潜在风险并加以量化。故而笔者根据上述风险指标评估体系的初步成果，针对一般的教育信息化项目，对风险指标评估体系在教育信息化项目中的应用提出一些思路和建议。

（一）项目风险评估

在项目正式启动前，项目负责人可以选取1-2位上级领导、3-5位项目管理人员、2-3名项目专家组成员、其他项目重点参与人员等，以风险指标评估体系为评估量表设计相应问卷，对项目进行风险发生概率的评估，可以将特定风险发生概率分为0、20%、40%、60%、80%和100%六项。在选取评估人员时，要考虑到政府推进项目时层级下达的特点，听取各级管理层的意见。如项目涉及到学校信息化建设落实层面，则可以选择学校主管信息化建设的校长、信息主管、实验教师（若有）等对项目风险进行评估。

综合上述人员对单项具体风险发生概率进行评估后，综合计算出每项风险发生概率的平均值进行参考。

（二）风险值计算

根据《风险评估指南》中风险的计算公式可知：

风险值（R_i）=风险发生概率（F_i）×风险影响程度（W_i）

（3）

其中，风险发生概率为第一步中通过各个不同层级人员综合考虑后确定的风险发生概率，风险影响程度（W_i）则为指标体系中的指标权重。在计算项目中的各个指标潜在风险与综合风险后，得到整个项目的风险值R。

我们假定按照3：4：3的原则将项目风险分为三个等级，Ⅰ级项目风险为初级风险，代表该项目实施风险较小，可以按照常态进行；Ⅱ级项目风险则为中级风险，需要对项目执行中存在的具体风险进行管控；Ⅲ级项目风险则为高风险，项目必须立刻停止实施，并及时对项目中存在的风险进行规避，直至风险值降到Ⅱ级风险后方可继续实施，具体风险值范围如表6所示。

（三）风险对策分析

项目管理层在获得风险评估结果后，首先应根据风险等级及各项指标风险值对项目风险做出描述性的说明。而后，按各项风险的风险值大小排名取5-8个风险指标进行具体的关联分析，并明确权责，制定相应的对策，以此作为参考依据对项目进行风险管控。值得说明的是，除了需要重视风险值高的风险，还需要特别关注发生概率高以及风险影响程度大的两类风险进行管控。

六、结束语

研究通過访谈、问卷调查、专家论证等方式从主体、客体、技术和政策法规四个方面建立了教育信息化项目风险评估指标体系，并针对该评估体系的应用给出了一定的方法和建议。通过相关案例研究发现，该评估体系能较好地对教育信息化项目风险进行测度，为教育信息化项目风险管控提供有效依据。

预知潜在风险只是风险管控的第一步，对于教育信息化项目而言，以该评估体系作为风险依据，深入探索教育信息化项目风险的原因与对策，进一步细化风险，以提升教育信息化项目的有效性才是风险管控的最终目标。另外，不同类型的项目存在的风险因素是不同的，如何在信息化项目推进进程中开展动态评估，对不同项目的不同风险进行规避策略的组合，这些方面还值得继续探索。