基于用户视角的教学管理信息化建设绩效评价

2018-05-14黄波朱昌平黄健元李峰

中国电化教育 2018年9期

黄波朱昌平黄健元李峰

摘要：教学管理信息化建设是高校数字化校园建设的重要组成部分，作为建设对象的教学管理信息系统是师生使用最频繁、登录人数最多、涉及面最广的教学管理业务平台，体现了高校教学管理信息化水平。在教学管理信息化建设的立项招标、实施管理、结项验收、升级维护等各个环节，如何控制风险，提高效率，实现建设项目综合绩效最大化，是用户最关切的问题。运用层次分析法，从用户视角构建了教学管理信息化建设绩效评价指标体系，建立了综合绩效评价模型，分析了教学管理信息化建设绩效评价结果。通过对教学管理信息系统立项招标阶段的绩效评价案例应用分析，表明该指标体系和评价模型在教学管理信息化建设绩效评价过程中简单易行，可靠有效。该评价指标体系和模型为高校在教学管理信息化建设过程中实现风险控制、进行综合绩效评价和科学决策提供了理论依据。

关键词：教学管理信息化；绩效评价；教学管理信息系统；层次分析法

中图分类号：CJ434

文献标识码：A

2018年4月教育部发布的《教育信息化2.0行动计划》中指出， “完善教育管理信息化顶层设计” “提高教育管理信息化水平” “优化教育业务管理信息系统，深化教育大数据应用，全面提升教育管理信息化支撑教育业务管理、政务服务、教学管理等工作的能力”。中国电化教育事业奠基人南国农先生早在2002年就指出，教育管理信息化建设是我国教育信息化建设的三大领域之一，主要任务是建立和完善学校教育管理信息系统，实现各级教育管理目标[1]。在《教育信息化2.0行动计划》中，将教育管理信息化作为“教育治理能力优化行动”的主要内容，体现了新时代教育管理信息化对提升高校教育管理水平、提高综合治理能力、促进教育现代化的重要作用。

众所周知，教学管理是高校教育管理的重要部分，是进行人才培养的主要管理职能。教学管理工作具有专业性强、数据量大、关联度高和重复劳动多等特点，早期的教学管理事务全部或部分依赖人工操作，随着高校办学规模的扩大，教学管理要求的提高和教育教学改革的推进，面对成倍增加的教学管理数据和信息，传统的人工操作或低水平信息化管理模式，已无法实现教学管理大数据对教育教学改革的保障和决策作用。因此，从上世紀八十年代开始，信息技术（Information Technology）与教育教学开始融合，由最初的工具和手段，逐渐融入到人才培养和教育教学的全过程[2]。

教学管理信息化将高校教学管理人员从大量繁琐、复杂的数据处理和报表展示等工作中解放出来，同时，通过教学管理数据挖掘为决策层制订政策提供参考和依据。相对其他业务管理，高校教学管理信息化建设具有周期长、环节多、与校内其他业务系统对接和数据共享频繁等特点，建设过程中容易出现业务功能无法实现，系统安全系数偏低，建设经费超预算等风险源[3]，因风险失控极易导致教学管理信息化项目建设任务无法按期完成、建设目标无法全部实现、结项验收无限延期、售后服务没有保障等问题。因此，科学有效的教学管理信息化建设绩效评价，是管控建设风险、保障教学管理信息化可持续发展的基础和前提。

国内外大量的机构和专家、学者对教育信息化评价的框架、方法和指标进行了研究，如世界银行信息项目促进发展项目组（infoDev）、联合国教科文组织（UNESCO）、英国的学校信息化自我评估组织（The Self-review Framework.SRF）和美国的高校信息化项目组（Campus Computing Project，CCP），以及R.L.Nolan（1993）[4]、W.R.Synnott（1987）[5]、Mische（1999）[6]等，主要针对教育信息化项目中的硬件设备、信息资源和发展阶段模型等提出了评估办法，其中美国高校信息化项目（CCP）的评价框架根据学校信息化建设的重点不同而适时调整。近年来，随着国内信息技术的发展，以及信息技术与教育教学的深度融合，教育信息化绩效评价已成为当前教育技术研究领域的前沿和热点。国内的教育信息化评价模型主要有“六要素模型”[7]、CIPO模型[8]和平衡记分卡模型[9]等。在评价指标方面，联合国教科文组织（UNESCO）应用绩效评价指标，从定性和定量两个方面、三个层次对世界各国教育信息化应用情况的评价指标进行了分析，美国的STaR评估量表[10]、英国的SRF[11]分别从四个维度、六个要素对学校信息化进行评价。国内学者魏理豪（2014）[12]、谢幼如（2015）[13]、田生湖（2018）[14]、岳洪江（2016）[15]等分别从不同视角、多种维度，采用各种方法构建了教育信息化建设和应用绩效评价的指标体系。

根据信息化发展阶段理论模型[16]，教学管理信息化是一个动态的过程，一般可分为系统建设和系统应用两个阶段。综合文献整理和调研情况发现，信息化绩效评价是当前信息化领域的研究热点，但大部分研究成果都集中在信息系统的应用绩效评价上，对建设绩效评价不多，专门针对教学管理信息化建设的绩效评价研究极少。在评价指标方面，大而全、宏观层面的指标体系居多，小而精、中（微）观层面、针对性强的教学管理信息化建设绩效评价指标体系和模型缺乏。通常情况下，教学管理信息化建设常见的有三种模式：高校自主开发建设模式（简称“自主模式”）、软件供应商提供标准版教学管理信息系统模式（简称“标准模式”）和高校和软件供应商联合建设模式（简称“共建模式”）。为找出影响教学管理信息化建设绩效的主要因素和一般规律，通过对三种模式的利弊分析，选择大部分高校采用的“共建模式”开展绩效评价研究。

通过构建教学管理信息化建设绩效评价指标体系和综合评价模型，为用户在教学管理信息化建设过程中实现风险控制、开展绩效综合评价和科学决策提供理论依据。

一、教学管理信息化建设绩效评价的内涵及特点

（一）绩效评价与教学管理信息化绩效评价

绩效评价（Performance Measurement.PM）的概念最早源自西方工业社会，指基于目标对过程、结果的评判与衡量。在管理学中，绩效评价的过程为：根据评价指标体系，综合运用数理方法，开展定性定量分析，对过程和效果作出综合评判[17]。新时代教育信息化的内涵是，将信息技术作为教育系统性变革的内生力量，促进信息技术与教育深度融合，推动教育现代化发展。教学管理信息化建设是教育信息化建设的组成部分，与教学管理信息化应用共同组成教学管理教育信息化的主要内容。教学管理信息化建设绩效评价是指，信息技术与教学管理深度融合过程中，借助于教学管理信息化建设绩效评价指标体系，对建设实施过程中所产生的效益进行客观、公正和准确的综合评判。

根據层次分析法建模原则，在调研和专家打分的基础上，依次得到准则层，以及“系统性能”“服务质量”“经济因素”的一致性检验情况（如表2所示）。

再次，进行层次单排序。在本评价指标体系中，即为计算3个一级指标Bl，B2，B3对总目标A重要性次序的权值，以及7个二级指标Bll，B12，…，B17对一级指标Bl，5个二级指标级B21，B22，…，B25对一级指标B2，4个二级指标级B31，B32，…，B34对一级指标B3重要性次序的权值。

最后，进行层次总排序。通过上述从上到下的逐层计算，已得出相邻两层中下层对上层的相对重要性排序值，通过公式3构建的综合绩效评价模型，可计算出二级指标B_ij二级对于总目标A的相对重要性总排序（如表3所示）。

公式3中，Wi为Bi对应的相对权重，Wij为Bi中第j个评价指标Cij对应的相对权重。

（五）结果分析

从教学管理信息化建设绩效评价的指标体系二级指标对总目标的合成权重及排序结果可以看出：

通过层次总排序可看出，在一级指标中， “系统性能B1”和“服务质量B2”所占权重远超“经济因素B3”，说明随着高校对信息化工作的重视，愿意加大信息化建设投入。同时，各信息化建设单位，对教学管理信息系统的性能、软件供应商的服务质量提出了更高要求，要求软件供应商提供性能更优越、服务质量更高的教学管理信息化产品。

排序前50%的二级指标依次为“系统架构Cll” “固定技服C25” “响应时间C21” “数据并发C12”“报价总额C31”“开发方式C22”“系统安全C13”和“用户体验C14”，权重之和达总权重的84%，说明在教学管理信息化建设中，这些因素是影响教学管理信息化建设效果的核心因素，用户应重点关注，并采取必要的措施降低建设风险，提高建设效率。

排序后50%的指标为影响教学管理信息化建设效果的主要因素，是经过调研、案例实践和专家论证筛选出的，针对不同教学管理信息化建设项目或随着技术进步，有的指标重要性将进一步加强。如排序第11的“订制功能C15”指标，随国家“双一流”建设的实施，许多学校都相继推出了“一流本科行动计划”或“一流人才培养计划”，吹响了新一轮教育教学改革的号角，对高校教学管理信息化提出了新要求。为满足这些新要求，标准版的教学管理信息系统功能必须进行改进、优化甚至订制开发，因此， “订制功能C15”指标重要性提升也是教学管理信息化发展的必然趋势。

三、案例应用与分析

H高校因信息化建设需要，需进行新综合教学管理信息系统立项建设，经用户前期市场调研、项目可行性分析等流程，现进入软件供应商招标采购环节，经初步审核，共有3家软件公司（A、B、C）符合应标条件。3家公司都是国内知名的教育信息化软件供应商，在国内市场占有较大份额，其中A公司是近几年来发展迅猛的综合性的教育信息化软件供应商，除教学管理信息系统外，业务范围覆盖数字化校园多个业务领域，B公司和C公司以教学管理信息软件为主，有多年的教学管理信息系统研发经验。招投标之前，3家公司业务人员均向用户介绍了各自研发的教学管理信息系统产品。招标过程中，由用户代表、信息化专家组成的招标专家考评组，根据投标文件及现场质询，对3家公司进行了综合测评。对每个指标的评价分为5个等级，用“5分” “4分”“3分” “2分”“1分”分别对应“好”“较好”“中等”“较差” “差”。由多名专家对每家公司的每个指标进行评分后取平均值。综合评价得分为：

公式4中，F为该公司综合得分，Wi为每个评价指标对应的权重，为专家对该评价指标打分的平均值，n为评价指标的数量。通过综合评价可以看出，B公司的综合绩效评价得分高，建议B公司承担该校的教学管理信息管理信息化建设（如表4所示）。

除了上述的立项招标环节，在教学管理信息化建设实施、运行管理、升级维护的各个环节，都可以参考此流程进行绩效综合评价。在建设实施过程中，可以通过对照建设目标和实施实况，进行绩效评估后控制项目的建设风险，改变项目尾款的支付方式和结项验收时间，提高项目建设效率。在运行管理过程中，通过分析绩效评价指标体系中各指标的权重值，明确项目运行管理的重点，制订有针对性的教学管理信息系统运行管理方案。在教学管理信息系统升级维护等后续建设管理过程中，能参考教学管理信息化建设项目实际建设的绩效评价情况，确定教学管理信息化升级维保单位。

四、结语

教学管理信息化建设伴随着高校教育教学改革的不断推进，系统的架构将越来越复杂，功能越来越繁多，与其他业务系统进行数据共享和系统对接将是未来教学管理信息化发展的主流趋势。从用户视角对教学管理信息化建设阶段的综合绩效评价构建科学指标体系和模型，可以实现建设过程中的风险控制和科学决策，对提高高校教学管理水平、保障教学改革顺利进行奠定了基础。

参考文献：

[1]南国农.教育信息化建设的几个理论和实际问题（上）[J]电化教育研究，2002，（11）：3-6.

[2]王正青.唐晓玲.信息技术与教学深度融合的动力逻辑与推进路径研究[J]电化教育研究，2017，（12）：59-65.

[3]饯冬明，罗安妮等.教育信息化项目风险评估指标体系的构建[J]中国电化教育，2017，（1）：94-100.

[4] Nolan R L_croson D C，Seger K N.The Stages Theory：A Frame work forIT Adoption and OrganizationaILearning[M].Bos[on：Harvard.BusinessSchool Puhling，1993.

[5] Synnott William R. The Information Weapon： Winningcuslomers andMarket With Technology[M].New York：Wiley，1987.

[6] Mische Michael A. Reengineering：System Integration Success[M].JohnWyzalek，1999.

[7]吕新奎中国教育信息化[M].北京：电子工业出版社，2002.

[8]张进宝.从“六要素模型”到“CIPO”模型：教育信息化研究思路的再審视[J].中国电化教育，2008，（10）：5-9.

[9]顾小清，林阳等.区域教育信息化效益评估模型构建[J]中国电化教育，2007，（5）：23-27.

[10] TheCEO forum school technology and technology report[DB/OL].http：//www2.uca.es /lace/documentos/99report.pdf，2018-03-20.

[11]王炜，黄黎凶.国内外基础教育信息化评估述评[J]中国信息技术教育，2008，（12）：13-15

[12]魏理豪，王甜等基于层次分析法的信息系统实用化评价研究[J]科技通报，2014，30（2）：143-146.

[13]谢幼如，常亚洁.绩效导向的教育信息化评价模型的构建[J]中国电化教育，2015，（1）：56-60.

[14]田生湖，姚建峰等.高校教育信息化治理绩效评价研究[J]电化教育研究，2018，（3）：29-34.

[15]岳洪江，徐欢基于期望一满意测评的高校信息系统绩效评价研究[J]现代情报，2016，36（7）：51-57.

[16]张聪.高校教育信息化评估的成熟度模型建构及其应用研究——以河南省高校为例[D]上海：上海外围语大学，2017.