APP下载

教育信息化2.0视域下高等教育信息化发展水平评价研究*

2019-11-15李志河刘芷秀

远程教育杂志 2019年6期
关键词:指标体系指标水平

李志河 潘 霞 刘芷秀 伊 洁

(山西师范大学 教育科学学院,山西临汾 041000)

随着以人工智能、大数据和区块链等为代表的新一轮技术与各行各业的创新性融合,信息化已成为推动社会发展的基本动力。教育作为社会发展的重要领域之一,各类新技术的嵌入与应用,成为一种时代发展趋势,即教育的信息化发展,其已成为信息化社会持续发展的重要组成部分。教育信息化是教育现代化的核心特征与基本内涵,也是我国教育现代化“2035计划”的主要内容和显著标志,更是教育现代化快速发展的有效途径[1]。

2018年4月,教育部发布的《教育信息化2.0行动计划》指出,我国教育信息化从起步阶段过渡到融合与创新阶段,将以人才能力培养作为核心理念,借助智能技术重构教育体系,力促我国教育信息化的发展水平走向世界前列[2]。高等教育是培养和输出高素质、高层次人才的重要基地,它是我国发展成为人才资源强国、教育强国的关键,高等教育信息化业已成为我国教育信息化发展进程中的关键力量。因此,在教育信息化2.0背景下,构建科学合理、指向性较强的高等教育信息化发展水平评价体系,有利于在充分认识和掌握我国高等教育信息化发展水平现状的基础上,进一步改进和完善高等教育信息化,使其成为教育信息化迈向教育现代化历程中的助推器。

近年来,虽然我国高等教育信息化取得了较快的发展,但在新一代智能技术赋能教育的大趋势下,对高等教育信息化发展提出了新的要求。目前,一些制约我国高等教育信息化发展的瓶颈性问题正在显现。我们根据相关文献发现,目前,关于教育信息化的评价研究重点聚焦于中小学领域,对高等教育信息化评价的探讨较少;研究的区域化、地方化现象较为明显,评价内容更加注重信息化资源的投入与数量以及基础设施建设方面,呈现出重投入、轻产出,重结果、轻过程等不平衡现象;评价理念、评价指标项目及体系,仍停留于教育信息化1.0时代的思维和框架中。凡此种种,说明原有的评价依据、内容或框架,已经无法全面、清晰地用来评价具有更多技术融入、智能化和大数据化应用新特征的新时代高等教育信息化之发展要求。

为解决上述问题,我们认为,当下应急需在教育信息化2.0的前瞻性需求和新的社会发展形势下,从顶层设计的角度,结合现有的相关研究,把握当前我国教育信息化1.0转向教育信息化2.0时代之内在逻辑[3],构建一个具有引领性和发展性的高等教育信息化发展水平的评价指标体系,以系统、科学地评价我国高校教育信息化的发展水平,使其走向标准化、规范化和常态化,从而更好地服务广大高校的教学、科研和管理。因此,这项研究,对于推进我国高等教育信息化的发展,提升教育信息化工作的绩效,具有重要的现实意义。

一、教育信息化评价的相关概念及理论基础

(一)相关概念解析

教育信息化是指在教育领域合理、有效地运用现代信息技术,从而提高教育质量,促进教育改革。发展水平是一个抽象的概念,它强调事物的动态变化和不断更新,能较为准确地反映事物在不同阶段的发展状况。教育信息化发展水平,是从时间和空间、数量和质量以及技术和观念等维度,对教育信息化发展规模、速度和水准进行动态化描述,它涵盖了教育领域中人、物和政策等的信息化发展状况,不仅揭示了现代信息技术在教育中的应用情况,而且还涉及到信息化环境下教育思想、观念和模式等的转变和发展。教育信息化发展水平是衡量教育信息化发展状况和潜力的主要标志,也是开展各项教育信息化工作的核心指标,它有助于国家全面把握教育信息化的整体进展、发现短板和制定切实可行的教育信息化政策,以推动教育现代化的发展步伐。

鉴于我国教育系统的结构特征,目前,有关教育信息化发展水平的研究,主要聚焦于高等教育、基础教育和职业教育三大领域。相对来说,基础教育是一项以奠基性为主要特征的动态工程,因此,基础教育信息化发展水平,更多关注的是信息化基础设施、资源、教学、管理和师生技能等方面的整体状况。而侧重于培养高素质劳动者的职业教育,主要是从社会和经济发展角度来审视和衡量其信息化的发展水平。高等教育则是以教学、科研和社会服务为主要职责,高等教育的信息化发展水平,不仅包含了基础教育和职业教育所强调的信息化发展要素,而且尤其重视信息化科研创新,教学与科研的融合,以及促进发展和高素质信息化人才培养能力等方面的内容。因此,高等教育信息化发展水平的研究,是正确引导我国高等教育信息化高效、健康发展的重要依据,是实现高等教育现代化的引领性指标。

(二)相关理论基础

1.成熟度模型理论

成熟度模型理论源于美国卡内基·梅隆大学软件工程研究所在1987年提出的“能力成熟度模型”,其目的是为软件开发提供一个阶梯式的改进框架,用于评估与提高软件开发机构的能力。该理论基于评价主体的能力高低,将开发能力划分成五个成熟度等级,即初始级、可重复级、已定义级、已管理级和优化级[4]。成熟度模型描述了事物由低级向高级、从无序到有序的动态变化过程,其指标涉及到人、环境和管理等多个维度。事物的成熟度等级由关键过程域的实现决定,关键过程域又依赖于关键实践的达标,若干关键过程域可以组成关键过程类,这充分体现了成熟度等级判定过程的实践性和渐进性。此外,成熟度模型理论着眼于各相关领域的优秀实践,并将其作为开展评价的参考依据。

我们认为,教育信息化发展所面临的问题与软件开发过程中所存在的挑战具有诸多类似之处,在高等教育信息化发展水平评价指标体系的构建中,融入成熟度思想,有助于规范和优化评价指标体系。

2.准备度理论

保罗·赫塞(Paul Hersey)和肯·布兰查德(Kenneth Blanchard)于20世纪60年代首次提出的“准备度理论”,是指实施活动和促进发展所具备的意愿和能力水平[5]。随后,准备度理论在不同领域得到应用和发展,目前,有技术准备度、人力资源准备度和信息化准备度等。虽然准备度的类型不同,但其本质趋于一致,即强调对事物当前状态的描述和为实现预期目标所做准备的程度。

我们认为,构建高等教育信息化发展水平评价指标体系的目的,在于充分了解和掌握高校教育信息化的发展现状,为迈向教育现代化做好充分准备,这与准备度理论的核心内涵存在极大相似之处。因此,准备度理论对构建高等教育信息化发展水平的评价指标体系,具有重要的指导作用。

二、高等教育信息化评价研究现状

(一)国内外高等教育信息化评价研究现状

高等教育信息化是教育信息化的重要组成部分,教育信息化评价已成为国家或者地区教育信息化持续发展和质量保障的关键环节。目前,全球各国和组织对教育信息化评价的侧重点不尽相同,没有统一的指标体系或评价框架;已有的教育信息化评价,大多集中于教育信息化评价的框架研究和评价项目,主要有国际性组织和国家等两个层面。

联合国教科文组织(UNESCO)作为一个国际性组织机构,为了促进全球教育信息化的均衡发展,一直非常重视信息通讯技术(Information and Communication Technology,简称ICT)的教育应用,并把教育信息化评价指标,作为联合国教科文组织总部及分支机构研究领域的主要关注点之一[6]。“ICT促进发展伙伴关系联盟”十分注重ICT的核心指标建立和开展教育应用评价研究。通过建设定期滚动性的教育信息化评价机制,来评价本地区教育信息化的发展情况,准确和详细了解亟需改进的评价项目,不断对评价机制进行完善,并将其融入教育信息化规划和实施的整个过程,从而为有效推进本地区教育信息化发展,提供必要的保障[7]。

英、美、德、加、澳、日等发达国家,纷纷针对自身国情,制定了适合当地教育信息化发展的教育信息化评估体系,并定期进行修改和完善,有重点、有方向地促进其高等教育信息化的有效发展。其中,2001年在美国广泛应用的STaR评价量表,主要用于衡量美国各州的教育信息化水平,具有很好的实践性和可操作性。另外,英国SRF、加拿大PCEIP、日本以及韩国等国家的教育信息化评价指标框架和体系结构,均注重本国区域性教育信息化的应用和实践,注重推进各类学校教育信息化的发展。

教育信息化也是我国大力推进的重点任务之一,近年来,颁布和出台了诸多推动教育信息化发展的相关政策。2014年,教育部出台的《教育管理信息化建设与应用指南》明确指出,要推动教育评价的科学化、多样化和模式创新[8]。2016年发布的《教育信息化“十三五”规划》强调,高等教育应从科学研究、创新人才培养、社会服务和管理等方面入手,不断提升办学水平和人才培养质量。2018年,《教育信息化2.0行动计划》进一步提出,在高等教育信息化领域,要做好“百区千校万课”引领行动和实施“智慧教育创新发展行动”[9]……通过教育信息化发展水平评价,不断推进我国高等教育信息化从“重建设”的起步阶段向“重应用”的运用阶段转变[10]。

(二)相关的文献综述

1.学术论文及学位论文统计情况

我们以“中国知网”CNKI为主要的数据来源,来源类别设定为CSSCI或核心期刊,检索时间为2008年1月初至2018年12月底,按照主题检索的方式进行查询和整理。检索结果显示:CNKI在2008年到2018年这一时间段内,收录有关高等教育信息化评价的文献共有2099篇[11]。相关期刊等文献年度分布统计,如图1所示。

图1 高等教育信息化评价2008-2018年研究文献分布

近十年来,在以教育信息化水平为主题的文献中,大多数主要关注和研究评价内容,整体呈现上升和增长趋势,这表明,我国教育信息化发展势头良好。高等教育由于体量较小,其信息化评价虽然波动较小,但与教育信息化整体的上升和增长趋势相一致,这说明我国高等教育的增长态势良好。最近几年,尽管研究的结果不多,但同增同减的趋势表明,我国越来越重视高等教育的信息化研究。

2.评价指标体系的研究情况

我国教育信息化水平评价的整体研究情况,主要呈现以下两个特点:一是大部分文献关注中小学教育信息化的发展状况及评价体系,对高等教育信息化发展水平评价体系的研究相对较少;二是高等教育信息化水平评价体系,在呈现区域化的同时,缺乏国家政策要求的宏观层面和适合时代发展需要的指标及其体系结构[12]。我们通过对现有研究文献的梳理发现,虽然高等教育信息化水平评价的研究方法,在一级维度权重和评价指标内容方面不尽相同,但对教学资源数字化、管理信息化、基础设施、信息化应用和保障机制等方面,均有涉猎[13]。

基于国家教育信息化2.0的建设目标,我们综合、参考了已有相关研究的指标及体系结构,比如,周平红等人设计的教育信息化评价指标体系注重教育信息化的继承性和发展性,将通用性指标和关键核心指标有机结合起来,比较契合当前的教育信息化发展水平[14]。但由于该指标体系缺乏师生信息素养、教学与科研有机融合和智能创新性管理等方面的综合考虑,与教育信息化2.0的目标要求还是有一定差距。相关研究的比较情况,如表1所示。

表1 文献中高等教育信息化水平评价相关研究比较[15]

在教育信息化的发展进程中,教育信息化评价指标维度的数量在逐渐减少,对评价指标体系的不断修正与完善,反映了目前我国高等教育信息化水平的评价指标体系,正从元模型向基本评价模型转变,旨在运用有代表性且易于量化的评价指标,来展示高等教育信息化的整体发展状况。在构建指标体系的过程中,更加侧重于对数据进行收集、分析与比较[16]。另外,实施重点也由数字化教学资源转为教育信息化的战略地位,加大了校长的领导力作用等,如表2所示。

表2 文献中高等教育信息化水平评价指标体系各维度年度指标数

我国高等教育信息化发展水平与我国相关政策的引领密切相关。近年来,我国高等教育信息化的关注点,正由基础设施建设逐渐转向教与学应用,进而转向智能化教育等应用。《教育信息化十年发展规划(2011-2020年)》提出,推动信息技术与高等教育教学的深度融合,加强创新人才培养模式[17]。《教育信息化2.0行动计划》强调,高等教育教学应重视信息技术与教育教学、科学研究等方面的深度融合,深刻变革传统的教与学模式,并着力利用各种信息化手段提升师生的信息素养。因此,教师的教研、创新能力和师生信息素养能力指标,应成为高等教育信息化水平评价指标体系的核心指标,如图2所示。

图2 高等教育信息化发展水平评价指标体系演变

3.评价指标体系的实证研究

评价指标体系对高等教育信息化的建设和保障,具有一定的促进作用。陈永光在对高等师范院校教师教育技术能力水平进行深入考察的基础上,采用模糊评价的方法,构建了教师信息化教学能力的评价体系[18];周平红等人基于学生与计算机比值,对我国不同类别和层面的高校进行测评[19];程瑞红利用因子分析法,建立了“百名学生配教学用计算机台数、语音实验室座位数、校园网出口总带宽、网络信息点数和上网课程数”等五个指标体系,构建了高职院校教育信息化装备水平综合评价模型,并对北京市25所高职院校进行了实证研究[20];李青、王瑜等人参考和借鉴成熟度模型理论,构建了教育信息化的成熟度模型,并对国内12所知名大学的网络教育学院的信息化发展情况,开展了实证研究[21]。

我们认为,上述这些研究的区域特征比较明显,其指标缺乏前瞻性,而且,研究方法和具体指标结构存在一定的相似性。为此,构建一个具有发展性、前瞻性、动态性和通用性较强,并能够体现我国高等教育信息化发展需求的评价指标体系,具有一定迫切性与必要性。

三、高等教育信息化发展水平评价指标体系的设计

(一)设计原则

评价指标体系的设计原则一定要契合设计实践的需要。为使指标体系能全面、客观和准确地反映我国高等教育信息化转型发展的要求和动态特征[22],我们以成熟度模型理论和准备度理论为指导,在构建我国高等教育信息化发展水平的评价指标体系时,应遵循以下三个基本设计原则。

1.发展性原则

高等教育的动态发展性和循序渐进性,反映了高等教育信息化的评价指标体系是一个复杂的结构体系,它既要充分体现我国高等教育信息化前期的发展成果和基础;又要反映教育信息化1.0迈向2.0过程中的一些关键性指标。既要依据教育信息化2.0的发展要求,诊断当前我国高校教育信息化的发展水平,找到其短板和存在的问题;还要考虑未来教育信息化的发展目标和要求。从而使得高等教育信息化发展水平的评价指标体系,具有更强的通用性、前瞻性和应用性。

2.系统性原则

高等教育信息化指标体系应遵循一个指标体系结构,形成一套评价体系的基本构成框架。面对任何一个评价对象,体系结构要基于多级指标联动,以成熟度模型理论和准备度理论为科学依据,从评价目标出发筛选评价指标,通过指标的类属关系,进而确定各指标的层级及指标权重。

3.可实施原则

该指标体系应基于实践性特征,应充分考虑各项指标可采集的难易程度和可量化程度,客观合理地选取易操作、代表性强的指标,使得收集的指标数据不仅简洁易懂,具有综合性;而且实施性较强,能够全面而准确地评估高校教育信息化的发展水平。

(二)评价指标的筛选和确定

高等教育信息化评价在指引我国高校信息化建设健康发展的同时,更是对学校整体信息化体系运行和利用情况,进行合理、有效评价的手段。其指标初选,主要以成熟度模型理论和准备度理论为导向,指标检测和确定采取德尔菲法,并用非参数检验方法卡方和集群决策等方式来确定权重。

1.指标初选

我们充分比较了国内外有关高等教育信息化发展水平评价的典型项目、实践案例和文献[23],在综合考虑高等教育信息化发展过程中的人、环境、管理和应用等因素的基础上,将基础设施、教研创新、运行机制建设、智能管理服务、师生信息素养和网络安全保障机制这六个维度,作为一级指标(对应成熟度模型中的关键过程类)。结合准备度理论特征和当前评价高等教育信息化发展状况的一些通用性指标,通过多方面、多层次审视我国高等教育信息化的整体发展,构建了高等教育信息化发展水平评价指标体系的主要框架。

与此同时,基于教育信息化2.0时代对高等教育信息化发展的新要求以及我国高等教育由信息化迈向智能化应做的准备,需要进一步完善和修正评价指标体系。为此,我们融入具有前瞻性的理念和技术,设置了智能化管理服务等相关指标。这有利于我国高等教育信息化为应对未来发展做好准备,以评价、引导我国的高等教育不断向纵深发展。

因此,我们依据一级指标含义,细化分解出了30个二级指标(对应成熟度模型的关键过程域),二级指标下又设置了具体评价内容 (对应成熟度模型的关键实践域)。高层次指标的实现,有赖于低层次指标的实践和达标,最终依据目标达成情况,来判定高校教育信息化发展水平的等级。两者的对比关系,如图3所示。

图3 教育信息化指标与成熟度模型对比关系图

2.指标检测

我们初步选定指标后,成立专家评议组,邀请了国内20位相关领域的专家,采用德尔菲法。德尔菲法是一种用以判断和预测内容的最有效方法之一[24]。即以通信方式来征询特定领域专家 (匿名)的预测意见,经过循环征询,使其意见趋于一致;进而根据专家意见,对评价体系做出适当修改和完善。采用这种方法时,专家之间不会见面和交流,这可以大大免除权威性的干扰。而且,在每次反馈中,专家都可以进行更加深入的研究,使得最后结果能够最大程度反映专家的思想,使结果比较客观、可信度较好。

我们在进行两轮的问卷调研与专家评议的基础上,对比和分析了各个维度的“必要性”主流意见。依据指标体系构建的基本原则和要求,进一步确定此量表是否具有合理性和必要性。其中:每项指标中都包含“不确定”“不必要”和“必要”这三个选项,最后选取与专家所选择“必要”选项的趋同性达到90%以上者,作为评价量表的指标。

指标的确定,则经过了专家的两轮评议,在综合考虑两轮趋同性的基础上,采用非参数检验方法卡方(X2),对必要性主流意见进行差异检验,一级指标的差异性检验结果,如表3所示。

我们结合差异性检验和第二轮的评议情况,发现第二轮专家的评议结果,显现出较好的趋同性。在对第一轮专家的评议结果进行调整后,第二轮专家主流意见的比例(97.50%),明显高于第一轮评议意见的比例(86.80%)。六个维度在两轮评议后均未呈现出显著的差异,表明两轮的评议结果主流意见具有较高的趋同性,基本实现了研究的预期效果。

其他二级指标的确定方式类同一级指标,其中存在指标名称、指标标示不清楚和二次专家意见趋同低于90%的指标,都会删除或者调整指标名称。如,“网络教学平台”趋同意见为82%,低于90%;经过再次征询专家意见,专家认为“网络教学平台”应该属于智能管理服务的一部分,不需要划分得过细。为此,我们将该指标删除。

3.指标确定

根据上述步骤,我们确定了高等教育信息化发展水平的评价指标体系,由6个一级指标、30个二级指标构成,如表4所示。

表3 专家评议情况及检验结果

表4 高等教育信息化发展水平评价指标体系

其中一级指标的含义及二级指标说明如下:

(1)运行机制建设指标,主要是指在推进高等教育信息化建设中,相关部门的专业人员、顶层设计和组织建设等情况,目的是为有效实施高等教育信息化提供有力的保障机制,包括财力资源、发展系统整体规划、信息化建设的主管部门与专业机构力量。

(2)基础设施指标,主要是指支撑高等教育信息化教学和资源获取与共享顺利进行的硬件和软件,体现了在确保高校信息化基础设施建设的条件下,高校信息化的设施投入与完善水平,包括智慧校园环境设备配置、完善与建设、校园网情况等。

(3)教研创新指标,主要指高校教学与科研等和信息技术的融合与应用情况,体现了高校教师运用信息化进行教学的水平和科研项目的建设成果,以及人才培养模式,包括教学模式创新、认证模式创新、教育大数据开放等。

(4)师生信息素养指标,是指教育信息化进程中教学主体适应信息社会需求的情况,反映了高校教师和学生应用新技术解决问题的状态,包括资源整合与应用、适应并应用新技术、信息道德和责任。

(5)智能管理服务指标,是指利用信息化手段对高校的教学、行政和教务等进行管理,反映了高等教育在信息化管理层面的整体情况,包括信息化数据库的重构与建设、综合办公管理信息化、管理体制标准规范、教育资源外联支持服务。

(6)网络安全保障机制指标,是指高等教育信息化建设能否可持续发展的一些保障条件,体现了高校在信息化安全措施方面的防范与实施情况,包括责任制度与问责机制、信息安全建设等。

四、高等教育信息化发展水平之评价指标体系权重的确定

层次分析法是一种确定权重的通用方法,依据所要研究的复杂决策问题的性质和需要实现的目标,依照各层次间的隶属关系来建构结构模型。即运用特征根检验、一致性检验和矩阵构造等方法,结合数理统计与专家的主观评价意见,把数量化、数字化决策过程与定量与定性分析相融合的一种方法[25]。

鉴于在构建高等教育信息化发展水平评价指标体系的过程中,所涉及到的因素相对较多,搭建的层次结构模型较为复杂,利用传统方法对权重进行计算,比较费时、费力;同时,也较难准确地分析数据。为此,我们在本研究中选取yaahp软件,来计算评价指标的权重。yaahp是一种融合了模糊综合评价法和层次分析法的综合性评价辅助软件,它能够更好地保证指标权重计算的高效性和合理性。

(一)构建高等教育信息化发展水平评价AHP递阶层次结构

在构建高等教育信息化发展水平的评价体系AHP递阶层次结构模型中,各层相互之间具有一定的隶属关系。其中,高等教育信息化发展水平评价指标体系是目标层,即总体的决策目标;中间层是准则层,即为一级指标;方案层为二级指标,最终形成如图4所示的层次结构模型。

(二)构造各指标间的比较判断矩阵

我们在AHP递阶层次结构的基础上,依据各层元素之间的隶属关系,分别进行两两比较,构造了各指标间的比较判断矩阵。考虑到专家对评价指标权重判断的难度,一般采取“7±2”九分位,为相关重要程度标度,从而构成专家判断矩阵。特意邀请了10位专家,对各指标项的重要程度进行了打分:首先,运用层次分析法中的和法展现数据处理和计算整个过程,然后,采用yaahp软件统计与分析10位专家的综合权重。由此,获得比较合理和科学依据的群专家决策权重值[26]。

(三)进行矩阵内部的一致性检验

我们通过计算指标的特征根λmax与相对权重列向量ω进行矩阵内部一致性检验,如果矩阵比较结果相对于一致性比值差异较大,就会导致指标布局的不合理性,指标权重总和无法等于1问题,这样会导致指标权重与判断矩阵失去意义。

为此,将 CI(一致性指标)、RI(随机一致性指标)和CR(随机一致性指标比率)这三个变量,引入到层次分析法中,三者之间的换算公式是:≤0.1,CI的计算公式为:。当CR≦0.1时,说明判断矩阵的一致性较好,获取值较为合理;当CR值>0.1时,表示没有通过一致性检验,需将矩阵的元素值调整至CR≦0.1。

(四)整体的一致性检验

为了确定各层元素与评价指标体系权重之间的一致性问题,我们对指标体系的所有指标进行了整体的一致性检验。当CR(n)≤0.1时,即为指标体系符合一致性的检验要求,也表明该指标体系及指标权重赋值是合理的。依此,我们确定了高等教育信息化发展水平评价指标权重值及体系,如表5所示。

图4 高等教育信息化发展水平评价体系的层次结构模型

表5 高等教育信息化发展水平评价指标体系

五、基于S大学教育信息化发展水平的实证研究

我们依据上述 “高等教育信息化发展水平评价指标体系”,设计了调查问卷,结合专家访谈,对山西省省属重点S大学的教育信息化建设情况与应用水平,进行了实证研究。调研和访谈对象为S大学的教务管理人员、部分专任教师和网络管理人员。

调查共分两个阶段:第一个阶段是试测阶段,调查问卷的总发放量为150份,回收了145份,剔除其中的无效问卷5份,有效问卷为140份,有效率是93.3%。在此基础上,检测了问卷的信度和效度情况。第二个阶段是正测阶段,共计发放问卷365份,回收有效问卷358份,有效率为98.08%。访谈是在调研后进行的,主要是针对调研结果,对相关人员进行了补充性和验证性的访谈。另外,我们还约请学校信息化建设的相关负责人和部门管理人员实地参观了学校教育信息化的主要设备和应用场所,如,网络信息中心、多媒体教室调度中心、一卡通中心、智慧教室以及数字校园综合处理中心等。

(一)信效度检验

信度分析主要是对定量数据进行研究,特别是用于分析态度量表题回答的准确性与可靠性[27]。根据相关测量与统计学的理论,各个维度间的相关系数在0.10-0.60之间的调查问卷结构较为良好,各维度和总分间的相关系数处于0.30-0.80之间则最好。

在本次的调查研究中,各个维度间的相关系数均在0.64-0.85之间,各维度与总分间的相关系数在0.87-0.94之间,符合测量和统计学理论的基本要求。由此判定,该调查问卷的结构效度较为良好。S大学教育信息化发展水平评价体系的各项信度系数,如表6所示,可看出各项信度系数值均高于0.8,说明数据信度质量较高。

表6 教育信息化发展水平评价体系S大学测试信度系数

(二)S大学教育信息化发展水平等级情况

依据成熟度模型理论的核心思想,我们将高等教育信息化发展水平的总体得分在[4.50~5.00]区间内,设置为“优”;得分位于[3.50~4.50]区间内,设置为“良”;得分在[2.50~3.50]区间内,设置为“中”;得分位于[1.50~2.50]区间内,设置为“较差”;得分在[1.00~1.50]区间内,设置为“差”。

根据计算加权平均值的方法,首先,对S大学的358名教师在各题项中的等级选择情况进行统计,计算出每一个题项选择不同等级的教师人数;其次,按照算数平均值的计算方法,计算出S大学的358名教师在每一个题项中的算数平均数;然后,依据等级评定法中的每一题项的权重值,得出每个题项权重后的平均分;再对各题项进行权重赋值,并与平均得分求和。最终结果显示:S大学的教育信息化发展水平得分是3.81。这表明,S大学教育信息化总体水平呈中等偏上,状态良好。

(三)S大学教育信息化发展水平呈正态分布

首先,我们对参与调研教师的调查问卷题项的得分进行合并与评分。然后,根据各个题项的权重值,用每一位教师在每一题项的得分,乘以相应的权重值,累计计算出每一位调查者所有题项加权重后的得分。依次类推,计算出教师的加权得分。最后,根据高等教育信息化发展水平的等级评定标准,确定不同评价等级水平教师的人数分布。

S大学的教育信息化发展水平,呈现的是以“良”为对称轴的正态分布图,如图5所示。调查结果说明,S大学教育信息化的整体发展水平良好。S大学的教育信息化发展水平等级分布直方图中的均值M=3.650,得分位于[3.50~4.50]区间,证实了评价指标权重加权平均的结果3.81。

图5 S大学教育信息化发展水平等级分布直方图

总体来看,S大学的教育信息化发展水平还不太高。虽然在CIO责任制机制(M=4.78)、智能管理服务(M=4.66)、无线网络覆盖(M=4.82)、教务教学管理系统建设与应用情况(M=3.92)以及网络安全保障机制(4.90)的均值得分比较高,然而在云教室与共享社区建设(M=2.62)、智慧学习支撑环境(M=2.33)、教学模式创新(M=3.30)、学习模式创新(M=3.03)、学业认证模式(M=2.23)、师生信息素养(M=3.44)以及智慧校园一体化(M=2.77)等重要的指标方面,还需要加大力度,提升信息化的应用程度,以符合教育信息化2.0规划所提出的发展目标。

这一结果表明,S大学教育信息化发展状况的调研结果与该大学教育信息化发展水平契合度较高,这既反映了S大学教育信息化现状,又在一定程度上反映了这一评价指标体系的科学性与合理性。另外,S大学教育信息化各指标调研数据的加权平均值,较好地呈现了S大学的教育信息化现状和亟需提升的指标项目:S大学的教育信息化呈现中等发展水平,在今后几年内要加强教学模式创新、云教室与共享社区建设、智慧学习支撑环境、学业认证模式以及智慧校园一体化建设等方面的工作。

我们对S大学相关人员的回访和实地考察结果显示,“高等教育信息化发展水平评价指标体系”很好地反映了S大学教育信息化的实际发展状况,调研数据与该校教育信息化的真实情况趋于一致,这也进一步验证了 “高等教育信息化发展水平评价指标体系”的可适用性、科学性和可靠性。

六、总结

本研究基于发展性、系统性和可实践性的指标体系构建原则,以成熟度模型理论和准备度理论为依据,深度剖析和借鉴前期的相关研究,针对已有指标体系缺乏时代性、前瞻性和动态发展性等方面的不足,参考准备度理论所延伸出的人才准备度、资源准备度和信息化准备度等,针对教育信息化2.0提出的目标,综合考虑高等教育中智能技术和大数据等新技术的运用和发展程度以及未来前景等,筛选和确定了相关评价指标。同时,利用成熟度模型理论中的等级进阶原理,对指标层次和逻辑结构进行了调整和规范。通过德尔菲法和层次分析法等研究工具,检测、修正和完善了指标体系结构,最终构建了由6个一级指标,30个二级指标所组成的 “高等教育信息化发展水平评价指标体系”。

该评价指标体系在S大学的实际验证中,也体现了其良好的适应性,能够较好地评估S大学当前高等教育信息化发展的层次和水平,明确了S大学在信息化建设和应用方面的不足与后续努力方向。这不仅为在更大的范围推广和应用该评价指标体系,提供了较好的例证;同时,也为教育信息化的主管部门与其他院校,提供了可参考的依据。

但鉴于本研究所聚焦的高校的类型和层次较为单一,整体性代表意义具有一定的局限性,后续研究将适当扩充院校样本,尽可能涵盖不同类型和层次的高校进行实践性验证,以不断修正相关指标与权重等,从而保证该评价指标体系的通用性和有效性。

猜你喜欢

指标体系指标水平
一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性
2022城市商业魅力指标体系
张水平作品
主要宏观经济指标及债券指标统计表
作家葛水平
网络空间攻防对联合作战体系支援度评估指标体系构建
加强上下联动 提升人大履职水平
最新引用指标
莫让指标改变初衷
层次分析法在生态系统健康评价指标体系中的应用