中小学校教育数字化转型成熟度评价指标体系构建及测度方法
2024-05-17许秋璇吴永和戴岭
许秋璇 吴永和 戴岭
[摘 要] 教育数字化转型测评是引领和推动学校开展数字化转型实践活动的必要手段,缺乏实用的评价指标体系很大程度上制约学校教育数字化转型的持续发展。文章首先基于成熟度评价视角,采用内容分析法进行指标遴选,经过德尔菲法两轮专家征询修正指标,运用层次分析法确定指标权重后,构建出一套中小学校教育数字化转型成熟度评价指标体系(包括发展规划、基础设施、数据治理、教育应用、发展成效5个一级指标,15个二级指标,47个观测点)。其次,将中小学校教育数字化转型发展划分为初始、成长、稳健、优化和引领5个成熟度等级,并对观测点的相应等级特征进行描述,明确评价基准。最后,从实践应用出发,提出一种操作性较强的中小学校教育数字化转型成熟度测度方法,以此刻画学校教育数字化转型发展整体水平和持续改进方向。
[关键词] 教育数字化转型; 中小学校; 成熟度评价; 指标体系; 德尔菲法; 层次分析法
[中图分类号] G434 [文献标志码] A
[作者简介] 许秋璇(1996—),女,湖北鄂州人。博士研究生,主要从事教育数字化转型研究。E-mail:571147179@qq.com。吴永和为通讯作者,E-mail:yhwu@deit.ecnu.edu.cn。
一、引 言
作为应对全球教育危机和推动教育可持续发展的重要战略,教育数字化已成为未来教育变革的主要趋势。2024年,全国教育工作会议提出“不断开辟教育数字化新赛道”[1]。学校教育数字化转型旨在实现学校治理和教育实践的全面升级,以此推动学校向数字化、智慧化方向发展。尽管我国在数字化赋能基础教育提质增效方面取得了阶段性成效,但多数中小学校还处于数字化转型发展的初级阶段[2]。如何有效评估和推进中小学校教育数字化转型实践成为基础教育数字化转型进程中迫切需要解决的问题。
教育改革方向的把握和高质量发展目标的达成有赖于科学的教育评价导向。2020年,中共中央、国务院印发《深化新时代教育评价改革总体方案》指出,“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价”[3]。只有对学校教育数字化转型过程进行科学合理的评价,才能发挥其诊断、预测和激励等一系列功能。然而,当前缺少适合中小学校教育数字化转型发展的相关标准和评价工具,导致学校教育数字化转型实践路径模糊,一定程度上阻碍了学校教育数字化转型升级的步伐。成熟度评价是引领和推动学校开展数字化实践的发展性、增值性和过程性评价方式,更关注学校内涵发展。对此,构建一套适合中小学校教育数字化转型的成熟度评价体系,有助于学校自身持续改进或第三方测评机构科学评价转型过程,助力数字化赋能中小学校教育高质量发展。
二、学校教育数字化转型评价研究综述
自2022年教育部提出“實施教育数字化战略行动”以来,我国学者对教育数字化转型内涵进行了广泛讨论,主要有三个认识视角:(1)创变视角,认为教育数字化转型是将数字技术整合到教育领域的各个层面,推动教育组织转变教学范式、组织架构、教学过程、评价方式等全方位的创新与变革[4];(2)过程视角,认为教育数字化转型是建立人、技术、教育实践之间的整体平衡与和谐关系,实现以数字信息为基础设施和支撑工具,面向创新人才培养的教育变化过程[5];(3)生态视角,强调教育数字化转型不应只关注如何使用数据或技术,更重要的是打造满足学习者个性发展需求,实现终身学习与教育优质公平发展,形成具有开放性、适应性、柔韧性、永续性的良好智慧教育新生态[6]。我们认为,转型既是一个过程,也是一种结果,是主体主动求变,经历长期变革,逐渐达到预期的状态或结果。由此,教育数字化转型是在价值愿景、技术发展和业务需求等多维因素联合驱动下,利用数字技术、数据要素与教育系统要素的深度融合,造就教育环境、组织、流程、模式和文化等各领域的价值网络,提升教育系统的运行活力和服务价值,以促进教育生态系统结构、功能和文化发生质的改变。
相对于其他领域数字化转型评价的研究,国内关于教育数字化转型评价的研究成果较少,主要集中于教育数字化转型成熟度评估模型研究方面。例如:钟志贤等基于国内外文献的系统分析,提出构建我国教育数字化转型成熟度评估模型的五大思考维度[7];祝智庭等提出了教育数字化转型的六维成熟度模型[8];吴永和等构建了包含5个关键过程域、18个子关键域和5个成熟度等级的教育数字化转型成熟度模型[9]。这些研究在充分借鉴其他领域数字化成熟度模型的基础上,结合教育数字化转型的独特性和复杂性,分析成熟度评价用于教育数字化转型领域的适切性,提炼出教育数字化转型成熟度评价的主要维度,对学校教育数字化转型测评的研究具有较高的参考价值。
学校教育数字化转型是学校适应外部数字时代发展环境和内部创新人才培养模式发展需求的过程[10]。目前,国外围绕学校教育数字化转型成熟度评价的研究多集中在高等教育阶段,例如:Rodríguez-Abitia和Bribiesca-Correa构建了高校数字化转型多维整合模型[11]等。少数研究者对中小学校数字化转型成熟度评价进行探索,例如:Ilom?覿ki和Lakkala提出了创新型数字化学校模型,并在三所基础教育学校进行评估应用[12];Redjep等开发了用于评估中小学校数字化成熟度的框架和工具[13]。国内部分学者也逐渐关注学校教育数字化转型的评价研究,例如:申国昌等构建了中小学数字校园管理指数评价指标体系[14];郁晓华等构建了教育数字化转型下的学校CIO能力体系[15]。这些研究主要聚焦于学校数字化转型派生的分支要素设计评价指标体系,未能完整细致地刻画出学校教育数字化转型发展过程的全貌,并且缺乏具有较强实践指导性和可操作性的测度方法。
综上所述,学校作为教育数字化转型实践的主阵地,是我国教育数字化战略行动实施的重要主体。深入探索学校教育数字化转型评价的新构念、新工具和新方法,对于明确学校数字化转型目标规划,判定转型发展水平,评估发展成效,进而提出优化改进路径具有实践价值。鉴于成熟度评价优势以及我国基础教育领域缺乏学校数字化转型成熟度评价工具的现实诉求,本研究试图研制一套适合中小学校教育数字化转型成熟度评价的指标体系和具体测度方法,引导我国中小学校教育数字化转型朝着良性、有序方向发展。
三、中小学校教育数字化转型成熟度评价指标
体系构建
中小学校教育数字化转型评价是深化新时代教育评价改革的迫切需求,关键在于学校教育结果评价、过程评价、增值评价、综合评价等全方位的突破性、全局性创新,实现学校教育体系的时代变革[16]。研究依据导向性、发展性、普适性、系统性和可行性等构建原则,以优化学校内部治理、促进学校教育高质量发展为价值取向,研制中小学校教育数字化转型评价指标体系。
(一)评价指标体系的设计
1. 评价指标体系的构建原则
本研究在指标选取的过程中,主要遵循以下基本原则:(1)导向性原则,构建中小学校教育数字化转型成熟度评价指标体系要始终紧扣国家教育数字化战略,结合学校发展现实条件,以提高育人质量(优质)、促进学校优质资源共享(公平)和实现学校治理现代化(高效)为价值导向[17];(2)发展性原则,教育数字化转型是一个动态发展、持续进化的过程,指标选取时应兼顾静态指标与动态指标相结合,利用静态指标反映学校教育数字化发展的现状,同时利用动态指标预测学校教育数字化转型的发展趋势和潜力;(3)普适性原则,各评价指标及观测点应在各级各类学校之间具有普遍适用性,以方便对评价数据进行差异性分析;(4)系统性原则,指标体系应能统筹学校教育创新系统中各个主体与相关要素,尽可能全面地揭示中小学校教育数字化转型的全貌;(5)可行性原则,指标选取应考虑数据采集的难易程度及指标量化的可操作性,以确保测评过程的可实施性和测评结果的科学有效。
2. 评价指标体系的制定依据
本研究指标体系的初步制定主要从两方面寻找理论依据和要素来源:一是国家政策文件中与教育数字化转型相关的内容;二是学校教育数字化转型微观要素的相关评价研究论文。通过内容分析法梳理相关政策文件和核心论文,见表1,发现其主要涵盖发展规划、基础设施、数据治理、教育应用、发展成效等要素,这为确定中小学校教育数字化转型成熟度评价指标体系结构奠定了基础。
3. 评价指标体系结构的设计
本研究采用一级指标、二级指标及观测点的层次结构。以“技术赋能、数据驱动、业务为核、以人为本”为构建理念,结合国家政策文件和相关核心文献分析结果,初步拟定“发展规划、基础设施、数据治理、教育应用、发展成效”作为一级指标。发展规划是指保障学校教育数字化落地实施的目标、原则、机制和文化等;基础设施是以5G、人工智能、大数据、云计算、区块链等为技术条件,以数据为驱动要素,面向教育高质量发展的新型基础设施体系;数据治理是指通过提升学校数据采集的意识、加强伴随式数据采集,并为教师、学生和管理者提供数据安全专题课程和培训,以推进学校数据服务精准化、个性化的过程;教育应用是指以新兴数字技术为基础,积极探索教育资源、教学、评价和教研模式变革;发展成效是指对师生数字素养和学校整体发展所作的发展性评价。
本研究采用访谈的方式来提炼二级指标和观测点。研究围绕“中小学校教育数字化转型的实践问题和应对策略有哪些?”这一核心问题,设计访谈提纲,通过目的抽样的原则,选取上海市中小学教育数字化特色学校的校长、学科骨干教师、信息化管理人员开展半结构化访谈,深度挖掘学校对教育数字化转型能力提升的潜在需求点,以此确定二级指标和观测点。最后,研究初步设计了包括5个一级指标、15个二级指标、49个观测点的中小学校教育数字化转型成熟度评价指标体系。
(二)评价指标体系的修正
为验证评价指标体系的科学性和可用性,本研究编制了中小学校教育数字化转型成熟度评价指标体系专家意见征询问卷,选取20位教育数字化转型研究专家,采用发送邮件的方式进行。意见征询的专家分为两类:高校和科研机构的学者,从理论研究的视角修订评价指标体系;中小学教育工作者,从学校治理和教学应用的视角修订评价指标体系。专家意见征询数据分析的统计指标包括专家权威系数、平均值、标准差和变异系数。经过两轮(其中,第一轮收回有效问卷18份,包括高校和科研机构学者8人,中小学教育工作者10人;第二轮收回有效问卷15份,包括高校和科研机构学者5人,中小学教育工作者10人)指标修订,指标项平均值逐渐变大,变异系数逐渐缩小,表明专家意见分歧大幅减少,指标设计的科学性和合理性获得较高认同,见表2。
1. 第一轮专家意见征询
研究采用专家权威程度系数Cr对专家评分的可靠性进行分析,當Cr>0.7时,说明信度较高。本研究Cr=0.86(Cr>0.7),表明第一轮专家征询结果的可信度较高。根据反馈意见,研究对各维度设置、指标命名及描述进行优化,具体修改情况为:(1)优化指标结构,如将“C2工作要求”改为“行动计划”,在“B2机制保障”下增设“C5组织领导”观测点及描述,删除“B16能力建设”及下属观测点;(2)提升指标表述的准确性,如将“C15智能创客实训基地”改为“数字化专用教室”,“C18区校联通”改为“资源供给”,“C21数据格式”改为“采集规范”,“C35学习辅导”改为“作业辅导”;(3)调整指标顺序,如将“C13教师素养”与“C14学生素养”调换位置,突出学生发展的重要性。
2. 第二轮专家意见征询
第二轮专家意见征询主要集中在观测点方面,建议指标表述更加清晰准确,避免指标之间的交叉重复。主要修改内容如下:(1)提升指标间的区分度,如将“B10资源应用”下的观测点“C27资源管理”“C28资源推荐”“C29资源共享”重新整合与划分,改为“C28资源利用”和“C29资源加工”;(2)提升指标表述的准确性,如将“C32精准教研”改为“智能评价”,将“C33资源推送”改为“资源支持”,将“C34智能诊断”改为“个别指导”;(3)调整指标顺序,如将“C43数字社会责任”与“C44专业发展”调换位置,突出教师专业发展的重要性。经过两轮专家咨询后,本研究最终构建出包含5个一级指标、15个二级指标、47个观测点的中小学校教育数字化转型成熟度评价指标体系,见表3。
(三)评价指标权重的确定
本研究采用层次分析法(AHP)来计算各级指标的权重值。首先,采用经典的Saaty九级标度法构建判断矩阵。本研究邀请9位全程参与过指标修订的专家进行群决策,专家们对每一层次评价指标的相对重要性进行两两比较,对应指标体系分别建立1、5、15个判断矩阵。其次,采用一致性比率法对判断矩阵进行一致性检验。研究利用Yaahp软件进行层次单排序和层次总排序的一致性检验。其中,层次单排序的结果显示,3位专家的少数判断矩阵未能满足统计要求,故需通过“标记修正”功能进一步自动调整判断矩阵;层次总排序的结果显示,9位专家的数据结果均符合一致性比率CR<0.1的统计标准,说明专家判断结果可信有效。最后,采用计算结果集结方式确定评价指标的权重。所有判断矩阵经Yaahp软件全部通过一致信检验后,计算各专家判断矩阵得到排序权重均值,获得最终的各项权重值,见表3。
四、中小学校教育数字化转型成熟度测度方法
学校数字化转型成熟度是一个具有诊断性、引导性和激励性的测量工具,通过成熟度等级的划分可以帮助学校明确目标愿景、定位现状水平、发现潜在问题和制定发展策略。成熟度等级是依据学校在开展数字化转型过程中的组织管理、实施流程、规范标准、持续优化、变革创新等综合程度进行划分的,不同等级之间具有由低到高逐渐递进的迭代发展关系。
(一)成熟度等级设计
成熟度等级能够综合反映学校数字化转型的演进过程。一方面,有助于评估学校数字化发展的现状,发现与预期转型目标之间的差距,及时发现问题和明确重点发展领域,制定后续改进的对策。另一方面,有助于学校之间的横向评估,促进学校之间的联动发展,帮助管理者对所辖学校数字化转型能力进行科学判断,进而制定相应的政策或标准,实现区域教育数字化转型能力的整体提升。目前,数字化转型领域的成熟度评估大多参照能力成熟度模型(CMM),该模型将成熟度等级划分为“初始级、可重复级、已定义级、已管理级和优化级”5个级别[23]。本研究借鉴能力成熟度模型的发展等级及其行为特征,结合团队前期关于教育数字化转型成熟度评估模型研究和试点实践学校数字化发展特点,将中小学校教育数字化转型成熟度等级划分为“初始级、成长级、稳健级、优化级和引领级”5个级别,各等级总特征及描述如图1所示。
图 1 中小学校教育数字化转型成熟度等级
学校教育数字化转型成熟度等级依据“A1发展规划、A2基础设施、A3数据治理、A4教育应用、A5发展成效”5个维度的成熟度等级加权衡量,每个维度下设二级指标,每个二级指标下设若干观测点,并对每个观测点对应的成熟度等级进行描述,依次递进细化,从而可以具体量化某所学校的数字化转型成熟度水平和发展能力。以“A4教育应用”维度下二级指标“B11教学创新”观测点的成熟度等级描述为例,见表4。具体测度时,每个观测点在实际测评时可以对应一个问题(有时也可采用多个具体问题来加权评测某一观测点),每个问题的选项则反映观测点所对应的成熟度等级。
(二)成熟度等级测度方法
结合中小学校教育数字化转型评价指标体系和成熟等级设计,研究采用成熟度测量常用的5分制赋分法,1-5分别对应5个成熟度等级,依次通过观测点赋值、加权计算各层级指标成熟度等级分值的方式,最终确定学校数字化转型成熟度等级水平。具体方法如下:
(1)对某一观测点进行成熟度等级赋值。依据观测点对应成熟度等级特征描述,对某一观测点赋予1、2、3、4、5数值,数值越高,对应成熟度水平级别越高。如观测者判断表4中观测点C30处于成长级,则对其赋值2。
(2)计算二级指标的成熟度等级分值。根据观测点成熟度等级得分,通过加权求和计算二级指标成熟度等级分值,见式(1):
式中,Bk为某单项二级指标k的成熟度等级得分,m为某单项二级指标下的观测点数量,C为观测点成熟度等级赋值,γ为观测点对应权重值。
(3)计算一级指标的成熟度等级分值。根据二级指标成熟度等级得分,通过加权求和计算一级指标成熟度等级得分,见式(2):
式中,Aj为某单项一级指标j的成熟度等级得分,n为某单项一级指标下的二级指标数量,?茁为二级指标对应权重值。
(4)计算学校教育数字化转型成熟度等级分值。根据一级指标成熟度等级得分,通过加权求和计算某一所学校教育数字化转型成熟度等级得分,见式(3):
式中,D为某一学校教育数字化转型成熟度等级得分,成熟度指标体系由5个一级指标构成,α为一级指标对应权重值。
综上所述,采用多目标线性加权函数法,得到学校教育数字化转型成熟度等级测度評价函数,见式(4):
最后,依据中小学校教育数字化转型成熟度等级评判参考,见表5,判定某一所学校数字化转型成熟度等级。
五、结 语
学校教育数字化转型是学校主动适应数字技术革命与教育发展趋势的必然选择。本研究基于成熟度评价视角,构建出带有权重的中小学校教育数字化转型评价指标体系,提出了学校数字化转型成熟度评价的测度方法,使其具有更强的实践指导性。本研究成果可为学校评判教育数字化转型发展水平提供测评工具,对学校整体推进教育数字化转型落地具有重要的实践价值。后续将组织试点学校进行教育数字化转型成熟度测评的实证检验。学校应基于自身特色与目标,根据具体实践境域对评价指标体系进行适度调整,形成适合于本校数字化转型的成熟度评价指标体系,才能助推学校教育数字化转型的持续发展。
[参考文献]
[1] 中华人民共和国教育部.2024年全国教育工作会议召开[EB/OL].(2024-01-11)[2024-01-20].http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/moe_1485/202401/t20240111_1099814.html.
[2] 吴永和,许秋璇,颜欢,郑浩.数字化赋能未来教育开放、包容与高质量发展[J].开放教育研究,2023,29(3):104-113.
[3] 中共中央,国务院.中共中央 国务院印发《深化新时代教育评价改革总体方案》[EB/OL].(2020-10-13)[2023-11-30].https://www.gov.cn/gongbao/content/2020/content_5554488.htm?ivk_sa=1024320u.
[4] 祝智庭,胡姣.教育数字化转型的实践逻辑与发展机遇[J].电化教育研究,2022,43(1):5-15.
[5] 余胜泉.教育数字化转型的层次[J].中国电化教育,2023,433(2):55-59.
[6] 戴岭,祝智庭.教育数字化转型的逻辑起点、目标指向和行动路径[J].中国教育学刊,2023(7):14-20.
[7] 钟志贤,卢洪艳,张义,易凯谕,石晓芬.教育数字化转型成熟度模型研究——基于国内外文献的系统性分析[J].电化教育研究,2023,44(6):29-37.
[8] 祝智庭,孙梦,袁莉.让理念照进现实:教育数字化转型框架设计及成熟度模型构建[J].现代远程教育研究,2022,34(6):3-11.
[9] 吴永和,许秋璇,王珠珠.教育数字化转型成熟度模型研究[J].华东师范大学学报(教育科学版),2023,41(3):25-35.
[10] 余胜泉.教育数字化转型的关键路径[J].华东师范大学学报(教育科学版),2023,41(3):62-71.
[11] RODR?魱GUEZ-ABITIA G, BRIBIESCA-CORREA G. Assessing digital transformation in universities[J]. Future internet, 2021,13(2):52.
[12] ILOM?魧KI L, LAKKALA M. Digital technology and practices for school improvement: innovative digital school model[J]. Research and practice in technology enhanced learning, 2018,13:1-32.
[13] REDJEP N B, BALABAN I, ZUGEC B. Assessing digital maturity of schools: framework and instrument[J]. Technology, pedagogy and education, 2021,30(5):643-658.
[14] 申国昌,陈晓宇.中小学数字校园管理指数评价指标体系研究[J].电化教育研究,2020,41(10):94-98.
[15] 郁晓华,王津钰.量子领导者:教育数字化转型下学校CIO的能力转变[J].远程教育杂志,2023,41(3):55-64.
[16] 吴龙凯,程浩,张珊,等.智能技术赋能教育评价的时代内涵、伦理困境及对策研究[J].电化教育研究,2023,44(9):19-25.
[17] 李永智,秦琳,康建朝,等.数字教育赋能教育强国的国际观察[J].电化教育研究,2023,44(11):12-20.
[18] 李璐,王运武.高校智慧校园评价指标体系研究[J].现代教育技术,2020,30(5):87-93.
[19] 杜岩岩,黄庆双.何以提升中小学教师数字素养——基于X省和Y省中小學教师调查数据的实证研究[J].教育研究与实验,2021(4):62-69.
[20] 黄艳,周洪宇,郝晓雯,刘军.教育强国视角下智慧校园建设评价指标体系研究[J].现代教育管理,2021(4):75-82.
[21] 张立明,景丽英,赵亮.指向2035:中小学校教育现代化评价指标体系的基本架构[J].教育科学研究,2022(10):44-50.
[22] 张立国,周釜宇,梁凯华,康晓宇.面向教育新基建的中小学校长信息化领导力评价量表设计[J].中国远程教育,2023,43(3):64-72.
[23] 卡耐基梅隆大学软件工程研究所.能力成熟度模型CMM软件过程改进指南[M].刘孟仁,等译.北京:电子工业出版社,2001:2-20.
Construction and Measurement Method of Evaluation Indicator System for the Maturity of Digital Transformation in Education in Primary and Secondary Schools
XU Qiuxuan1, WU Yonghe1, DAI Ling2
(1.Department of Education Information Technology, East China Normal University, Shanghai 200062;
2.Faculty of Education, East China Normal University, Shanghai 200062)
[Abstract] The evaluation of digital transformation in education is a necessary means to lead and promote schools to carry out digital transformation practice activities, and the lack of practical evaluation indicator system largely restricts the sustainable development of digital transformation in education in schools. From the perspective of maturity evaluation, this paper firstly selects indicators by means of content analysis method, revises the indicators after two rounds of expert consultation with the Delphi method, and determines the weights of the indicators by applying the hierarchical analysis method, then constructs an evaluation indicator system for the maturity of digital transformation in education in primary and secondary schools (including 5 first-level indicators of development planning, infrastructure, data governance, education application and development effectiveness, 15 secondary-level indicators, 47 observation points). Secondly, the development of digital transformation in education in primary and secondary schools is divided into five maturity levels, namely the initial, the growth, the robustness, the optimization and leading, and the corresponding characteristics of the observation points are described to clarify the evaluation benchmarks. Finally, from the perspective of practical application, a maturity measurement method for digital transformation in education in primary and secondary schools is proposed as a means of portraying the overall level of the development and the direction of continuous improvement of digital transformation in education in schools.
[Keywords] Digital Transformation in Education; Primary and Secondary Schools; Maturity Evaluation; Indicator System; Delphi Method; Hierarchical Analysis Method