构建评估监测体系助推区域教育督导转型升级
——以江苏省苏州市评估监测体系的构建为例
2021-12-02罗强解问鼎
□罗强 解问鼎
2020 年2 月,中共中央办公厅、国务院办公厅印发了 《关于深化新时代教育督导体制机制改革的实施意见》(以下简称 《意见》),指出要建立教育督导部门统一归口管理、多方参与的教育评估监测机制,为改善教育管理、优化教育决策、指导教育工作提供科学依据,同时要充分利用互联网、大数据、云计算等开展督导评估监测工作。该文件的出台,明确了评估监测在教育督导体系中的重要地位,也为评估监测职能的发挥提供了更加广阔的空间。
2014 年2 月,在国务院教育督导委员会办公室印发的 《深化教育督导改革转变教育管理方式的意见》 中,首次提出教育督导的“评估监测”职能后,苏州市于同年9 月成立了江苏省首家独立建制、全员配置并专门从事教育质量评估监测工作的单位——苏州市教育质量监测中心(以下简称“监测中心”),率先在机构设置上确立了督政、督学和评估监测三位一体的教育督导体系,为教育督导“评估监测”职能的发挥奠定了基础。监测中心成立7 年以来,已经构建了具有“国际视野、国家标准、苏州特色”的区域教育质量评估监测体系,成为推动区域教育督导转型升级的重要力量。
一、致力评估监测体系建设,构建教育健康的体检中心
(一)聚焦质量,开展义务教育学业质量监测
随着基础教育进入内涵式发展阶段,质量和均衡成为基础教育发展的两大主题。教育督导工作也应该由重点关注政府投入、学校硬件、学生入学率等方面,转向重点关注教育质量。[1]2015 年,苏州市正式启动“苏州市义务教育学业质量监测项目”,在每年9 月开学的第二周,对全市初中学生开展学业质量“空腹”体检。监测内容包括语文、数学、英语和科学四门学科,以及学生、教师相关因素三个部分。同时,通过由初一学生倒追至小学六年级学生的方式,呈现全市各小学的学业质量发展状况。
以2020 年为例,监测中心历时7 个月研制监测工具28 套,采用“学校全覆盖、学生全参与、学科等比例抽样、相关因素全测”的方式,实现了对全市277 所初中的28.7 万学生和1.6 万教师的学业质量监测,并通过数据倒追的方式,获得了487 所小学六年级毕业生的学业质量监测结果。监测中心把这个项目看作区域教育健康体检的“超大型CT”。通过对小学、初中校全覆盖的学业质量监测,全面测量、描绘并把脉苏州教育生态的健康状况[2],从而将教育生态健康的诊断、预警防线建立到基层每一所学校。该项目已经连续实施6 年,采集了多维的、海量的、高质量的、结构化且相互关联紧密的监测大数据,并且通过监测大数据,将教育督导的关注领域拓展至学生全面发展、教师专业发展和教育教学管理等方面。
(二)对标教育政策,开展各级各类专项评估监测
《意见》 指出,要全面落实教育督导职能,确保党和国家的教育方针政策落地生根。这意味着,教育督导在督促落实教育法律法规和教育方针政策、规范办学行为等方面必须发挥重要的作用。为此,苏州市监测中心以评估监测为抓手,通过专项评估监测的形式定期或不定期对国家的教育方针政策、办学行为以及当前义务教育面临的重点、难点问题进行监测。专题式、跟进式的专项评估监测,已成为苏州市义务教育学业质量监测体系的有效补充。
2019 年,苏州市开展了“电子设备”“近视”“体美劳教育”“心理健康”“教师职业状态”等方面的专项评估监测,及时对标相关政策文件要求,发现存在的问题与不足,并为教育行政部门提供评估监测报告或决策咨询报告。2020年,“五项管理”文件一经出台,苏州市立即依托前期已经采集的监测数据撰写了 《“五项管理”监测专题分析报告》,系统分析了苏州市各区“五项管理”的落实情况以及存在的问题,监测中心还将配合督学深入学校,进一步开展量质互证的“五项管理”专项评估监测。
二、研发数据智能运行平台,构建教育生态的数据空间
(一)研发智能化的监测大数据加工平台
教育督导和大数据的融合是必然趋势,也是教育领域综合改革的必然要求。监测中心致力于智能化的监测大数据加工平台建设。一方面,积极推进大数据处理与分析的标准化、自动化和智能化。在多年的学业质量监测数据分析的实践基础上,通过将评估监测各环节的数据处理流程不断标准化,将算法和运行程序固化成软件模块,初步实现了数据处理全过程链的标准化和自动化。以2020 年为例,从监测实施到3500 多份数据报告的生成,仅用了两个多月的时间,极大地缩短了监测结果的反馈时间。另一方面,不断迭代升级监测大数据可视化系统。监测中心设计了百分等级圆点图、相关因素海平面图、学业生态健康指数图谱等多种图表,实现了对所有呈现数据“一表一图”的可视化表达。监测中心还开发了面向区域管理者的监测大数据可视化平台,可以通过线上线下相结合的方式,为区域教育提供6 年监测核心指标的横向纵向比较,以及多维度样本。
(二)构建指数化的教育生态数据空间
传统的督导评估主要是查看材料、听课、访谈,对教育的认识是建立在个体的认知经验基础之上的,往往局限在中观层面。而评估监测可以从思维和技术两个方面,对传统督导实现赋能。监测大数据对教育的测量与描述实现了时间、空间的升级,可以帮助我们从宏观层面认识区域和学校教育生态的基本特征和发展动态。同时,基于教育生态各个变量的关系研究,可以帮助我们从微观层面挖掘影响区域和学校学业质量的主要因素和相关机制。
在监测数据分析中,监测中心构建了适合苏州教育的增值评价模型和学业生态健康指数,实现了由“单一分数”到“结构指标”、由“水平判断”到“增值评价”的转变[3],进而构建了指数化的区域教育生态数据空间。监测中心通过项目反应理论对学生的语文、数学、英语、科学4 科学业成绩进行等值化加工,然后对不同学科的成绩进行对比。同时,以学生3 年的追踪数据为基础,描述区域、学校的学业水平增值状况,实现了“从起点看终点,从入口看出口”对各区域、各学校学业水平进行增值评价的目标。
在相关因素工具研制中,监测中心选择与学生学业成绩密切相关的重要因素。例如,对学生学习品质、学业负担、教学支持、人际支持等进行追踪监测;对往年监测中发现的问题进行动态调整,并新增热点话题,包括电子设备使用、家长陪伴等。对相关因素的研究,依据国际流行的“概念化、指标化、指数化”的量化方法,通过“分离变量—形成概念—构建指标—选择算法—采集数据—指数描述—关系研究”等过程,将影响学生学业发展的因素转化成数据变量,并采用九分算法,将数据转化成以全市近30 万参测学生为参照的指数。
三、绘制教育生态健康图谱,构建督导评估的预警防线
(一)筛选描绘教育生态的特征指标
对教育生态的精准描绘,是建立在特征指标的筛选和结构化指标体系的构建基础上的。苏州市的教育监测,以义务教育学业质量监测指标体系为起点,从多维结构指标中筛选特征指标,构建以学生学业发展为核心的具有“结构意义”的学业生态健康指标体系。该指标体系包括学业表现、学业增值、学生相关因素和教师相关因素4 个一级维度,以及与学业生态密切相关的24 个特征指标。这24 个特征指标,既包含了体现资源配置与均衡态势的“结构型质量”,也包含了体现科学管理与投入效能的“过程型质量”,还包含了体现全面发展与持续发展的“结果型质量”,综合在一起,就描绘了一个包含纵向全过程、横向全要素的苏州市教育生态数据空间。在这一教育生态数据空间中,我们可以描绘出高质重负、低质轻负、高质低压、低质高压等不同类型的区域和学校的教育生态健康图谱。区域和学校可以在与常模基准或者追踪数据的比较中,研读数据,发现差异,诊断问题,从而推动精准的靶向改进。
(二)建立基于监测大数据的预警机制
监测大数据可以帮助教育督导精准定位督导的重点对象和突出问题,为教育督导建立起第一道预警防线。近年来,苏州市的教育质量监测初步建立了基于监测大数据的精准诊断和问题预警机制。一是追踪学业发展进行增值预警。苏州市的教育质量监测具有全学段、追踪式的特点,因此可以对各学校开展学业水平增值评价,并针对追踪监测和单次监测分别构建了不同的增值评价模型,对学业质量负增值严重的区域和学校给出一级预警和二级预警。二是依据政策规定进行超标预警。超标预警是为了强化政策执行底线,矫正办学方向,主要包括:关注优质均衡,对学校间差异情况进行超标预警;关注硬性指标,对学生的学业负担、身心健康、睡眠时间、近视情况,以及学校的国家课程计划执行等情况进行超标预警。三是建立常模标准进行偏离预警。对于没有政策依据的关键指标,如学业支持、学习品质等,以指数化的方式在市、区和集团校层面建立常模标准,进行偏离预警。
四、联动推进监测结果运用,助推区域教育督导转型升级
(一)研制面向不同主体的监测报告
监测结果运用的前提是高质量的监测报告。苏州市对监测结果提出了“测得准”“看得懂”和“用得上”的原则。监测结果主要由三部分构成,即监测报告、监测数据和监测工具,而呈现的形式又包括了基础数据报告(发布给所有区域和学校)、综合分析报告(提交市、区主要领导)、专题报告(提交教育行政部门相关处室)和学术论文(基础性数据实证研究成果)等。
《意见》 指出,要完善报告制度,以适当方式向社会公开,接受人民群众监督。苏州市从2016 年起,就在监测结果的基础上,提炼出面向社会,特别是家长群体的社会版报告,以最通俗易懂的方式向社会传递科学的教育质量观、育人观,助力学校、家庭和社会凝聚教育共识,形成协同共育的合力。以2020 年为例,苏州市面向社会发布了以 《给孩子们更适切的教育》 为题的监测报告,内容包含了学生心理健康、家庭教育、电子设备使用、体美劳教育、学业负担等专题,系统剖析了社会对教育的关切和家庭教育面临的难题。社会版报告中基于大数据的监测结果,已成为助力家校共育的重要资源。
(二)构建内需驱动的自主改进机制
监测结果应用必须建立在一种良性的、自发的生态基础上。我们认为,监测结果运用的核心动力不是外驱力,而是基于自主改进、自我完善的内驱力。因此,苏州市自2016 起,以优秀案例评选活动为抓手,构建内需驱动的自主改进机制。在案例研究中,监测中心提出了“研读数据—精准诊断—合理归因—科学寻策—靶向改进—后效检验”的实施方式,引导区域和学校坚持问题导向,诊断并改进教育教学中的短板;坚持目标导向,寻找促进学生全面发展的路径;坚持效能导向,优化并升级学习行为中的效能。这项活动受到越来越多学校的认可和欢迎。2021 年,全市近400 所中小学校自主申报优秀案例1027项,立项593 个,获得立项的案例达到了总数的52%,平均一所学校申报了2.5 个案例。
(三)构建联动互证的结果运用机制
督导部门、教研部门、基础教育管理部门、区域和学校都是教育生态的深度“参与者”,只有构建多方联动的监测结果运用机制,才能共同保障教育生态健康发展。在结果运用上,苏州市坚持“低利害,轻问责;增内驱,重改进”的原则,构建了“多方联动、量质互证”的监测结果运用合作机制,综合发挥监测结果的导向、鉴定、诊断、调控和改进作用。
该机制的运行分为两个阶段:第一个阶段的责任主体是监测中心,其扮演着“体检员”的角色,通过数据分析、报告发布、问题预警和结果反馈等,为教育生态提供基于监测大数据的事实判断;第二个阶段的责任主体是由督导、基教、教研等部门组成的“专家组”,对监测结果进行专家会诊,与区域和学校协同共研,在事实判断的基础上,进一步提炼出量质互证的价值判断。以2020 年某区集团化办学评估项目为例,苏州市首次探索了“现场督导式评估”和“基于数据实证评估”为主要形式的集团化办学评估。通过两个阶段责任主体的相互配合,对某区3 年的集团化办学成果进行了量质结合、相互验证的全方位评估。
在深化教育督导体制机制改革、深化教育评价改革的新时期,苏州市充分利用督学、督政和评估监测三位一体的机制优势,积极探索评估监测与教育督导工作的深度融合,逐渐建立起了证据驱动的“目标—监测—分析—改进”的督导评估监测工作机制,积极推进基于监测大数据的跟进式督导和专题督导,进一步提升了督导工作的科学性、专业性和权威性,努力构建区域教育督导的“数据治理”新模式。