数据驱动的区域教育质量分析模型与实现路径
2019-08-30黄涛王一岩等
黄涛 王一岩等
摘要：大数据和人工智能技术的发展为区域教育质量分析与评价提供了新思路，致力于还原教育系统的全貌，推动区域教育生态的变革。立足于国内教育改革发展的实际需要，分析大数据环境下区域教育质量评价面临的机遇和挑战，通过对国内外教育质量评价项目的研究进展、理论模型、分析方法等方面的整合分析，提出我国教育质量评价的关键在于参照核心素养的要求，制定区域教育质量评价指标体系;构建多元分析模型，揭示区域教育发展规律;着眼于国家教育发展长远规划，探索区域教育质量评价实现路径。从区域教育改革和国家人才培养的现实需要出发，各级各类教育部门应该从区域教育质量评价指标体系的制定、大规模学业质量测评工作的开展、教育过程数据智能采集系统和智能分析模型的构建等方面推进教育质量评价工作的开展，助力于区域教育生态的重构。
关键词：大数据;教育质量评价;教育数据挖掘;教育生产函数
中图分类号：G434 文献标识码：A
近年来，随着以PISA（国际学生评估项目）为代表的大规模教育质量测评项目的开展，各国都更加注重对本国教育质量发展状况的监测和评估，把握教育发展方向，提升人才培养质量。在国内教育改革快速发展的时代背景下，参考国内外先进的理论和实践经验，根据《中国学生发展核心素养》的要求对人才培养目标进行重新修订，运用大数据的思想和方法构建智能分析模型对学生学业表现的影响因素进行归因分析，揭示区域教育质量发展规律，对于区域教育质量的提升具有重要意义。
一、大数据环境下教育质量评价的挑战与突破口
（一）大数据环境下中国教育发展的新态势
1.教育信息化驱动下的区域教育生态变革
《教育信息化十年发展规划（2011-2020年）》明确提出“探索现代信息技术与教育的全面深度融合，以信息化引领教育理念和教育模式的创新，充分发挥教育信息化在教育改革和发展中的支撑与引领作用”。以大数据技术为依托，变革传统的数据采集、分析和应用模式，将区域教育系统作为一个有机整体，以数据化、科学化的方式分析区域教育发展趋势，制定精准化教育决策，实现数据驱动下的区域教育管理、教学指导、教学行为的科学化，是教育信息化环境下区域教育改革的必由之路。
2.培养目标的异化和教育评价方式的变革
2014年教育部印发《关于全面深化课程改革落实立德树人根本任务的意见》，提出“研究各学段学生发展核心素养体系，明确学生应具备的适应终身发展和社会发展需要的必备品格和关键能力”。2016年发布的《中国学生发展核心素养》中确立了“人文底蕴、科学精神、学会学习、健康生活、责任担当、实践创新”六大学生核心素养。核心素养为我国基础教育的改革奠定了方向，强调以核心素养为基础的学生学业质量标准的制定，变革传统的以学生学习结果为导向的评价方式，突出学生关键知识、能力、素养的培养，强调学生参与未来社会生活所需的基本知识和技能，推动教育评价方式的变革。
3.教育系统的复杂性带来的教育决策方式的变化
教育部办公厅《2015年教育信息化工作要点》中指出：“全方位推进国家教育科学决策服务系统建设，研究制定教育数据管理与使用办法，规范数据的规划、采集、共享和使用，推进大数据应用，发挥监测、评价、预测及预警功能，为科学决策、宏观管理提供依据”。
大数据使管理者从经验决策转型到数据驱动的决策，提高其教育管理的科学性。从大数据分析的角度出发，学生的学业水平不仅受学生自身智力的影响，还与教师、学校、家庭、社會以及学生的兴趣爱好、身心健康等因素息息相关。对于教育管理者来说，如何构建区域教育质量分析模型，揭示区域教育发展规律，制定精准教育决策，优化资源配置，消除学校办学水平、家庭社会经济文化状况等因素对学生学业成就的影响，进一步保障学生平等的受教育权利，是在未来的一段时间内急需解决的关键问题。
（二）大数据技术驱动区域教育质量评价方式变革
斯坦福大学2016年发布的《2030年的人工智能与生活》报告指出，“新一代人工智能技术将深刻地影响教育领域，支撑智慧教育的实现”。大数据、人工智能技术的发展为教育数据采集、分析和评价提供了新思路，多元的数据采集机制能够覆盖教学过程、教学结果等各个方面，对学生的知识、能力、情感等方面进行深入分析，构建精准学生画像。细化教师、学校、区域等各层面的数据对学生学业水平影响机制的研究，从学生学业表现的角度出发助力于区域教育生态的变革。
1.构建深度分析模型，变革数据分析方法
传统的区域教育质量监测以统计分析和回归分析为主，注重对教育现象的解释和教育规律的浅层分析。但教育系统的复杂性使得传统的线性分析模型不再适用于大规模、多层次的数据分析模式，大数据和人工智能技术的引入为其提供了新思路：（1）利用决策树、支持向量机、深度神经网络等机器学习方法构建深度、非线性的分析模型，对教育系统的数据进行深度挖掘，能够更好地还原教育系统的全貌，助力于教育评价方式的智能化;（2）强化数据关联规则的构建，构建多领域交叉分析模型，挖掘数据的潜在规律，助力于区域教育决策方式的智能化。
2.挖掘数据潜在规律，推动评价机制变革
大数据技术在教育数据分析方面的全面性和深入性极大地影响着区域教育研究工作的开展，变革传统的以统计分析和经验主义为主的教育评价方式。（1）参照国家对未来人才培养的实际需求，细化学生层面的教育质量评价数据模型，将学生的知识能力、情感态度、品德修养、身心健康、实践创新等方面纳入教育质量评价指标体系中，以数据科学的方法来对相关方面的指标进行细化分析，健全区域教育质量评价标准;（2）强化对区域教育发展产生关键作用的家庭、教师、班级、学校、区域等方面评价机制的构建，深入挖掘其对区域教育质量的影响权重和作用机理，建立区域教育发展智能评价机制。
二、教育质量评价研究进展
（一）教育质量测评项目研究进展
大规模教育质量评价工作的开展由来已久，国际知名的教育质量测评项目有：国际经济合作与发展组织（OECD）于2000年发起的国际学生评价项目（PISA）;国际教育成就评价协会（IEA）主导的国际数学和科学教育成就趋势研究项目（TIMSS）和国际阅读素养进展研究项目（PIRLS）;美国国家评价管理委员会（NAGB），国家教育统计中心（NCES）等主导的国家教育进步评估项目（NAEP）等。主要的监测科目为阅读、数学、科学等科目，并对与学生学业水平相关的学习情况、家庭背景、班级特征、教师背景、学校资源等数据进行采集和分析，在此基础上提出有针对性的教育质量改进的政策和建议。
国内在大规模教育质量测评方面起步较晚，具有代表性的是PISA中国2006、2009、2012年在我国开展的三轮次的独立研究和教育部基础教育质量监测中心的教育质量监测项目。后者参照PISA、NAEP的教育质量测评模式在全国31个省（自治区、直辖市）和新疆生产建设兵团总共抽取了973个县（市、区）的572314名四、八年级学生参加测试。测评学科为德育、语文、数学、科学、体育、艺术6个学科，并于2018年7月发布了国内第一份《中国义务教育质量监测报告》，对于我国教育质量测评工作的开展意义重大。
（二）教育质量监测理论和技术研究
教育質量评价的理论模型大多以Hanushek1986年提出的经典教育生产函数为依据，结合具体的研究问题加以拓展，采用多种方法对教育投入和教育产出进行界定，并运用相关的技术手段对结果进行分析，揭示教育教学规律。
M.A.Dincer和G.Uysal以土耳其PISA2006年的科学素养测试结果为依据，运用广义最小二乘回归的方法分析土耳其学校学生成绩的影响因素。Jehangir，K.和C.A.W.Glas利用多层线性模型的方法对PISA2009年的测评数据进行分析，探索父母的社会经济地位（SES）与学生阅读成绩之间的关系。Masci，C.和Ieva，F.在多层线性模型的基础上构建了多元多层分析模型，对意大利初中一年级学生的详细信息与学生阅读和数学成就水平之间的相关性进行分析。Cortez和Silva采用回归树和随机森林等数据挖掘方法，将葡萄牙中学生的数学和阅读成绩与学生的个体特征进行关联分析。Gabriel，F.，Signolet，J.，和Westwell，M.使用提升回归树的方法构建了两个分析模型，从原始响应和聚合响应两种不同的级别探索澳大利亚15岁儿童的心理倾向和数学素养之间的关系。Masci，C.，G.Johnes和T.Agasisti利用加拿大、法国、德国、意大利、日本、西班牙、英国和美国等9个国家PISA2015年的测试成绩构建了两阶段分析模型，第一阶段使用RE-EM树估计学生考试成绩和学校增值的决定因素，第二阶段通过提升回归树来模拟学校增值的决定因素，证明了学校增值和学生学业成绩之间的相关关系。
（三）区域教育质量影响因素分析
在广泛意义上来讲，学生的认知结构、家庭的社会经济文化背景、教师的专业素养、教学方法、学校的办学规模、师资力量以及区域的经济发展水平等各方面都能够与学生的学业表现产生联系。Akukwe，B.和U.Schroeders通过对德国543名家长提供的家庭背景信息来研究家庭的经济、文化、社会和认知方面对德国九年级学生的生物学科学习能力的影响机制。Gustafsson，J.和T.Nilsen致力于研究能够减少社会经济地位（SES）与学业成就之间关系的学校特征，从而提高教育成果的公平性。Cordero，J.M.和M.Gil-Izquierdo使用经合组织创建的TALIS-PISA链接数据，研究不同教学策略对学生成绩的影响，发现相较于创新的主动学习策略，传统的教学方法对学生的数学能力有更加积极的影响。Giambona，F.和M.Porcu利用PISA2012数据探索了意大利学校规模与学生学业成就之间的关系，发现学校规模能够影响学生的成就，但并不是简单的线性关系。Gimenez，G.，A.Martln-Oro和J.Sanau将哥斯达黎加学校地理位置数据与社会发展综合指数相结合研究区域发展对学生学业成绩的影响指数，研究结果表明，社会发展对考试成绩有积极影响，但影响力逐年减弱。
三、区域教育质量评价的理论模型、分析方法和实现路径
（一）理论模型
本文在经典教育生产函数的基础上结合我国教育改革实践工作的现状提出基于大数据的教育生产函数拓展理论模型：
在上式中，At代表时间t的教育产出，这里指区域教育质量，主要包括学生的学业成绩、知识能力、情感态度和身心健康等方面的综合表现;Ft代表与学生学业表现相关的家庭社会经济文化背景，包括家庭结构、父母的学历、职业、收入水平、家庭的经济背景和文化氛围等;Tt代表教师因素，包括教师的性别、年龄、职称、任教时长、专业技能、教学方式和教学干预措施等方面;Ct代表班级因素，包括班级容量、性别比例、班级氛围、师生关系等;Sht代表学校的办学条件因素，主要包括学校规模、教育资源、师资力量和教育管理的成效等;Dt代表区域的经济发展水平、人口分布特征、教育政策和教育项目的实施成效等。f代表教育产出的计算方法，常用的方法有线性回归模型、多层线性模型等。
（二）分析方法
基于教育生产函数构建大数据环境下的区域教育质量评价模型的常用方法有：
1.多层线性模型
多层线性模型（Hierarchical Linear Models，HLM）是针对经典统计分析方法在处理具有层级嵌套关系数据时所存在的局限而提出的，用于揭示不同层级数据的相互作用。多层线性模型根据其应用场景的不同可以分为零模型、完整模型、协方差模型和随机效应模型四种，如下表所示。
其中，ρ表示Y的总体变异中有多大比例是由第二层的变异引起的，以“学生一教师”两层模型为例，ρ表示教师的因素在学生学业表现中的影响权重。
多层线性模型的优势：（1）多层线性模型能够对数据的层次结构进行解析，准确表示个体差异和组问差异对学生学业成绩的影响权重;（2）根据所得回归方程截距和斜率之间的相关关系，可以更好地解释影响因素和学业成绩之间变化的规律，为教育管理者提供精准的决策支持。
多级线性模型的局限性：教育系统的复杂性和数据规模的增加使得大多数情况下数据的分布规律不能满足线性分布的假设，强迫建立数据之间的线性关系容易造成数据分析效率的低下。
2.多级回归树模型
决策树的生成就是递归地构建二叉决策树的过程，对回归树用平方误差最小化的准则寻找最佳划分节点。假如我们有n个特征，每个特征有Si（i∈（i，n））个取值，则遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征。，的取值s，使得损失函数最小，这样就得到了一个划分点。描述该过程的公式如下：
多级回归树模型的优势：（1）利用回归树模型代替原有多层线性模型中的线性回归模型，增强了模型的泛化能力，能够更好地反映复杂教育系统中的数据分布规律;（2）利用决策树可视化特性呈现模型分布特征，增强了模型的可解释性，助力于构造区域教育决策专家系统，为区域教育管理者提供智能化的决策建议。
多级回归树模型的劣势：（1）异常数据的存在会导致回归树模型在进行预测时产生较大误差，对模型的准确性产生影响;（2）树模型的构建是一个递归的过程，对训练数据的拟合能力较强，容易产生过拟合现象，因此需要设定恰当的剪枝策略，增强模型的泛化能力。
3.梯度提升树
梯度提升树是当前阶段数据挖掘领域应用最为广泛的分析模型，在解决分类、回归问题中均有显著成效。梯度提升回归树是一种基于Boosting思想的集成学习算法，其基本思想以分类和回归决策树（CART）作为弱分类器来构建一个强分类器。其原理是：（1）针对同一个训练集训练多层的弱分类器，每层使用训练集训练一个弱分类模型，从训练出的模型中得到预测结果;（2）根据训练集中样本分类是否正确、总体分类的准确率来确定每个样本上应重新分配的权值，将修改过权重后的新数据集训练一个下层的分类器;（3）不断进行训练直到有很少的错分样本，最后将每层的分类器按照一定的规则融合在一起形成最终的决策分类器。
梯度提升树的优势：（1）可以使用一些健壮的损失函数，对异常值的鲁棒性非常强;（2）经过简单的调参便能够取得相对较高的准确率，是目前数据挖掘领域效率最高的算法之一。
梯度提升树的劣势：难以实现并行训练，计算成本较高。
4.深度学习
深度学习是机器学习领域一个重要的研究方向，近年来在图像处理、自然语言理解、语音识别等领域取得了突破性进展。深度学习技术与传统线性模型的区别在于：（1）深度神经网络以线性模型为基础，通过使用相应的激活函数来实现模型的非线性化;（2）采用多层神经网络结构，对数据的特征进行逐层提取。相关研究表明，神经网络每一层提取的特征各不相同，随着模型深度的增加，数据特征提取的成效越显著;（3）采用反向传播算法对模型中各个层级、各个类别的数据权重进行修正，通过多轮训练，对模型参数不断进行优化。
深度学习技术的优势：（1）模型复杂，灵活性强，可通过增加模型的层数对数据特征进行有效提取;（2）全方位构建多层多维关联分析模型，可对教育系统数据进行全方面的关联分析，提升数据分析的准确性;
深度学习技术的劣势：（1）模型可解释性差，很难对相关规律加以解释;（2）在小数据集中容易出现过拟合现象，对数据分析的准确性产生影响。
（三）實现路径
1.构建数据描述标准，完善教育评价指标体系
教育生产函数的三要素，即教育投入、教育产出和分析模型。利用大数据技术对区域学生的学业表现进行成因分析，需制定标准化的教育投入和教育产出评价体系，使得相关分析工作的开展有章可循。
教育产出的界定需根据核心素养的要求，从学生应对未来社会发展所需的基本知识和技能的角度出发，将教育产出定义为与学生学习和未来发展相关的知识能力、品德修养、创新意识、身心健康等各方面，使得数据标准的制定和相关分析工作的开展能够服务于国家创新人才培养的实际需求，助力于教育评价方式变革。
根据PISA环境因素测评框架，学生的学业表现受家庭、教师、班级、学校、区域等各方面因素的影响。因此在制定大数据环境下的区域教育投入评价标准的过程中，需要充分考虑教育系统中与学生学业相关的各种因素，使得教育投入数据的采集能够覆盖教育系统的各个方面，从而更好地挖掘數据的潜在规律，服务于教育教学工作的开展。
2.构建多元分析模型，增强数据潜在规律挖掘
教育系统的复杂性使得数据分布特征较为复杂，应从区域教育数据挖掘工作的实际需要出发构建多元、多层分析模型，明确相关指标对学生学业成绩影响的显著性大小，增强模型的可解释性，加强对数据问的关联分析。通过特征工程的方法对数据的潜在因子进行挖掘，构建学生、家庭、教师、学校、区域不同层级问的联合效应分析模型，对数据的潜在规律进行分析，更好地还原教育系统的全貌，服务于区域的精准决策。
3.构建区域数据闭环，建立数据应用反馈机制
区域学业质量测评模型的构建需要一支专业化的理论研究和技术开发团队作为支撑，数据的采集、分析和应用都需要从区域学业质量评价的实际需要出发，制定相应的采集、分析标准，进行模型构建，对区域学业质量发展进行预警、预测，助力于基于大数据的区域教学生态的重构。
（1）制定学业成就测评机制，构建学生学业水平发展诊断模型
对学习者及其所在情境中产生的数据进行记录和分析并为其提供个性化学习服务是教育大数据背景下学习分析研究在促进有效学习方面的内在旨趣。通过对区域学业数据的采集分析，对学生学科能力、认知能力、学习风格、学习动机、学习偏好、学习态度等方面进行诊断和判别，以此来构建个体和群体学生画像，帮助教师及时掌握班级和个体的学业水平发展状况，对学生学业水平的提升提供更及时、更精准的指导。
（2）描绘区域教育生态蓝图，构建区域教育质量发展预测模型
通过对区域教育质量发展状况进行长时间的监测，结合当前阶段区域学生的各项学业表现，构建面向群体的区域的中高考上线率预测模型和面向个体的学生职业发展预测模型。立足于学生职业发展和区域学业水平提升的长远规划，分析区域教育发展过程中与教育改革发展不适应的部分，采取及时有效的改正措施，服务于区域教育改革工作的开展。
（3）强化教育质量归因分析，构建区域教育保障措施预警模型
通过对教育质量发展影响因素的分析，对区域教育系统中与学生学业表现相关的教学资源、师资队伍、教育政策等各方面进行精准测评，构建区域教育发展保障措施预警模型，对区域教师团队的结构、教学质量提升机制和教育资源、教育政策等与区域教育发展的适应性进行评价。从区域教育系统运转的内部机理出发分析其中的深层次原因所在，帮助区域教育管理者更理性地均衡教育资源配置、汇聚优质资源服务、推进教师智力资源的流转。
四、大数据环境下区域教育质量评价的关键任务分析
要构建大数据环境下的区域教育质量评价模型需要对教育投入和教育产出进行量化，变革传统的以质性研究和统计分析为主的研究思路，从数据科学的角度出发构建深度分析模型，挖掘数据的潜在规律，服务于区域学业水平的提升。通过与国外相关测评工作的对比分析，我们还需要在以下方面加以重视：
（一）教育质量评价标准及相关指标的制定
学业水平监测工作的开展要从国家人才培养的实际需要出发，结合《中国学生发展核心素养》提出的对学生文化基础、自主发展和社会参与的要求，提升学生应对终身发展和社会发展需要的必备品格和关键能力，从国家层面强化学生学业质量标准的制定，以学生学业水平为依托，构建涵盖学生品德、健康、审美、实践等各方面的教育质量评价指标体系，为学业水平监测工作的开展建立坚实的基础。
（二）大规模教育质量测评工作的开展
中国的基础教育体量巨大，地区差异明显，如何构建适应国家和区域发展实际需要的教育质量监测标准，需要诸多科研工作者的共同奋斗。教育部基础教育质量监测中心等科研机构经过多年的积累虽已取得相应的成果，但也均处于起步阶段，不能够满足教育系统分析的实际需求。后续工作的开展应围绕学业测试的标准化、问卷编制的科学化以及数据分析的精准化等方面来开展，增强大规模学业测评工作的有效性，通过开放测评数据集等方式，在国内形成规模化、体系化的教育质量分析团队，引导国内相关领域的研究者关注和投入到相关科研工作的过程中，共同助力于我国教育质量评价工作的开展。
（三）教育过程数据智能采集系统构建
在现有技术水平下，对教育投^数据的采集仍然以事实性、结果性数据为主，缺乏对课堂教学过程中教师的表隋、动作、教学方法等数据的序列化采集和分析。随着人工智能技术的进一步发展，可利用计算机视觉、自然语言处理、语音识别等技术对教师教学过程中教师和学生的语音、视频、文本信息进行采集和分析，通过多模态的数据采集和分析技术，对教师的教学风格、教学方法，学生的学习风格、课堂听讲的专注程度等数据进行提取，构建多维度的课堂教学分析模型，对教师和学生进行精准刻画，以服务于课堂教学的成效分析的实际需要。
（四）智能分析模型的构建
教育系统的复杂性和多样性是未来学业水平监测过程中面临的巨大挑战，如何构建适应教育改革发展的多元数据分析模型，还原教育系统的全貌，是我们在未来的教育发展过程中必须解决的关键问题。强化横向和纵向数据分析模型的构建，运用机器学习和深度学习的方法对数据进行智能分析，增强模型的准确性和可解释性，能够有效地服务于区域教育发展的各个环节，以数据科学的手段助力于区域教育的常态发展。
（五）提升教师运用大数据技术解决课堂教学问题的能力
大数据在为教育教学带来极大便利的同时，也为教师带来极大挑战。如何运用大数据进行科学合理的教育决策、变革课堂教学生态，是现阶段教师面临的关键问题。区域、学校应加强教师培训，强化教师对相关智能教育平台的学习和利用，提升自身数据素养，理解大数据驱动教育质量评价的内部机理，懂得利用大数据技术进行学生学业表现的智能诊断分析，采取及时有效的教学干预措施，使数据能够服务于教师教学的各个阶段。
