基于大数据的教育评价研究综述

万晓容，朱丽佳，陈 俊，席宁丽

（1.贵州师范大学教育学院；2.贵州师范大学外国语学院，贵州贵阳 550025）

0 引言

大数据已成为教育评价研究领域的热门词汇，而学界现存关于大数据的定义尚未达成共识。一般而言，大数据（Big Data）即巨量的资料，学界普遍认为它具有4V 的特点：①规模性（Volume），从TB 级别跃升到PB 乃至EB 级别，数据总量不断增长；②多样性（Variety），数据类型繁多，包含结构化与半结构化数据，如文本、音视频等；③高速性（Velocity），数据处理速度快，实时满足用户的需求，这也是区别于传统数据的显著特点；④价值性（Value），对海量数据进行分析、处理与集成，快速获取高价值信息［1］。

当前，大数据逐渐深入教育行业，促使教育评价实践愈加精准与深入。作为对教育活动现实或潜在价值进行分析并做出判断的过程［2］，教育评价对打破单一评价类型，打造更具效率、数据真实、主体自觉、途径多元、结果公平的多元评价生态具有重要意义［3］。2020 年10 月13 日，《深化新时代教育评价改革总体方案》（以下简称《总体方案》）指出，扭转不科学的教育评价导向，强调利用大数据等现代信息技术，创新评价工具等举措，破除“唯分数、唯升学、唯文凭、唯论文、唯帽子”的教育评价痼疾［4］。诚然，大数据已成为教育评价变革与创新的重要驱动力量，带动了教育评价从传统的“经验主义”向“数据主义”转变，消除了评价过程中的“信息孤岛”与“数据壁垒”，克服了教育评价认知有限性与模糊性［5］。但在大数据驱动下，大数据对教育评价的具体导向如何？教育评价的研究现状与发展趋势是什么？为此，本文对国内大数据支持下的教育评价现状进行梳理，为该领域后续探索提供不同研究视角。

1 数据来源与研究方法

1.1 数据来源

数据来源于CNKI 数据库搜索，时间起始年不限，截止日期为2021 年6 月10 日，主题词为“大数据”或“数据驱动”与“教育评价”，来源类别为北大核心和CSSCI，共检索期刊113 篇，人工剔除会议、新闻、报告及与研究无关文献23篇，最终选取90篇文献进行分析。

1.2 研究方法

首先利用Citespace 对研究作者、机构、关键词进行可视化分析，然后利用书目共现分析系统（Bicomb2）对关键词进行词篇矩阵分析，并将高频关键词词篇矩阵导入SPSS25.0 进行系统聚类，生成高频关键词聚类树图谱，最后将构建的相似矩阵从SPSS 中导出，利用Excel 转换为Ochiai 系数相异矩阵，再将相异矩阵导入SPSS 进行多维尺度分析，得到教育评价研究趋势。充分发挥这3 种软件的优点，互相弥补不足，从而对大数据的教育评价应用进行较为全面的梳理与分析。

2 研究结果与分析

2.1 文献研究类型与数量分析

通过对文献样本内容分析发现，当前研究可分为两类：①理论分析类（80 篇），从理论视角探讨大数据下的教育评价路向、理论架构、发展趋势或教育评价模型框架；②实证研究类（10 篇），基于实验和大量数据开展的实证研究，以探索评价方式、构建评价模型、开发应用平台、系统等为主要内容。同时，由期刊年份趋势图可知，2013 年以前，教育评价文献为零，此后学者才陆续展开研究；2013-2016 年为缓慢增长期；2016 年后，大数据、云计算、移动互联网、人工智能技术与教育的深度融合促进了智慧教育的发展，促使研究者关注大数据与教育的发展价值，理论分析类步入快速增长阶段，而实证研究始终不温不火，数量没有较大突破。

Fig.1 Research types and quantitative analysis of literatures图1 文献研究类型与数量分析

2.2 作者与机构分析

利用Citespace 输出作者可视化分析结果，时间跨度为“2013-2021”，时间切片跨度为一年，节点类型选择“作者”。由图2（彩图扫OSID 码可见，下同）可知，作者整体分布较分散，没有形成大的合作网络。为了更好把控研究的核心团队与科研规模，研究将Citespace 中的“Node Types”值设定为Institution+Author，“Top N”值设定为30，其他设置选择默认值，最终结果如图3所示。

由图3 可知，北京师范大学、华中师范大学、西南大学以及重庆市教育评估院是研究的主阵地。其中北京师范大学有两个主要团队：一是以陈丽、王怀波等学者为主的北京师范大学远程教育研究中心；二是以牟智佳、张志祯等学者为主的北京师范大学教育学部教育技术学院。华中师范大学的教育学院、国家数字化学习工程技术研究中心、教育学部等都参与了研究，研究较多的是张浩、杨宗凯等学者。教育评价也引起了重庆部分机构的重视，如重庆市教育评估院、重庆大学等，而西南大学教育学部拥有教育评价领域数量最多的作者团队，包含龚春燕、贾玲、朱德全等学者。总体而言，教育评价领域的研究流派以高校内部为研究团体，但更多以个人研究为主，他们共同构成了该研究领域的学术前沿阵地。

Fig.2 Author visualization atlas图2 作者可视化图谱

2.3 关键词共现分析

根据图中节点大小可以寻找关键节点，由图4 可知大数据是最大的节点，其次教育评价、人工智能等节点较为明显。增值评价、教育质量评价、大数据时代等节点相对较小，反映了我国大数据下教育评价的研究进展。

通过Citespace 输出词频大于3的关键词，中心度与频次代表着一段时间内研究者共同关注的问题，即研究热点。由表1 可知，教育评价、大数据、思想政治教育、人工智能、教育变革、教育大数据、教育质量、信息技术及增值评价是研究的热点。2013 年被各大媒体称为中国的大数据元年，也正是从2013 年起，国内掀起了基于大数据技术促进教育改革和创新发展相关研究的热潮。随后，教育大数据、信息技术、人工智能、数据驱动技术飞速发展，使教育信息化真正落地，催生了教育评价的数据化。

2.4 关键词聚类分析

采用Bicomb2 软件对确定的高频关键词生成词篇矩阵，并通过Excel 的相异矩阵运算消除关键词自身频次差异带来的影响。其中，相异矩阵=1-相似矩阵［6］，部分结果见表2。将相似矩阵导入SPSS 进行聚类分析后，可将教育评价研究的高频关键词分为五大领域，如图5所示。

Fig.3 Analysis of authors and cooperative organizations图3 作者与合作机构分析

Fig.4 Keyword co-occurrence analysis图4 关键词共现分析

Table 1 Keyword frequency analysis表1 关键词频次分析

Table 2 High frequency keywords dissimilarity matrix（partial）表2 高频关键词相异矩阵（部分）

热点一：教育评价下的教育质量评价研究。包含“数据挖掘”“教育质量评价”“教育质量监测”“增值评价”“教育决策”“教育评价”和“教育质量”7 个关键词。教育质量评价是提高教育教学的重要保障，提高教育质量可从两个方面着手：一是依靠相关技术，如使用数据挖掘技术对平台中的大量教育评价信息进行关键信息抽取，进而完成智能评定与预测工作。孙力［7］、牟智佳［8］、王亮［9］等都利用在线学习平台数据开展预测学生成绩的研究。在数据挖掘技术的辅助下，学习者可以扩宽自身思维，重构知识结构，教师通过分析信息改善教学，管理者亦可借助数据挖掘进行教育决策。二是从理论上进行突破，坚持以政策为导向。《总体方案》中针对我国教育发展的新态势，提出要探索“增值评价”，破除“五唯”教育评价痼疾［4］，为提升教育质量提供了契机。但相关研究表明，教育质量的评价工具较为简单，往往由一两名教师完成，缺乏科学性，在评价内容、评价方法和评价结果的运用上缺乏整体的思考，教育质量评价的数据结果往往局限于对单一指标的描述性分析，得到的仅是孤立性的数据［10］。教育质量作为我国教育发展的长期诉求，需要进行全面深入的挖掘，依据各学段特点进行开展，充分发挥大数据的规律性与价值性。

热点二：大数据下的思想政治教育评价研究。包含关键词“大数据时代”“思想政治教育评价”“思想政治教育”“高校”“大数据”“新时代”。大数据时代，人们习惯于借助大数据获取信息、学习知识，面对信息的冲击，高校德育范式和思想政治范式正发生着巨大的变化。为此，高校推广实施“第二课堂成绩单”制度［11］，创建了“学生画像”“教师画像”“精准扶贫”“网络文化产品影响力评估”等大数据应用系统［12］。但通过文献梳理发现，大多研究以高校群体为主，多针对大数据形势提出相应对策分析，大都尚处于初级阶段，方案的可行性有待确证，在未来研究中，亟须将对策与实践融合开展。

Fig.5 High frequency keywords clustering map图5 高频关键词聚类图谱

热点三：教育大数据研究。随着大数据时代的到来，越来越多的学者展开了教育大数据领域的研究，如信息技术、学习过程、数据挖掘、学习分析、教育大数据、个性化教育、教育信息化、学习行为等［13］。学习分析在教育上的应用受到了广泛关注，研究者们致力于运用学习分析方法对学习进行优化，促使教育成为每个学习者满足其个人需要和发展自身的途径。然而，基于大数据视角的学习分析应用研究尚存较大空白，缺乏相应案例分析。面对海量大数据显现的内容，人们很难厘清事物如何通过数据显现自身，而从多个维度探究，挖掘背后隐含的真理才是教育大数据的研究价值。

热点四：教育评价技术研究。包括“信息技术”“教育信息化”“人工智能”三个关键词。以人工智能为代表的信息技术在教育领域的应用与融合主要体现在三个方面：一是利用数据库平台、机器运算力、算法模型代替评价人员的人工操作做出智能评定和预测工作；二是在教育评价的部分环节，辅助评价人员采集、计算、评定、决策工作；三是通过“人机对话”达到评价过程的自动化测定、精准化诊断与个性化反馈等［14］。毫无疑问，随着新兴技术的加入，教育评价必将走向客观、全面、科学［15］，逐步形成“智慧评价”。但现有评价技术的不稳定性，如硬件、操作系统等可能会给教育评价带来潜在影响，导致数据收集失败或者尚难以察觉的错误，如何有效规避上述问题是未来研究亟需关注和实践的重要方向。

热点五：数据驱动下的学习评价研究。包含关键词“数据驱动”“学习评价”“教育变革”。数据驱动存在于评价方式、评价内容、评价过程中，催生着教育的变革与发展。黄涛等［16］构建了包含多场景数据采集、多空间数据融合、精准分析模型构建、分析结果可视化的学习评价机制，并提出以区块链技术为核心，从认知、情感、动机和社会四个方面学习综合素质评价方法。牟智佳［17］从评价内容上进行了细分和聚类，构建了基于电子书包的个性化学习评价模型。吴永和等［18］提出了基于xAPI 规范的3D 设计软件数据采集机制与STEAM 3D 教育学习者行为分析模型，实现了利用学习者学习过程的行为数据进行数据驱动的学习分析及评价。相比于传统学习评价，数据驱动下的学习评价从多维度关注学生学习过程，评价结果更加客观全面。但由于数据驱动的学习评价需数据采集、加工、人工智能算法等步骤对数据进行有效分析，相关平台进行智能操作，国内研究仍处于起步阶段。此外，精准化评价还需从认知、情感、注意力等方面作分析预测，需进一步探讨。

2.5 研究趋势分析

多维尺度分析法指对实验观察数据在概念空间中的特殊位置进行分配，根据所有由数据构成点之间的距离在数值上等于预计算的不相似性，分别展示以向心度与密度作为参数的二维坐标系［19］。从坐标系中点的位置来看，若某关键词处于第一象限，则研究处于中心；位于第二象限，说明其结构紧密程度较低，位于第三象限，则已有研究内部联系较为紧密；位于第四象限，说明研究处于边缘地带［20］。为厘清教育评价的发展趋势，研究根据相似矩阵利用Excel 进行相异矩阵运算，最后将Ochiai 系数相异矩阵导入SPSS，利用其多维尺度分析（ALSCAL）功能，进一步对关键词聚类分析进行深化和扩展，结果如图6所示。

由图6 可知，领域1 处于第二、三象限，“数据挖掘”“教育质量评价”“教育质量监测”“增值评价”处于第二象限。近年来，国家强调发展“增值评价”，要积极利用学生的进步而非学生在关键考试中的原始分数来评价学校的绩效［21］。为了迎合这一目标，部分学者开始探究当前教育质量评价如何改进，文章内容主要以策略提出为主，并未深入剖析，说明该主题内部结构较为松散。“教育决策”“教育评价”和“教育质量”处于第三象限，这表明提高教育质量是我国教育的长期诉求，无论是从源头上还是过程中进行着手，都存在相关研究，内部联系较为紧密。

Fig.6 Multidimensional scaling analysis图6 多维尺度分析

领域2 的关键词处于第四象限。习近平谈到要用信息技术推动思想政治工作的发展，积极利用大数据相关技术了解学生学习思想状况。而由于大多教师缺乏大数据理念，学校缺乏数据平台等系列问题，相关研究并未得到有效开展，该领域处在研究网络中心的边缘地带。

领域3 处于第三象限。教育大数据为许多研究者提供了研究思路，但在实际应用中却存在一定的技术瓶颈，如数据挖掘与学习分析在数据采集中的技术挑战，以及数据存储、处理和分析过程都存在技术难度；此外，不同系统之间的兼容性也是一个主要问题，这些现实问题都导致该主题处于较边缘位置，有待进一步研究。

领域4 的关键词处于一、四象限，其中“教育信息化”“信息技术”处于第一象限。利用信息化技术将为教育评价改革提供便捷，它可以全方位、全过程采集教学数据，且可以获得情感因素、心理倾向、实践能力等非结构化数据［22］，这种全面、科学、精准的评价往往更能让人接受，也迅速成为学者研究的网络中心。“人工智能”处于第四象限，自被提出以来，其一直是研究的热点，但并未渗透到教育教学的各个方面。近年来，人工智能才逐渐融入教育领域，为推动教育评价改革创新提供了条件，这条路在未来该如何革新还有待进一步挖掘。但总体而言，教育评价的技术研究正逐渐落地在人工智能支持下的信息技术中。

领域5 处于第一象限。数据驱动的学习评价研究可以观察、解释和反馈教学活动的信息流动和运行轨迹，还能发现教育中存在的问题，为课堂教学提供帮助。从现有的研究来看，该主题是我国研究网络的中心，面对互联网的浩瀚数据，它将不断为学习评价提供数据支持。可以预见，在未来很长的一段时间内，数据驱动的学习评价研究将是一个热点问题。

3 讨论与展望

通过对90 篇期刊文献的梳理分析，在大数据的支持下，教育评价研究具有以下特点：

首先，在研究成果上，教育评价的理论研究数量呈现上升趋势，特别是《总体方案》的出台推动了大批学者进行研究，但实证研究却没有很大改善，数量较少，虽然此前提出了一些切实可行的解决方法，但还有待进一步研究和思考。同时，研究作者团队较分散，没有形成较好的合力。未来研究工作可继续深化自身理论认识，结合学生、学校实际情况，积极探索大数据教育评价的实践研究，避免实践与理论脱节的现象。

其次，在研究内容上，教育评价技术与数据驱动的学习评价是当前研究的中心，学习评价正逐渐从传统的教师评价、学生评价向以数据驱动支持的多维度评价转变，但数据驱动可能造成研究和实践偏离真实的教育问题［23］。教育评价更为重要的是回归教育实践，打造符合时代发展、学生发展的教育需求。大数据时代下的思想政治教育评价、教育大数据等均处于研究边缘，且多围绕高校展开研究。每个人都是信息的载体与传播者，基础教育、职业教育等领域都应加入思想政治教育的评价。

第三，在研究领域上，大数据支持下的教育评价实际应用缺乏案例。大数据为教育评价服务，且需要通过不断获取、整合、分析学习过程中的文字、声音、图像、视频与人体感知等多模态数据，对教学和学习活动的信息流与运行轨迹做出观测、解释和反馈［24］才能得知其真实服务效果。对于当前研究而言，还需加强大数据在教育评价中实际应用案例的分析，如计算机科学、教育科学、认知心理学，甚至融合艺术、人文等领域，拓宽实践案例［25］。

面对海量数据，过去常规的数据采集与相关技术（数据挖掘、IRS 系统）已不能满足大数据背景下的现实需求，需在教学评估领域快速积累有关爆炸式的大数据采集、存储、清洗等方面知识与技术，在数据采集的质和量之间有效权衡［26］。以此实现全样本、多模态、智能化的数据挖掘分析，帮助教师找出具体教学问题，提高教育质量［1］。