“采集-分析-应用”框架下多模态教育评测研究评述

祝云篪，赵作翰，童澄达，夏小俊,2

1.东南大学生物科学与医学工程学院(中国南京 210096)；2.儿童发展与学习科学教育部重点实验室(中国南京 210096)

神经教育学是一门诞生在脑科学、分子生物学等诸多新兴学科取得突破的背景下[1]、将相关科学研究成果转化应用于教育实践的转换教育学[2-5]，此概念的提出促进了教育实证研究的快速发展，为科学的教育评测指明了方向。使用“超星发现”学术辅助分析系统发现，自1989年以来的30年全球有关教育实证研究的学术论文发表数量总体呈几何级增长，其关键时间节点在2006年左右，这正是神经教育学概念在国内首次出现的时间。在此节点上，相关著作出版出现显著峰值，论文发表量急速增长，可见神经教育学概念对教育实证研究的重大理论指导意义。

神经教育学以神经科学、认知科学、心理学、学习科学、脑科学等学科的成果为理论基础，此视角下的实证研究，尤其是教育评测研究，与当今诸多先进技术和相关科技基础设施联系紧密，符合对观察资料“采集-分析-应用(acquisition-analysis-application,3A)”的研究框架。本文结合相关文献、东南大学生物科学与医学工程学院神经教育学大数据中心的建设和神经教育学本科教学改革，对3A研究框架下实证研究进行综述和展望。

1 3A研究框架

3A研究框架不仅是当今热门的数据挖掘工作所遵循的基本范式，也是多数具有“问题导向”[6]性质的应用科学研究应当采用的框架，有望取代传统的“假设/设计-分析-验证/回答”研究框架[7]。神经教育学是应用科学，研究重在挖掘并利用规律而非验证假设，最终目的是研发应用以解决实际问题，而非单纯的“回答问题”；此视野下教育评测研究也必须基于采集所得事实证据，通过分析以转化为可行应用。

框架被定义为1个基本概念上的结构，在此基础上去处理复杂问题，其具有约束性和支撑性。此表述原先多用于软件工程和机械工程领域，本文作者将其延伸至广义的科学研究，可以理解为在理论基础上研究内容、方法和相关基础设施的合集。研究框架下的具体研究被抽象为各要素的组合与相互作用。

图1为3A研究框架的可视化呈现。采集层是该框架的输入层，研究目的直接决定采集资料的选择。神经教育学大大拓宽了教育评测研究的资料预选范围，基因、脑、生理、心理、行为表现等多模态指标皆可被观察、量化和采集。分析层负责数据的清洗、加工、挖掘、建模，在这一环节中，计算设备、软件、开发环境是重要因素。应用层则是数据转化成果的输出层，多为研究结果的工程实现、教育方法的具体改进，是检验成果的唯一标准。

图1 3A研究框架图

此外，3A研究框架有1个隐藏的基础设施层，用于实际数据发生以及后续研究支撑。作为提供长期稳定服务，为探索未知、发现规律、实现技术突破提供极限研究手段的大型复杂科学研究系统[8]，科技基础设施亦是应用层的重要方向。以科技基础设施作为最终成果的教育测评研究，既证明了其前瞻性和基础性，也诠释了实证的公益精神[8-9]。

3A研究框架对研究者最基本的要求是研究的量化和系统化。量化是学科从前科学发展至科学的关键[9]，在教育学研究领域的表现便是将个人专业智慧和传统方法观念抽象并细化为某因素对教育某方面的具体影响，即经验量化为数据，在数据的基础上进行采集、分析和应用。系统化要求3A缺一不可，采集方法、分析方法和最终的应用兼具有实验和工程上的可行性，对教育可有实质性的促进。传统的问卷调查式研究虽符合实证的定义，但在3A研究框架下，从数据看，基于问卷、量表的数据分析仍然基于传统的数理统计，分析方法与当今先进的计算技术脱节较大，数据规模和维度的局限导致了人为的抽样和特征选择，因此带来主观因素并引发质疑[10-11]；从系统性看，此类研究多基于传统实证研究框架，缺少真正的应用层，缺乏应用科学的必要因素。

3A研究框架下，课堂仍是最常见的采集发生处和应用部署处。2006年以来，神经教育学研究积累的经验表明，生理信号检测分析、生化指标检测分析、行为分析能够较为客观、准确地反映学生课堂情景下状态的微观变化[12]。因此，本文从上述3个方向展开。此外，当今在线学习的高速发展不容忽视，在线背景下的虚拟行为亦得到研究者关注，因此本文在行为方面的评述将分成现实行为和虚拟行为2个角度进行。

2 研究评述

2.1 生理信号

生理数据多模态教育评测是一项挑战。早期研究者或以较多精密传感器获取多维数据[13]，或使用专业脑图、脑电设备探索规律[14-15]，复杂的采集手段使之难以应用于课堂；有的使用手环等便携设备采集数据[16]，但精准度难以保证。综上，问题主要出在采集层上。

发展无感可穿戴技术是解决上述研究困境的1个可行方案。可穿戴技术是未来影响教育规划和决策的关键技术[17]，其便携性、舒适性和可靠性方面的改进，使得学生在课堂情境下连续长时佩戴而不干扰正常学习成为可能。在无感基础上同时采集多种生理信号进行信息融合可进一步提高精准度，Ahonen等[18]结合心电信号和皮肤电信号的课堂情境协作行为评测，呈现出比传统“硬标准”脑电信号更优的分辨率和鲁棒性。

分析层的重点则在生理信号特征检测算法和特异性动态量化指标的发掘。目前主要趋势是扩大数据的维度，以多模态数据配合先进算法进行研究。在教研上体现为利用采集设备实现动态长程生理监测，从而构建学生的生理数据库，为追踪长期有效的实证教研打下基础；挖掘与学习状态对应的特异生理指标，并使用深度学习等技术构建学习状态评测模型，以供长期服务。该类研究3A要素表见表1。

表1 生理信号3A要素表

2.2 生化物质

在学习过程中，当受到外界信息刺激时，人体内特殊生化物质的释放使相应神经系统模块工作。测量关键生化物质，探索生化物质与学习活动的关系，具有应用于教育评测的潜在价值。

此类研究多以认知科学为出发点。围绕认知活动和情绪[19-20]、认知风格[21]等基本概念，已有实证研究较多探索生化标志物含量变化与认知的关系。例如，皮质醇唤醒反应与人的认知表现的关系[22]、脑脊液中神经颗粒蛋白与记忆功能和执行功能衰退的关系[23]、心血管中生物标志物与执行功能的关系[24]等。有研究[25]进一步探索教育对生化标志物分泌的影响，如受教育程度对人的皮质醇节律的影响。这些研究基本都属于传统实证研究框架，从神经教育学视角看，存在工程可行性不足、样本容量过低[26]等问题，但是这些前期探索的确对教育有应用价值，同时指明了采集的主流方向。从情绪角度看，压力、焦虑、紧张等负面相关研究更容易实行量化采集，而从生化标志物出发，皮质醇因其便于采集的特性成为最常用的指标。另有研究[27-28]关注脑源性神经营养因子(brain-derived neurotrophic factor, BNDF)与认知的关系，但因其难以无创检测且表征效果欠佳，目前未发现潜在的教育应用前景。

目前，皮质醇[29-30]、唾液淀粉酶[31]以及包括短链脂肪酸[32]、氨基酸[33-34]、胆碱[35]、胺类[36-38]、酚类[39]、维生素[40]等其他神经活性物质的快速采集分析技术已较为成熟，但还未完全达到设备化、自动化。这些测量手段能较为客观地反映学生学习过程中某些特征，同时便捷、无创，因此能够在课堂情境下运行，但需要人工引导。使用这些方法还有望拓宽相关研究的广度，比如学习活动中生化标志物的静息分泌与动态分泌特征，标志物含量与注意力、思维活动的关系等。该类研究3A要素表见表2。

表2 生化物质3A要素表

2.3 行为

相比生化指标和生理信号，行为是一种宏观特征，容易观察、采集而较难量化分析。研究者试图采集学生的表情[41]、语音[42]、眼动[43]等非结构化数据探知其学习状态。采集的非结构化数据导致分析和应用对算法和基础设施有更苛刻的要求，以基于视频的课堂表情识别为例：逐帧目标跟踪中，图匹配是人脸追踪模块的难点，需专门设计追踪算法[44-45]解决这一问题；视频数据的海量规模本身也对存储和计算速度提出了挑战，对此需专门建立数据仓库并部署大数据处理方案；最后的检测应用则要求高流量的云计算支持。

虚拟行为的研究则可较为方便地实现采集数据的结构化。“虚拟行为”这一概念可追溯至2001年“虚拟实践”的提出[46]。与现实行为相比，虚拟行为仍由人脑决定，但其载体和媒介变为数字化的计算机网络，各项行为皆被虚拟化，宏观举动被抽象为结构化数据，因此非常有利于采集，这也导致相关实证研究涉及的数据规模比前文讨论的几类大很多。目前，大规模开放在线课程(massive open online course，MOOC)无疑是此方向最大的数据来源，相关研究的基础设施建设成本较小，样本容量充足，课程点击率、讨论发帖数、登录日志等在线数据的采集相对方便，基于人工智能的分类、聚类、可视化等热门教育数据挖掘方法[47]提高了分析效率，深度知识追踪[48]、退课预警模型[49]、学习模式/人群分类[50]等诸多应用研究也得到了关注。然而，以MOOC为代表的大规模在线平台相关研究的实证性一直受到质疑。此类平台往往知识覆盖面广，用户规模大且分布广，服务提供较为普适，监督松散，在特定实证教研中数据选择、质量控制比较困难。过分倚重数据科学、忽视基本教育理论也是该类研究存在的问题[51]。近年来，基于小规模限制性在线课程(small private online course, SPOC)的实证研究逐渐兴起。相比MOOC，SPOC规模小、功能明确、用户群体稳定、监督到位、可定制性强，有望取代MOOC成为虚拟行为分析的主要基础设施[52-54]。除MOOC类平台外，其他类型在线平台服务实证教研的案例数量较少。祝云篪等[55]基于学院级在线测评系统进行了对学生编程实践行为的数据挖掘，是1个标准的3A式研究，也在一定程度上佐证了“小平台”对实证教研的支撑作用。

行为易受主观因素影响，有一定的黑盒性，行为(尤其是虚拟行为)方面的实证教研不能建立在参与对象绝对“无隐瞒”的假设上。因此，现实行为研究对“无感”的要求甚至高于生化指标和生理信号相关研究，而虚拟行为研究则重在监督和排异。该类研究3A要素表见表3。

表3 行为3A要素表

3 总结与展望

本文提出了应用3A研究框架的概念，从生化指标、生理信号、行为3个方面综述了神经教育学视角下的实证研究。各角度3A式研究的总体评价见表4。

表4 各角度总体评价表

由表4可知，各角度研究在3A评价标准下各有优劣，对基础设施都有较高要求。对此，本文作者对神经教育学评测研究领域提出以下展望。

第一，集成前端，建设由神经教育学专用教室和在线学习实战平台构成全方位多模态采集层。专用教室可以同时部署穿戴设备、高清摄像头、录音设备等供生理信号和现实行为采集，设置专用隔间供生化指标采集；在线学习实战平台一方面可为学生提供资源分享、复习课堂内容甚至一些高级实战训练服务，另一方面采集学生的虚拟行为数据作为现实学习行为分析的补充。此外，专用教室和在线平台须尽其本职，与教育实践实现真正的对接，采集研究的同时配套合理的课程模块，实现学生各方面能力提升。

第二，集成后端，构建神经教育学大数据平台。大数据平台包括可实现采集层数据管道汇总、严格归类、快速查询的数据仓库，必要的预处理、可视化工具，甚至基本的数据开发环境；此外，需有应用集成中心，专门部署实证教研的应用成果，如各类检测系统、报表生成系统等。此类大数据平台还可以收纳基因、脑成像、文本档案等其他数据，从而构建全方位教育大数据网络，实现学生科学素养大规模评测、学生能力数据深入挖掘，建立各类数据常模，加速教育现代化进程。