传感数据应用于学习分析的研究综述*

肖 婉 季一木 刘尚东 刘 强

传感数据应用于学习分析的研究综述*

肖 婉1季一木2[通讯作者]刘尚东2刘 强2

（1．南京邮电大学 教育科学与技术学院，江苏南京 210023；2．南京邮电大学 计算机学院，江苏南京 210023）

在智能时代，各种智慧教育场所、移动智能终端和可穿戴设备中内置的传感器可以对教育过程中学习者的生理信息、行为动作、学习场所等数据进行捕捉，为全方位、情境性、过程性的学习分析提供了条件。基于此，文章采用系统性文献综述法，对51篇利用传感数据开展学习分析的实证研究文献进行分析，以揭示传感数据应用于学习分析的研究现状，探究基于传感数据的学习分析研究内容及其实证效果，并在此基础上探讨传感数据应用于学习分析的挑战和建议，以期为相关教育研究者与实践者提供教学设计与优化的实证参考。

传感数据；学习分析；系统性文献综述

在智能时代，物联网技术、传感技术、可穿戴技术、人工智能技术等在教育中的应用，为学习分析带来了新契机，可以实现物理空间和虚拟空间教育大数据的采集与分析。传感数据是指由感知设备或传感设备感受、测量及传输的数据。当前，各种智慧教育场所、移动智能终端和可穿戴设备中内置的传感器可以对学习过程中的数据进行全方位采集，拓展了学习分析的数据维度。比如，利用环境传感器捕获学习者所在环境的位置、移动等信息，利用活动传感器识别人体的手势、姿势、动作等学习行为，利用生物传感器对学习者的血压、心率、脑电等生理特征进行测量，从而实现具身性、情境性、过程性的学习分析。本研究通过对已有实证研究的系统分析，探究传感数据在学习分析领域应用的实际情况，了解传感数据对于学习的解释和优化效应，以期为相关教育研究者与实践者提供数据支持和经验参考。

一 研究设计

1 研究方法

本研究采用系统性文献综述法开展研究，即带着具体的研究目的，基于精准的研究问题，制定文献的纳入和排除标准，采用标准化技术对所选文献资料进行数据抽取和整合，得出研究问题的答案[1]。系统性文献综述法研究问题清晰、检索策略全面、文献标准明确、评估过程严谨、数据分析综合，能够有效克服传统文献研究方法的主观性问题，获得较为可靠的研究结果[2]。因此，系统性文献综述已经在医药学、情报学、教育学等领域得到逐步应用。

2 研究问题

为了探索传感数据在学习分析中的应用效果，本研究确定了如下研究问题：①传感数据应用于学习分析的研究现状如何？②传感数据应用于学习分析的研究内容有哪些？③应用传感数据开展学习分析面临哪些挑战？

3 样本获取

为了尽可能全面地获取相关文献数据，本研究在初次检索时以Web of Science、Wiley、Eric、ScienceDirect数据库为来源，将“sensor AND learning analytics”“wearable AND learning analytics”作为关键词，对2011～2020年期间的教育类SSCI期刊文献进行初次检索，共获得文献109篇。为了扩大文献样本，本研究在进行二次检索时根据文献所在期刊分布，对论文发表数量较多的5本SSCI期刊——、、、、再次逐刊进行检索，以字符串“Sensor”“Wearable”为关键词，检索时间设定为2011～2020年，共获得文献316篇。通过两轮检索，本研究获得文献425篇。

为保证文献质量和分析结果的可靠性，本研究根据研究问题制定了以下文献纳入/排除标准：①与研究主题密切相关，即聚焦于传感数据在学习分析中的应用，排除相关性不强的文章（如研究虽采用了传感技术或可穿戴设备，但不涉及学习分析或相关性较弱）；②为实证研究，包括采用定量、定性或混合研究方法的文献，排除理论探讨和文献综述等文章；③包含研究目的、研究方法以及具体的数据收集、分析、结果阐述等内容，排除以上内容不全面的文章。

文献筛选过程主要包括三个环节：①检查两轮检索的所有文章标题，剔除重复性文献，得到文献392篇；②根据文献纳入/排除标准对文章摘要、目的、方法、结论进行筛选，得到61篇文献；③再次通读全文，最终将51篇文献确定为数据样本。

4 数据分析

基于前文所述的三个问题，本研究设计了分析框架（如表1所示），对51篇文献进行系统分析。随后，本研究从研究场景、研究对象、研究方法等方面分析传感数据应用于学习分析的研究现状，从数据来源、研究主题、研究结果等方面阐释传感数据应用于学习分析的研究内容，并在此基础上探讨传感数据应用于学习分析的挑战，进而提出在学习分析中应用传感数据的建议。在主题与结果分析的过程中，本研究采用Nvivo 11对相关内容进行三级编码[3]，通过开放性编码从文献摘要、问题、研究内容及结果中提炼出具体的研究主题，再通过关联性编码从各研究主题关系中梳理、归纳出研究维度，最后通过选择性编码从各维度内在关联中找出研究类属，从而系统梳理传感数据在学习分析中的研究内容和实践效果。

表1 分析框架

二 传感数据应用于学习分析的研究现状

本研究通过对样本文献中研究场景、对象和方法的分析，探讨当前传感数据应用于学习分析的研究现状。

1 研究场景广泛，涉及正式与非正式教育

研究场景文献分布如图1所示，可以看出：基于传感数据的学习分析主要应用于学科与专业教育等正式教育环境（有18篇），包括数学、物理、化学实验、科学实验等学科课程教学和教育学、统计学、计算机科学、营销学等专业课程教学。已有研究依托具体课程，利用传感数据测量学习者的学习体验或学习效果[4][5]，或者探讨不同教学环境、教学方法等教学设计或实施要素对于某课程教学效果的差异[6][7]。同时，基于传感数据的学习分析也应用于非正式教育场景，如工程项目、协同任务、场馆学习等多种形式的实践学习场景，涉及任务、活动、情境等要素对学习的作用，主要应用于实践学习中的情境识别、参与度和人际交互分析等[8][9]。此外，基于传感数据的学习分析还应用于阅读素养、语言学习、数字素养等研究场景[10][11][12]，也有研究者关注儿童色彩识别能力的培养[13]。能力和素养的培养涉及情感态度变化、元认知调节等内部心理过程，人工调查、访谈、自我报告等分析方法均有一定的干扰性，且无法获取相关要素的连续信息流，而表情、动作及生理信号等测量方法能以非侵入式的方式不间断地获取相关信息，从而帮助研究者间接了解学习者的情感、态度等变化。在智能时代，数字化学习环境是学习发生的重要场所，研究者利用传感数据探索多媒体材料设计、在线学习环境、基于游戏的学习等情境因素对学习效果的影响[14][15][16]。可见，基于传感数据的学习分析已经在正式和非正式教育场景得到了广泛应用，并在面向学习者能力、素养等内隐特征的研究中体现了一定的数据优势。

图1 研究场景文献分布图

图2 研究对象文献分布图

2 研究对象多元，关注特殊群体

研究对象文献分布如图2所示，可以看出：传感数据应用于学习分析涉及的研究对象范围较广，涵盖学生（包含从学前儿童到研究生的不同学生身份）、教师、成人、特殊群体等。其中，高等教育是研究实施的重要阵地，其中面向本科生的相关研究最多（有24篇）。值得注意的是，有两项研究是针对特殊群体开展的：Lorenzo等[17]关注孤独症儿童社交能力的发展，通过定位系统、感知系统、摄像系统中的传感器来获取其位置、方向、动作、表情等信息，从而分析其在知识获取、社交技能等方面的发展；而Standen等[18]将基于多模态情感识别的自适应学习系统应用于智力障碍学习者，该系统可以根据学习者情感状态的判断来调节学习内容。由于特殊群体在语言表达、理解测试等方面存在一定的局限性，故采用自然学习情境下的表情、动作、生理信号等传感数据可以更客观地揭示学习者内隐的认知和情感特征。当然，研究对象并非局限于单一群体，可将不同阶段的学习者作为研究对象，或同时将教师和学习者作为研究对象[19][20]。

3 量化研究为主，注重混合设计

在研究设计方面，本研究选取的51篇文献中有36篇采用了量化研究设计，有15篇采用了混合研究设计。在具体的研究方法上，51篇文献中采用实验研究法、问卷调查法、准实验研究法、自我报告法较多，有些研究同时采用多种研究方法，具体如图3所示。由于传感数据的采集需借助于特定的传感设备，且获取的数据量通常较大，需借助人工智能技术进行数据处理，故量化研究是基于传感数据的学习分析的主要路径。研究者主要通过实验研究法和准实验研究法采集特定实验情境或真实教育情境下的传感数据，对学习体验与学习效果进行分析；或将传感技术应用于实践进行学习反馈与干预，以提高学习效果。此外，由于当前传感数据应用于学习分析尚处于探索阶段，不仅需要专家把关，也需要参与主体的反馈，因此有部分研究将问卷调查法、自我报告法、观察法、访谈法等作为辅助研究方法，形成了混合研究设计。研究者通过不同维度的数据分析，与基于传感数据获得的研究结果进行相互验证，提高了研究的可信度。

图3 研究方法文献分布图

三 传感数据应用于学习分析的研究内容

本研究通过对学习分析中研究数据来源、研究主题及研究结果的挖掘，探究传感数据应用于学习分析的具体研究内容，揭示传感数据是如何反映学习相关信息的。

1 研究数据来源

学习分析中传感数据的获取主要依赖于特定的传感器或传感系统，如采用眼动仪测量眼球位置与眼球运动信息，包括桌面式眼动仪、头戴式眼动仪、虚拟现实眼动仪三种类型；利用摄像头或体感系统捕捉行为数据，从而对表情、语音、动作和空间运动信息进行收集；心率、脑电、皮肤电等生理数据则主要通过可穿戴设备或生物传感设备进行采集。此外，一些环境和设备中内置的传感器也可以采集位置、笔压、椅压、鼠标输入等数据。表2展示了已有研究中常用的传感数据采集设备、常用仪器型号及数据内容。

2 研究主题分析

通过对样本文献研究主题的分析，本研究发现传感数据在学习分析中主要应用于解释学习现象和结果，其次用于优化学习过程和情境，如表3所示。具体来说，研究者通过对学习者注意力、元认知、交互行为、学业情绪、学习满意度等主题的研究，揭示学习者在学习过程中的认知、行为以及情感特征。同时，研究者通常采用多种传感数据、学业测试、问卷、量表等多模态数据，对学习者的知识获取、技能习得和协作绩效进行分析，以解释或预测学习者的学业表现。此外，研究者还利用传感技术开发注意力监测系统、情感分析系统、感知交互系统、情境感知系统以及自适应学习系统，以用于学习过程的智能反馈，从而及时优化学习情境。

表2 传感数据采集设备、常用仪器及数据内容

表3 研究类属、维度及主题

3 研究结果分析

在认知分析方面，相关研究发现，体温、心率、血压与学习压力具有相关性[21]，并在一定程度上能反映认知负荷[22]、自我调节[23]。脑电是神经细胞的电生理活动在大脑皮层或头皮表面的整体反映，在大脑处于专注、放松、休眠等不同工作状态时，脑电波形的振幅、频率、功率存在差异，因此能在生理维度表征学习者的注意力、投入度等状态[24][25]。

在行为分析方面，眼动数据中的注视时间、眼动轨迹等反映了学习主体的视觉注意及变化，能揭示不同学习者的视觉行为差异[26]，通过眼注热点图可以呈现学习者感兴趣的内容或视觉偏好[27]。此外，手势、姿势、空间位置及方向等信息可用于动作或体态分析，如Mcgann等[28]利用Kinect获取的姿势、动作等信息，评估了商业游戏和趣味健身游戏对用户运动技能的影响。由于人际交互中通常涉及空间距离、身体运动和体态姿势的变化，故也能间接反映协作学习中的参与程度和互动模式[29]。

在情感分析方面，表情识别能比较准确地分析学习者在学习过程中的情绪，以了解其积极、消极或中性的情感倾向[30]，或识别紧张、平和、欢乐、参与、沮丧、无聊等不同学业情绪[31][32]。由于皮肤电是机体受外界刺激或情绪状态发生改变时导致的皮肤电传导变化，因此研究者通常将其作为情绪的生理唤醒指标。通过对比发现，基于皮肤电的情绪识别与采用其他方法测量的情绪分析结果具有较高的一致性[33]。此外，皮肤电也可以作为脑唤醒、警觉水平的间接指标，用于测量压力程度等[34]。

研究发现，通过综合运用多种类型传感数据，可以揭示教育过程中的学习者特征，进而分析或预测学习者的知识获取、技能习得、情感态度或协作绩效，但不同研究的实证效果存在较大差异性[35][36][37][38]。

此外，可以在教学设计中融入传感技术以进行学习过程干预，如利用脑电反馈信息对学习者的注意力进行监测，并在适当的时机进行提醒与引导[39]；或利用情感感知学习系统、基于姿势的学习系统、手势互动游戏等开展教学实验[40][41][42]，以提高学习体验和学习效果。研究发现，基于传感数据的学习情境干预效果较好。

可以看出，研究者主要将传感数据应用于揭示学习现象和结果、优化学习过程和情境两个方面。但已有的实证研究更多地关注传感数据对学习规律的解释作用，利用传感数据干预与优化学习过程的研究相对较少。一方面，学习者是教育活动的主体，传感数据能提供学习者生理、行为、环境等多方面数据，有利于全方面、多维度地反映学习者的特征，从而发现并揭示学习过程与学习结果中的相关规律。另一方面，研究者希望打开“传感数据—学习”的“黑箱”，解密其具体规律和内在机制，进而为应用传感数据开展教学干预奠定理论基础。本研究认为，基于传感数据的学习分析研究不仅要对传感数据与学习的“黑箱”进行理论解构，也要应用整体系统优化思想面向具体应用进行实践建构，以充分发挥传感数据对学习的干预和优化效应。

四 传感数据应用于学习分析的挑战与建议

基于前文所述，传感数据已被广泛应用于不同学段、多种场景的教育研究，如学习者特征分析、学业表现预测、学习系统应用等方面，并取得了一定的研究成效。但研究发现，传感数据在对学习的解释力度和优化效果方面仍面临一定挑战，需要不断推进和完善相关研究与实践。

1 传感数据对学习规律的解释力度有限，应深化多学科协同研究建构系统理论模型

传感数据虽然拓展了学习分析的数据维度，可以采集学习者生理、行为、环境等多方面信息进行学习分析，但从已有研究来看，传感数据对于学习现象与规律的解释力度有限，在部分研究中传感数据的分析结果和预测效果还不够理想。比如，有研究试图通过眼动、脑电、心率、体温等多模态数据对学习投入和学业表现进行预测，但发现多模态数据对于学习投入的预测准确率仅为12.08%～39.44%，对于学业表现的预测准确率仅为6.21%～25.49%[43]。由于当前运用传感数据开展学习分析的实证研究仍处于探索阶段，缺少不同传感数据与学习相关性的理论证据，如部分研究采用的心率、血压、脑电等数据并不能直接指向学习相关的信息，在一定程度上影响了实证效果。因此，后续研究应深化多学科协同探索，对学习分析视域下的传感数据进行深入挖掘，从而建构系统的理论分析框架。研究者应通过教育学、心理学、脑科学、神经科学等多学科的协同合作，借助多学科相关理论，从不同传感数据中抽取出与学习相关的指标或维度，并建立指标的计算方法和权重信息，形成系统的分析模型，从而为实证研究提供更加充分的理论依据，提高实证研究效果。

2 传感数据对教学设计的优化作用有待挖掘，应重视个性化干预研究推进教育实践发展

虽然传感数据对于学习的解释力度有限，但已有实证研究中应用传感数据优化学习过程或情境所产生的学习效果却十分显著。比如，基于环境传感器设计的学习情境感知系统可以根据学习者的实际情况提供个性化学习路径支持，从而引导其完成真实情境中的学习任务[44]；基于手势感知与互动的阅读系统能有效激发儿童阅读的兴趣，促进儿童语言和理解能力的提升[45]；在儿童色彩识别任务中，采用手势互动游戏的儿童干预组呈现出更好的学习表现和运动技能[46]。然而，当前利用传感数据干预与优化学习过程的研究相对较少，且干预模式相对单一，个性化反馈程度不足。传感数据应用于学习分析的最终目标是优化学习体验与效果，因此应充分利用传感数据过程性反馈的优势进行个性化学习干预研究。而充分发挥传感数据对教学与学习过程的干预作用，可以有效推进教育实践的发展。基于此，未来研究应重点关注传感数据对学习干预的方式、时机及场景，开展具体且“落地”的实证研究。比如，利用心率、体温等数据监测学习者的压力状态，并根据学习者的压力变化特征制定个性化学习计划，或在检测到压力状态超标时向学习者推荐休闲放松类学习活动；通过情境感知数据对学习场景进行分类，并根据不同学习场景进行学习资源、学习方式的智能化推荐。

五 结语

基于传感数据的学习分析既可以实现物理学习环境下的教育大数据采集，也可以为在线学习、移动学习提供真实情境中的教育数据，故拓展了学习分析的新路径。本研究揭示了传感数据应用于学习分析的研究现状、研究内容及面临的挑战，并在此基础上提出了相关建议，以期为传感数据在学习分析中的深入研究和实践应用提供参考。在未来研究中，相信教育研究者与实践者通过开展跨学科协同理论研究、重视个性化干预实证研究，将充分发挥人工智能与人类智慧的双重优势，并能更好地理解学习现象、揭示学习规律、优化学习过程。

[1]游景如,黄甫全.新兴系统性文献综述法:涵义、依据与原理[J].学术研究,2017,(3):145-151、178.

[2]SutherlandS. An introduction to systematic reviews[J]. Journal of Evidence Based Dental Practice, 2004,(1):47-51.

[3]肖婉,张舒予.“导师制”学术团队知识创生的内在机制——基于扎根理论的个案研究[J].高教探索,2021,(9):48-53.

[4]Giannakos M N, Sharma K, Papavlasopoulou S, et al. Fitbit for learning: Towards capturing the learning experience using wearable sensing[J]. International Journal of Human-Computer Studies, 2020,136:102384.

[5][41]Shakroum M, Wong K W, Fung C C. The influence of gesture-based learning system (GBLS) on learning outcomes[J]. Computers & Education, 2018,117:75-101.

[6][36]Sung B, Mergelsberg E, Teah M, et al. The effectiveness of a marketing virtual reality learning simulation: A quantitative survey with psychophysiological measures[J]. British Journal of Educational Technology, 2020,(1):196-213.

[7]Sun J C Y. Influence of polling technologies on student engagement: An analysis of student motivation, academic performance, and brainwave data[J]. Computers & Education, 2014,72:80-89.

[8][20][40]Chen C C, Huang T C. Learning in a u-Museum: Developing a context-aware ubiquitous learning environment[J]. Computers & Education, 2012,(3):873-883.

[9]Malmberg J, Järvelä S, Holappa J, et al. Going beyond what is visible: What multichannel data can reveal about interaction in the context of collaborative learning?[J]. Computers in Human Behavior, 2019,96:235-245.

[10][45]Homer B D, Kinzer C K, Plass J L, et al. Moved to learn: The effects of interactivity in a Kinect-based literacy game for beginning readers[J]. Computers & Education, 2014,74:37-49.

[11][31]Chen C M, Lee T H. Emotion recognition and communication for reducing second-language speaking anxiety in a web-based one-to-one synchronous learning environment[J]. British Journal of Educational Technology, 2011,(3):417-440.

[12][23]Mason L, Scrimin S, Tornatora M C, et al. Internet source evaluation: The role of implicit associations and psychophysiological self-regulation[J]. Computers & Education, 2018,119:59-75.

[17][35]Lorenzo G,Pomares J, Lledó A. Inclusion of immersive virtual learning environments and visual control systems to support the learning of students with Asperger syndrome[J]. Computers & Education, 2013,62:88-101.

[14][30]Chen C M, Sun Y C. Assessing the effects of different multimedia materials on emotions and learning performance for visual and verbal style learners[J]. Computers & Education, 2012,(4):1273-1285.

[15]Chen C M, Wu C H. Effects of different video lecture types on sustained attention, emotion, cognitive load, and learning performance[J]. Computers & Education, 2015,80:108-121.

[16][28]Mcgann J, Issartel J, Hederman L, et al. Hop. Skip. Jump. Games: The effect of “principled” exergame play on children’s locomotor skill acquisition[J]. British Journal of Educational Technology, 2019,(3):798-816.

[18][32]Standen P J, Brown D J, Taheri M, et al. An evaluation of an adaptive learning system based on multimodal affect recognition for learners with intellectual disabilities[J]. British Journal of Educational Technology, 2020,(5):1748-1765.

[19][29][37]Cukurova M, Luckin R, Millán E, et al. The NISPI framework: Analysing collaborative problem-solving from students’ physical interactions[J]. Computers & Education, 2018,116:93-109.

[21]Kaklauskas A, Kuzminske A, Zavadskas E K, et al. Affective tutoring system for built environment management[J]. Computers & Education, 2015,82:202-216.

[22]Larmuseau C, Cornelis J, Lancieri L, et al. Multimodal learning analytics to investigate cognitive load during online problem solving[J]. British Journal of Educational Technology, 2020,(5):1548-1562.

[24]Chen C M, Wang J Y, Yu C M. Assessing the attention levels of students by using a novel attention aware system based on brainwave signals[J]. British Journal of Educational Technology, 2015,(2):348-369.

[25]Lin F R, Kao C M. Mental effort detection using EEG data in E-learning contexts[J]. Computers & Education, 2018,122:63-79.

[26]Mason L, Tornatora M C, Pluchino P. Do fourth graders integrate text and picture in processing and learning from an illustrated science text? Evidence from eye-movement patterns[J]. Computers & Education, 2013,(1):95-109.

[27]Emerson A, Cloude E B, Azevedo R, et al. Multimodal learning analytics for game‐based learning[J]. British Journal of Educational Technology, 2020,(5):1505-1526.

[33]Pijeira-Diaz H J, Drachsler H, Kirschner P A, et al. Profiling sympathetic arousal in a physics course: How active are students?[J]. Journal of Computer Assisted Learning, 2018,(4):397-408.

[34][38]Dindar M, Jrvel S, Haataja E. What does physiological synchrony reveal about metacognitive experiences and group performance?[J]. British Journal of Educational Technology, 2020,(5):1577-1596.

[39]Sun J C Y, Yeh K P C. The effects of attention monitoring with EEG biofeedback on university students’ attention and self-efficacy: The case of anti-phishing instructional materials[J]. Computers & Education, 2017,106:73-82.

[13][42][46]Hsiao H S, Chen J C. Using a gesture interactive game-based learning approach to improve preschool children’s learning performance and motor skills[J]. Computers & Education, 2016,95:151-162.

[43]Sharma K, Papamitsiou Z, Giannakos M. Building pipelines for educational data using AI and multimodal analytics: A “grey‐box” approach[J]. British Journal of Educational Technology, 2019,(6):3004-3031.

[44]Hwang G J, Kuo F R, Yin P Y, et al. A heuristic algorithm for planning personalized learning paths for context-aware ubiquitous learning[J]. Computers & Education, 2010,(2): 404-415.

A Research Review of the Application of Sensor Data in Learning Analysis

XIAO Wan1JI Yi-mu2[Corresponding Author]LIU Shang-dong2LIU Qiang2

In the intelligence era, sensors built in various smart educational places, mobile smart terminals, and wearable devices can capture data about learners’ physiological information, behavioral actions, and learning places during the education process, which provides conditions for comprehensive, contextual, and procedural learning analysis. Based on this, this paper adopted a systematic literature review method, analyzed 51 empirical studies carrying out learning analysis using sensor data, in order to reveal the research situation of the application of sensor data in learning analysis, to explore the research content and empirical effect of the learning analysis based on sensor data, and to accordingly discussthe challenges and suggestions of the application of sensor data in learning analysis, expecting to provideempirical referenceof teaching design and optimization for education researchers and practitioners.

sensor data; learning analysis; systematic literature review

G40-057

A

1009—8097（2022）04—0031—09

10.3969/j.issn.1009-8097.2022.04.004

基金项目：本文为教育部人文社会科学基金青年项目“基于多模态数据的学习者情感分析及应用研究”（项目编号：20YJC880104）、江苏省博士后科研资助计划项目（项目编号：2021K460C）、南京邮电大学教改课题“软件迭代开发模型在高校软件人才培养中的应用研究”（项目编号：JG00411J65）的阶段性研究成果。

肖婉，博士，讲师，研究方向为教育大数据与学习分析，邮箱为xiaow@njupt.edu.cn。

2021年12月8日

编辑：小时