虚拟现实环境中基于多维传感系统的学习投入综合模型研究

马婧 姜萌 董艳

[摘   要] 基于虚拟现实技术的学习者学习投入模型研究，是开发虚拟现实硬件及资源、进行相应教学设计的重要依据。目前，对虚拟现实环境的学习投入模型研究存在数据采集偏主观、实施采样困难、不易构建动态模型等问题，且模型分析维度单一，对特征值间的关联性分析不足。为了构建更为真实客观动态的学习投入模型，研究利用现代检测技术与虚拟现实相结合的分布式传感器系统，实现对学习者多维生理信息的实时监测，并对采集的多参数、多维度特征间的关联性进行分析。针对学习投入的情感、认知、行为三个维度，以电生理信号采样、语音特征提取、语义识别等现代计算机与模式识别技术为主要分析手段，实现对情绪类型的识别，并对唤醒度及情绪正负面程度进行量化；采用覆盖模型和约束模型，引入语音、语义及反应行为等信息以实现对认知投入和行为投入的分析。通过研究虚拟现实环境中学习者的学习投入综合模型，为深入分析虚拟现实教学策略与模式，优化虚拟现实学习环境提供了理论与实践支持。

[关键词] 虚拟现实； 学习投入； 传感系统； 模型建构； 学习分析

[中图分类号] G434            [文献标志码] A

[作者简介] 马婧（1983—），女，河南新乡人。副教授，博士，主要从事高校信息化教育教学改革与发展、虚拟现实环境与教学模式研究。E-mail：jingma@zzu.edu.cn。董艳为通讯作者，E-mail：yan.dong@bnu.edu.cn。

一、引   言

近年来，虚拟现实技术（簡称 VR、虚拟现实）的快速进步为教育教学发展带来了新的机遇和挑战。虚拟现实技术的沉浸性、交互性和想象性等基本特征，使其突破了传统教学的限制，能够在很大程度上优化教育教学环境，增强学习体验，在教育教学领域有着广阔的应用前景。但目前国内外针对虚拟现实环境学习者过程性数据的学习投入分析和模型建构研究还比较缺乏。相关研究面临特征值的获取偏主观性、分析通常不具备实时性和动态建模功能、不适用于背景噪声较强的实际课堂教学和群体性环境、分析维度单一和片面、较少考虑多维度投入特征值间的耦合性和关联性等挑战。

为解决这些难题，研究以虚拟现实技术为手段，结合多维生理信息采集及分析技术，对实际课堂教学中学习者多维生理信息和语音数据及学习行为进行采集和记录，探究能够实现人机互动操作，基于虚拟现实技术的学习投入信息反馈式可穿戴教学设备，获取真实、客观、及时性的学习者学习投入特征数据，并进行学习投入多特征、多维度之间的关联性分析，从而构建学习者学习投入的多模态数据融合模型。

二、学习投入多模态数据融合脉络分析

学习者学业成就的获取在很大程度上由其学习投入水平决定。VR教学方法与传统的课堂教学、线上教学在形式上有很大的不同，学习者在VR教学活动中的学习投入分析存在许多新的问题与挑战，与此同时，个人VR平台的可穿戴性、多接口兼容性和无线入网能力使许多新传感技术、新数据分析方法能够在动态、连续学习投入分析中得到应用。

本文将从学习投入多维度特征值分析、多特征间的关联性分析以及学习者多维度学习投入模型构建入手，分析现有的研究方法与研究成果，讨论所存在的问题与待改良之处，并以此为基础探讨研究思路。

（一）学习投入多维度特征值分析

学习投入是一个多维度变量，被普遍接受的概念是学习投入包括三个既独特又相互关联的维度，分别为：情感投入（Emotional Engagement）、 认知投入（Cognitive Engagement）和行为投入（Behavioral Engagement）[1]。情感投入表征了学习者在学习过程中的情感反应与情绪波动，涉及学习者兴趣、态度以及高兴、焦虑等情绪；认知投入指学习者花费在学习项目中的智力努力程度，以及内在动机、自主学习、运用和实施学习策略的能力；行为投入被认为是情感投入、认知投入的基本载体，是用来描述学习者在学习活动中积极参与、完成任务的情况。

1. 情感投入分析

教育心理学的研究表明，情感投入的研究多从学习者的情绪变化展开，学习者情绪检测方法主要包括基于认知情感的评价模型、基于问卷调查的方法、基于行为分析的方法以及基于生理信息的方法。

奥托尼，克罗尔和柯林斯基于情感认知理论构建了第一个易于计算实现的认知型情感评价模型，简称OCC 模型，该模型是认知心理学研究中影响最为广泛的情感理论模型，通过不同认知条件推导归纳出学习者的 22 种情感类型[2]，具有完善的情绪分析能力。OCC模型以及基于问卷调查的方法都不可避免地带有学习者主观性的影响，且难以分析学习者在学习过程中的连续情感投入变化。

随着计算机技术、心理学、神经医学的发展，越来越多的基于行为分析的检测手段被用于学习者连续情绪变化研究。如斯坦福温斯顿实验室推出了能够根据面部表情识别被试者情绪的机器人Agent，能够对6种学习相关情绪达到 92%以上的成功识别[3]。通过整合面部表情、头部姿势、眼神移动等多种基于行为的数据对学习者的学习投入进行自动测量与监控[4]。这些方法能够较为准确地识别学习者所处情绪或者情感参数的变化，但被试者必须处于实验室环境，用面部识别摄像装置在专用背景配合下进行试验，且面部不能遮挡，算法所需计算资源也难以用可穿戴设备终端进行实时分析，因此，不适用于背景噪声较强的实际课堂环境和VR教学设备。

根据学习者生理信息进行情绪识别的方法是一种纯客观的检测方法，相较于外显的情感行为，不易被主观意愿掩饰、隐瞒，可信度较高，能够更精确、客观地反映人类真实情感[5]。基于生理信息进行情绪识别的方法涉及中枢神经系统相关指标（主要指脑电信号）与自主神经系统相关指标（心率、血压、体温、皮肤电、心电、肌电等信号）两种。基于中枢神经系统相关指标的情绪识别具有较高的分辨率，能对较小的情绪变化做出反应。但是脑电信号极其微弱，易受到外界电磁环境的干扰，几乎很难实现与其他穿戴设备共同使用，而且被试者需要进行基础信号标定等预实验步骤。因此，在现有技术条件下无法在一般教学环境里对普通学生进行使用，也不能和需要无线通信的头戴VR设备实现电磁兼容。基于自主神经系统相关指标的情绪识别方法具有便于采样、鲁棒性好、非侵入性等优点。如西尔维亚·科瑞迪克等人综合 11 种电生理信号，通过电生理诱导的方式实现了害怕与悲伤情绪的区分模型，并证明了多元自主神经信息的组合测量可以有效区分相似性较高的基本情绪[6]。

2. 认知投入分析

现有的学习者认知投入的分析研究主要针对知识状态表征，较为常用的知识状态表示模型有铅板模型、覆盖模型、约束模型和贝叶斯模型。铅板模型是最早使用的一种认知评分模型，通过考察学习者对知识的认知程度，对学习者进行分类，较易实现但分类精度很低，不能建立复杂的学习者模型；覆盖模型通过一系列2 值逻辑判断学习者对知识内容的掌握情况[7]，是目前使用最为广泛的学习者认知建模方法；约束模型通过领域知识的约束形式建立学习者的认知投入衡量方式，通过模式匹配的方法可以实现较为高效的运算，对认知偏差的情况有很高的灵敏度[8]，多用来进行课程设计、知识点的教学反馈应用；基于贝叶斯模型的认知投入出现较晚，是将计算机技术引入学习者认知投入评估的经典模型，能够以概率的形式表达学习者对知识认知程度的不确定性，从学习全过程视角对学生认知情况进行评估[9]。通过将学习者的各种特征，如学习风格、学习目标、个人性格等，以节点的形式引入原有模型并通过制作、修改概率量表，对模型进行优化改良。

目前，认知投入测量的方法还包括基于内容的分析、基于问卷的分析、基于生理信号的分析。在线学习环境下，学习者与材料或他人的互动被系统捕获时，采用基于内容的分析是衡量投入度常用的方法[10]。但基于内容和问卷分析认知投入的方法具有滞后性，无法及时反馈学习者在学习过程中的认知投入度。当生理测量技术发展起来之后，学习者的生理信号也被用于认知测量。如利用腕表监测心率来表征学习者在课程中的认知投入，发现从课程开始到课程结束，学习者的心率呈下降趋势；而学生活动能够显著提升学习者的心率，進而提升学习者的学习投入[11]。瞳孔扩张与心率变异性（HRV）可以用来诊断视频学习环境下学习者的认知负荷变化[12]。当前，对于认知投入的研究主要还是依靠教学互动、引导学生解决问题并以记录其完成情况的形式建立数据基础，然后进行分析。传统的数据采集方法对于学习者解决问题中的各种行为、情绪等实时特征缺乏考虑。运用基于VR的教学平台，学习者在解决问题时的情绪变化、注意力、 反应力、消耗时间等实时变化特征都成为可引入模型的参考信息，但相应的动态建模方法还处于研究匮乏状态。

3. 行为投入分析

在线学习平台的出现与广泛使用使许多学习行为投入的研究水平迈上了一个新台阶，基于在线学习行为分析研究已经成为该领域主流，操作次数、知识点的停留时间等成为可观测变量。如陈侃等人通过实证研究表明，在线学习时学习者视频观看跳转的行为是学习行为投入衡量的重要指标，打破了以往用完成率来作为测量指标的现状[13]。还可以通过对学习者操纵键盘和鼠标等行为的监测，获得击键的频率和力度、滚轮的频率和速度以测量在线学习时的行为[14]。

还有研究者通过检测生理信号对学习者行为进行分析。如彭山等人采用脑电图信号分析方法收集网络成瘾学生的脑电图信号、前额叶SPN和P300波形，从行为学和脑电图两方面分析网络成瘾学生的行为特征[15]。但以上这些分析方法与模型需要在线设备达到非常高的实时性，相关实验也需要在特殊改造的多媒体教室进行，不适用于依赖全仿真、高沉浸度，且互动延迟性受到移动网络限制的VR教学平台。因此，需要在已有研究基础上以VR教学系统为前提选择合适的特征量并建立行为投入分析模型。

（二）学习投入多特征间关联性及多维建模研究

迄今为止，与学习投入相关的建模分析并未超出情感投入、认知投入、行为投入的理论框架，且大多数的学习投入模型研究是对其单一维度的分析建模。此类方法对于引进模型的各类生理信息之间的相互关联性的强弱以及是否具有正交性、多尺度归一性等并没有专门讨论研究。

近年来出现的贝叶斯分析模型，是建立在数据分析基础上，以专家为中心、数据为中心的经验算法，并没有专门对引入的变量进行解耦。特定的生理特征之间所具有的耦合性因为人体差异、环境影响都有可能出现变化。因此，需要针对 VR 设备寻找本身关联性较弱的生物特征，或者将具有较强关联性的特征进行解耦处理。此外，近年来除了基于单一维度的分析建立模型，也出现了部分两种投入综合分析的二维关联度分析模型。但由于传统的学习行为受限于教学环境、学习方法，使得许多实时观测手段与技术无法使用。

三、基于多维传感数据的学习投入模型构建

学习者的学习过程是一个复杂的过程，学习者在各维度的学习投入可以看做是非线性、时变、多变量耦合的复杂系统。得益于VR教学平台提供的高沉浸性和互动性，其与可穿戴传感器阵列的多通道全时域信息采集与反馈功能，以及现代模式识别方法与计算机技术，使得充分考虑特征值、多维度的相关性以构建综合三个维度的学习投入模型成为可能。学习者的生理特征量之间、三个学习投入维度之间、被动行为特征与主动答题互动都有着较强的耦合关系，各种信息间的关联性、随动性具有极高的研究价值。建立基于三个维度学习投入、支持多模态数据融合的多输入模型，将为 VR学习环境中测量和评估学习者表现提供实践依据。

多模态学习分析具有跨模态、跨空间、跨数据、跨分析的独特属性[16]。2012年，第十四届“多模态交互国际会议”上正式提出了多模态学习分析（Multimodal Learning Analytics）概念：多模态数据、教学学习和计算机支持分析相融合，形成三角关系用以描述复杂的学习系统[17]。在通过摄像、收音等固定设备对学习者动作、手势和面部表情进行精准捕捉的同时，可穿戴传感技术的发展实现了对学习者生理性数据的多通道全时域采集，这使得内外部显性和隐性数据的整合分析成为可能。基于多模态分析理论，虚拟现实环境下学习投入可采集完整多元数据，增加解读有效性，准确判定学生学习状况，提升教育质量。

本研究基于虚拟现实教学技术提出了学习者综合投入模型，通过学习过程中的介入式问答互动、被动式的语音、生理信息传感等实现对学习者的全方位信息采集，并通过相关性算法揭示隐藏在数据后的学习投入三个维度之间的相互关系。根据前文分析，在建立学习者投入模型前，需要对引入的特征参数之间、维度之间的关联性进行分析：首先，要确定模型参数，建立三个学习投入维度上的各参数与输出的非线性映射关系；其次，对三个学习投入维度间相互关联性进行分析，采用智能解耦算法如神经网络解耦算法等方法进行参量间、维度间的解耦；最后，建立学习者多输入学习投入模型。多维传感系统学习投入综合模型的建模思路如图1所示。

相比以往研究，本研究设计的系统平台可以对学习者的学习过程实现时域连续观测，实现学习者学习投入的一体化建模。研究所提出的多维传感系统学习投入综合模型由多模态信息采集与输入层、信息预处理层、三维学习投入建模层三个功能层次组成，包含从学习者数据来源到最终实现模型建立的全部功能，以下分层讨论。

（一）多模态信息采集与输入层

虚拟现实环境下的教学过程可以实现课程进度与教学活动的多媒体化、信息采集的实时化。由基于VR平台的多维电生理传感器阵列系统、语音采集系统、计算机后台操作记录系统配合完成学习者信息采集任务。电生理传感器阵列系统用以监测学习者的心率、血压、脑电、皮肤电等信息，实现对学习者生理信息的连续多通道、全过程主动采样，直接与课程进度建立时域映射关系。语音采集功能主要用以在课间问答时对学习者口头回答问题的语音信息进行采集，为后续的答案判断、情绪识别以及知识点熟练度掌握提供数据分析基础。后台操作记录主要用于监测学习者在课程中的回馈反应以及主动操作行为，课程中的互动反馈可以监测学习者注意力的集中程度，而课中间歇的复习操作可以体现学习者学习主动性与知识点掌握情况。

本研究基于VRSHINECON虚拟现实设备搭载自研多维生理信息传感器阵列，对学习者在学习过程中的被动生理信息、主动操作行为、语音信息进行全程采集。头盔式VR在支持虚拟授课环境的同时，加载嵌入式设备对传感器阵列进行实时采样，并通过SIM卡将采样信息传递给计算机终端。腕带传感器及其他可穿戴传感设备也将承担生理信息采集任务，并通过zigbee网络或蓝牙射频的方式实现与VR头盔的无线数据交互。

（二）信息预处理层

预处理层负责对输入层的输入信息进行预处理，通过数据处理与定性定量分析实现了语音语义分析识别、课堂问答及行为的特征提取、电生理信息特征提取与滤波以及多维信息的归一化处理等功能。对信息的预处理，对学习中的操作行为进行记录与特征提取，可以为进一步分析学习者的行为投入情况提供分析依据。答题的准确度和速度可以作为定性定量衡量认知投入的依据。

电生理信息的特征分析可以判断该学习者在学习过程中的情感变化，人体生理特征决定情感投入所涉及的心率、血压、皮肤电等自主神经系统生理信息，相互间具有很强的关联性，一种参数的变化一定会引发另外两种参数的连带变化，因此，在引入分析模型以前需要进行解耦，保证参数间的相互独立性。采用神经网络算法建立多参数的输入输出模型，设计目标函数以及参数寻优算法降低耦合度，建立映射关系，提高参数独立性。神经网络可以实现多输入多输出映射，并实现对任意函数到任意精度的逼近，以及对时变、非线性、对象未知的模型解耦。

通过语音采集装置与语义识别算法，实现学习者与教学内容的互动，并通过对音频的采集为后续实验对象的学习情绪、学习行为分析提供数据。语音数据通过无线互联网传输给远程服务器，语音的分贝、语速、基音等特征信息提取与处理以及语义对比识别由集成在VR设备里的本地数据处理程序以及语义对比数据库完成。

（三）三维学习投入建模层

采集数据经过预处理，对受试者学习过程中的情绪进行量化分类，对学习、答题行为建立多映射模型与覆盖约束模型，从而实现对情感、认知、行为三种投入的定性定量分析以及量化输出，最终实现学习者情感、认知和行为的三个维度多输入学习投入模型。将支持情感投入、认知投入、行为投入的特征采样系统与教学互动方法相结合，以优化学习成果为导向建立提升教学方法的新路径。对三种学习投入的分析方法进行如下阐述：

1. 情感投入的特征量化与情绪识别分析

基于经典的OCC模型可以对多達22种的学习者情绪进行区分，选取与学习行为及效果有较大关联度的6种情绪类型，即愤怒、羞愧、焦虑、中性、快乐、骄傲进行识别，并对唤醒度进行量化，从而实现学习者情感投入的综合分析。采用电生理信号（心率、呼吸频率、皮肤电、体温等）+ 语音语义（语速、分贝、基音等）识别为主要分析手段，并用嵌入式语音问卷作为辅助手段。

由于在时间域上情绪的变化是连续的，且所采集的生理信息以及语音、语义分析结果是相互独立的，因此，建立动态的、（双时间片）以专家为中心的贝叶斯网络模型展开分析，对情绪类型进行识别，并对唤醒度和情绪的正负面程度进行量化，如图2所示。

双时间片贝叶斯网络的两个时间片变量间的条件分布定义为：

式（1）中Zti表示第t个时间片的第i个节点，nt表示第t个时间片的节点数目。以此根据初始时间片和相邻时间片的条件分布可以展开到任意时间片T上参数的联合分布率如式（2）：

2. 结合语音、语义、生理信息实现认知和行为投入的分析

本研究所使用的教学课程由经过预处理的VR教学资源和自制阶段性实时测验组成：通过筛选、分解、整合等预处理步骤将已有教学资源重新编辑，并在课程进行过程中将内容在时域上整合为记忆性、理解性、应用性、分析性、评价性以及创造性资源。课程学习过程由虚拟现实教学课件+阶段性实时互动测验+语音信息反馈的形式联合组成，课程全程由VR设备所集成的传感器阵列实时采集学习者的生理信息，如图3所示。

对使用者认知投入和行为投入的评价，主要依靠嵌入在教学视频中的实时提问，以及教学结束后的线上测试，由语音提问及视频展示两种形式进行智能教学代理（Pedagogical Agent）与学习者间的互动问答。阶段性实时测验基于美国教育心理学家布鲁姆的认知过程维度，按照记忆、理解、应用、分析、评价和创造，由低阶到高阶的六阶认知复杂程度，并在不同阶段通过教学代理问答的形式结合覆盖模型和约束模型对学生的认知投入进行衡量。

覆盖模型假设与知识点A有关的所有问题能够覆盖考察学习者对于该知识点的掌握程度，通过答题正确的子集建立公式评价答题者的得分情况。由于覆盖模型无法处理错题行为，因此，建立了辅助的约束模型对答题失败的情况进行记录、分析，逆向判断该知识点的掌握情况。

3. 三维投入的综合视域映射

在对情感投入、认知投入、行为投入分别进行定性定量分析的基础上，将任意一位学习者的学习投入情况建立模型并在三维投入空间内得到时域映射。学习者对一个内容或知识点的完整时域学习过程可以由三维学习投入模型进行表达，如图4所示。

图4中的两个有向折线代表了学习者在学习两个知识点时的学习投入综合情况，虚线折线表示学习者在15分钟内学习一个记忆性（认知投入）知识点的过程，情感由开始不理解的焦虑经过不断学习最终转变为骄傲，行为投入也在学习过程中不断地进行提升；实线折线表示学习者在30分钟内学习一个分析性知识点的过程，随着学习过程的不断深入，情感由开始的中性快速转变为快乐，直至最终的骄傲，行为投入在进入状态后保持了持续提升的过程。通过这样直观与高对比度的方式实现对学习者学习投入的实时量化反映。

四、结   语

本研究在多模态分析理论指导下充分利用不同模态的信息优势，采用现代虚拟现实技术及分布式生理传感器阵列，全方位采集各个时间点学习者显性行为、隐性心理变化和生理数据等连续的学习过程全时域数据，在此基础上采用贝叶斯模型、覆盖模型、约束模型等建模手段实现多模态交互分析，从而得到完整的学习投入水平变化轨迹，构建了虚拟现实技术下基于多维传感系统的学习投入综合分析模型。该模型可以直观表达学习者在课程中针对一个完整学习内容时情感、认知、行为三个学习投入的时域变化情况，不仅能够对学习过程进行全方位的分析，弥补了单维度数据采集的不足，还能够基于多源数据对学习者的学习过程进行实时性与持续性的分析。下一步的研究重点将集中在生物信息传感器阵列及信息采集设备的系统优化，降低或排除穿戴设备对学习者带来的心理压力及行为改变造成的背景噪声，并优化多维度交互模型。

[参考文献]

[1] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[2] ORTONY A， CLORE G L， COLLINS A. The cognitive structure of emotions： factors affecting the intensity of emotions[J]. Contemporary sociology， 1988， 18（6）： 2147-2153.

[3] 王志良，郑思仪，王先梅，等.心理认知计算的研究现状及发展趋势[J].模式识别与人工智能，2011，24（2）：215-225.

[4] CAROLIS B D， DERRICO F， MACCHIARULO N， et al. "Engaged faces"： measuring and monitoring student engagement from face and gaze behavior[C]//IEEE/WIC/ACM International Conference on Web Intelligence. New York： ACM， 2019： 80-85.

[5] 薛耀锋，杨金朋，郭威，等.面向在线学习的多模态情感计算研究[J].中国电化教育，2018（2）：46-50，83．

[6] KREIBIG S D. Computational reproducibility of "goal relevance and goal conduciveness appraisals lead to differential autonomic reactivity in emotional responding to performance feedback"（kreibig， gendolla， & scherer， 2012）： a guide and new evidence[J]. International journal of psychophysiology official journal of the international organization of psychophysiology， 2017，119：93-107.

[7] 黃玉妍，王建华，李丽萍.基于Web学习系统的学生模型分析[J].计算机工程与科学，2009，31（9）：142-144.

[8] OHLSON J A. The theory of value and earnings， and an introduction to the Ball-Brown analysis[J]. Contemporary accounting research， 1991， 8（1）：1-19.

[9] YIN Z， ZHAO M， WANG Y， et al. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model[J]. Computer methods & programs in biomedicine， 2017，140：93-110.

[10] 赵春，李世瑾，舒杭，等.混合学习投入度研究框架构建、机理分析及实证研究——活动理论的视角[J].现代远距离教育，2020， （6）：69-77.

[11] DIANA K， PAUL A. Student engagement， assessed using heart rate， shows no reset following active learning sessions in lectures[J]. PLoS ONE， 2019， 14 （12）：1-14.

[12] KIM J， JO I H. Feasibility and use of psychophysiological responses based on cognitiveload theory[J]. Australasian journal of educational technology， 2019， 35（3）：150-165.

[13] 陳侃，周雅倩，丁妍，等.在线视频学习投入的研究——MOOCs视频特征和学生跳转行为的大数据分析[J].远程教育杂志，2016（4）：35-42.

[14] 黎孟雄，郭鹏飞，黎知秋.基于情绪识别的远程教学自适应调节策略研究[J].中国远程教育，2015（11）：18-24.

[15] SHAN P， PEI J. Cognition and education management method of withdrawal reaction for students with internet addiction based on EEG signal analysis[J]. Educational sciences： theory ＆ practice， 2018， 18（5）：2235-2246.

[16] 牟智佳.多模态学习分析：学习分析研究新生长点[J].电化教育研究，2020（5）：27-32， 51.

[17] WORSLEY M， ABRAHAMSON D， BLIKSTEIN P， et al. Multimodal learning analytics[C]//The 12th International Conference of The Learning Sciences. New York： ACM， 2016： 1346-1349.

Research on Integrated Model of Student Engagement Based on Multidimensional Sensor System in Virtual Reality Environment

MA Jing，  JIANG Meng，  DONG Yan

（1.School of Education， Zhengzhou University， Zhengzhou Henan 450001;

2.Faculty of Education， Beijing Normal University， Beijing 100875）

[Abstract] The study of student engagement model based on virtual reality technology is an important basis for developing virtual reality hardware and resources and carrying out corresponding teaching design. At present， the study of student engagement models for virtual reality environments has problems such as subjective data collection， difficulty in implementing sampling， and difficulty in constructing dynamic models， the model analysis with a single dimension and insufficient analysis of the correlation between feature values. In order to construct a more realistic and objective dynamic model of student engagement， this study uses distributed sensor system combining modern detection technology and virtual reality to achieve real-time monitoring of learners' multidimensional physiological information， and analyzes the correlation between the collected multi-parameter and multidimensional features. Aiming at three dimensions of student engagement of emotion， cognition and behavior， modern computer and pattern recognition techniques， such as electrophysiological signal sampling， speech feature extraction and semantic recognition， are used as the main analysis tools to achieve the identification of emotional types and to quantify the arousal degree and the degree of positive and negative emotions. The overlay model and constraint model are used to analyze the cognitive and behavioral engagement by introducing speech， semantic and reactive information. By studying the comprehensive model of student engagement in virtual reality environment， it provides theoretical and practical support for in-depth analysis of virtual reality teaching strategies and for models and optimization of virtual reality learning environment.

[Keywords] Virtual Reality; Student Engagement; Sensor System; Model Construction; Learning Analytics