智能时代的学习者情绪感知：内涵、现状与趋势*

王一岩 刘士玉 郑永和

（北京师范大学 教育学部，北京 100875）

以物联网、大数据、云计算、人工智能为代表的新兴智能技术的快速发展，为智能教育领域相关研究的开展带来了新的发展契机，有助于实现数据赋能的学习现象解释和学习规律的发现，为学习者行为分析、认知诊断、情绪感知等前沿研究的开展，提供了充足的理论和技术支持，以进一步构建基于“知识、认知、行为、情感”的精准化学习者模型[1]。

学习者情绪状态的智能感知是近年来智能教育领域研究的重要问题，突出体现在智能导学系统、自适应学习支持系统、教育机器人等前沿研究领域，进而对学习者情绪状态感知和情绪发生机理进行深入探索。从本质上来讲，一方面，学习者的情绪状态能够反映学习者对教学内容、教学媒体、教学环境的偏好，有助于挖掘深层次的认知风格和学习兴趣；另一方面，能够反映学习者的知识水平、认知结构、学习动机对学习者主观学习体验的影响机理，有助于剖析深层次的学习发生机制。

因此，对于学习者情绪状态的智能感知研究，在智能技术快速发展的时代背景下具有重要价值。借助智能感知设备实现对学习者情感数据的智能采集，利用自然语言处理、语音识别、计算机视觉、生理信息识别领域的相关理论和方法，分析学习者的情感状态，探究外部教育情境要素和内部认知发展状况对学习者情绪状态的影响机理，能够在更深层次上剖析学习者的情感发生机制，对智能教育领域相关研究的进一步开展，具有指导意义。为此，本文从智能时代学习者情绪感知的动因出发，对学习者情绪感知的内涵、现状与趋势加以系统分析，以期为后续相关研究的开展，理清思路或提供一些参考。

一、学习者情绪感知的动因分析

（一）现有相关研究重视个体情感与变化

人本主义学习理论认为，学习是情感与认知相统一的精神活动[2]，学习不能脱离学习者的情感变化而独立进行。注重对学生内在心理世界的了解，以顺应学生的兴趣、需要、经验以及个性差异，激发其认知与情感的相互作用。强调学习者的认知、动机、情感等内部心理要素对行为的制约作用，重视学习过程中学习者意愿、情感与需要的满足[3]。人本主义的代表人物罗杰斯（Rogers）认为，学习是有意义的心理过程，他将学习归结为学习者行为、认知和情感共同作用的结果，强调情感对于知识建构和认知发展的调节作用。

近年来，心理学与脑科学的相关研究也表明，学习者的情感状态能够对学习过程和学习结果产生深层次的影响，积极的情绪有助于激发学习者对学习内容的兴趣，促进学生积极主动地进行知识建构，提升学习的成效。在今天智能教育快速发展的背景下，对于学习者学习发生机理的诠释，逐渐成为教育科学研究的重要内容。即强调学习者情感状态对于内在认知发展和外在行为表征的影响机理的诠释，以实现对学习发展规律的全方位解析。

（二）智能教育有赖于科学精准的学习者建模

学习者模型的构建是学习分析领域研究的关键问题，通过对学习者知识技能、认知行为、情感体验的抽象表示[4]，实现面向学习者知识、技能、情感、态度等方面的精准刻画，可为个性化资源推荐、精准化教学干预和智能教育研究的开展，提供全方位支持。随着智能技术的发展和研究的不断深入，关于学习者模型的构建逐渐向深层次、宽领域、多模态的方向发展：（1）在数据采集层面，改变传统以学生人口统计特征和在线学习行为数据为主的建构模式，实现基于自然语言处理、计算机视觉、语音识别、生理信息识别等智能技术的全方位挖掘分析，以构建面向学习者个体的多模态数据集；（2）在学习者特征层面，转变传统以学生知识水平为核心的模型构建理念，重视面向学习者知识建构过程、认知发展规律和情感发生机制的深层次解析，实现对学习者个体潜在特征的挖掘分析；（3）在学习者模型构建层面，强化对学习者“认知—行为—情感”的联动分析，重视学习者认知和情感之间的协同发展机理，探究学生情绪变化对知识建构和认知发展的影响规律。以实现对完整学习周期中学习者“认知建构过程—情感发生机制—行为表征模式”的全方位建模分析，构建深入、全面的学习者模型。

（三）智能技术进步驱动学习情感的量化测评

当下，以物联网、大数据、云计算为代表的新兴智能技术的快速发展，为学习者情绪感知和情感计算研究等开展，带来全新的发展契机。主要表现在：第一，利用摄像机、眼动仪、智能手环、数据手套、智能座椅、脑电仪等智能感知设备，对真实教学场景中每个学生的语言、表情、动作、呼吸、心跳、脑电、皮肤电等数据进行精准采集，可构建面向智能化情绪感知的多模态符号表征体系；第二，利用自然语言处理、语音识别、计算机视觉、生理信息识别等技术，构建面向学习者和学习环境的多模态信息感知通道，对多元教学场景中学习者的情感状态数据进行采集，能够在最大程度上还原学习者个体情感发生过程；第三，利用多模态机器学习技术[5]，实现对真实教学场景中学习者情感状态的多场景、时序化、全方位的建模分析，结合认知神经科学的相关理论，对学习者情感的发生机制及其对认知发生过程的影响机理进行深入挖掘，可实现对学习者情感状态的多元分析。可见，智能时代学习者情绪感知的研究，基于智能感知设备和智能计算技术强化对学习者情感信息的获取和分析，构建面向学习者个体的情感模型，以实现对学习者情感的发生机理和表达机制进行深度剖析与量化测评。

二、学习者情绪感知的概念、机制与内涵

（一）相关概念诠释

1.情绪和情感

情绪和情感，是指能够反映人对客观事物态度的主观体验和相应的行为反应。情绪心理学的相关研究表明，情绪是人在特定情境中的一种短暂而强烈的情感反应，通常表现为“高兴、惊讶、厌烦、悲伤、恐惧、愤怒”等瞬时反应[6]；情感则是经过长时间积累的、具有深沉体验的感情状态，表现为对特定事物稳定、持久的心理倾向，如幸福、仇恨、喜爱、厌恶等。在大多数情况下，情绪和情感的概念可以通用。

2.情绪感知和情感计算

情感和情绪在智能计算领域，主要表征为情感计算和情绪感知两个方面。情感计算的概念最早由美国麻省理工学院皮卡德（Picard R.） 教授在1997年提出，他将情感计算界定为“与情感有关、由情感引发或者能够影响情感因素的计算”[7]。近年来，人工智能领域的相关学者致力于帮助机器识别和表达人类的情感，将情感计算定义为“利用机器识别、理解和表达人类情感的方法和机制”，从而赋予情感计算新的价值内涵。从研究的范畴上来讲，情感计算包括情感发生机理的研究、情感信号的获取、情感建模分析、情感理解、情感表达、情感生成等方面，囊括了情感和情绪相关研究的各个层面；而情绪感知主要通过情感数据的获取、情感特征的提取和分类，来识别研究对象的情绪状态，是情感计算的重要组成部分。

（二）情绪感知的科学依据与机制

1.情绪感知的认知心理机制

美国心理学家沙克特（Schachter） 在上世纪70年代初，就提出了“情绪三因素说”，他将情绪的产生界定为“外界刺激、机体的生理变化和认知过程三者之间相互作用的结果”，强调个体的认知过程对情绪的调节作用。心理学研究重视情感的个体差异，认为情感是外部刺激和个体特征共同作用所引发的内部需要的变化，强调由个体差异决定的情感主体（一般指人）和情感客体（引发个体情感状态变化的外界刺激因素）之间的相互作用所引发的情感强度、饱和度和维持度的差异。情绪认知理论主张个体情绪的产生受到环境事件、生理状况和认知过程三种因素的多重或叠加影响，强调外界刺激和个体内部生理和认知状态对于情绪变化的共同作用。

2.情绪感知的神经生理机制

认知神经科学领域情绪感知研究的关键，在于通过对人的情感状态和生理结构的解析，发现情绪状态变化所引发的生理反应，以揭示情感的神经生理机制[8]。James－Lange 理论（又称情绪的外周理论）认为，情绪的产生过程是由外界刺激引起机体的神经冲动，进而传导至中枢神经系统产生情绪。James 认为，情绪是对身体变化的知觉，机体的生理变化是情绪产生的直接原因；兰格（Lange）认为，情绪变化是器官活动的结果，强调情绪变化与内脏活动之间的复杂关系。而Cannon－Budd 学说认为，情绪的产生是由外界刺激引起感觉器官的神经冲动，传至丘脑，再由丘脑同时向大脑和植物性神经系统发出神经冲动，进而在大脑皮层产生情绪体验，在植物性神经系统产生一系列神经化学物质的变化[9]。该理论认为，情绪的中枢系统是丘脑，而不是外周神经系统，强调生理变化与情绪体验同时发生。近年来，认知心理学领域的相关学者愈加强调情绪的产生是大脑皮层和皮层下中枢共同作用的结果，并通过对脑电和外周生理（呼吸、肌电、皮肤电、心电）信号的采集，分析个体的情绪状态[10]。相较于语音、表情、动作等外显行为，生理信号的测量能更好地排除人类主观因素的影响，能更准确地反映真实的情感变化状况[11]。

3.情绪感知的数据科学机制

传统的情绪感知方法，包括自我报告法、生理测量法和行为观察法等。近年来，以人工智能为代表的新兴智能技术的快速发展与应用，已经赋予情绪感知研究新的价值内涵。即强调多模态数据驱动的学习者情绪状态的智能感知与融合，从而推动情绪感知研究朝着数据化、科学化、智能化的方向发展。因此，智能时代学习者情绪感知研究的关键，在于通过对个体外显行为和内在生理信息的测量，发现个体的情绪状态。前者偏向于利用自然语言处理、计算机视觉、语音识别等技术构建面向真实教学场景的信息感知通道，对个体的语音、动作、表情等外显行为数据进行采集分析，并利用多模态数据融合的方法分析学习者的情绪状态；后者偏向于利用呼吸、心跳、体温、皮肤电、肌电、眼动和脑电数据分析学习者的生理指标变化情况，以挖掘其中潜藏的情感信息，实现基于内在生理信息的智能化情绪感知。简言之，智能时代学习者情绪感知的研究，需要参照量化学习[12]的思想，对学习者外显行为和内在生理信息潜藏的情感状态信息进行量化测评，构建面向个体情绪感知的多模态符号表征体系，利用数据科学的方法分析情感的发生机制，以实现多模态数据赋能的学习者情绪的智能化、精准化感知与识别。

（三）学习者情绪感知的内涵

1.实现对学习者情绪状态的智能感知

智能时代的学习者情绪感知研究与传统情绪识别研究的区别，主要在于改变了传统基于经验式自我报告和行为观察的情绪识别方法：一是利用人工智能技术实现实时、精准、智能的学习者情绪状态测评，借助智能感知设备，实现对学习者外在行为表征和内在生理信息的智能感知与融合分析，构建基于文本、语音、视频和生理信息的多模态情感数据集；二是利用多模态机器学习技术，实现对学习者情绪状态的智能感知与识别，借助多模态数据之间的信息互补机制，不断提升情绪识别的准确度。

2.实现对学习者情绪发生机理的深入诠释

学习者情绪感知研究的复杂性，主要体现在其表征和测量层面以及对其发生机理的诠释层面。因此，对于学习者情绪发生机理的研究，不能仅仅局限于单一学科的范畴，需要借助教育学、心理学、脑科学、认知科学、计算机科学等多个学科的理论和方法的综合，以实现对学习者的情绪发生机理进行深入诠释：第一，研究教育情境要素对于学习者情绪状态的影响机理，探究教学内容、教学媒体、教学资源以及教师的教学方法对学习者情绪的影响机制；第二，研究学习者情绪状态与认知发展之间的潜在作用关系，探究学习者的认知发展状况（如，对教学内容的掌握程度等）对学习者情绪状态的影响机制，进而从更深层次上挖掘学习者情绪发生的根本规律。

3.实现基于学习者情绪感知的智慧化教育应用

相关研究表明，学习者情绪状态的变化与其内在的认知发展状况存在显著的相关关系，学习者的情绪状态能够在反映学习者在特定教育情景下的学习投入、学习兴趣、学习动机、认知风格等潜在特征。因此，对于学习者情绪状态的深度剖析，能够在更深层次上揭示教育情境要素对于学习者情绪状态的影响机制，进而构建基于教育情境感知的动态化学习者模型，为学习者提供适切性的教育资源供给和精准的学习路径规划服务；同时，构建自适应的课堂教学调控模型，以帮助教师及时调整教学策略、优化教学设计，提升课堂教学的成效。

三、学习者情绪感知的研究现状与评述

（一）学习者情感模型

学习者情感模型的构建，有助于对学习者的情绪状态进行更加精准全面的描述，可为情绪识别相关研究工作的开展，提供一些参照。目前，常用的情感模型有：皮卡德（Picard）等人提出的隐马尔可夫模型[13]，奥托尼（Ortony）、克洛尔（Clore）、柯林斯（Collins）提出的OCC模型[14]，罗素（Russell）等人提出的环形情感模型[15]，梅拉比安（Mehrabian）和罗素提出的PAD 三维情感模型[16]，普拉奇克（Plutchik）等人提出的“倒锥体”情感模型[17]等。

皮卡德等人提出的隐马尔可夫情感模型认为，人的情感状态受情境和时间的影响，会根据情境、情感主体和情感客体的不同，而表现出特定的情感差异，个体的情感状态会随时间的推移以一定的概率进行转变，强调情境要素对学习者情绪状态的影响机制；OCC 情感模型是认知心理学领域经典的情感认知结构模型，其描述了22种基本情感类型的认知结构，将情感的发生机制界定为三类事件：事件的结果、仿生代理的动作和对于对象的观感，并从这三类事件出发定义情感的层次关系；罗素等人将情绪表征为愉悦度和唤醒度两个维度，构建了连续的环形情感模型：愉悦维度的负半轴表示消极情绪，正半轴表示积极情绪，唤醒维度的负半轴表示平缓的情绪，正半轴表示强烈的情绪；PAD 三维情感模型，将个体的情感分为愉悦度、激活度和优势度三个评价维度，用以表征情感的主观体验、外部表现和生理唤醒之间的潜在映射关系；普拉奇克认为，情绪具有强度、两极性、相似性三个维度，提出了“倒锥体”情感模型，椎体剖面包含八种基本情绪，情绪的强度由锥体自上而下表现出一定的衰减规律。

（二）基于人工智能技术的学习者情绪感知

当前，国内外人工智能领域的学习者情绪感知研究，主要集中在自然语言处理、计算机视觉、语音识别、生理信息识别等领域对情绪识别的实践探索，主要利用文本挖掘、语音识别、面部表情识别、手势识别、生理信息识别等技术[18]，构建基于文本、语音、视频、生理信息等数据的单模态和多模态的情绪感知模型，以实现对个体情绪的智能化测评。

1.基于文本数据的学习者情绪感知

基于文本数据的情绪识别是在线学习领域常用的情绪感知方法，它通过学习者的论坛评论文本、在线学习交互文本等数据，对学习者的情感状态进行精准识别。相关研究表明，文本数据往往比视频和语音数据具有更高的情感信息价值密度，能够对个体的情绪状态进行更加准确的表示。具有代表性的研究有：刘智等人以课程评论文本中潜在的情感信息为切入点，提出了一种基于半监督机器学习算法的智能化情绪感知模型识别待测样本的情感标签，将其用于提取论坛评论文本的“话题—情感”分布信息，并将该模型分别用于课程单元和学习者个体的关键话题情感信息挖掘[19]；田锋等人在基于在线学习交互文本的学习者情绪识别方面进行了大量实验，构建了基于交互文本的情绪识别研究与应用框架，利用支持向量机（SVM）、朴素贝叶斯（Naive Bayesian）、随机森林（RandomForest）等机器学习算法，对学习者情绪进行分类，并提出一种用于情绪识别和调节的主动学习策略[20]。

2.基于语音数据的学习者情绪感知

基于语音数据的学习者情绪感知，通常利用线上或线下学习场景中学习者的语音数据，对学习者潜在的情感状况进行挖掘分析。比如，李武等人以语音特征为输入数据，构建了基于语音情感识别的在线学习系统，利用人工神经网络的方法对学习者的八种情绪状态进行识别[21]；胡封晔等人开发了一套面向在线学习的实时语音情感识别系统，通过语音活动检测、语音分割、信号预处理、特征提取、情绪分类以及情绪频率的统计分析，实现对在线学习环境中学习者情绪状态的实时监测，利用支持向量机（SVM）的方法，对学习者的情绪状态进行识别，取得了较高的准确度[22]。目前，在真实的实践场景中，大多数研究将语音数据和文本、视频数据结合，对个体的情绪状态进行识别。如，陈涵建等人基于学习者的语音和文本数据，利用深度神经网络等方法，对移动学习中学习者的情绪状态进行识别[23]；巴林（Bahreini）等人构建了一种通过网络摄像头和麦克风改善学习的框架（FILTWAM），通过网络摄像头和麦克风对学习者的面部表情和言语信息进行连续且不干扰的采集分析，开展实时的情感状态识别，并为学习者提供及时的学习反馈[24]。

3.基于视频数据的学习者情绪感知

基于视频数据的学习者情绪感知是情感计算领域最常用的情绪感知模式，基于学习者的面部表情、身体姿态等数据，对学习者的情绪状态进行智能感知，进而识别出学习者真实的情感状态。具有代表性的研究有：古普塔（Gupta）等人基于智慧教室环境下学生的面部表情数据，提出了一种基于Inception-V3的深度学习框架，对学生的高积极情绪、低积极情绪、高消极情绪和低消极情绪进行识别，并在真实课堂环境中进行了实验，情绪分类的准确率达到了87.65%[25]；徐振国等人构建了基于面部表情的学习者情感数据集，并利用卷积神经网络（CNN）的方法，对学习者的“高兴、愤怒、悲伤、中性、惊恐、专注、厌倦”七种情绪状态进行识别，实验结果显示，七种面部表情识别的准确率均高于80%[26]；洪启舜等人提出了一种基于卷积神经网络（CNN）框架，对学习者的面部表情数据进行处理来识别其情绪状态，以台湾某大学学生课堂中的面部表情视频用作测试数据，取得了92.42%的准确度[27]。

4.基于生理信息的学习者情绪感知

基于生理信息数据的学习者情绪感知是近年情感计算领域研究的热点问题，旨在利用眼动、脑电、皮肤电、功能性磁共振、近红外等感知设备，对学习者的生理信息数据进行采集，进而分析学习者的情绪状态。比如，白璐迪等人使用小波变换、样本熵等技术进行脑电（EEG） 特征的提取，利用长短时记忆网络（LSTM）来提高学习者情绪识别的准确度[28]；申丽萍等人利用学习者的心率（HR）、血压（BVP）、皮肤电导（SC）和脑电（EEG）信号，对学习者的四种情绪状态进行识别，取得了86.3%的准确率，并将学习者情绪感知模型与在线学习学习平台结合，探索学习者情绪的演变规律以及如何使用情感反馈来改善学习体验[29]；赖槿峰等人构建了基于皮肤电（GSR）、脑电（EEG）、心率（HR）、肌电图（EMG）的学习者生理信息数据集，利用支持向量机（SVM）模型对学习者的情绪状态进行识别，取得了比单一模态数据更高的准确度[30]。

5.基于多模态数据的学习者情绪感知

近年来，越来越多学者将研究重点放在多模态机器学习领域，从而引发了情绪识别研究领域的深刻变革：强调利用多种智能传感设备对个体的文本、语音、视频、生理信息等数据进行多模态的采集分析，利用不同模态数据间的信息互补机制，以提升情绪识别的准确度。比如，罗珍珍等人利用智慧教室环境下学习者的头部姿势、面部表情和交互行为数据，构建了多模态的情绪识别数据集，利用条件随机森林和分层随机森林算法，对学习者的情绪状态进行识别[31]；马尔姆贝格（Malmberg）等人利用皮肤电数据和面部表情数据，来探究在协作学习的不同阶段学习者的情绪状态和交互模式对学习的调节作用[32]；孙波等人构建了面向真实课堂教学环境的多模态情感数据集，利用学习者的面部表情、眼睛动作、头部姿势、身体动作和手势等信息，对学习者实时的情绪状态进行识别，并采用PAD 情感描述模型对学习者的情绪状态进行标记[33]；阿斯温（Ashwin）等人构建了基于在线学习和真实课堂环境下学生面部表情、手势和身体姿态的多模态情感数据库，利用Inception-V3模型实现对学习者的情绪状态进行识别，取得了较高的准确度[34]。现有的相关研究表明，多模态符号系统的表达能力要胜过单模态系统[35]，多模态数据的引入能够有效提升的学习者情绪识别的准确度[36]，为学习者情绪感知研究的开展带来新的机制。

（三）学习者情绪感知的教育应用

1.基于情绪感知的学习投入测评

学习投入是对学习者学习过程监测和学业表现测评的重要指标，反映了个体学习过程中认知深度、思维灵活性以及情感体验的综合表征[37]。弗雷德里克（Fredricks）在基于“行为投入、认知投入”的二维学习投入模型的基础上，增加了情感维度[38]，强调学习者的情感投入与外在行为行为表现和内在认知发展之间的潜在作用关系。随着情感计算领域相关研究的开展，对学习者情感投入的测评，逐渐成为智能教育领域相关研究人员关注的热点话题。比如，克里西卡（Krithika）提出了一种基于眼睛和头部运动的在线学习情绪识别系统，用于检测学习者的注意力水平，并将学习者对主题的参与和兴趣进行分类，以改善学习者的学习体验[39]；尼纳斯（Ninaus）等人利用机器学习的方法，对学习者的面部表情进行情绪检测，发现学习者在基于游戏的学习任务中的情感投入高于非游戏任务[40]；施拉德（Schrader）等人利用平板电脑的笔压力参数，测量学生的愉悦感和沮丧感，并探究了学习者情绪与学习参与度和学业表现之间的关系[41]；李艳燕等人构建了在线协作学习中小组学习投入的分析模型，探究学习者认知、情感投入与学业表现之间的作用关系，发现积极、消极、困惑三类情感投入与小组成绩呈负相关关系[42]。

2.学习者情绪感知与学业表现的内生机理

情绪作为一种与教学过程密切相关的非智力因素，能够影响和调节学习者的注意、记忆、思维等认知活动，并在一定程度上影响教学活动的开展和教学目标的达成。大量研究表明，个体的情绪与学习动机、学习策略、认知资源、自我调节、学业成就等因素间均存在显著相关关系[43]。关于学习者情绪与学业表现内生机理的诠释，也逐渐成为情绪识别领域研究的关键问题。如，陶布（Taub）等人探究了在基于智能导师系统的学习过程中，学生的情绪状态与认知和元认知策略之间的复杂作用关系，发现情绪与学业成绩相关，但与成比例的学习增益无关[44]；斯特兰（Strain）等人利用生理信息识别的方法对学习者的情绪状态进行识别，并探究情绪与元认知和学业表现之间的关系，发现学习者在积极的情绪状态下，能够做出更自信的元认知判断，并且取得更好的学业表现[45]；刘智等人利用SPOC 论坛中的文本数据，探讨了学习者情绪特征与学习效果之间的关系，研究结果表明，在特定学习进程中学习者的积极、困惑情绪与学习效果均呈显著正相关，在整体学习进程中，学习者的消极情绪与学习效果呈显著负相关[46]；陈志铭等人利用情绪识别技术，探究了不同多媒体学习材料情况下学习者情绪与学业表现之间的复杂作用关系，发现在基于视频媒体的学习情境中，学习者的情绪状态更加积极，且能够取得更好的学业表现[47]。

3.基于情绪感知的智能导学策略改进

自20世纪90年代以来，智能导师系统开始关注学生情绪变化对学习过程和学习结果的影响机制，通过对学习者行为、表情和生理信息数据的采集，实现对学习者情绪状态的精准监测，并为其制定个性化的智能导学策略。阿尤兹（Alyuz）等人使用智能导师系统监测学生的生理信号和面部表情，来识别其情感状态、发现潜在的学困生，并为其提供及时的教学干预[48]；萨拉夫扎德（Sarrafzadeh）等人利用学习者的面部表情和手势动作，来识别学生的“无聊、困惑、沮丧和焦虑”等情感状态，为智能导师系统中学习者模型的构建和教学策略的制定，提供多源的数据支持[49]；扎塔兰（Zatarain）等人在基于移动设备的智能导学系统中，利用深度学习算法实现基于学习者面部表情数据的情绪识别，根据学习者的情感状态和知识水平进行个性化教学[50]；卡克劳斯卡斯（Kaklauskas）等人构建了纳入自我认知和自尊测评的智能导学系统，利用基于眼动、脑电、血压、脉搏等数据的多模态生理信息识别方法，对个体的情绪状态进行测量，并为学生制定个性化的学习方案，进而激发学习兴趣、提高学业表现[51]；苏盛雄等人利用基于面部表情和文本数据的多模态情绪识别方法，对个体的情绪状态进行精准识别，帮助智能导学系统为学习者选择合适的教学策略和课程内容，从而使学习者获得良好的学习效果[52]。随着情绪感知技术在智能导师系统中的广泛应用，相关学者提出新一代智能教学系统是基于学习者情绪感知的情感导学系统[53]，通过对学习者外在表征数据的精准监测，可探究学习者情绪状态与知识水平、学习风格、学习兴趣、学习压力等特征之间的潜在作用关系，以此为学习者提供更加智能化、精准化的导学策略。

（四）学习者情绪感知的研究现状评述

从整体来看，学习者情绪状态感知在智能教育领域具有广阔的应用前景，突出表现在：基于人工智能技术的单模态和多模态的学习者情绪感知，以及学习者情绪感知与学习投入、学业表现和智能导学策略的改进等方面复杂关系的诠释。从技术层面来看，随着自然语言处理、计算机视觉、语音识别、生理信息识别领域的快速发展和多模态机器学习技术的成熟，将有效破解情绪感知研究的技术壁垒，在极大程度上推动学习者情绪感知研究的开展。从应用层面来看，学习者情绪感知研究的教育应用仍处于起步阶段，现有研究较多关注情感数据特征的提取和人工智能技术模型的创新，对真实教学情境中的学习者情绪感知关注较少，无法对复杂教学情境下学习者情绪的发生机制和演变机理进行深层次诠释。

这些突出表现在：（1）学习者内在情绪发生机理的诠释。现有研究大多关注学习者情绪发展、学习投入与学业表现之间的潜在作用关系，无法对学习者情绪状态与学习者个体的知识水平、认知发展、社会交互等因素之间的复杂作用关系，进行细粒度、多层次的深入研究；（2）学习者情绪演变机理的诠释。现有研究大多关注对单一时空条件下学习者的情绪状态的识别，较少关注动态学习情绪的演变规律，未能够对学习者情绪的发展状况进行长周期、时序性的精准监测，无法对学习者情绪的发展规律和演变机理进行全方位的深入解读；（3）教育情境要素对学习者情绪的作用机理。学习者情绪的产生和发展是内在认知结构和外在情境要素协同作用的结果，现有研究较少关注学习情境要素对学习者情绪的影响机理，忽视了教学媒体、教学活动、教学环境等复杂情境要素对学习者情绪状态的影响机理；（4）学习者情感发生规律的科学解释。学习者情绪发生机制和演变规律的解读是一个复杂的研究课题，需要借助教育学、心理学、脑科学、认知科学等多个学科的理论和方法，对学习者的情感发生机制进行深入解读，以实现对学习者情绪发生规律的多学科、全方位诠释。

四、当前学习者情绪感知的研究重点

（一）情感数据的多源整合性:基于多模态数据融合的学习者情绪智能感知

心理学家梅拉比安（Mehrabian）研究发现，人类的情感表达=7%的言词+38%的语音表情+55%的面部表情[54]。人工智能领域的研究结果也表明，个体情绪的表达依赖语音、表情、肢体等多元信息的协同作用。因此，对于个体情绪状态的监测，需要利用学习者的“文本、语音、视频、生理”等多模态数据进行系统化的建模分析，才能实现对个体的情绪状态进行精准测评。情感数据的多源整合性是当下学习者情绪感知研究的重点与关键，旨在对多来源、多通道、多场景的数据进行融合分析，并利用多模态数据之间的信息互补机制提升情绪识别的准确度，从而在更深层次上挖掘学习者的情感发生机制和演变机理。学习者情绪状态的智能感知，是学习者表情、动作、语言等外在行为表征数据和眼动、脑电、皮肤电、激素水平等内在生理信息数据共同作用的结果。基于多模态数据的情绪感知，一方面能够消除单模态情感分析带来的误差，提高情感识别的准确度；另一方面能够突破时间和空间的限制，对不同场景下学习者的行为和生理数据进行全方位的采集，对学习者的情感表征模式和情感发生机制进行多维度的建模分析，以更好地探索学习者的情感变化规律。

（二）情感发生的情境依存性:融合教育情境信息的学习者情感发生机制剖析

情境感知（Context-aware）的概念最早来源于普适计算，是通过传感器及相关的计算设备获取环境中的情境参数，通过机器的加工处理，获取对用户有用的反馈信息，并借助计算设备实现用户和环境之间的交互融合。基于情境感知的学习者建模也是近年来智能教育领域研究的重点问题，旨在借助情境感知技术，实现对课堂学习过程全方位、多层次的建模分析，分析学习者与教师、教学内容、教学媒体、教学环境之间的交互作用模式，探究教学情境要素对学习者认知和情感的影响机理。从认知心理学的角度来讲，个体情绪的变化是外界环境刺激和内部认知结构共同作用的结果。因此，如何对教学情境进行全方位、多层次的精准刻画，探究情境要素对学习者情感状态的影响机理，对于智能时代学习环境的创设和教学活动的开展，具有重要的研究价值。为此，需要利用智能感知技术实现面向真实教学场景的建模分析，对学习场景中的物理情境、社会情境、活动情境、心理情境[55]进行全方位的精准刻画；分析教学内容、教学媒体、教学环境、教师教学风格、教学活动、课堂文化氛围等要素，对学习者情感发生机制的影响机理；进而把握深层次的学习者情感变化规律，探究复杂情境要素对学习者情感发生的作用机制。

（三）情感状态的时序变化性:面向时空融合的动态学习情绪演化规律诠释

情感状态的时序变化性是对学习者情感发生机制的深度剖析，主要关注完整学习过程中学习者情感状态的动态变化规律，它具有两方面的价值内涵：其一是学习者情感状态随教学过程的迁移变化情况，关注教学方法、教学媒体、教学内容、教学环境等要素对学习者情感状态的影响机制；其二是相同教学情境下学习者情感的保持程度，关注情感的强度和饱和度随时间的衰减状况，用以分析学习过程中学习者的注意力、学习兴趣、学习动机的保持情况等。在面向学习者的动态学习情绪测评方面，具有代表性的研究有：黄昌勤等人利用在线学习论坛的文本数据，对学习者的动态学习情绪进行了深入探究，发现学习情绪在“积极—消极”、“困惑—明白”之间呈周期性变化[56]；王云等利用在线讨论的文本数据分析学习者的动态学习情绪，发现困惑情绪和消极情绪会转化为积极情绪，但是中性情绪不会转化为积极情绪[57]。情感状态的时序变化性也是揭示学习者情感发生机制的重要内容，能够反映学习者内部认知发展状况和教学情境的变化对学习者情感状态的影响机制，挖掘深层次的情绪发生机制。在此过程中，需要借助多模态、时序性的情感数据采集，构建基于时间序列的智能分析模型，以揭示深层次的学习者情感变化规律。

（四）情感模型的层次表征性:基于环境刺激和内部特征的情绪表征机理诠释

情绪心理学领域的相关学者大多从三个层面来研究情绪的表达机制：在认知层面上的主观体验，在生理层面上的生理唤醒，在表达层面上的外显行为。相关学者认为，情绪是学习者的个体特征和外部的信息刺激共同作用所引发的学习者内部需要的改变。由于学习者成长环境和认知结构的不同，在情绪的表达机制方面存在显著的个体差异，突出表现为：在相同的教学情境下，不同学习者情绪外在表征模式存在差异。对此诠释，涉及学习者学习偏好、学习风格、领域知识、认知水平等深层次的认知模式差异，需要进行全方位的学习者建模，对学习者的个体特征进行量化表征，分析不同成长环境和认知水平的学生在相同的环境刺激条件下情感的表征模式，以便实现对学习者情绪表征机理的深层次解析。

（五）情感发展的协同进化性:探究学习者“认知、行为、情感”的协同进化机理

情绪心理学的研究表明，情绪与认知是带有因果性质和互相伴随而产生，情绪可以发动、干涉、组织或破坏认知过程和行为，认知对事物的评价则可以发动、转移或改变情绪反应和体验。智能时代学习者情绪感知研究，需要对学习者“认知、行为、情感”之间的潜在作用关系进行深度的挖掘分析，以探究学习者的认知结构、认知过程和信息加工模式与学习者情绪状态的潜在作用关系，挖掘学习者认知发展和情绪变化对学习者行为表达的影响机理，以对学习者“认知建构过程、情感发生机制、行为表征模式”进行深度解析。即只有挖掘学习者情绪和认知发展的协同进化机理，才能构建深层次的学习者模型。

五、学习者情绪感知研究的发展进路与展望

（一）理论层面:实现多学科融合的学习者情绪发展规律诠释

学习者情绪感知的相关研究，涉及教育学、心理学、脑科学、认知科学等诸多学科，不同学科的研究从本领域的研究内容出发，对情绪的发生机制和演化机理进行深层次的挖掘分析，以探究个体情绪的发展规律。在多模态情绪感知研究的开展过程中，相关研究人员强调利用多模态数据对学习者的情绪进行多元化的精准建模，以提升情绪识别的准确度。其本质上是一种跨学科、跨领域的研究方法，旨在对学习者的情绪状态进行深层次的挖掘分析，以探究深层次的情感发生机制。因此，对于学习者情绪发展规律诠释，需要脑科学、认知科学、心理学以及人工智能领域的相关学者跨界协同，在理论层面从多个学科的角度，对情绪产生的认知心理机制、神经生理机制、数据科学机制等进行全方位的精准测评，以更好地探究学习者情绪发生的影响因素。

（二）技术层面:实现基于人工智能技术的多模态数据采集与分析

多模态情感数据库的构建是情绪感知领域面临的关键问题，国外虽然有诸多情绪感知的开源数据集，但一方面样本量偏小，另一方面大多数业务场景不是针对教育领域，严重制约了教育科学领域情绪感知的研究进程。为此，在后续相关研究的开展过程中，应在保持数据真实性和有效性的前提下，构建面向真实教学场景的多模态情感数据库，并加强情感数据库的开源工作，引导更多研究者参与学习者情绪感知相关研究，在领域内形成“轮动效应”，以助力于学习者情绪感知研究体系的建立。

当前，多模态机器学习技术的发展，极大地推动了情绪感知领域的研究进展，为学习者情绪感知研究的开展，提供了坚实的技术保障；同时，有助于突破情绪感知研究的技术壁垒，推动智能教育领域情绪感知研究的长远发展。今后，应在多模态融合技术的基础上，进一步挖掘特征级融合和决策级融合的深层次作用机理，构建面向机器智能分析的符号表征体系、信息感知通道和意义建构模式；能最大化模拟人类情感的感知、理解、表达机制，强化多模态融合技术对人类信息感知、加工和计算模式的分解，更有力地服务于学习者情绪感知研究的开展。

（三）应用层面:创设基于学习者情绪感知的智能化学习服务

学习者情绪感知研究的根本目标，在于借助对学习者情绪状态的智能感知，揭示学习者情绪的发生机理，进而构建智能化的学习服务机制与体系。学习者情绪状态的变化是学习者内部的认知发展状况以及外部的教育情境要素共同作用的结果，能够在很大程度上反映学习者的学习风格、学习偏好、学习态度、学习动机、学习投入度、学习价值观等潜在特征。因此，智能时代学习者情绪感知研究，需要利用情绪感知的理论和方法实现，对学习者知识建构过程和认知发展规律进行深度剖析，探究学习者情感状态背后所潜藏的深层次心理特征，进而构建更加完善的学习者模型，为个体学习者提供智能化的学习支持服务，从而促进学习绩效的提升和学习过程的优化，为个性化学习的实现提供科学依据。

（四）伦理层面:完善面向学习者情绪感知的数据安全和伦理道德规范

情绪感知的伦理问题，也是人工智能领域相关研究开展面临的关键问题。情绪感知相关研究开展的关键，在于帮助机器模拟人类的信息感知和加工模式，对学习者情感的外在表征机制和内部作用机理进行深入分析，构建基于机器智能的情绪感知、理解和表达机制，以数据科学的方法实现学习情感的量化测评。由于学习者情绪感知研究涉及大量的伦理应用和相关学习者的大数据安全问题，如何保证学习者情感数据不被非法获取，保障学习者的信息隐私不被披露，是学习者情绪感知研究开展面临的现实问题。需要加强相关研究人员的数据安全伦理道德规范，明确教育主体的“数据权力”，出台相应的法律法规约束相关研究的应用范畴，以保障学习者情绪感知的相关研究，能够推动教育事业的良性发展。