基于人工智能的课堂学习情感评价研究

孙发勤 邓雯心

摘   要：未来智慧化和个性化教育的发展要求对学生的评价不能仅停留于认知层面，而更加注重学生全身心的发展，尤其是情感层面。文章通过文献分析法总结了一种基于学生课堂表情的情感评价模型，包括学习兴趣和学习意志，并利用团队自主研发的表情评价软件对学生的课堂表情数据进行分析处理，最终呈现出可视化的学生个人和班级整体的情感评价结果。在此基础上，文章针对教师在课堂内容的选择、组织和实施上给出了三点建议，并针对三类学生给出了相应的教学干预建议。

关键词：教学评价;表情识别;情感评价;人脸识别

中图分类号：G434 文献标志码：A 文章编号：1673-8454（2019）23-0058-05

一、研究背景

在教育目标分类学中，布鲁姆将情感单独划分为一大领域，说明了情感在教育中的重要地位。2001年教育部指出要让学生形成积极主动的学习态度，而非单一地将关注点集中在知识技能的传授上。2017年新课程标准提出学科核心素养，教学的重点不再仅限于学生的认知能力或操作水平，学生的情感也逐渐成为教学成功与否的衡量标准之一。在学习过程中，情感影响着人的认知和行为，把握学习者的情感状态，对未来的智慧化和个性化教育发展尤为重要[1]。

由于情感具有内隐性，因此对情感的评价相对困难。目前主要情感评价方法为观察法、访谈法和问卷法，但是这些评价方法往往费时费力，且更多以总结性评价方式出现，脱离具体课堂情境。因此为了能适应智能化教育对学生学情实时掌握的要求，本研究利用人工智能表情识别技术采集学生课堂实时表情数据，进行信息反馈处理，具有更高的即时性和可靠性。

二、情感评价研究的现状与趋势

情感指的是人对客观事物所持态度的体验，反映了客观事物与个人预期之间的关系[2]。当客观事物符合个人的期待时，人往往会产生积极的情绪体验;当客观事物不符合个人预期时，人就会变得失落沮丧。积极的情绪有利于记忆的巩固、工作和创造性问题的解决[3]。在学习过程中，正向情绪，例如喜悦，对学习有着促进作用，它可使思维变得敏锐，思考问题也更加全面;而负向情绪，例如困惑、沮丧，则不利于学习活动的开展，学生的思维会因此变得迟钝，受到禁锢[4]。情感由三部分组成[5]，①主观体验：个人对于不同情感的心理感受;②外部表现：他人可见的情感表达方式，包括表情动作等;③生理唤醒：由情感产生的生理反应，例如心跳加快等等。根据Albert Mehrabian的研究，在情感信息的外部表现中，有55%的信息意义来自肢体语言（仪态、姿势、表情）[6]，由此可见表情在判断情感中的重要性。

目前情感评价主要以理论模型建构为主。Barbara认为情感因素，例如学习兴趣、学习态度等，会影响学习者对学习活动的处理与规划[7]。李吉会结合布鲁姆在情感领域的教育目标思想和各学科课程目标，提出了“学业情感”的概念：学生对所学内容是否吻合自己需要的体验。根据学业情感，李吉会又将其分解为四个一级指标，包括学习兴趣、学习态度、学习意志、学业价值观[8]。刘凯峰、吕效国在对数学学习进行情感评价研究时，针对学生个人，建议将情感领域的评价划分为学习动机、学习态度、学习意志、学习信念四部分[9]。赵德成在研究新课程中的情感、态度与价值观时指出，一般的情感评价要求学生说出他们关于兴趣、态度、价值观等情意因素的想法和感受[10]。

随着“互联网+”、大数据、人工智能等新一代信息技术的发展，情感评价研究也逐渐走向智能化。江腾蛟等基于浅层语义与语法分析相结合的情感词对抽取方法，研究了电商环境中商品评论的情感评价[11]。陈子健等实现基于面部表情的学习者情绪识别，梳理不同特征提取算法的特点及局限性，为探索适合学习者面部表情识别的特征提取算法提供借鉴，但缺乏实际课堂应用研究。

因此本研究把重点放在课堂这个特定的环境下如何利用人工智能的人脸及表情识别技术进行课堂实时自动情感评价。

三、研究设计

1.课堂情感评价指标的选择

结合上述研究，本研究将主要评价内容的含义进行梳理，如表1所示。

在上述六种情感评价指标中，学习兴趣、学习态度和学习意志有相应较为明确的外显倾向，而学业价值观、学习动机和学习信念则是学习者的内部心理状况，需要长期观察分析才能评判。同时，鉴于态度更多体现为外显的行为，单纯通过表情很难识别出学习者的态度，因此本研究主要以学习兴趣和学习意志为情感评价指标。

2.课堂情感评价指标的量化

（1）课堂表情的划分

在学习过程中较为突出的情绪包括无聊、困惑、沮丧、投入和喜悦[12]。其中，正向情感表情包括投入和喜悦，负向情感表情包括无聊、困惑和沮丧。情感是动态变化的[13]。学生对所讲内容感到有兴趣或者课堂内容吸引他时，学生会变得投入;当最终问题得以解决，学生会获得满足感，从而变得喜悦甚至兴奋。如果学生对课堂内容不感兴趣，脸上便会流露出无聊的表情;当课堂内容难以理解时，学生就会变得困惑;当在学习过程中屡经失败时，学生就会沮丧。此外，当学生脸部表情不产生明确特征时，本研究将其定义为平静。在此基礎上，本研究明确了课堂表情识别的六个关键表情：沮丧、困惑、无聊、平静、投入、喜悦。此外，在课堂表情识别过程中，还会出现无法识别表情的状况，主要原因之一是观察对象的脸在图像中不是正面的，例如低头等。由于采集课堂表情的硬件设备设置于教室前方，正面对学生，所以当学生的注意力没有集中在课堂上，即没有直面教室前方时，此时该学生的表情记录便为缺失值。

（2）学习兴趣

当课堂内容引起学生的兴趣时，学生能够轻松愉悦地参加该课堂活动，课堂本身的内容会吸引学生的参与[14]。学生对课堂的投入程度反应了学生的学习兴趣，并且在此过程中，学生的情感是积极愉悦的。由此，本研究将学生的正向情感表情时间比与平静表情的时间比相加作为学生学习兴趣的评价依据，称之为投入时间比，即：学习兴趣∝投入时间比=（平静时长+投入时长+喜悦时长）/课堂总时长。

（3）学习意志

学习意志是有意识地承担、坚持和实现特定学习目标的意愿[15]。良好的学习意志包括不断坚持克服学习中的种种困难，耐得住长时间的学习活动。学习意志薄弱的主要体现就是学习注意力分散，不能够长时间地坚持[16]。因此本研究可以将注意力集中时间比作为学习意志的依据，即：学习意志∝注意力集中时间比=（总时长-缺省时长）/课堂总时长。

四、数据的采集、处理与分析

1.课堂情感评价总流程

学生课堂表情识别处理采用的是团队自主研发的课堂表情处理软件。该软件以FaceAI开源库为基础，加以团队自主训练的课堂表情分类模型，对课堂视频进行识别与分析，导出学生的表情数据，并最终形成学生课堂表情的可视化图表。主要流程如图1所示。

（1）人脸检测：采用OpenCV已经训练好的Haar分类器，将人脸分类模型导入软件中，检测出视频里可能存在的人脸。

（2）人脸识别：此步骤需要事先采集学生的人脸图像，再利用Face Recognition开源库，定位人脸在图像中的位置，识别出人脸的各关键点。最后，将视频中的人脸与学生的照片比对，输出视频中的人脸结果，如图2左侧所示，图片中下方编号即为识别出的学生编号。

（3）课堂表情识别：课堂表情与一般普遍表情之间的差异，有其特殊性，因此不能直接使用通用的表情分类模型。为了让课堂表情识别更加精确，本研究团队搜集了相关的课堂视频与图像，手动截取视频和图像中的学生表情，并打上标签。由于时间紧迫，本研究共采集了3000张学生课堂表情的图像，其中包括喜悦、投入、平静、无聊、困惑、沮丧六种表情，以此建立本研究自己的课堂表情数据库。通过机器学习，自建课堂表情分类器，最终模型与数据的吻合度为0.56，表情识别如图2右侧所示。

（4）数据统计与可视化：软件将课堂视频中的人物、时间、表情记录到数据表中。程序执行过程中将记录下视频的帧数、识别出的学生编号以及该学生的表情编号，并将这三项数据实时传入数据库。数据库中还存有学生编号与学生姓名对照表、表情编号与表情对照表，最终利用数据可视化，直观地展现给研究者。

2.数据采集

本次实验对象为某校教育技术学专业2016级全体学生，共27名实验对象，包括6名男生、21名女生，年龄在20至22岁。课程选择了《Python程序设计》中关于图形界面开发的内容，课程时间为45分钟，实验中对视频表情采集的时间间隔为10秒，通过人脸识别与表情识别处理，每个学习者都获取到从190到257不等的表情标签数据。

3.数据处理

根据上述研究的学习情感评价模型中的评价依据计算公式来处理数据，所得结果如表2所示，表2中列举了3种典型特征的学习者表情数据。图3为6号学生表情变化的可视化时序图，纵坐标从2至-3，分别代表6种不同的情绪状态，0表示平静，正值表示正向情绪，负值表示负向情绪，横轴表示时间。为了降低数据抖动，本研究将表情变化时序图以50秒为窗口作表情图的平滑计算，其中深色曲线为平滑表情序列图，浅色曲线为检测表情变化图。

4.数据分析

（1）基于学习情感评价数据的课堂学习者分类

根据上述研究中得到学习情感评价模型数据，本研究进一步采用聚类研究的方法，对上述27个样本进行进一步处理，样本通过K-means算法自动聚成3个有效分类，如图4所示。由图中可以明显看出，样本大致可以分为3类。

根据不同学生的情感评价指标数据及学生表情变化时序图，结合情绪样本聚类结果，编程课堂中的学生大致分为三类：学习认真型、学习困难型、学习倦怠型。

①学习认真型

以17号学生为代表的学习者，图5上部显示了17号学习者表情变化时序图。这类学生绝大多数时间处于平静状态，正负向的情绪波动小，学习兴趣比较浓厚，学习意志比较坚强，课堂投入时间比与注意力集中时间比均在80%以上。学习认真型學生在本次实验的所有实验对象中所占人数为26%左右，他们对待编程课堂始终处于一种较为冷静的状态，学习自觉，能够认真听课。因此本研究建议教师以平常的方法继续给予这类学生教学支持，不需要给予过度的教学干预。

②学习困难型

以4号学生为代表的一类学习者正向情感时间几乎为0%，负向情感时间比为较高（30%以上），课堂投入时间比与注意力集中时间比相对较低（40%以下）。图5中部显示了4号学习者表情变化时序图。从图中可以看出，该生频繁表现出困惑或者沮丧。学习困难型的学生常常对编程课堂的内容感到难以理解，编程似乎是他的薄弱科目，由于上课内容听不懂，导致其注意力涣散。因此本研究建议教师对此类学生多多关注，在课上或课后为其提供教学辅导，这部分同学约占样本的30%左右。

③学习倦怠型

以6号学生为代表的学习者，如图5底部所示，这类学生表情在无聊和平静之间来回波动，其正向情感时间较低（10%左右），负向情感时间比较高（20%左右），课堂投入时间比与注意力集中时间比约占60%左右。学习倦怠型的学生对课堂内容不感兴趣，似乎无心于课堂，他们的行为往往都是随大流，无法得知其是否认真听讲，深入思考老师提出的问题，这部分同学占课堂中人数的大多数，约44%左右。因此本研究建议教师在课堂上需要多督促此类学生，例如对其进行提问等等，让其积极思考，投入学习。

（2）基于学习情感评价数据的课堂内容分析

将所有学生的表情数据汇总后，可以绘制课堂班级表情分布时序图，横轴代表时间，纵轴代表呈现各类表情的学生比例。图6为本次实验的课堂班级表情分布时序图，图中最上方的色块部分代表呈现正向表情学生的比例，中间色块部分代表呈现平静表情人数的比例，底部色块部分代表呈现负向表情人数的比例。

通过观察课堂班级表情分布时序图后发现：一是整体负向情感表情呈现的比例较高;二是课程初始，部分学生表现出积极的状态，而后便归于平静;三是在“20分49秒至22分37秒”，课堂学生集中表现出负向情感表情。

通过回放视频，并对数据深入分析后发现，在实际课堂中要注意以下几个问题：

①在课堂内容的选择上，要难易、理论实践相结合

本节课为纯理论的编程知识，内容较多;老师语调平平，讲解枯燥。由于这两点原因，在整节课中，学生会表现出负向情感。因此，在编程这类知识点繁多且较难理解的科目中，不能急于追求进度，教师应尽可能地突出教学知识中的重点。对于一些过于困难的知识要辅以案例详细讲解，同时要合理安排好内容的难易比例，不能让学生始终保持高认知负荷。

②在课堂活动的组织上，要始终保持与学生的互动

本节课在上课之初，由于部分学生还没有完全进入课堂学习状态，又或跃跃欲试，表情比较丰富，呈现出积极状态。因此，在课堂活动的组织上，教师可以采取互动等方式，要保持住学生上课的激情。在上课之初，学生可能是比较兴奋的，教师应思考如何把握住学生兴奋的劲头，并把其转换到本堂课的学习中。教师可以在每节课前选取学生感兴趣的点作为课堂内容的引入，并在上课期间通过开展多种形式的互动保持学生的注意力和学习兴趣。

③在课堂内容的实施上，要注意教学媒体的恰当使用

分析课堂的“20分49秒至22分37秒”，老师正讲到tkinter中常用的组件，PPT上呈现的是一张表格，包括了tkinter中各种组件的名称和它们的含义。由于表格内容过多过密，又没有突出重点，突然呈现在学生面前会让学生觉得不适，呈现出较多负向情感。因此，在上课期间，不建议教师在黑板或投影屏幕上一次性呈现大量的文字内容，这会让学生感到烦躁，不利于课堂内容的讲解。如果实在不能避免在PPT上出现大量文字，那么教师要通过语言的变化来吸引学生，例如在重要的地方语速变缓，提高音量。这不仅能吸引学生的注意，也能让学生意识到此知识点的重要性。

五、总结与展望

本研究通过采集学生在编程课堂上的表情数据，并依据对实验数据结果的深入分析，得出了数据聚类后不同类型学生群体的群体特征并提供了具有针对性的干预措施，最后对课堂效率提升提出了相关建议。本方法在课堂学习情感评价方面虽取得了一定的成效，但也遇到了一些问题，这为今后的继续研究提供了方向：①如何优化算法，解决脸部遮挡、角度偏侧等因素导致的人脸识别与表情识别准确度低的问题;②在课程方面，要考虑到实际课程内容对学生的影响，带有情感偏向的课程（语文、历史等）可能会带动学生的情绪，本研究已经注意到，不同类型的课程情感评价标准是有区别的;③进一步拓宽情感评价的数据获取途径，如利用Kinect增加体态检测、利用手环增加脉搏检测等，还可以利用多模态分析技术对学习情感进行更加确切和有效的评价。

参考文献：

[1]刘智，方常丽等.物理学习空间中学习者情绪感知研究综述[J].远程教育杂志，2019（2）：33-44.

[2]卢家楣.情感教学心理研究[J].心理科学，2012（3）：522-529.

[3]Ashby，FG（Ashby，FG）; Isen，AM（Isen，AM）; Turken，U（Turken，U）. A neuropsychological theory of positive affect and its influence on cognition[J]. Psychological Review，1999，106（3）： 529-550.

[4]柴金焕，马希荣.基于情感计算的和谐人机教学模型的研究[J].微计算机信息，2010（28）：219-221.

[5]王志良.人工心理[M].北京：机械工业出版社，2007.

[6]Mehrabian A. Some referents and measures of nonverbal behavior[J].Behavior Research Methods & Instrumentation，1968，1（6）：203-207.

[7]McCombs B L，Whisler J S. The Role of Affective Variables in Autonomous Learning[J].Educational Psychologist，1989（3）.

[8]李吉会. 如何评价情感、态度和价值观[J]. 教育科学研究，2006（2）：23-26.

[9]刘凯峰，吕效国.数学学习情感评价指标体系的构想[J].高等函授学报（自然科学版），2009（3）：67-68.

[10]赵德成.新课程实施中的情感、态度与价值观评价[J].课程·教材·教法，2003（9）：10-13.

[11]江騰蛟，万常选，刘德喜等.基于语义分析的评价对象-情感词对抽取[J].计算机学报，2017（3）：617-633.

[12]Rafael A. Calvo S K D. New Perspectives on Affect and Learning Technologies[M].New York： Springer，2011.

[13]DMello S，Graesser A. Dynamics of affective states during complex learning[J].Learning and Instruction，2011（2）.

[14]Ainley M. Students Interest and Engagement in Classroom Activities[A].W.C. Christenson S.，Reschly A. Handbook of Research on Student Engagement[M]. Boston： Springer，2012： 283-302.

[15]Eyvind Elstad. Volition for Learning[A]. Encyclopedia of the Sciences of Learning[M].Boston： Springer，2012.

[16]林斯坦.学生学习意志综论[J].教育评论，1995（5）：28-30.

（编辑：王晓明）