社交学习网络中基于学习认知的情感交互研究*

沈映珊 汤 庸

（华南师范大学 计算机学院，广东广州 510631）

社交学习网络中基于学习认知的情感交互研究*

沈映珊 汤 庸

（华南师范大学 计算机学院，广东广州 510631）

在分析社交学习网络特点的基础上，文章探讨了情感识别与学习者学习状态之间的关系；通过将学习者脸部表情、眼动、人体姿态与情感图文等多模情感作为识别的指标，并结合学习者的学习认知状态和学习行为，构建了社交学习网络情感交互模型。该模型可以促进学习者的认知发展，支持大规模的远程学习；也可以对社交学习网络进行更好的监督与指导，为该网络在学习上的应用提供新思路与新方法。

社交学习网络；情感交互；认知学习；学习行为；模式识别

一 社交学习网络的特点

社交学习网络（Social Learning Network，SLN）作为E-Leaning的一种学习环境，能创建一种内容可视化的、安全与实用的学习社区。SLN供各种教育工具，并“提供了一种上下文关联的方法，以完成主题或任务为目标，能解释学习者在网络中交互的情况，学习者交换学习经验的同时及时更新自己的知识”[1]，故有利于实现共享学习、提高学习效率并扩大学习范围。

Enio Ohmaye[2]认为，未来教育创新的依据是学习者的情感体。但是，“目前E-Learning系统重‘知’轻‘情’的现象严重，由于在线学生规模大，因时空上的分隔而难以感受对方的情感和心智状态，缺乏情感交流，普遍存在着‘情感缺失’问题，导致学习者学习热情衰减，严重影响学习效果”[3]。所以，设计SLN时除了要综合考虑学习者的个性、兴趣等非智力因素，还要从学习者的情感及情感交互过程来考虑他们的学习认知问题，甚至在某些交互场景下实施情感补偿的方法，以满足大规模且有效的远程学习的需求。

随着移动智能设备的出现，学习者获取信息与交流的途径包括图形或图像、语音、人脸表情、眼睛、身体姿势等。利用心理学、认知科学和情感计算为理论基础，通过捕捉学习者在参与SLN活动过程中的各种情感信息，结合学习者在信息交流过程中所发出的文字、图片等来识别学习者的实时情感状态，推导学习者所处的学习认知状态，给出相应的情感鼓励或情感补偿，可为研究SLN在个性化教学环境中的应用提供新的参考方法。

二 社情感识别与学习者的学习状态

1 通过情感识别分析学习者的学习状态

学习者的学习过程主要依靠学习者的认知加工过程。但近几年的行为和神经科学研究数据证明，认知与情感的加工过程不但相互交互，而且在神经机制功能上还相互整合，共同构成了行为活动的基础[4]。情感不但影响学习者的认知驱动与动机，还影响其学习的行为绩效，进而影响其行为状态——积极、正面的情感对于学习者的认知思维、学习智力等方面起到关键的作用，有助于提高创造力和解决问题的能力；而负面的情感则会对个人的思想过程产生相反的效果[5]。

（1）情感识别与人脸表情。情感识别可通过人脸表情进行直观判断，如当学习者对学习内容感兴趣时，其情绪就会高涨，表现为眉毛上扬、眼睛睁大、上下眼帘间距变大；反之则情绪低落，表现为眉头紧锁、目光无神呆滞。为此，加州大学研究人员在2011年通过Emotient技术识别学习者人脸表情的变化，来预测视频教程的难度和学生的观看速度；美国Affectiva公司在2012年将带有表情识别功能的Affdex产品应用到网络课堂，方便教师观察学生的活跃及认真程度。Paul和Friesen[6]在对人脸表情进行细微研究后，总结出多达46种人脸表情，并分为基本的6类（即高兴、悲伤、惊讶、恐惧、愤怒和厌恶），系统地建立了上千幅不同的人脸表情图象库。

（2）情感识别与语调语速。学习者的情感可通过语音的高低快慢来体现，如学习者谈到感兴趣的内容时，自然地就会语调升高、语速加快；反之则语调低沉、语速缓慢。为此，MIT在“MYSELF”项目中曾将语音情感引入远程学习和计算机辅助训练中[7]。具体来说，使用多个情感检测模块，获取学习者的面部表情、声音（如频率、强度）、发言内容和其它行为（如鼠标点击），即通过生理信号与语音信号特征的结合分析，可确认学习者的情感状态。

（3）情感识别与文字图片。文字是学习者进行信息交流最基本的形式。利用文字进行情感识别的基本方法是从句子中分出字词，抽取情感字词，再分析情感。Fenske等[8]曾通过对文中字词的分析来识别E-Learning环境中的协作学习角色，通过分析学习者发出的文字去判断学习者的学习情感。SLN中为交流双方提供了大量可视化的情感符号与图片，学习者在表达情感意义时可直接引用，如表1所示。当学习者对学习内容感兴趣时，发出正面、积极的文字与图片，称为正极性文字符号；反之则发出反面、消极的文字与图片，称为负极性文字符号。

表1 文字与图片情感识别范例

2 情感识别与学习者学习状态的认知评价

学习者的学习过程是学习信息加工的认知过程，学习者的情绪变化是认知影响的结果，即学习者的认知状态与情感状态是相互影响且可相互推断的[9]。Lazarus[10]指出，情绪从来都是认知活动反应的结果，是在认知过程中产生的某种意义，认知过程的目的就是实现这一意义。因此，情绪可用来评估事件、对象与媒介／代理的目的、效价与态度。其中，目的指的是学习者对事件的评价是对自身发展起促进作用还是阻碍作用，效价是指评价媒介／代理的活动是否适合或符合个体所在环境的行为标准，态度则指主要用来评价的属性是否符合学习者的态度。

根据吴沧海等[11]的研究，通过人脸表情、眼动情况及身体姿势等易于判断的学习状态分为三种:专注、安静和疲劳。当学习者处于专注状态时，情感就处于愉快或兴奋的状态，应鼓励状态持续；当学习者处于安静状态时，说明其情感开始过渡到不感兴趣或不愉快的状态，应进行情感引导，唤醒其兴奋度，鼓励继续学习；当学习者处于疲劳状态时，情感就处于睡眠或难受状态，应进行情感补偿，使之愉悦起来。学习的认知状态、情感识别和学习者行为是相互作用、相辅相成的，其相互判断如表2所示。

表2 情感与学习状态识别

三 模型建构

1 情感指标建构与筛选

（1）数据获取方法

根据SLN的特点，为获取有效的情绪信息，对于表情与姿态动作等信息的获取不选择摄像机进行跟踪拍摄，原因有二:一是跟踪摄像机会让被拍摄者感到心理压力，使其动作与表情处于主动抑制状态；二是目前的智能终端都内嵌有高性能的摄像头，软件控制能够获得更有效、更自然的数据，其数据获取方法如图1所示。即学习者通过智能移动终端在SLN上进行学习，通过终端上的摄像头、安装在终端前方的摄像头或行为捕捉工具（如微软的 Kinect）捕捉学习者的人脸表情、眼动和身体姿势的变化信息；通过代理 Agent获取学习者在学习活动过程中发布的文字、图片、声音等。然后，所收集的信息通过有线或无线通信的方式被发送到情绪数据库储存起来。当需要进行分析的时候，工作站从情绪数据库中提取这些信息进行分析，编码、识别出学习者的情感状态和认知状态，再通过智能Agent将情感支持对策结果反馈给学习者。

图1 情绪信息数据获取方法

（2）情感与学习行为指标选定

根据情感识别与学习认知的对应判断关系，参考应用于心理学、社会学和计算机科学情感计算领域的愉悦度—觉醒度—优势度之情绪模型的定义，以及学习认知领域的学习三维状态模型[12]等内容，本研究建构了情感状态与学习认知状态概念框架，如表3所示。学习者的人脸表情、动作和发送的图文信息识别同时进行，其结果相互验证，能更为准确的进行情感识别与认知状态判断。图3表明，情感状态可通过学习者的人脸表情、眼睛和身体姿态来识别，由捕获所发送的情感文字或图片来进一步验证，并进行相应的情感支持与反馈建议；情感状态分为三个维度，其中愉悦度表示对完成学习主题或学习任务过程的吸引、接受程度，觉醒度表示学习的疲劳程度，优势度表示学习者对学习环境的满意度。

表3 情感状态与学习认知状态概念框架

（3）学习认知状态与学习行为状态识别

判断学习者在SLN中的认知状态和行为状态的框架如表4所示。学习者在SLN中的认知状态，需综合考虑学习者的情感数据、行为数据来进行判断[18]。根据学习者在SLN中的运动轨迹，了解学习者的学习内容及阶段，结合学习者的学习行为，利用知识库中字词解释、知识点问题提示、学习任务与主题学习目标的反馈，给出情感支持的建议及反馈——当学习者的学习状态呈现负极性、学习停滞不前或处于困难状态时，需要给出正面的情感支持如鼓励或补偿等；当学习者已经完成任务或在任务之外，或者学习状态轻松、愉悦时，可以不打扰。

表4 认知状态和行为状态判断框架

2 社交学习网络情感交互模型建构

本研究建构的社交学习网络情感交互模型如图 2所示。该模型可分为情感状态识别层、学习状态识别层和行为推理层。其中，情感状态识别层的数据来源于学习者的表情数据和发送的图文。具体流程是:将获得的数据进行编码、匹配与过滤，根据情感状态三个维度的描述进行分类，获取学习者的情感状态，最后发送到SLN代理端去判断是否需要对学习者进行情感支持。

利用学习者在SLN中的上下文、运动轨迹和学习者的学习行为数据，可推出学习者的认知学习状态。学习者在SLN中需要点击选择某一任务进行学习的时间数据，如在解决学习任务的过程中，与同伴进行交流的时间、点击某个内容浏览的时间、进入与退出某个主题的时间距离发送与发布的图文等信息；学习者对待学习任务时的学习行为，如正在寻找问题的解决方法、已完成任务测试、请求帮助等，可推导出学习者的初始学习认知状态是专注、平静还是疲劳，任务是已完成还是难以解决。

将经过统一编码后的学习者认知学习状态推送到SLN的Agent端，与前面的情感认知状态进行对比、验证，可推导出是否需要对学习者的学习行为进行情感鼓励、补偿或是不干涉。可以通过情感 Agent从语言、文字、表情或动作来进行，如提供轻松的话语、和蔼的笑容、充满激情的行动等，可让学习者的情感从紧张中得到放松、从昏昏欲睡中振作起来、从困惑和痛苦中得到缓解。同时，Agent也可以根据学习者的学习行为和学习认知状态，了解其当前学习的主题或任务的进展情况，为学习者提供有针对性的帮助与建议。

四 小结

本研究通过脸部表情、眼动情况、人体姿态与情感图文综合的情感识别技术，构建了社交学习网络情感交互模型，主要创新点在于:其一，认知与多模情感的结合对SLN效果的有效影响。通过更准确的模式识别，对学习者进行适当的情感调整或情感补偿，保持学习者对学习主题或任务进行的兴趣以及学习的愉悦感，进而优化学习效果。其二，SLN多模情感交互分析对学习过程与学习效果的影响。该模型可提高E-Learning环境中学习者的情感状态识别度，有利于判断学习者的学习认知状态，从而对SLN进行更好的监督与指导。

具有情感交互功能的SLN的使用，是计算机情感计算耦合认知科学、机器学习与模式识别技术的结合，它不但可以作为学校课堂教学的有效辅助手段，还可以促进学习者的认知发展，为社交网络在学习上的应用提供新思路与新方法。

图2 社交学习网络情感交互模型

[1]Tinmaz H. Social networking websites as an innovative framework for connectivism[J]. Contemporary Educational Technology, 2012,3(3):234-245.

[2]李晶.在线教育的新机遇:碎片时间和情感社区[OL]. 〈http://www.zhongjiaomedia.com/zaixianjiaoyu/a/933.html.〉

[3]郑庆华,刘均,田锋,等.下一代E-Learning系统[J].中国计算机学会通讯,2011,(11):54-60.

[4]Pessoa L. How do emotion and motivation direct executive control?[J]. Trends in Cognitive Sciences, 2009,13(4):160-166.

[5]Fowler C J H. The role of arousal in memory and attention[D]. London: Royal Holloway University, 1977:30-50.

[6]Paul E, Friesen W V. A guide to recognizing emotions from facial expressions[M]. UK: Malor Books, 2003:100-120.

[7](美)韩家炜著,范明译.数据挖掘:概念与技术[M].北京:机械工业出版社,2002:45-60.

[8]Fenske M J, Raymond J E, Kunar M A. The affective consequences of visual attention in preview search[J]. Psychon Bull Rev, 2004,(11):1034-1040.

[9]詹泽慧.基于智能 Agent的远程学习者情感与认知识别模型——眼动追踪与表情识别技术支持下的耦合[J].现代远程教育研究,2013,(5):100-105.

[10]Lazarus R S. Emotion and adaptation[M]. New York: Oxford University Press, 1991:78-103.

[11]吴沧海,熊焕亮,王映龙.远程学习中学习状态判断的情感计算研究[J].软件导刊·教育技术,2013,(12):24-27.

[12]解迎刚,王志良.远程教育中情感计算技术[M].北京:机械工业出版社,2011:30-47.

[13]Chaffar S, Cepeda G, Frasson C. Predicting the learner’s emotional reaction towards the tutor’s intervention[A].IEEE. International conference on advanced learning technologies[C]. Niigata: IEEE, 2007:639-641.

[14]Abdullah A A, Mariah B M, Rahmat B G. Usage of social networking sites and technological impact on the interaction-enabling features[J]. International Journal of Humanities and Social Science, 2014,4(2):46-61.

[15]Cesar C, Maria J R, Ines de G. Supporting online collaborative learning in small groups: Teacher feedback on learning content, academic task and social participation[J]. Computers & Education, 2014,(75):53-64.

[16]Isbister K, Karlesky M, Frye J, et al. Scoop!: A movement-based math game designed to reduce math anxiety[A].ACM. The international conference on the foundations of digital games[C]. New York: ACM, 2012:228-230.

[17]Mellone. Gesturing to learn video game technology is in motion in loudoun county school[OL].

〈http://www.districtadministration.com/article/gesturinglearn.〉

[18]Alam K M, Rahman M A, Saddik A E, et al. Adding emotional tag to augment context-awareness in social network services[A]. IEEE. Instrumentation and measurement technology conference[C]. Binjiang: IEEE, 2011:1-6.

编辑:小米

Affective Interaction Studies of Social Learning Network based on Learning Cognitive

SHEN Ying-shan TANG Yong
(Department of Computer Science, South China Normal University, Guangzhou, Guangdong, China 510631)

Based on the analysis of the characteristics of social learning network(SLN), the relation between affective recognition and learning status of learners was discussed. The SLN affective interaction model was constructed in combination with the learning cognitive status and learning behavior of learners by using multi-mode emotions, such as learners’ facial expressions, eye movements, body postures and emotional texts and graphics, ect, as recognition indexes.The mode can effectively promote the cognitive development of learners, support the need of large-scale remote distance learning. It can also better supervise and guide the SLN, and provid a new idea and a new method for the application of SLN.

social learning network; affection interaction; cognitive learning; learning behavior; pattern recognition

G40-057

A 【论文编号】1009—8097（2015）09—0090—07

10.3969/j.issn.1009-8097.2015.09.014

本文受国家自然科学基金项目“移动学习行为感知下教育资源语义组织与存储优化研究”（项目编号：613701678）资助。

沈映珊，副教授，博士，研究方向为网络教育应用，邮箱为esancn@gmail.com。

2014年12月23日