情感建模方法研究

吴伟国，孟庆梅，曲建俊

(哈尔滨工业大学机电工程学院，哈尔滨150001，wuwg@hit.edu.cn)

近年来，情感在人工智能中的重要性已被越来越多的研究学者所重视.早在1985年，Marvin Minsky教授在《精神社会》中指出“问题并不是智能机器是否能有情感，而是没有情感的机器怎么能是智能的”.在人机交互中，被设计成具有情感的机器与人建立友好的交互界面，使其具有参与社会事务和开展人际交往的能力，更易被人类所接受;同时机器具有“生命”，使其主体的思维(或行为)具有明确的目的性和方向性，从而显著地提高思维(或行为)的效率和速度［1］;在动态、不可预知和具有潜在“危险”的环境中，赋予机器思维上的创造性和行为上的自觉性，提高机器适应环境的能力［2］.

人工情感是利用信息科学的手段对人类情感过程进行模拟、识别和理解，使机器能够产生类人情感并与人类自然和谐地进行人机交互的研究领域［3－4］.情感模型的建立是人工情感研究的一个主要方面，现有的情感模型主要是从人机交互的角度和情感认知的角度建立，尽管两种方法并不是互斥的，但实际应用时情感模型都倾向于其中的某一个具体方法.尽管目前对机器情感模型的研究仍处于起步阶段，但该方向对情感研究的贡献主要在以下两方面:验证情感理论的有效工具，此时机器的情感模型可作为“虚拟实验室”，不仅能验证已有理论，而且能解决一些在人类情感研究中难以解决的问题，如:产生情感相关因素的孤立性、任务的反复特性等;另外从工程的角度考虑研究情感模型可以改善系统的性能，提高系统的自主性和适应性，以强化学习去适应环境.

1 目前的情感模型

1.1 OCC情绪模型

目前，对情感建模的研究有许多代表性的成果，如当前使用最普遍的OCC情感模型［5］.OCC模型采用一致性的认知导出条件来表述情感，是第一个用于人工智能领域的结构化模型.在该模型中，假定情感是对事件(高兴与否)、Agent(满意与否)和对象(喜欢与否)构成情感趋势的倾向.通过不同认知条件归纳推导，规范出22种情感类型.并且制定出产生这些情感类型的基本构造规则及其各情感的阶层关系，详细的分类与阶层关系如图1所示.

图1 OCC情感类型结构

1.2 Agent的情感模型

1994年，J.Bates在 OCC模型基础上提出“Believable Agent”［6］.该模型虽然仅能够描述基本的情感及其反应，却开始在人工智能中研究利用Agent如何形象化地表达内部情感状态，并且进行情感交互的研究.一个智能的Agent必须包含大量的环境信息，及时进行数据融合、过滤和选择，利用信息完整表述环境的能力，降低成本和提高获取信息的速度.这种情感模型往往将情感作为人类认知机制的一个成分，侧重于认知评价、动机等结合的过程.典型的Agent情感模型为Sloman［7］提出的H－CogAff情感模型.该模型力图覆盖正常人处理情感信息的全过程，包括3层情感体系结构:反应层、评估层和管理层.Sloman的这种结构实际上包含情感在内的信息处理过程中的精神现象，由于该模型企图体现自然情感处理过程，故该模型复杂并难以实现.K.A Maria提出3层基于情感的智能Agent的体系结构［8］.该模型由RIA(Regular Intelligent Agent)和EIA(Emotion Intelligent Agent)组成.接收器接收外部环境的特征信号，通过反应机制实现接收与执行之间的映射.执行器通过与环境的反馈执行最终的动作.评估机制包括两部分进程:认知进程和情感进程.情感和认知相互作用.认知进程执行事件的感知、评估、推理和任务的决策;情感进程根据认知的评估产生相应的情感信号.

1.3 Cathexis模型

Cathexis模型提出“情绪”概念［9］.个体通过传感器来检测外界刺激，进一步判断是否有合适的条件激起个体的情感再现.在Cathexis模型中传感器被分为4种类型:神经、感觉运动、动机和认知.神经传感器检测来自神经的传递介质如脑压.感觉运动传感器检测来自感觉运动过程的信号如面部表情、身体姿态等;动机传感器检测各种动机的输入;认知传感器检测各种认知的输入如对事件的评价和解释、信念、记忆等.Cathexis模型有6种基本情感:生气、害怕、悲伤、高兴、厌恶和吃惊，模型的特点在于不仅仅包括认知研究还包括非认知的研究.但是由于计算情感探测的数值很难计算，故Cathexis模型灵活性较差.

1.4 基于模糊逻辑的情感模型

模糊逻辑是最早应用在情感建模中的数学方法之一，T.Yanaru通过确定9条模糊规则和5个模糊集合来定义情感，并且确定了情感信号和情感强度的表达方法［10］.L.I.Perlovsky使用模糊自适应逻辑来定义情感.在文献［11］中，研究通过模糊逻辑来产生虚拟情感，该情感模型包括情感、学习和决策3个模块.同时在文献［12］中机器人的控制都是基于情感模型的，他使用加强学习算法.主要采用模糊认知映射，把情感、情感状态、物理状态及其行为结合起来.R.L.Mandryk等人提出一种模糊逻辑模型对人类情感进行定量的描述［13］.在OCC模型的基础上提出了一个新的可计算情感模型.这一模型引入模糊逻辑用以表征情感强度，并建立了事件、期望与情感状态、情感行为间的对应关系.尽管这些关系也可用其他形式化方法表示，但模糊逻辑更能体现情感状态推理的不确定性和复杂性的本质特征.

1.5 其他的情感模型

文献［14］以二维情感空间和OCC模型为基础，结合粒子系统和有源场，建立人工情感模型.粒子系统的运动状态表示模型当前的情感状态.模型将外界刺激转化为空间中的有源场.多个有源场产生的势能，共同影响粒子的运动.模型输出一个随时间变化的多维向量，向量维度上的数值表示对应情绪的激活程度.该模型面对同样的外界刺激，模型可能出现不同的情感状态变化，体现了在整体确定性下的局部随机性，但场源在空间中对应的坐标位置缺乏充足的理论支持，存在一定的不足之处.

北京科技大学的滕少东定义了情感的两种状态及其两个基本的变化转移过程，并应用马尔可夫链构造了一个情感概率空间，建立模拟情感变化的情感模型，给出了情感能量、情感强度和情感嫡等概念，用以描述情感特征与情感状态［15］.

浙江大学的杨宏伟等人结合生理和认知对情感的影响，提出了一种综合的可计算情感建模方法［16］.该方法设计了一个完全的过程框架，用以描述情感在不同时刻如何动态变化以及如何处理多种混合情感的情况，并建立了基于具体描述事件和情感关系的情感结构，以产生具体、真实的情感行为;提出了学习交互机制以增强虚拟智能体对动态环境的适应能力.本模型把需求、认知和情感全面地融合在一起，建立了一个综合的情感模型.同时，在模型中强调了情感的动态变化特性，提出了基于情感更新的情感合成过程.

2 目前情感模型的应用

目前情感模型主要应用在机器人及虚拟机器人上.人工情感模型成功运用在机器人上的主要有MIT的Kisment、日本早稻田大学的WE系列机器人、CMU的pearl机器人等.情感在实现人机交互中占有重要地位，此时情感常用来调节机器人的行动，加强人机交互的真实感［17－19］.

2.1 Kismet的情感模型

Kismet［20－21］的情感模型作为环境、内部刺激和行为动作的媒介，通过情感模型，机器人对外界输入的刺激和内部需要进行综合判断从而引起表现行为的各种变化.Kismet的情感模型基于Cathexis情感模型，不同之处在于Kismet的情感模型强调与人类的社会交互，而Cathexis的情感模型侧重于其他方面.Kismet的情感反应机构由情感刺激、情感评价、情感激活和情感表达等几部分组成，能够表达快乐、生气、厌恶、恐惧、悲伤、惊奇、兴趣、厌烦8种基本情绪.Kismet的情感空间如图2所示.Kismet通过面部表情表达情感.三维情感空间为［A，V，S］，每个情感对应情感空间的一个具体的点.在图2中可见9个基本的情感表达在情感空间的位置.Kismet的面部表情在3维情感空间通过插值的方法实现.每一维的情感空间的范围为［－1250，1250］.尽管Kismet的情感空间维数并没有准确的映射出情感空间，但是通过这种方法来再现情感和面部表情给情感建模提供新的思路.

2.2 ROMAN的情感模型

ROMAN机器人的情感模型采用基于行为的情感控制体系结构，如图3所示［22］.

图2 Kismet的情感空间

图3 ROMAN的情感控制体系结构［22］

该情感体系通过情感、驱动、行为3部分相互交互来实现“类人”的行为.在该体系中“驱动”决定“做什么”，“情感”决定“怎么做”.驱动包括几个驱动模块，每个驱动模块有2个输入，1个代表传感器的数据，另1个表示由其他驱动模块对它产生的抑制因素.3个输出，1个代表其他驱动的抑制因素，1个表示情感状态，最后表示行为激励.图4表示ROMAN的情感状态定义，针对所选取的情感状态能够实现类人的面部表情和姿态.在情感6面体中，再现6个基本情感.每个情感状态的计算采用Kismet的计算方法，通过1个三维的输入矢量［A，S，V］来计算.

图4 ROMAN的情感状态定义

2.3 服务机器人

人工情感模型已成功地应用在服务机器人上［23－25］.

韩国首尔国立大学的智能服务机器人具有个性的多维情感模型如图5所示［26－27］.在该模型中机器人并不是直接对外界刺激作出反应，而是根据现有的情感模型来计算情感中各元素的变化.情感模型中包括反应动态、内部动态、情感动态、行为动态及个性5元素.其中个性是最为重要的元素，决定不同的机器人的情感和行为.如果个性不同，尽管外界刺激和内部动态保持不变，情感模型也会产生不同的情感和行为.

图5 具有个性的多维情感模型

东京都立大学的Naoyuki Kubota在陪伴机器人上使用以情感记忆和物理记忆为基础的情感模型来实现自然的人机交互.机器人具有理解信息能力、回忆功能、情感激励功能［28］.Arkin等人研究如何把情感与行为学结合在一起应用在索尼娱乐机器人上［29］.Canamero，Fredslund等人定义情感激活模型来通过仿真水平规划情感［24］.Schulte等人研制了一个简单的状态机来表述4种情绪［30］.

通过情感模型的应用，使得服务机器人具有人性化，消除了人与机器人之间的陌生感，增强了机器人的“亲和力”.

3 基于扩展有限状态机的情感模型

本文提出基于扩展有限状态机的情感模型，在明确情感模型的各个状态以及一些完全可以用触发事件来确定各状态转换关系的基础上，用有限状态机来实现情感之间的状态转换.

扩展的有限状态机是一个六元组［31］:

式中:Q为有限状态集合，Q={q1，q2，…，qn};Σ表示系统接收的所有事件集合，Σ={σ1，σ2，…，σm};δ表示状态转移函数，δ:Q×Σ→Q;q0表示系统启动时的初始状态，q0∈Q;F表示终止状态的集合，F∈Q.V定义为状态上的变量属性集合，指系统处于各个状态时，在以后实现时需要涉及的变量.

根据情绪心理学中“情感维量”理论［32］，情感可分为基本情感和复合情感.为简化模型，EFSM情感模型中情感状态集合为{H，A，S，Su，D， F，N，C}:高兴(H)、愤怒(A)、悲伤(S)、吃惊(Su)、厌恶(D)、害怕(F)、自然状态(N)、复杂(C由于情感的复杂性，当情感交互时不是单一的情感时统称为C).Σ表示外界的刺激事件(定义为不同的情感状态)，F表示输出的情感状态(F和Σ是Q状态空间的元素)，转移函数δ:Q×Σ→Q及初始情感状态q0(q0∈Q).根据当前的情感状态和输入状态的变换情况，函数δ:Q×Σ→Q用来计算状态机的最终状态.如果状态机在时间t时它的情感状态为q(t)，外界输入的状态为∑(t)，那么下一个情感状态为

假设情感状态集中包含4种情感状态，建立的情感交互模型如图6所示.E1代表个体的初始情感状态，条件代表输入状态，根据当前的情感状态和输入状态，情感载体的情感状态发生改变，并做出相应的行为.行为中的声音和表情表示状态上的变量集合V.

图6 情感交互模型

建立的仿真模型如图7所示，建立仿真模型的目的是验证情感交互模型的有效性.情感状态转化模型利用Matlab中的Stateflow［33］模块建立.它允许使用流程图和状态转移概念、采用面向对象的编程思想描述物理模型，用图形的方式绘制出迁移的条件，从而构造出有限状态机系统.

图7表示初始情感状态为H，在不同外界刺激下的情感状态转换.图中Eout2表示外界刺激情感，Eout表示初始情感状态选取的条件.状态变量属性集合V中的元素是通过内嵌Matlab函数(Expression H，Expression S，Expression C，Expression A)实现.

图7(a)为情感模型的初始状态选取，在随机过程中，状态集合{H，A，S，C}中各个状态的初始状态分布的概率均等;图7(b)为情感交互模型;图7(c)为对应情感状态的情感反应.

图8为人机交互实验的部分照片，进行的是机器人与人类面部表情的交互实验.根据情感模型如果外界情感刺激为悲伤情感，机器人会产生悲伤的情感反应.图8(b)为机器人的情感交互时悲伤面部表情变化的部分动态视频截图.

图7 情感模型仿真

图8 具有EFSM情感模型仿人头像机器人人机情感交互初步实验

4 结论与研究展望

现在的情感模型虽然取得一定成果，但仍有待进一步完善，未来的研究目标和方向如下:

1)虽然在感知、推理、决策和交流等方面有所了解，但并不了解情感的内在逻辑程序，同时对于如何实现这些功能中的信息处理过程了解并不完善.没有符合人类情感规律并适于机器实现的人工情绪自动生成模型.

2)目前应用于机器人上的情感模型，虽然能够使机器人与人类进行交流，但是不具有灵活性，如果新的驱动增加时，机器人的情感系统就必须改变.

3)情感表现的多样化也为情感建模的分析和数值化带来困难.例如对于任何一种情感而言，有许多行为和表情均被认为是适当的.因此何种情感表现强度更容易被用户接受也需要进一步的研究.

4)情感信息的获取与建模，例如，细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型.

［1］ORTONY A.On making believable emotional agents believable.Emotions in humans and artifacts［M］.Cambridge:MIT Press，2003:189－211.

［2］FRIJDA N.Emotions in robots-Comparative approaches to cognitive science［M］.Cambridge London:MIT Press/Bradford Books，1995:501－516.

［3］王志良.人工心理与人工情感［J］.智能系统学报，2006(3):38－47.

［4］PICARD R W.Affective computing［R］.［S.l.］:MIT Media Lab，1995:75－86.

［5］ORTONY A，CLORE G，COLLINS A.The cognitive structure of emotions［M］.［S.l.］:Cambridge University Press，1988:89－97.

［6］BATES J.The roles of emotion in believable agents［J］.Communications of ACM，1994(7):122－125.

［7］SLOMAN A.Beyond shallow models of emotion［J］.Cognitive Processing，2001，2(1):177－198.

［8］MARIA K A，ZITAR R A.Emotion agents:A modeling and an application［J］.Information and Software Technology，2007(49):695－716.

［9］VELASQUEZ J D.Modeling emotions and other motivations in synthetic agents［C］//Proceeding of the 14th National Confernce on Artificail Intelligence 2000.Austin，Texas，USA:AAAI，2000:10－15.

［10］YANARU T.An emotion processing system based on fuzzy inferernce and subjective observations［C］//Proceedings of the Second New Zealand International Two－Stream Conference on Artificial Neural Networks and Expert Systems 1995.Dunedin，New Zealand:［s.n.］，1995:15－20.

［11］EI-NASR M S，YEN J，LOEGER T R.Flame fuzzy logic adaptive model of emotions［J］.Autonmous Agents and Multi-Agent System，2000，3(3):219－257.

［12］AYESH A，MANDRYK R L.Emotionally motivated reinforcement learning Based controller［C］//IEEE International Conferernce on Systems Man and Cybernertics.Hague，Netherlands:ICSMC，2004:874－878.

［13］MANDRYK R L，ATKINS M S.A fuzzy physiological approach for continuously modelling emotion during interaction with play technologies［J］.International Journal of Human-Computer Studies，2007，65(4):329－347.

［14］胡博超，陈海山.基于粒子系统和有源场的情感建模研究［J］.心智与计算，2009(1):36－44.

［15］滕少冬，王志良，王莉，等.基于马尔可夫链的情感计算建模方法［J］.计算机工程，2005(5):17－19.

［16］杨宏伟，潘志庚，刘更代.一种综合可计算情感建模方法［J］.计算机研究与发展，2008，45(4):579－587.

［17］MICHAUD F，PIRJANIAN P，AUDET J，et al.Artificial motion and social robotics［C］//Proceedings of the International Symposiumon Distributed Autonomous Robotic Systems.Knoxville，Tennessee:DARS，2000:564－573.

［18］STEELS L.language games for autonomous robots［J］.IEEE Intelligent Systems，2001，16(5):45－52.

［19］FONG T，NOURBAKHSH I，DAUTENHAHN K.A survey of socially interactive robots［J］.Robotics and Autonomous Systems，2003(42):143－166.

［20］BREAZEAL C.Emotion and sociable humanoid robots［J］.International Journal of Human－Computer Studies，2003(59):119－155.

［21］BREAZEAL C.Function meets style:Insights from emotion theory applied to HRI［C］//2004 IEEE Transactions on Systems，Man and Cybernetics.Cambridge，MA，USA:［s.n.］，2004:187－194.

［22］HIRTH J，SCHMITZ N，BEMS K.Emotional architecture for the humanoid robot head ROMAN［C］//IEEE International Conference on Robotica and Automation.Roma，Italy:［s.n.］，2007:2150－2155.

［23］YMAEDA S.Autonomous pet－type robot with emotion behaviour learning system based on neuro modulators［J］.Systems and Control Engineering，2006，220(8): 717－724.

［24］CANAMERO L，FREDSLUND J.I show you how I like you-can you read it in my face?［J］.IEEE Transactions on Systems，Man and Cybernetics，2001，35(5):145－153.

［25］OGATA T，SUGANO S，KOMIYA T.Development of emotional communication robot:WAMOEBA-2R-experimental evaluation of the emotional communication between robots and humans［C］//Proceedings of the International Conference on using a Humanoid Robot.Boston，MA:［s.n.］，2000:213－220.

［26］HO S A，YOUNG M B，JIN H N，et al.Multi-Dimensional Emotional Engine with Personality using Intelligent Service Robot for Children［C］//International Conference on Control，Automation and Systems.Seoul，Korea:［s.n.］，2008:2020－2025.

［27］AHN，HO S，JIN Y C.Emotional Behavior Decision Model Based on Linear Dynamic Systems for Intelligent Service Robots［C］//16th IEEE International Conference on Robot＆Human Interactive Communication.Jeju，Korea:［s.n.］，2007:786－791.

［28］KUBOTA N，WAKISAKA S.Location-Dependent Emotional Memory for Natural Communication of Partner Robots［C］//2009 IEEE Workshop on Robotic Intelligence in Informationally Structured Space.Nashville，TN，USA:［s.n.］，2009:107－113.

［29］ARKIN R，FUJITA M，TAKAGI T，et al.An ethological and emotional basis for human—robot interaction［J］.Robotic and Autonomous Systems，2003(42):191－201.

［30］SCHULTE J.Spontaneous，short-term interaction with mobile robots in public places［C］//Proceedings of the International Conferenceon Robotics and Automation.Detroit，MI USA:［s.n.］，1999:258－264.

［31］年晓玲.基于扩展有限状态机软件测试自动生成的研究［D］.重庆:西南交通大学，2005:79－98.

［32］WANG Shang-fei，WANG Xu-fa.An artificial emotion model based on the dimension idea［J］.Journal of University of Science and Technology of China，2004(2): 83－91.

［33］张威.Stateflow逻辑系统建模［M］.西安:西安电子科技大学出版社，2007:30－295.