基于强化学习的智能语音情感调适框架

赵慧娟 李中科

摘要

随着人们精神压力和情绪问题的日益凸显，专业的心理咨询已难以满足用户随时随地缓解压力和调适情感的需求。为了实现及时在线的情感调适，本文提出一种基于强化学习的智能语音情感调适框架，智能体模拟咨询师，通过不断地与环境交互学习交互策略，并依据策略采取相应的调适动作引导用户进行情感状态的转移。经过多轮的对话咨询，使得用户的情感状态逐步得到改善。该框架为实现个人在线心理咨询和情感调适提供了一种新的解决思路，相对于传统的咨询和调试方式，该方案具有及时性、隐秘性和便捷性等优点。

【关键词】强化学习 情感调适 情感识别 情感状态转移

1 引言

随着现代社会的发展和人们生活节奏的加快，人们受到来自学习、工作以及生活等方面的压力越来越重，由此导致的精神方面的问题也日益凸显。据世界卫生组织的统计，抑郁症和焦虑症等精神疾患在世界上呈上升趋势，抑郁症目前己成为世界上第四大疾患，而到2020年时抑郁症有可能成为仅次于心脏病的第二大疾病。美国的抑郁症和焦虑症患者的人数逐步增加，大约五分之一的美国人正被心理疾病或精神疾病困扰。随着人们对精神和心理健康的关注度的提升，对心理咨询和情感调适需求量的逐步增多以及咨询群体的扩大，传统的面对面的心理咨询己无法满足待咨询者的需求。

互联网和云平台的发展促进了在线咨询服务平台的出现，典型的有TALKSPACEonline和MoodTools，前者是专注于服务抑郁症患者，为用户提供可在线咨询的专家服务，提高了咨询的实时性和便利性，并且降低了咨询的费用。但不论是面对面咨询还是在线咨询都无法避免对咨询师的依赖，因此只能实现一定程度上咨询的实时和便捷。而社交机器人的问世为心理咨询提供了更好的解决思路。一方面，社交机器人对需要进行情感调试的用户提供了一个更多的选择，使用户的负面情绪得到及时缓解，从而降低了用户对专业咨询的需求量。另一方面，如果可以通过机器人提供专业的心理咨询服务，则服务的实时性也得到了保证，同时还可大大降低用户的咨询费用，真正的实现经济高效的心理咨询。

本文提出一种将情绪调适和对话机器人结合的方案，使用户通过与机器人对话达到心理咨询和情绪调适的目的。采用强化学习的方式研究对话的Agent如何给对方提供好的情感回应。这里的情感回应，仅指情感类别，在具体的应用中，可以结合对话的上下文如语音、文本或者表情等，提供既有信息又有情感的回应，而情感类别与上下文的合成，本文则不做重点介绍。

2 相关工作

早在20世纪60年代就产生了对话系统如liza，随后出现基于任务的对话系统可以完成具体的任务如预定机票等。近年来，个人助理类产品如苹果公司的Siri，微软公司的Cortana等相继出现。不同于以往的对话系统，微软研发的小冰是一种全新的社会型对话机器人，其目标更注重的是对用户的一种虚拟的陪伴，与用户建立情感的连接，而非致力于解决用户的所有问题。

研究者Sun B等提出了一个心理咨询框架，可以使移动终端和Web平台无缝集成，及时获取用户的情感变化，系统提供了在线心理咨询、心理交流平台和计算机辅助咨询三大模块。D.Elmasri等提出采用对话机器人提供咨询服务，但是仅限于干预咨询者的饮酒习惯，并未考虑用户的情感状态。目前，已有相关的研究提出采用对话机器人提供心理咨询服务。Lee D提出使用chatbot进行心理咨询的方案：首先基于多模态进行情感识别，然后根据连续监控咨询者的情感状态，并结合道德、咨询者的个人属性等因素综合对用户的信息给出具有情感的回应。清华大学黄民烈等提出在文本对话的回应中要融入情感因素，但是对于文本回应，只给出与说话人相同的情感回应，尚未对该反馈何种情感进行深入研究。MujeebS提出根据用户的文本问答信息诊断用户是否患有恐黑症和自闭症以及确诊患者症状的严重程度。目前，类似于微软小冰的对话机器人仅限于用户的陪伴，虽然具有情感回应，但是针对于用户长期存在的负面情绪或心理障碍，其干预的效果则有待进一步评估。斯坦福大学发布的woebot是一个免费的治疗型聊天机器人，旨在通过抑郁症患者与该机器人对话达到治疗抑郁症的目的。

我们提出一種采用强化学习的思路，通过用户与咨询师机器人的语音对话，逐步调适用户的情感状态，使得情感逐步从负面调整为中性或者正面情感，或者调整情感的强弱程度。

3 基于强化学习的心理咨询框架

3.1 心理咨询与对话情感调适

人类的精神状态和情感都是动态变化的、非平稳的。情感状态有多种表现形式，可以通过生理信号、语音、表情等表达出来。反过来，我们通过观测人们的外在表现可以识别其情感类别。当用户长期持续表现为异常情绪时比如抑郁、自闭等，则需要考虑其心理健康状况是否出现异常或者是否患有生理疾病。心理咨询可以通过不同的疗法对用户的心理状态进行干预，通过倾听、引导、建议或鼓励等措施帮助心理异常的用户及时调整，尽快走出负面的心理状态。目前，面对面的交谈是心理咨询的重要方式。咨询师与用户之间首先建立信任度，在此基础上，用户会配合咨询师诊断问题，并确立咨询目标，进而开始有效的咨询。通常，咨询需要多轮对话才能使用户的情感有逐步的改善，咨询师还会考虑咨询者的语音、姿势、表情等多方面信息以及主体的个性特点。心理调节方式也会考虑音乐、咨询室的灯光、等多种因素的结合使用。如果用户的心理状态改善不明显，咨询师则需要调整咨询策略和咨询方案和计划，最终达到期望的咨询效果。

基于对话的情感调适，是心理咨询的一个方面。用户通过和咨询师进行对话，根据积极配合咨询师的引导达到情感的调适的目的，比如抑郁、焦虑、恐惧等状态的干预和引导。根据Thomton M A的研究，人类情感变化是符合马尔科夫链模型的，情感状态转移通常是同极性的情感之间进行转换，当极性相反时，一般会经由中性情感过渡。通过获取情感转移矩阵便可获取情感转换的规律。根据当前的情感状态，通过选择不同的动作按某种概率转移到指定的目标状态。正常情感和异常情感的转移关系示意如图1所示。在异常情感下对情感的合理调适则有较大的可能转移到正常情感状态，如果不调适则可能继续保持在异常情感状态甚至异常程度会更严重。在正常情感下，如果未进行及时的调适或者调适不当，则情感也可能会转换为异常情感。这里，同一行为下的转移概率满足：Σ_jp_ij=1。

3.2 強化学习的情感调适框架

除了具有动态性和不确定性，人类产生的情感还具有一定的主观性，与用户的个性特点也有关系。情感调适或者其他外在的干预措施，对用户的刺激和情感的影响并非有着立竿见影的效果。而且，即使在同一咨询时段内，相邻两个时刻的情感改善较为明显，也难以确认此改善就一定是当前情感调节所致的效果。而是在咨询师与用户的对话过程中，随着刺激和影响的逐步深入，用户的情感改善才逐步有所体现。比如，在某一时段用户的情感变化反复无常，随着咨询师的引导和心理咨询计划的逐步实施，情感变得相对稳定;或者由之前以负面情绪为主的情感，逐步变为以中性情绪或者正面情绪为主的情感等等。

因此，我们需要考虑多轮咨询活动对情感的影响。以一次咨询过程中咨询对象的语音序列为输入对象，利用其统计特性来表示一个情感状态，每一帧的情感变化则在一次咨询过程内进行考虑。Agent模拟咨询师，环境模拟咨询对象，按照强化学习的思想，学习最优的调适策略。情感调适的基本结构如图2所示。Agent包括累积奖赏计算、策略评估以及动作选择等。环境包含了语音信息的预处理、情感识别、状态计算以及奖赏的计算等主要部分。首先对语音信号进行情感识别，然后基于情感状态的序列进行情感状态的估计，根据当前的情感状态，选择相应的调适策略进行情感调适。调适的策略进而影响到下一轮的情感对话咨询。如下给出模型的主要概念的定义：

状态State定义：每轮咨询过程中，该时段用户的语音情感序列表示为，N为语音帧的个数，也对应着情感序列的长度。环境的状态S_i定义为情感序列E_i的统计。情感的识别首先提取语音特征，然后利用LSTM模型进行分类。这里仅考虑{Happy、Neural、Sad、Anger、Fear}五种情感类型。情感序列的统计特性表示用户在此次咨询过程中的整体情感状态。这里的状态，并非单个的离散值如Happy、Anger等，而是对该序列的统计值，将状态转移建模为转移矩阵P=（p_ij）_N，此外，还使用负面情绪和正面情绪个数的比值作为情感序列的极性特征。动作Action定义：每轮咨询过程中，咨询师采取的咨询方法或措施。现实世界中，心理咨询有着不同的流派，根据流派不同，咨询师的方法和措施也有所不同。本文根据行为主义的思想，来建立咨询的Action。

在咨询过程中，采取的动作集定义为A=（A₁，A₂，…，A_n}，设在状态x下执行动作a到达状态x'，设转移概率是P_x→x'^a，得到的奖赏是R_x→x'^a，则有累积奖赏可表示为：

状态-动作值函数表示为：

基于此模型的策略评估算法描述如下：

输入：

MDP四元组E-;

被评估的策略π;

累计奖赏参数T;

阈值θ;

过程：

输出：状态值函数V

则有

通过策略迭代，最终获取最优策略

继而根据最优策略对用户的情感进行调适。

4 结束语

本文利用强化学习的思想建立基于Agent对话的情感调适。通过对当前用户的情感状态进行统计和分析，不断地优化学习策略，进而对用户的情感进行调适。由于用户的情感具有一定的主观性，类似于心理咨询，调适的效果在一定程度上还与用户的个性特点有关，同时也需要用户的积极配合。考虑到该框架的应用是面向用户的主动调适，对于主动求助智能咨询或调适的用户来说，可以不考虑其阻抗性。为了进一步提升调适的效果，除了考虑语音信号，还可以考虑文本、表情等多种模态信息的融合。我们将在后面的研究中做深入探讨。

参考文献

[1]Roe kvilIe，Maryland2016National Survey on Drug Use andHealthMETHODO10GICAL SUMMARY ANDDEFINITIONShttps：//www.samhsa.gov/data/sites/default/files/NSDUH-MethodSummDefs-2016/NSDUH-MethodSummDefs-2016.pdf[EB/OL].

[2]Rutkin A.Therapist in my pocket[J].New Scientist，2015，227（3038）.

[3]Erik L M，Jennifer N，Helen C.ASystematic Assessment of SmartphoneTools for Suicide Prevention：[J].PLos One，2016，11（04）：e0152285.

[4]Weizenbaum，J.，1966.ELIZA-Acomputer program for the studyof natural language communicationbetween manand machine.Communications of the Associationfor Computing Machinery，9，pp.36-45Walker，M.，Aberdeen，J，Boland，J.，Bratt，E.，

[5]Garofolo，J.，Hirschman，L.，Le，A.，Lee，S.，Narayanan，S.，Papineni，K.，Pellom，B.，Polifroni，J.，Potamianos，A.，Prabhu，P.，Rudnicky，A.，and Sanders，G.，2001.DARPA Communicator dia10Gtravel planning systems：The June2000 data collection.In Proceedingsof the Eurospeech Conference.

[6]馬健.苹果Siri，将人工智能带入我们的生活[J].物联网技术，2011，01（9）：31-32.

[7]Hoy M B.Alexa，Siri，Cortana，andMore：An Introduction to VoiceAssistants[J].Medical ReferenceServices Quarterly，2018，37（01）：81.

[8]肖杰.从“微软小冰”探讨人工智能的前景与未来[J].科技创新与应用，2018（07）：10-11.

[9]Sun B，Kang W，Zhang R，et al.PsyCare：A novel framework foronline psycho10Gica一counseling[C].International Conference on PervasiveComputing and Applications.IEEE，2010：56-61.

[10]D.Elmasri，A.Maeder，“AConversational Agent for an On lineMental Health Intervention，”Inproc.of International Conference onBrain and Health Informatics，PP.243-251，2016.

[11]Lee D，Oh K J，Choi H J.Thechatbot feels you一a counselingservice using emotional responsegeneration[C].IEEE InternationalConference on Big Data and SmartComputing.IEEE，2017：437-440.

[12]Oh K J，Lee D，Ko B，et al.AChatbot for Psychiatric Counselingin Mental Healthcare Service Basedon Emotional Dia10Gue Analysisand Sentence Generation[C].IEEEInternational Conference on MobileData Management.IEEE，2017：371-375.

[13]Zhou H，Huang M，Zhang T，et al.Emotional Chatting Machine：EmotionalConversation Generation with Internaland External Memory[J].2017.

[14]Mujeeb S，Hafeez M，Arshad T，etal.Aquabot：A Diagnostic Chatbotfor Achluophobia and Autism[J].International Journal of AdvancedComputer Science&Applications，2017，8（09）.

[15]Ly K H，Ly A M，Andersson G.A FullyAutomated Conversational Agent，forPromoting Mental Well-Being：A piIotRCT using mixed methods[J].InternetInterventions，2017，10（C）：39-46.

[16]Thornton M A，Tamir D I.Mentalmodels accurately predict emotiontransitions[J].Proceedings of theNational Academy of Sciences of theUnited States of America，2017，114（23）：5982.