5种基本情绪的心肺系统生理反应模式

刘　烨　王思睿　傅小兰

(脑与认知科学国家重点实验室(中国科学院心理研究所)　北京　100101)

(中国科学院心理研究所　北京　100101)

(liuye@psych.ac.cn)

Patterns of Cardiorespiratory Activity Associated with Five Basic Emotions

Liu Ye, Wang Sirui, and Fu Xiaolan

(State Key Laboratory of Brain and Cognitive Science (Institute of Psychology, Chinese Academy of Sciences), Beijing 100101)

(Institute of Psychology, Chinese Academy of Sciences, Beijing 100101)

Abstract　Affective interaction is the inexorable trend of the development of natural interaction. Physiological computing provides a new approach to understand the physiological and emotional states of users. However, there is no scientific consensus on whether there exists a stable relation between emotional states and the physiological responses. The present study review the recent research on physiological responses of autonomic nervous system activity in emotion and addressed to investigate the profile of autonomic nervous responses during the experience of five basic emotions: sadness, happiness, fear, anger, surprise and neutral. ECG and respiratory activity of fourteen healthy volunteers was recorded with BIOPAC SYSTEM MP150 during their reading passages with five basic emotional tones and neutral tone. Twelve indexes computed off-line from ECG and respiratory activities were employed as dependent variables for statistic analysis. The results indicate that significant or marginal differences are detected between the neutral and four basic emotions, except for sadness. The physiological patterns of the five basic emotions are different. Therefore, these results provide the positive evidence for the notion that the distinct patterns of peripheral physiological activity are associated with different emotions. The findings also indicate that it is feasible and effective to recognize users’ affective states based on physiological response patterns of ECG and respiratory activities.

Key words　emotion; affective interaction; autonomic response pattern; cardiorespiratory activity index; physiological computing



5种基本情绪的心肺系统生理反应模式

刘烨王思睿傅小兰

(脑与认知科学国家重点实验室(中国科学院心理研究所)北京100101)

(中国科学院心理研究所北京100101)

(liuye@psych.ac.cn)

Patterns of Cardiorespiratory Activity Associated with Five Basic Emotions

Liu Ye, Wang Sirui, and Fu Xiaolan

(StateKeyLaboratoryofBrainandCognitiveScience(InstituteofPsychology,ChineseAcademyofSciences),Beijing100101)

(InstituteofPsychology,ChineseAcademyofSciences,Beijing100101)

AbstractAffective interaction is the inexorable trend of the development of natural interaction. Physiological computing provides a new approach to understand the physiological and emotional states of users. However, there is no scientific consensus on whether there exists a stable relation between emotional states and the physiological responses. The present study review the recent research on physiological responses of autonomic nervous system activity in emotion and addressed to investigate the profile of autonomic nervous responses during the experience of five basic emotions: sadness, happiness, fear, anger, surprise and neutral. ECG and respiratory activity of fourteen healthy volunteers was recorded with BIOPAC SYSTEM MP150 during their reading passages with five basic emotional tones and neutral tone. Twelve indexes computed off-line from ECG and respiratory activities were employed as dependent variables for statistic analysis. The results indicate that significant or marginal differences are detected between the neutral and four basic emotions, except for sadness. The physiological patterns of the five basic emotions are different. Therefore, these results provide the positive evidence for the notion that the distinct patterns of peripheral physiological activity are associated with different emotions. The findings also indicate that it is feasible and effective to recognize users’ affective states based on physiological response patterns of ECG and respiratory activities.

Key wordsemotion; affective interaction; autonomic response pattern; cardiorespiratory activity index; physiological computing

摘要情感交互是自然人机交互发展的必然趋势.生理计算为感知和识别用户的生理和情感状态提供了新的途径. 通过阅读文字情境，14名被试分别体验悲伤、喜悦、惊奇、恐惧、愤怒5种基本情绪和中性情绪，并以相应的情绪语调说出与情境有关的特定话语，考察了人们在上述5种基本情绪下的自主神经系统生理反应.使用BIOPAC MP150生理仪和可穿戴式感受器终端记录被试在言语过程中的心电和呼吸数据，并据此分析12项心肺活动指标.结果表明：除悲伤外，其他4种基本情绪下的生理反应与中性情绪存在显著或边缘显著差异；5种情绪所引发的生理反应模式在一定程度上存在差异.该研究表明，基本情绪所引发的心肺系统反应模式存在差异，为基于用户的生理反应模式对用户的情感状态进行识别提供了实验支持证据，通过捕捉心电和呼吸信号可以有效地监测用户的情感状态.

关键词情绪；情感交互；自主神经反应模式；心肺活动指标；生理计算

0引言

当计算机能够观察、理解和生成各种人类的情感时，才能实现真正意义上的自然和谐的人机交互，这一观点已经成为当前计算机科学、人工智能领域的共识. 如果要实现计算机与人之间的情感交互，首先需要准确地识别用户的情感状态. 除了通过面部表情、声音和姿势姿态对用户的情感进行识别外，也可以通过用户的生理状态进行情感识别.由于情绪情感所引发的自主神经生理反应不易受到用户自身主观意识的调节，所以，相对于其他识别情感的途径，生理反应可以更加客观地反映用户的情感状态.

人类在不同情绪状态时是否存在特异性的自主神经反应模式，这个问题一直在心理学、生理学领域存在争议[1].早在1894年就有心理学家提出，由人体内脏发出的生理信号对应着特定的情绪体验[2]，但是也有人认为，与情绪体验相关联的内脏活动是缓慢、非特异性的[3-4].同时，因为目前所获得的生理反应模式在很大程度上受到研究范式、特征提取以及生理信号处理等因素影响，所以现有实验证据不能充分证明存在着与特定情绪状态相联系的、可区分的自主神经反应模式.这给基于生理反应模式的情感识别带来了巨大的挑战.因此，心理生理学推论的复杂性和有效性是基于生理反应模式进行情感交互时需要解决的首要问题[5].如何基于生理状态来理解用户的情绪状态，进行低层生理信号到高层情感语义的推理是研究的难点[6].

迄今为止，生理学、心理学、生物医学和计算机领域已经积累了大量情绪诱发生理反应的研究.这些研究所涉及的神经生理反应包括：心电(electro-cardiography, ECG)、心率及心率变异性(heart rate variability, HRV)、呼吸频率和幅度、皮肤电、血压、皮肤温度、脑电(electroencephalogram, EEG)、面部肌电、指端脉搏等.目前，关注情绪情感引发的生理反应的研究涉及到的情绪情感类型，除了公认的基本情绪，如喜悦(happiness)、悲伤(sadness)、惊奇(surprise)、恐惧(fear)、愤怒(anger)、厌恶(disgust)，还包括一些相对复杂的情感，如自豪(pride)、难堪(embarrassment)、同情(sympathy)等，以及一些与我们的健康密切相关的负性情绪，如抑郁(depression)和焦虑(anxiety)等.

1) 心肺系统生理反应模式

已有研究发现，人们在基本情绪状态和某些特定的情绪状态时，其心率和心率变异性存在显著的差异.例如恐惧情绪时的心率明显快于悲伤和中性情绪[7].高兴、悲伤和厌恶这3种基本情绪和中性情绪状态在心率变异性的高频成分上彼此都存在显著的差异[8].高兴、愤怒、悲伤和恐惧这4种基本情绪状态下的心率和心率变异性等心肺反应模式存在显著的差异；相对于中性状态，这4种基本情绪的心率虽然都会上升，但是恐惧时心率上升得最高，其次是高兴和愤怒，悲伤时心率上升得幅度最小[9].负性情绪引起的心率变化比正性情绪引起的变化更加持久[10].采用情感维度的研究发现，心率变异性的低频和高频成分与情绪的激活度有显著的相关，但是与情绪的效价(即愉悦度)没有显著相关[11].

心率变异性是诊断抑郁和焦虑等负性情绪的有效指标[12-14].抑郁和焦虑会显著地影响心率及其变异性，相对于中性和正性情绪状态，抑郁和焦虑等负性情绪状态下，心率变异性较低[15-17]；相对于正常人，抑郁症和焦虑症的患者的心率变异性较低[18-20]；甚至对于儿童，心率变异性也可以作为诊断焦虑的指标[21].

不同情绪状态下，呼吸的各项参数也存在一些差异.恐惧和高兴状态下的呼吸频率上升，而悲伤和愤怒时的呼吸频率与中性情绪状态没有显著差异[9].愉悦、愤怒、满足、恐惧、悲伤、惊奇和中性情绪状态时的呼吸频率和幅度也存在一定的差异[22].抑郁和焦虑也会显著地影响人们的呼吸[15].在目前开展的情感识别研究中，通常会采集呼吸的各项参数，并结合心率、皮肤电等各项参数形成的生理反应模式来实现情感识别.

2) 其他生理指标

皮肤电通常与情绪的激活程度密切相关[23-24]，同时也是识别基本情绪的有效指标[25-26].抑郁和焦虑等负性情绪会显著地影响皮肤电，因此皮肤电也被认为是诊断抑郁、焦虑等情绪障碍患者的一个有效指标[27-29]，甚至对于抑郁症患者的自杀行为都有一定的预测作用[30-32].

血压在不同基本情绪状态下也存在差异[25]，并且焦虑和抑郁会显著地引起血压升高[33-35]；正性情绪和负性情绪状态下的皮肤温度存在显著差异[17]，而且抑郁和焦虑会显著地影响人们的手指皮肤温度[15].因此，血压和皮肤温度也常常被用于情感识别研究[7].还有研究考察正负性情绪对指端脉搏的影响，结果发现：正性情绪下，心率变化不显著，指端脉搏容积显著下降；负性情绪下，心率显著增加，指端脉搏容积显著下降[36].

近些年，基于EEG信号进行情感和情绪识别逐渐被大量研究者的关注[37]，并且EEG信号也被用于抑郁和焦虑情绪的监测[38-39]以及抑郁治疗的效果监测[40].也有基于脑电进行情绪识别和交互的研究将EEG应用于精神分裂症患者的临床研究[41].

3) 基于多生理指标的情感识别

由于单一的生理反应指标并不能实现准确的情感识别，研究者尝试综合多个生理反应指标开展研究.利用心电、呼吸、皮肤电和肌电等基础生理信号的组合测量，提取生理特征标志(physiological markers)，能够达到80%的紧张情绪正确检出[42].采用ECG、皮肤电和血压指标，高兴、悲伤、恐惧、愤怒和满足这5种情绪状态下的生理反应模式可以彼此区分开[43].在另外一项研究中，研究者综合采用心电的多项指标(包括HRV、HRV的高频和低频成分、心脏搏出量等)、脉搏幅度、血压、指端皮肤温度、皮肤电、呼吸(包括频率、幅度、变异和吸气流速)等，用于识别和分类悲伤、恐惧和中性情绪状态，结果发现识别率达到85%[7].综合ECG、皮肤电和呼吸3项生理反应指标，采用多元模式分类分析方法(multivariate pattern classification analysis)，结果发现愉悦、愤怒、满足、恐惧、悲伤、惊奇和中性情绪状态可以较好地进行区分，44.6%的观测数据可以被分入正确的类别，远远高于几率水平[44].另外有研究者综合上述3种生理反应指标对愉悦、愤怒、满足、恐惧、悲伤、惊奇的生理反应模式进行分类识别，结果发现58.0%的数据可以分入正确的类别[45].以上研究表明，综合多项生理反应和指标的生理反应模式可以有效地提升情绪情感识别的准确率.

综上所述，迄今为止，基本情绪之间是否存在特异性的、可区分的生理激活模式，仍然是一个悬而未决的问题.如果存在特异性的、可区分的生理激活模式，那么哪些生理指标可以更好地区分基本情绪？针对这一问题，本研究采用情绪语音表演法考察悲伤、喜悦、惊奇、恐惧、愤怒5种基本情绪与中性情绪状态下自主神经的反应模式，通过改进情绪诱发手段和生理指标计算方法，进一步探讨是否存在情绪特异性自主神经反应.

与前人研究相比，本实验具有3个特点：

1) 采用情绪语音表演法作为情绪诱发手段.以往研究常用的诱发手段包括：呈现给被试情绪性图片[46]、音乐[47]和电影片段[48]，以及让被试体验过去经历[9]等.上述方式局限在于，被试无法主动地表达情感.针对这一问题本研究采用情绪语音表演法：首先让被试阅读一段描述日常生活情境的文字并体验其中的情绪，然后要求被试带有情绪地表达与情境相关的语句.言语是人类表达情绪最主要的手段之一，因此该方式有助于提高本研究的生态效度.

2) 选择心肺系统生理指标作为考察对象.以往研究证明，心肺系统受到交感和副交感神经系统的共同调控，能够较为灵敏地反映出人们的情绪变化.心肺作为联系密切的生理系统，其反应并非各自独立，例如吸气所导致的腹腔压力升高会刺激压力感受器，进而导致迷走神经对心率的调节.基于上述分析，本实验提取3类生理指标：呼吸反应指标、心脏反应指标、与呼吸相关的心脏反应指标.

3) 不仅提取生理反应的集中趋势数据，而且结合离散趋势数据进行分析.以往研究常使用平均数作为统计处理参数，Gomez[46,48]等人进一步提出中数能够更好地反映情绪状态下人们呼吸活动数据的集中趋势.然而，由于基本情绪自主神经反应模式的灵活性[49]，仅对代表集中趋势的参数进行考察可能无法反映情绪生理活动的全貌.因此本研究均选择了指标的平均数、中数、标准差作为处理对象，以期通过不同的数据特征提取方式获得有价值的信息.

1研究方法

1.1被试

14名大学生自愿参加实验，其中8名男生、6名女生，平均年龄为22.6岁，所有被试身体状况良好.

1.2数据采集设备

使用BIOPAC SYSTEM MP150系统及其配套软件AcqKnowledge作为生理数据记录设备.实验过程中不间断地记录被试在目标情绪状态下朗读句子时的ECG与呼吸活动，数据采样率为1 000 Hz.实验采用标准三导联记录心电图，呼吸周期和相对呼吸幅度由1条捆绑在被试胸部浮肋处的拉力传感器采集.

1.3数据采集流程

所有被试到达实验室后，首先熟悉实验环境20 min.之后实验者为被试佩戴生理传感设备，启动设备并要求被试保持安静放松状态3 min，记录其在静息状态时的心脏、呼吸活动作为数据处理基线.

正式实验阶段，要求每名被试分别体验中性、悲伤、惊奇、恐惧、愤怒和喜悦6种情绪，并以相应的情绪读出特定语段.每种情绪配有一段相关的情境语段，以帮助被试更好地体验指定的情绪状态.每种情绪包括5个语段，以及与特定情绪相匹配的情境语段.每名被试共朗读30个语段，阅读顺序进行了被试间平衡.读完1个语段后，要求被试休息1 min；每读完5个语段，要求被试休息5 min.被试每读完1个语段，相应的数据存储为1个文件.

被试在阅读语段期间尽量保持身体不动，佩戴可穿戴式终端的手指保持不动.被试一旦开始阅读情境语段，生理仪就开始记录被试的生理反应，当被试阅读到指定的语句时，主试手动在数据上做开始标定，被试阅读完指定语句时，主试手动在数据上做结束标定.

1.4信号处理

实验有效数据总量为417个.从每个数据的结束标定点向前截取15 s数据作为分析对象.提取12项生理指标参数作为实验因变量.其中6项为呼吸相关的参数，分别是呼吸周期平均数(mean respira-tory time)、呼吸周期中数(median respiratory time)、呼吸周期标准差(standard deviation of respiratory time)、相对呼吸幅度平均数(mean respiratory volume)、相对呼吸幅度中数(median respiratory volume)、相对呼吸幅度标准差(standard deviation of respiratory volume)；其中4项为心电的RR间期参数，分别为RR间期平均数(mean RR interval)、RR间期标准差(standard deviation of RR interval)、连续RR间期(RRi+1—RRi)差异的平均数(mean DeltaRR)、连续RR间期(RRi+1—RRi)差异的标准差(standard deviation of DeltaRR)；其中2项为心电和呼吸相关的参数，分别是每一呼吸周期中RR间期平均数(mean RR intervalrespiratory cycle)和每一呼吸周期内RR间期标准差(standard deviation of RR intervalrespiratory cycle).使用BIOPAC SYSTEM MP150系统配套的信号处理软件AcqKnowledge提取上述12项生理指标参数.

2结果分析

2.15种基本情绪、中性情绪与静息状态的差异

5种基本情绪、中性情绪与静息状态在12项生理指标上的差异如表1所示.本研究均采用SPSS20.0统计分析软件对不同情绪状态下的生理数据进行统计差异检验.

Table 1　The Mean Differences of twelve Physiological Responses Between six Emotional States and Resting State

Notes:**meansp<0.01; * meansp<0.05. The stars mean the differences are statistically significant.

以5种基本情绪、中性情绪与静息状态这7个状态为自变量，分别对12项生理指标进行重复测量方差分析.结果表明，呼吸周期平均数在7种情绪状态间的差异主效应显著，F(6,78)=14.18，p<0.001；呼吸周期中数在7种情绪状态间的差异主效应显著，F(6,78)=14.09，p<0.001；RR间期平均数在7种情绪状态间的差异主效应显著，F(6,78)=15.15，p<0.001；RR平均数每呼吸周期在7种情绪状态间的差异主效应显著，F(6,78)=18.41，p<0.001；呼吸周期标准差、呼吸幅度平均数、呼吸幅度中数、呼吸幅度标准差、RR间期标准差、DeltaRR平均数、DeltaRR标准差、RR标准差每呼吸周期在7种情绪状态间的差异主效应均不显著，Fall(6,78)<2.15，pall>0.05.

事后分析的结果表明，与静息状态相比，5种基本情绪和中性情绪状态下的呼吸周期、RR间期和每呼吸周期内的RR间期均出现了显著缩短，虽然呼吸幅度出现上升，但是统计并没有达到显著.其中，除了悲伤和中性情绪，愤怒、惊奇、恐惧、喜悦的呼吸周期平均数和中数都与静息状态有显著的缩短(pall<0.05)，而且恐惧缩短的幅度最大(p<0.01)；与静息状态相比，5种基本情绪和中性情绪状态下的RR间期平均数和每个呼吸周期的RR间期平均数都显著缩短(pall<0.05).由此可见，所有情感语音表演状态的生理反应都与静息状态的生理反应模式存在显著差异.

2.25种基本情绪与中性情绪的差异

针对每个被试，将5种基本情绪与中性情绪的各项生理指标的数值减去其静息状态(基线)的相应数值，尽量减少个体差异给各项生理指标的数值带来的变异.减去静息状态后，5种基本情绪与中性情绪在12项生理指标上的差异如表2所示:

Table 2　The Mean Differences of twelve Physiological Responses Between five Basic Emotions and Neutral State

Notes:**meansp<0.01; * meansp<0.05;†meansp<0.10. The stars mean the differences are statistically significant.

以5种基本情绪和中性情绪这6个状态为自变量，分别对减去静息状态后的12项生理指标进行重复测量方差分析.结果表明，呼吸周期平均数在6种情绪状态间的差异主效应显著，F(5,65)=6.89，p<0.001；呼吸周期中数在6种情绪状态间的差异主效应显著，F(5,65)=8.63，p<0.001；呼吸周期标准差在6种情绪状态间的差异主效应显著，F(5,65)=5.06，p<0.05；RR标准差每呼吸周期在6种情绪状态间的差异主效应显著，F(5,65)=4.32，p<0.05；呼吸幅度平均数、呼吸幅度中数、呼吸幅度标准差、RR间期平均数、RR间期标准差、DeltaRR平均数、DeltaRR标准差、RR平均数每呼吸周期在6种情绪状态间的差异主效应均不显著，Fall(5,65)<2.05，pall>0.05.事后分析的结果表明，除悲伤外，其余4种情绪的生理反应至少在某一项生理反应指标上与中性情绪存在着显著差异.愤怒的生理反应表现为呼吸频率更快，呼吸周期的中数低于中性情绪，达到边缘显著水平(p<0.10)，但是其他生理指标并没有与中性情绪有显著差异.惊奇情绪的生理反应模式与愤怒相近，呼吸周期的均数、中数显著降低，均达到边缘显著水平(pall<0.10)，而且与呼吸相关的RR间期标准差降低(p<0.05).与中性情绪相比，恐惧和喜悦都出现了非常显著的呼吸周期缩短、呼吸频率加快的模式(pall<0.05)，与此同时，恐惧情绪的呼吸周期标准差显著低于中性情绪(p<0.05)，表明在恐惧情绪时人们的呼吸更加短促.

2.35种基本情绪之间的差异

5种基本情绪在12项生理指标上的差异如表3所示.对结果进行配对T检验，结果发现，除了惊奇无法与愤怒和喜悦区分开、喜悦与恐惧无法区分开之外，其他任意2种情绪之间都可以通过某一项生理指标区分开.这表明，在本实验中惊奇与喜悦、愤怒的生理反应模式相似，表现为呼吸周期缩短，RR间期及与呼吸相关的RR间期也缩短；悲伤的呼吸周期显著长于恐惧和喜悦，悲伤的RR间期和每个呼吸周期的RR间期显著长于愤怒、惊奇和恐惧，表明悲伤的呼吸速度减慢，心率减慢.

Table 3　The Mean Differences of twelve Physiological Responses Among five Basic Emotions

Notes:**meansp<0.01; * meansp<0.05. The stars mean the differences are statistically significant.

3讨论

1) 5种基本情绪的生理反应模式存在差异

本研究采用情感语音表演的方法诱发5种基本情绪和中性情绪，结果发现所有情感语音表演状态的生理反应都与静息状态的生理反应模式存在显著差异，表明采用情绪语音诱发情绪具有一定的效果，除了悲伤和中性情绪，愤怒、惊奇、恐惧、喜悦的呼吸周期都显著缩短，而且所有情绪的RR间期缩短，心率加快.除此之外，5种基本情绪与中性情绪相比，除悲伤外，其余4种情绪的生理反应至少在某一项生理反应指标上与中性情绪存在着显著差异.对5种基本情绪的两两比较发现，在情感语音表演时，惊奇与喜悦、愤怒的生理反应模式相似，表现为呼吸加快，心率也加快；悲伤的呼吸周期明显长于恐惧和喜悦，而且心率也慢于愤怒、惊奇和恐惧.

Kreibig[1]总结了134篇有关情绪诱发的自主神经系统反应模式的实验报告.其中,大部分研究都发现对于愤怒、恐惧、喜悦、惊奇来说，其心率都会显著加快，心率变异性降低，呼吸频率变快；但是对于悲伤来说，其心率会显著下降，呼吸频率的研究发现存在不一致，有的研究发现悲伤时的呼吸频率上升，有的研究则相反.本研究的发现与Kreibig总结的大部分研究结果一致，即除了悲伤外，愤怒、喜悦、惊奇和恐惧时的呼吸周期缩短，呼吸频率加快，RR间期缩短，心率加快；悲伤时的呼吸周期缩短，呼吸频率加快，但是RR间期变长，心率减慢.

以往许多研究指出，在观看悲伤材料时，被试心率降低的程度要高于愤怒和恐惧[50]，这与本研究结果相一致.这在一定程度上提示了人们处于悲伤状态时，副交感神经可能占据了主导地位.Ekman等人[2]系列研究发现，愤怒、恐惧比快乐引起更多的心率加快；Bradley和Lang[51]用图片作为刺激材料发现，与呼吸相关的心率指标在喜悦情绪下高于恐惧及愤怒状态，这些发现与本研究的发现并不一致.这些不一致的结果表明，情绪诱发的自主神经反应模式存在一定的灵活性，受到情绪诱发任务、被试个体差异、实验环境等因素的影响[2].

本研究中被试表现出较大的个体差异.虽然在进行统计差异检验时，采用重复测量的实验模式，每个被试在不同情绪条件下的生理数据只与该被试的其他情绪条件下的数据进行比较，但是个体之间的差异仍然会影响实验分析的结果.鉴于实验范式，人们个性化的语调、语速以及断句等言语表达方式是影响实验结果的重要因素之一.

2) 情感语音表演是一种有效的情绪诱发手段

本研究引入了一种前人极少使用的情绪诱发手段——情感语音表演.结果表明，所有情感语音表演状态的生理反应都与静息状态的生理反应模式存在显著差异，除了悲伤和中性情绪，愤怒、惊奇、恐惧、喜悦的呼吸周期都显著缩短，而且所有情绪状态下的心率加快.另外，5种基本情绪与中性情绪相比，除悲伤外，其余4种情绪的生理反应至少在某一项生理反应指标上与中性情绪存在着显著差异.可见情感语音表演是一种较为成功的情绪诱发范式.然而，正如引言所述，情绪诱发的生理反应受到诱发任务本身的制约.在本研究中，情感语音表演条件下的自主神经反应可能受到被试完成言语任务的“努力”程度以及言语表达文字的韵律等多个因素的影响，这可能导致了实验结果的偏差.

3) 多指标多参数的生理反应模式可以更为有效地区分不同类型的情绪

本研究的发现进一步表明，仅用某一项指标无法区分多种情绪，再次证实了情绪生理反应模式的多维度性[9].这与引言介绍的基于生理反应的计算机自动识别情绪研究相一致，综合多项生理反应和指标的生理反应模式可以有效地提升计算机自动识别情绪的准确率.需要指出的是，本研究所选指标(如呼吸周期的均数与中数)的测量内容有所重叠.这一事实提示，在未来的研究中可以使用多元统计方法将这些看似松散的指标归纳为若干因子后再行处理.其次，对情绪类型的识别缺乏敏感性的指标多集中在反映心肺活动数据离散程度的参数上，如DeltaRR均数.Rainville等人[9]使用了自我想象手段激发情绪也得到了相似的结论.

本研究的发现为基于生理计算的情感识别提供了实验证据，也为采用可穿戴的终端采集人体生理数据，进而实现情感交互提供了生理心理学的证据.心肺系统的生理指标可以采用成本比较低的胸带进行采集，是一组非常便于可穿戴终端采集的生理指标，有利于可穿戴终端在情感交互中的推广和应用.

根据上述实验结果，本研究得出以下3点结论：

1) 本研究中的5种基本情绪(愤怒、喜悦、悲伤、恐惧、惊奇)在心肺系统生理活动上存在着各自不同的反应模式，其中悲伤与其他4种基本情绪的差异最为显著，可以成功地与其他基本情绪区分开；

2) 本研究首次采用情感语音表演法进行情绪诱发，结果表明该方法不但可以成功地诱发相应的情绪，而且与日常生活中情绪表达的状态更加接近，具有较高的生态效度；

3) 情绪的生理反应存在多维性，采用多指标多参数的生理反应数据可以更好地区分不同类型的情绪，其中心肺系统的多个生理反应指标(心电和呼吸)不但便于可穿戴终端采集，而且可以有效地识别基本情绪.

参考文献

[1]Kreibig S D. Autonomic nervous system activity in emotion: A review[J]. Biological Psychology, 2010, 84(3): 394-421

[2]Ekman P, Campos J J, Davidson R J. Emotions inside out: 130 years after Darwin’s the expression of the emotions in man and animals[G]Annals of the New York Academy of Sciences 1000. New York :New York Academy of Sciences, 2003

[3]Barrett L F. Are emotions natural kinds[J]. Perspectives on Psychological Science, 2006, 1(1): 28-58

[4]Cacioppo J T, Berntson G G, Larsen J T, et al. The psychophysiology of emotion[G]The Handbook of Emotion. 2nd ed. New York: Guilford Press, 2000: 173-191

[5]Fairclough S H. Fundamentals of physiological computing[J]. Interacting With Computers, 2009, 21(12): 133-145

[6]Wang Hongan, Tian Feng, Dai Guozhong. The human-computer interaction based on physiological computing[J]. Communications of CCF, 2011, 7(8): 13-18 (in Chinese)(王宏安, 田丰, 戴国忠. 基于生理计算的人机交互[J]. 中国计算机学会通讯, 2011, 7(8): 13-18)

[7]Kreibig S D, Wilhelm F H, Roth W T, et al. Cardiovascular, electrodermal, and respiratory response patterns to fear-and sadness-inducing films[J]. Psychophysiology, 2007, 44(5): 787-806

[8]Lane R D, McRae K, Reiman E M, et al. Neural correlates of heart rate variability during emotion[J]. Neuroimage, 2009, 44(1): 213-222

[9]Rainville P, Bechara A, Naqvi N, et al. Basic emotions are associated with distinct patterns of cardiorespiratory activity[J]. International Journal of Psychophysiology, 2006, 61(1): 5-18

[10]Brosschot J F, Thayer J F. Heart rate response is longer after negative emotions than after positive emotions[J]. International Journal of Psychophysiology, 2003, 50(3): 181-187

[11]Wallentin M, Nielsen A H, Vuust P, et al. Amygdala and heart rate variability responses from listening to emotionally intense parts of a story[J]. Neuroimage, 2011, 58(3): 963-973

[12]Nakajima M, Kumar S, Wittmers L, et al. Psychophy-siological responses to stress following alcohol intake in social drinkers who are at risk of hazardous drinking[J]. Biological Psychology, 2013, 93(1): 9-16

[13]Suh S, Ellis R J, Sollers J J, et al. The effect of anxiety on heart rate variability, depression, and sleep in chronic obstructive pulmonary disease[J]. Journal of Psychosomatic Research, 2013, 74(5): 407-413

[14]Yaroslavsky I, Rottenberg J, Kovacs M. The utility of combining rsa indices in depression prediction[J]. Journal of Abnormal Psychology, 2013, 122(2): 314-321

[15]Lin H P, Lin H Y, Lin W L, et al. Effects of stress, depression, and their interaction on heart rate, skin conductance, finger temperature, and respiratory rate: Sympathetic-parasympathetic hypothesis of stress and depression[J]. Journal of Clinical Psychology, 2011, 67(10): 1080-1091

[16]Patron E, Messerotti-Benvenuti S, Favretto G, et al. Depression and reduced heart rate variability after cardiac surgery: The mediating role of emotion regulation[J]. Autonomic Neuroscience, 2014, 180: 53-58

[17]Vos P, De Cock P, Munde V, et al. The tell-tale: What do heart rate; skin temperature and skin conductance reveal about emotions of people with severe and profound intellectual disabilities?[J] Research in Developmental Disabilities, 2012, 33(4): 1117-1127

[18]Gaebler M, Daniels J K, Lamke J P, et al. Heart rate variability and its neural correlates during emotional face processing in social anxiety disorder[J]. Biological Psychology, 2013, 94(2): 319-330

[19]Mankus A M, Aldao A, Kerns C, et al. Mindfulness and heart rate variability in individuals with high and low generalized anxiety symptoms[J]. Behaviour Research and Therapy, 2013, 51(7): 386-391

[20]Thayer J F, Åhs F, Fredrikson M, et al. A meta-analysis of heart rate variability and neuroimaging studies: Implications for heart rate variability as a marker of stress and health[J]. Neuroscience & Biobehavioral Reviews, 2012, 36(2): 747-756

[21]Michels N, Sioen I, Clays E, et al. Children’s heart rate variability as stress indicator: Association with reported stress and cortisol[J]. Biological Psychology, 2013, 94(2): 433-440

[22]Stephens C L, Christie I C, Friedman B H. Autonomic specificity of basic emotions: Evidence from pattern classification and cluster analysis[J]. Biological Psychology, 2010, 84(3): 463-473

[23]Kron A, Goldstein A, Lee D H J, et al. How are you feeling? Revisiting the quantification of emotional qualia[J]. Psychological Science, 2013, 24(8): 1503-1511

[24]Sequeira H, Hot P, Silvert L, et al. Electrical autonomic correlates of emotion[J]. International Journal of Psychophysiology, 2009, 71(1): 50-56

[25]Kim K H, Bang S, Kim S. Emotion recognition system using short-term monitoring of physiological signals[J]. Medical and Biological Engineering and Computing, 2004, 42(3): 419-427

[26]Banks S J, Bellerose J, Douglas D, et al. Bilateral skin conductance responses to emotional faces[J]. Applied Psychophysiology and Biofeedback, 2012, 37(3): 145-152

[27]Brankovic S B. System identification of skin conductance response in depression—An attempt to probe the neurochemistry of limbic system[J]. Psychiatria Danubina, 2008, 20(3): 310-322

[28]Pazderka-Robinson H, Morrison J W, Flor-Henry P. Electrodermal dissociation of chronic fatigue and depression: Evidence for distinct physiological mechanisms[J]. International Journal of Psychophysiology, 2004, 53(3): 171-182

[29]Silva C, Ferreira A, Soares I, et al. Depression and biased attention: Evidence from skin conductance responses[J]. Psychophysiology, 2009, 46(Suppl): S116

[30]Jandl M, Steyer J, Kaschka W P. Suicide risk markers in major depression disorder (MDD): A study on electrodermal activity (EDA) and event related potentials (ERP)[J]. Biological Psychiatry, 2007, 61(Suppl): S204

[31]Kaschka W, Jandl M, Steyer J. Electrodermal activity (EDA) and event related potentials (ERP) as markers for suicide risk in depression[J]. International Journal of Neuropsychopharmacology, 2006, 9(Suppl): S111-S112

[32]Thorell L H, Wolfersdorf M, Straub R, et al. Electrodermal hyporeactivity as a trait marker for suicidal propensity in uni-and bipolar depression[J]. Journal of Psychiatric Research, 2013, 47(12): 1925-1931

[33]Bobrovskaya L, Beard D, Bondarenko E, et al. Does exposure to chronic stress influence blood pressure in rats[J]. Autonomic Neuroscience, 2013, 177(2): 217-223

[34]Foody C, James J E, Leader G. Parenting stress, salivary biomarkers, and ambulatory blood pressure in mothers of children with autism spectrum disorders[J]. Research in Autism Spectrum Disorders, 2014, 8(2): 99-110

[35]Srivatsa U N, Ekambaram Jr V, Saint Phard W, et al. The effects of a short term stress alleviating intervention (SAI) on acute blood pressure responses following a natural disaster[J]. International Journal of Cardiology, 2013, 168(4): 4483-4484

[36]Xu Jingbo, Meng Zhaolan, Wang Lihua. A research on the autonomic physiological responses to positive and negative emotions[J]. Psychological Science, 1995, 18(3): 134-143 (in Chinese)(徐景波, 孟昭兰, 王丽华. 正负性情绪的自主生理反应实验研究[J]. 心理科学, 1995, 18(3): 134-143)

[37]Hidalgo-Munoz A R, Lopez M M, Galvao-Carmona A, et al. EEG study on affective valence elicited by novel and familiar pictures using ERDERS and SVM-RFE[J]. Medical & Biological Engineering & Computing, 2014, 52(2): 149-158

[38]Hosseinifard B, Moradi M H, Rostami R. Classifying depression patients and normal subjects using machine learning techniques and nonlinear features from EEG signal[J]. Computer Methods and Programs in Biomedicine, 2013, 109(3): 339-345

[39]Zoon H F A, Veth C P M, Drinkenburg W H, et al. EEG alpha power as an intermediate measure between brain-derived neurotrophic factor Val66Met and depression severity in patients with major depressive disorder[J]. Journal of clinical neurophysiology, 2013, 30(3): 261-267

[40]Iznak A F, Tiganov A S, Iznak E V, et al. EEG correlates and possible predictors of the efficacy of the treatment of endogenous depression[J]. Human Physiology, 2013, 39(4): 378-385

[41]Peng Hong, Hu Bin, Zheng Feng, et al. A method of identifying chronic stress by EEG[J]. Personal and Ubiquitous Computing, 2013, 17(7): 1341-1347

[42]Blascovich J, Mendes W B, Hunter S B, et al. Social facilitation as challenge and threat[J]. Journal of personality and social psychology, 1999, 77(1): 68-77

[43]Christie I C, Friedman B H. Autonomic specificity of discrete emotion and dimensions of affective space: A multivariate approach[J]. International Journal of Psychophysiology, 2004, 51(2): 143-153

[44]Stephens C L, Christie I C, Friedman B H. Autonomic specificity of basic emotions: Evidence from pattern classification and cluster analysis[J]. Biological Psychology, 2010, 84(3): 463-473

[45]Kragel P A, LaBar K S. Multivariate pattern classification reveals autonomic and experiential representations of discrete emotions[J]. Emotion, 2013, 13(4): 681-690

[46]Gomez P, Stahel W A, Danuser B. Respiratory responses during affective picture viewing[J]. Biological Psychology, 2004, 67(3): 359-373

[47]Nyklicek I, Thayer J F, Van Doornen L J P. Cardiorespiratory differentiation of musically-induced emotions[J]. Journal of Psychophysiology, 1997, 11(4): 304-321

[48]Gomez P, Zimmermann P, Guttormsen-Schär S, et al. Respiratory responses associated with affective processing of film stimuli[J]. Biological Psychology, 2005, 68(3): 223-235

[49]Li Jianping, Zhang Ping, Wang Lifang, et al. Experiment study of autonomic nervous response patterns in five basic emotions[J]. Chinese Journal of Behavioral Medical Science, 2005, 14(3): 69-71 (in Chinese)(李建平, 张平, 王丽芳, 等. 5种基本情绪自主神经反应模式特异性的实验研究[J]. 中国行为医学科学, 2005, 14(3): 69-71)

[50]Palomba D, Sarlo M, Angrilli A, et al. Cardiac responses associated with affective processing of unpleasant film stimuli[J]. International Journal of Psychophysiology, 2000, 36(1): 45-57[51]Bradley M M, Lang P J. Affective reactions to acoustic stimuli[J]. Psychophysiology, 2000, 37(2): 204-215

Liu Ye, born in 1979. PhD. Associate professor in Institute of Psychology, Chinese Academy of Sciences. Member of China Computer Federation. Her main research interests include affective computing and conceptual representation.

Wang Sirui, born in 1981. PhD. Assistant professor in Institute of Psychology, Chinese Academy of Sciences. Her main research interests include the relation between emotion and cognition (wangsr@psych.ac.cn).

Fu Xiaolan, born in 1963. PhD. Professor in Institute of Psychology, Chinese Academy of Sciences. Senior member of China Computer Federation. Her main research interests include how human-beings perceive, organize, and utilize information in the surrounding environment and how they communicate the information effectively with computers and various computer-controlled equipments (fuxl@psych.ac.cn).

附录A.

实验中采用的情感语段示例和上下文语境如下所示.

用于记录生理反应数据的情绪语句：你在干什么呀？

1) 喜悦：今晚学校小礼堂要举行新年舞会，大家都可以参加，到时候还有抽奖活动. 前阵子都在忙着期末考试，好久没和男(女)朋友一起去参加舞会了. 我忙拨通他(她)的电话：“你在干什么呀？”

2) 悲伤：“爸，后天就要开学了……”我几乎都听不到自己的声音. 我没有见过我的母亲，她在生我时难产死了，父亲拖着残疾的腿，靠着给人做点手工活维持我们的家，每年开学，都是父亲最为难的时候. “哦，”父亲仍在做着手工活，没有抬头看我，“天晚了，去睡吧. ”我彻夜没睡，父亲也彻夜没睡. 第二天一大早，父亲就出去了. 到了中午的时候，邻居来家里告诉我父亲在镇上医院卖血的时候晕倒了，我赶到医院，看到父亲躺在医院走道的椅子上，紧闭着双眼，面无血色，我俯下身，紧紧地抱着父亲那瘦弱的身体，泪水止不住往下流：“爸，你在干什么呀？”

3) 愤怒：那天，我经过校门口，又有一群人在发广告. 那些人天天都在那，分站在路的两旁，向每个路过的人发一些小卡片. 我拒绝了一个中年男子，另一个年纪小点的又过来了，我避开不接，走开了，他紧跟着我，竟然伸手将卡片强赛进我的衣袋，我狠狠地瞪了他一眼：“你在干什么呀？”

4) 惊奇：张奶奶在院子里扫地，突然听到孙子晓明在屋里笑得好开心，于是朝屋里望了望，想看个究竟，只见晓明正对着电脑在自言自语. “晓明，晓明”张奶奶连喊了他两声，他也没有答话. 张奶奶走进屋，瞧见电脑里竟然有一个人在和晓明说话，再看一眼，哟，晓明也在电脑里，这可奇怪了，“你在干什么呀？”

5) 恐惧：上高中以前，我特别怕老鼠. 因此，常常被同学欺负. 记得小学二年级的时候，有一天放学了，我正收拾书包准备回家，一个淘气的男生拿了个东西在我眼前晃，“你看看这是什么？”我抬头一看，是只活老鼠，还在吱吱直叫！我大喊了一声：“啊！你在干什么呀？”

中图法分类号TP3-05