基于不同性别下的生理信号情感识别

梅贵文

（安徽建筑大学电子与信息工程学院，安徽合肥 230601)

0 引言

随着时代的快速发展，人们的生活已经离不开人工智能。在早期的人机交互中，人们真实情感状态的变化并不能被计算机所捕捉。因此，许多学者通过生理信号来进行研究。过去，基于面部表情[1-2]、语音[3-5]情感识别等是最常见的情绪识别方法。然而，面部/语音情感识别的主要缺点是它依赖于几个用户相关参数，如文化背景、性别、年龄和种族。为了克服文化依赖问题，一些研究人员使用生理信号来识别情绪[6-9]。这些信号源于自主神经系统(ANS)，具有用户无法触发的优点。常见的生理信号有皮肤电活动(GSR)、皮肤温度(ST)、心电图(ECG)、脑电信号(EEG)和呼吸速率(RESP)[10]等，利用生理信号进行情绪识别具有广阔的应用前景。

生理信号的情感计算主要是用于人机交互中，以此来准确地识别人的情感状态。如果计算机拥有了像人一样的情感，将会大大便利人与机器的交流。除了在人机交互中，生理信号情感识别可以应用很多行业。如教育、经济、科学、卫生、生物医药等，尤其是在测谎仪和心理治疗上得到广泛应用。在对嫌疑犯罪分子进行审问时，可以通过他们的情感变化来判断是否说谎。因此，生理信号情感识别有着广阔的前景。

生理信号需要用到相应的仪器才可以测量处理，然后对其分析，最后进行情感识别。Healey J、Picard R等人提出了一种情感可穿戴计算机的新设计，它可以感知和响应佩戴者的生理变化，可以帮助客户完成音乐选择，不仅包括所陈述的用户偏好，还包括可能指示用户当前情绪的生理变量。在一些应用领域上，研究人员希望可以及时地了解客户当前的情感、压力等状态，当客户在使用其设备时，以此来提供更方便的服务。

不仅仅是人机交互会从情感识别中获益。在心理学领域，识别无法表达情感的患者情绪也会有所帮助。例如，孤独症谱系障碍患者或被诊断为闭锁综合征的患者可以从情绪识别中受益。此外，医疗保健部门越来越依赖技术应用和设备。患者与虚拟化身进行互动，虚拟化身能够根据用户的情绪进行阅读和调整，这可以提高他们的动力。对于康复应用，这甚至可以导致更快、更高的康复成功率，并提高生活质量。情绪通过语言、语调、面部表情、肢体语言等方式进行交流传递（作为自主神经系统的反应），如心率变异性、皮肤传导率等，因为随着技术的发展，自动情感识别的可能性也得到了提高。通过生理信号情感计算对孤独症患者进行治疗有着重要的意义。

情感计算对治疗焦虑等心理疾病有着很大的帮助。焦虑是一种以生理变化为特征的心理状态，例如紧张的感觉、焦虑的想法、血压水平升高和出汗过多。由于出汗异常，皮肤的电性可能会在电导方面发生变化。因此，可以利用生理信号情感分析来对焦虑患者进行检测，可以准确地发现他们的情绪状态，方便心理医生采取适当的治疗措施。

1 相关概念

1.1 概述

近年来，情感计算成为人机交互中一个重要的研究方向，一直在寻找如何让计算机拥有识别人类真实情感并做出及时反应的能力。情感计算涉及多个方面，生理信号只是其中一个分支，由于有着独特的优势，所以被众多研究人员所关注。

基于生理信号识别人的情绪，其实是从生理信号中提取相关特征来识别人的情绪体验。首先刺激受试者的情绪体验，然后通过相关的生理信号设备采集受试者的生理信号数据例如脑电、呼吸、皮肤电等信号，对采集到的数据进行去噪等处理，最后将其输入合适的分类算法中，进行情感识别。

1.2 情感定义

心理学领域对情感的研究由来已久，但至今仍无法达成统一的定义或理论模型。Jenkins 和Oatley 认为情感是主观体验和内在的生理变化，是受到个体主观意识等外在因素所引发的。Davidson 等人的观点认为，在短时间内迅速变化的心理和生理现象反映了个体的适应能力使他的身心适应周围不断变化的环境。Sehere 等人认为，情感与个体的性格、态度和立场是不一样的，但它们也不是完全区分开的，具有一定的联系。

由此可见，情感只有在特定范围内才能达到一致的理解或定义。情感不仅是主观意识的一种表现，同时也是心理和生理上的状态，而且容易受到外界因素干扰，如种族、文化等因素的影响，因此很难给出一个规范的、普遍的确切定义或理论模型。

对于大多数人来说，情感是存在一些相同特性的。比如，当不幸的事情发生在自己的身上时，人会表现出悲伤状态，而当达到一个期待已久的目标时，人又会表现出非常高兴的状态。由于情感的定义还没有一个统一的定论，因此研究人员开始研究情感的表达和关于情感状态认知的研究。目前在国际上通用的情感模型可以分为离散型和维度型。

1.3 皮电信号

人体内含有多种生理信号，皮电信号只是其中的一种。本文采集的生理信号为皮电信号(GSR)。皮电信号作为一种重要的生理指标，在许多研究领域和现实生活中都有应用。皮肤汗腺功能的变化，会导致皮肤电阻发生变化，这种变化称为皮肤电反应。皮肤电反应是一种广泛使用的情绪反应测量方法。

1.4 情感模型

目前，离散情感模型和维度情感模型是被研究者广泛接受和认可的两种模型，同时也是国际上比较认可的情感分类模型。在日常生活中，人们表现出来的高兴、生气等情感标签，都是属于基本情感理论中的基本原始情感。人类情感是由多种不同的基本原始情感所构成的。维度情感理论中，认为情感是多维度的，情感状态是情感维度空间中的不同点，人类情感由若干个情感维度构成。因此，在该空间中都可以找到每种情感所对应的映射点，情感状态的强弱可以通过维度坐标来判断。本文使用的是离散情感模型。

2 实验过程

2.1 实验环境

数据采集的过程都是在实验室里完成的，室内温度、湿度、光照均在正常情况下保持不变。因为生理信号容易受到外界因素的干扰而影响数据的有效性，因此在整个采集数据的过程中，实验室除了参与者之外没有其他人员，同时实验室的环境是干净整洁的。

2.2 情绪诱发素材库的建立

通过呈现情感材料来唤起情感，或者营造一个情感情境来唤起情感，这是目前最常用的情感诱导方法。由于营造情感情境的要求较高，需要专业人员指导，帮助参与者回忆或想象，让他们仿佛身临其境表现出对应的情绪。同时对参与者本身的要求也是较高的，因此本文通过呈现情感材料来唤起情感。

目前，面部表情图片、音乐以及视频等素材被广泛用于激发被试情感的实验室中。通过图片和音乐可以诱发不同的情绪，Petrantonakis 用图片作为刺激源来激发情感，通过EEG信号来评估每个情绪激发试验的情绪影响。Kim 利用不同的生理信号研究了音乐诱发的情绪识别。Angela Chan 研究了远距离触摸如何影响一个人的音乐情感体验，以及这种体验如何依赖于触摸的发起者和接受者之间的关系，得出熟悉的触觉可以显著增强音乐的积极和消极影响。Lin根据音乐诱发了不同的情绪，探索了大脑活动与情绪状态之间的相关性。Gross 等人将剪辑后的电影片段，用于被试者来观看，具有良好的诱发情感效果。

通过图片作为刺激源激发情感，数据材料容易获得但无法持续激发测试者的情感。音乐作为刺激源来诱发情感可以在一定程度上持续诱导受试者的情绪，并不能准确地把每类情感都激发出来。经过众多学者的研究发现，用视频片段作为激励源来诱发被试的情感比图片或者音乐更加有效。因此，通过观看情感视频作为刺激源来激发情感，可以更好地激发被试的情感。

2.3 采集过程

因为个体的差异性，参与者在被情感诱发因素刺激时，表现出的情感可能是不一样的，所以为了尽可能减少实验的差别性，本实验的参与者都是在校研究生，一共20人(10名男生、10名女生），年龄差不超过4岁。为了采集真实有效的皮电信号，在进行实验之前，告知参与者保持充足的睡眠，身体没有不舒服等状况，同时将手机放在离实验很远的一边，避免电磁场带来的干扰。实验前，要求参与者填写调查问卷，其中包括姓名、性别、年龄等基本信息，并填写SCL-90 评估量表进行心理测评确保心理健康状况良好。还要给参与者讲解在实验过程中需要注意哪些事项，确保实验准确地进行下去。

图1 数据采集流程

将实验分为男女两组，在实验开始之前，让被试先平缓心情，以确保情绪处于平静状态，然后左手戴上采集皮电信号的设备，检测被试的电信号波形是否趋于平稳，待其平稳后开始实验。然后给被试观看诱发情感的视频片段，被试在保持不运动的情况下坐在椅子上依次观看视频片段，视频都是不超过2分钟的片段，被试在看完一个激励视频后根据自己的真实感受填写PAD 情绪量表[10-11]，随后把采集设备取下休息两分钟，让设备保持干燥，避免影响采集结果。在观看下一种情感片段前，先测量被试的电信号波形，确保其情绪处于平稳状态，然后开始采集数据。重复上述的操作，依次看完5个情感激发片段。为了使激励效果达到最好，按照喜悦、悲伤、愤怒、恐惧、平静的顺序让被试观看。最后根据被试填写的PAD 量表筛选出较好的数据。

按照上述步骤分别采集男女两组实验人员的皮电信号以及他们观看5个情感激励视频后填写的主观PAD量表，并对此进行分析。

图2 不同情感素材对男女生的激发率

通过对男女两组被试填写的PAD 量表进行分析得到，男生在观看喜悦的激励视频后，受到的影响比女生大，而女生则在观看恐惧和悲伤的视频后，所受到的影响比男生更明显。结果表明性别不同，对不同情感的影响是不一样的。

2.4 实验分析

将采集的男女两组皮电信号数据进行去噪等处理，使GSR 信号变得光滑，然后对其均值化处理提取统计值特征，将处理后的运动前和运动后数据，分别按照8:2的比例分为训练集和测试集。然后用训练集来训练SVM模型，最后将测试集放到训练后的模型中进行分类，得到最终的识别结果。实验结果表明，男生喜悦的识别率高于女生喜悦的识别率，女生在恐惧和悲伤的识别率上要高于男生在恐惧和悲伤的识别率。在一定程度上女生相较于男生更容易激发某类情感，而男生并不容易激发，说明了性别不同对情感的影响是不一样的。

3 结束语

通过本实验的研究得知，不同性别对不同情感的影响是不一样的，通过生理信号来识别情感更加真实有效。因此，可以通过生理信号检测男女生的情感状态并做出及时的应对措施，来改善他们的情感状态。