基于脑电的情绪识别与认知评估研究进展

裴莹，李惠子，黄艾华，王磊

情绪是人们主观认识和经验的总称，是对客观事物的态度以及相应的行为反应，在人们的日常生活中起着至关重要的作用。认知是指人接受外部信息，将其加工转化为内部心理活动，从而获得知识或应用知识的过程，包括知觉、注意、记忆和决策等方面[1]。近年大量研究显示，情绪与认知活动关系密切。现已证实，杏仁核-海马神经结构是情绪与认知相互作用的基础[2]。脑电以其客观、高分辨率的特点，成为评估情绪和认知的重要方法。本文重点阐述脑电在情绪识别和认知评估领域中的应用价值，对情绪与认知的相互作用，以及脑电在情感计算领域的应用前景进行综述。

1 情绪

1.1 情绪的分类

目前国内外对于情绪分类的研究仍未有明确的定论。为了研究情绪，达尔文在对人类和动物表情的研究中提出人类最基本的面部表情是喜、怒、哀、乐[3]。与此相应的是，我国自古就有“喜怒哀乐悲恐惊”七情的说法。而近代的学者们也分别提出了不同的基本情绪集，如James的情绪集包括愉悦、悲哀、愤怒、恐惧等；Ekman的情绪集包括快乐、悲伤、恐惧、惊讶、愤怒、厌恶等；Izard的情绪集包括愉快、兴趣、惊讶、悲伤、厌恶、轻蔑、恐惧、愤怒、害羞与胆怯等，他们认为人类的所有情绪都是由基本情绪集扩充而来的[4]。国内学者提出了情绪三原色学说，认为单胺类神经递质是基本情绪的物质基础:多巴胺导致愉悦、5-羟色胺导致不愉快和去甲肾上腺素导致唤醒，这3种神经递质就像三原色一样介导着4种基本情绪:恐惧、愤怒、快乐、悲伤[5]。

随着对情绪的深入研究，有学者提出用不同的维度来表示情绪。目前最常见的是二维情绪模型，其维度分别是效价(valence)和唤醒度(arousal)[6]。效价代表从不愉快到愉快，唤醒度代表从不兴奋到兴奋，这样不同的情绪就可以投射到坐标系的不同位置(图1)[7]。

图1 二维情绪模型

还有一种更简单的方法，即是只把情绪分为积极情绪和消极情绪。积极情绪，也称正性情绪，是指当个体的需求得到满足时所产生的伴有愉悦的情感，包括快乐、自豪和满足等[8]。消极情绪，又称负性情绪，是带给人不积极体验，可能会导致躯体不适的情感，包括焦虑、悲伤和恐惧等。

1.2 情绪识别的方法

情绪识别主要分为两大类：一类是基于非生理信号的识别，包括表情识别和语音识别。面部表情的识别是根据面部肌肉运动与情绪的对应关系来进行的，在特定情绪下人们会产生特殊的表情，如心情愉悦时嘴角会上翘等[9]。语音语调的识别则是由于不同情绪状态下人们的语言表达方式不同来实现的，如心情烦躁时语调会比较沉闷[10]。这些方法虽然简单，但是可靠性差，人们可以伪装自己的真实情感，且对于患有特殊疾病如面神经麻痹的患者来说很难实现。

另一类是基于生理信号的识别，可分为依据自主神经系统和中枢神经系统。通过自主神经系统进行情感识别的原理是心率、呼吸、体温等体征会随着情绪的变化而发生改变。美国麻省理工学院的Picard等[11]通过对人体自主神经系统的测量和分析，识别出了生气、厌恶、忧伤、愉悦、畏惧、开心、平静和浪漫等8种不同的情绪。这些信号虽不易伪装，但缺乏统一标准，因此未得到广泛应用。依据中枢神经系统进行识别是通过分析不同情境下大脑信号的差异实现的，主要包括功能核磁共振(functional magnetic resonance imaging,fMRI)和脑电图(electroencephalograph,EEG)等。由于fMRI的设备体积庞大、成本较高，因此应用受限。而EEG设备简单又操作方便，目前受到很多关注。

1.3 基于EEG的情绪识别现状

近年来，随着人工智能逐渐兴起，脑机接口(brain computer interface,BCI)成为迫切需要，针对情感计算的研究越来越多，其中EEG以分辨率高、客观性强，以及相应的神经生理基础成为目前情绪识别研究的热点。

在情感计算中，最关键的步骤是提取信号特征。特征提取是指从采集到的信号中提取与任务相关的能够反映大脑活动的特定信息。国内外学者对此进行了大量的研究，已从过去单纯的时域、频域特征向其他特征探索。Zhang等[12]提取EEG信号的功率谱密度(power spectral density,PSD)特征用于情绪分类，经证实其效果良好。Zheng等[13]构建了基于EEG情感识别的深层信念网络，通过提取差分熵特征进行建模，结果证明该方法对情绪识别的正确率可达86.08%。近年研究者又将目光转移到多特征组合上。Zhuang等[14]提取信号的近似熵、小波熵、Hurst指数和小波系数四种特征，通过特征融合，进行情绪识别，取得很好的识别效果。此外，多尺度熵、分形维数、相位同步值等特征也被用于分析EEG信号。

2 认知

2.1 评估认知的方法

认知，是指人脑接受外界信息，经过加工处理，转换成内在的心理活动，从而获取知识或应用知识的过程。它通常包括记忆、语言、视空间、执行、计算和理解判断等方面。目前，常用两种方法来评估认知功能，分别是传统的神经生理学量表和认知功能成像技术。临床上常用的神经心理学量表有：①简易精神状态评估量表(the mini-mental state examination,MMSE)：该量表包括定向力、记忆力、注意力和计算力、回忆力、语言能力等5个维度，现已成为临床应用最广泛的认知功能评估量表之一；②蒙特利尔认知功能评估量表(the montreal cognitive assessment,MoCA)：该量表包括执行功能、即刻回忆、流畅性、定向、计算、抽象、延迟回忆、视知觉、命名、注意等多个条目，常与MMSE搭配使用，主要用于轻度认知功能障碍人群的筛查，与日常生活能力量表(activities of daily living,ADL)联合使用可区分认知损害、风险人群和正常人群；③临床痴呆量表(clinical dementia rating,CDR)：一种认知功能分级评估工具，可用于筛查痴呆症和评估痴呆的严重程度，但仍需要进一步评估以明确诊断；④医院焦虑抑郁量表(hospital anxiety and depression scale,HADS)：该量表用于评估患者的抑郁焦虑情况，可除外焦虑、抑郁所致的假性痴呆；⑤记忆障碍自评量表(8-item ascertain dementia,AD8)：是一种简便易用且具有较高准确率的记忆测试量表，通过8个与日常生活密切相关的问题，识别被试者发生认知功能损害的风险。此量表是极早期痴呆的敏感筛查工具。这些量表虽然简单易行，但是结果易受主观影响，对疾病的诊断造成偏差。

功能成像技术以其无创性、高分辨率和具有相应的神经生理基础等优点成为目前认知研究的热点，包括fMRI、脑磁图(magnetoencephalography,MEG)、EEG等[15]。fMRI基于大脑活动时血氧含量变化，会引起磁化率的改变，来进行脑功能的评价。其具有较高的空间分辨率，但有一定的时间延迟，会对结果产生影响。MEG通过低温超导技术即时测量大脑电磁信号,虽在空间定位中有很大优势，但极易受外界因素干扰，因此应用受限。而EEG不仅具有较高的时空分辨率，同时操作简单，已被广泛应用于认知科学研究。

2.2 EEG评估认知的研究现状

EEG具有实时性、易用性、无创性和低成本等优点，且随着对脑机接口领域的深入研究，现已被广泛用来评估认知功能[16-17]。 通过脑电技术来评估认知的方法，目前分为两种：EEG和事件相关电位(event-related potential,ERP)。

目前已有研究证实不同频段的脑电信号与特定的认知功能相关。Güntekin等[18]对帕金森病患者和健康人群进行听觉Oddball刺激试验，发现θ波振荡减少与认知障碍相关。基于威斯康星卡片分类测试，Iznak等[19]分析了抑郁症患者的脑电频谱参数，发现θ、α波频谱功率与决策能力呈正相关。Jensen等[20]使用EEG和MEG来研究gamma波段同步化在认知范式中的作用,发现gamma波振荡在神经元交流和突触可塑性中发挥重要作用。

ERP是指给予刺激以特殊的心理意义后，所引起的大脑电位的改变，反映大脑在认知活动中的神经电生理变化，故称为认知电位。根据是否受刺激的物理性质影响，ERP可分为外源性成分和内源性成分。其中P300是目前研究最多的内源性成分，指受试者受到刺激约300 ms时，从头皮表面记录到的正相电位。目前普遍认为P300起源于大脑额叶、颞叶及枕叶等交界处的皮质联合区，受皮质下对应的某些核团调节及控制，由皮层-边缘系统等部位共同发挥作用，反映被试者在清醒状态下所表现的注意力、判断力、执行力及记忆力等多种心理活动，可作为认知功能的评定指标[21]。其潜伏期代表对外界刺激的识别、分类和编码的速度，而波幅反映大脑为接受信息所投入的有效资源量。有研究证实，P300潜伏期和波幅的变化与认知障碍的严重程度呈正相关[22]。

3 情绪与认知的关系

大量研究表明，情绪与认知二者具有交互性，一方面情绪会影响认知的各个维度，另一方面通过调节认知可以控制情绪。杏仁核-海马交互系统被认为是情绪和认知相互作用的神经基础，杏仁核调节海马依赖性记忆的编码和储存，而海马通过解读刺激来影响杏仁核。

一般来说，积极情绪促进认知功能，而消极情绪阻碍正常认知。具体表现在以下几个方面：①知觉：情绪影响对事物的感知，即使是已经根深蒂固的事情，也会因情绪状态的不同而发生偏移。以不同类型的音乐为背景，让被试者对同一座山峰的陡峭程度进行评估，结果发现悲伤的音乐让被试者感觉山峰更加陡峭[23]；②注意：在日常生活中，我们经常发现心境温和时会对周围的事物观察得更加仔细，而烦躁时常会忽略很多细节。对此，王艳梅等[24]的研究表明，与消极状态相比，人在积极状态下会减少任务转换的损失，扩大注意的范围；③决策：人在良好的情绪状态下，常常思维敏捷,条理清晰,推理严谨,能够更好地进行决策。相反,不良的心境会干扰对事物的正确认识和理解,致使作出不正确的决定。Gasper和Clore的研究表明积极情绪下的人更倾向于全局性思维，降低发生风险的概率[25]；④记忆：最有代表性的研究是Baddeley修订后的工作记忆模型，通过增加情景缓冲区来描述情绪对工作记忆的影响，发现积极或消极情绪都会使记忆编码更加牢固、更易提取[26]。

认知对人类情感的形成具有重要意义,表现为通过认知来判断其期望或者要求是否得到满足,由此可产生正性或负性的情绪。目前认为,认知是直接决定人们情感状态的关键因素，尤其是认知结构的复杂性。例如当一个认知结构复杂的人想要处理事情时,往往会从多种角度对问题进行分析和评估,选择最优化的解决方案,这时所产生的情绪状态就会很温和;但若其认知结构相对简单,就易由较少的依据得出极端化的结论,产生强烈的情感。

4 应用前景

随着生活压力的增大，人们的负性认知也随之增加[27]。为此，对情绪进行及时有效的识别与评估，既便于医护人员更加快速准确地诊疗，又可以让人们根据情绪反馈的结果进行自我调节。由于互联网的普及，通过计算机进行线上教育已经成为越来越多现代人的选择。通过基于脑电的情绪识别，教师可以实时地了解学生的精神状态，并以此适当地调整授课方式，实现个性化教育[28]。在产品开发方面，情绪评估可用于新品的开发以及宣传效果的评估，从而预测产品上市后的竞争力。并且随着人工智能的发展，智能家居、智能机器等一系列产品问世，情绪识别将使这些产品更加的智能化。此外，在军事领域，Lin等[29]通过在士兵头盔中放置电极，开发出可以实时监测士兵工作压力的可移动系统。指挥官可以通过该系统更好地了解士兵的情绪状态，合理地分配任务。

5 展望

随着社会的发展，人们的压力不断增大，负性认知随之增加，由此导致的事故也相应增多，如公交坠湖事件。若能及时评估情绪和认知，就可让人们进行自我调节，减少恶性事件的发生。脑电在情绪识别和认知评估方面具有明显的优势，但需要由专业医师进行数据分析，并不能应用于日常生活，因此基于可穿戴式脑电设备的情绪识别及认知评估系统的研发将成为未来研究的热点。