情绪测量技术综述

谢 黎，史丰硕，康晓管

（东莞理工学院，广东 东莞 523808）

1 单模态情绪测量

现有情绪测量技术中，按照技术可分为两大类：生理反应测量技术和心理反应测量技术。生理信号可以更客观真实地反映人们的情感状态，文章基于心理学的生理反应测量技术，从单模态情绪测量和多模态情绪测量角度，聚焦于面部表情测量、声音测量、脑电生理信号测量三种单模态情绪测量方法以及多模态情绪测量这四大方面，采用文献分析法，以中国知网为文献数据源，综述我国情绪测量技术发展状况。

1.1 技术简述

情绪是人对客观事物的态度体验，以复杂多维的方式存在交互作用，包括主观感受、面部动作、中枢和外周神经系统、认知或信息处理的变化以及行为动作倾向。单模态情绪测量是以某一个特定维度进行对被试人员的测量。

目前情绪测量研究大多集中在人脸表情测量、语音测量、肢体测量等单模态领域，单模态信息量不足且容易受到外界各种因素的影响，如面部表情容易被遮挡、语音容易受噪声干扰等。但其优点也很明显，相关技术已较为成熟、测量流程也相对简便。

1.2 各项技术发表年份分析

通过检索“面部表情测量”“声音测量”“脑电生理信号测量”三个关键词，以是否以情绪测量技术为研究目的作为筛选依据，筛选出国内近14年发表的387篇有效的学术论文。

2008年至今，关于单模态情绪测量技术的学术研究论文数量呈偶有下落、总体上升的趋势。其中，脑电生理信号测量为其中最热门的研究方向，14年间发文量达到97篇，其他两项技术的研究热度则相对较低。

1.3 面部表情测量

1.3.1 技术简述

面部表情，是情绪鲜明客观的外在表现，由于其直观的显现和丰富的行为信息而得到关注。目前国内外常用的面部表情测量技术有传统表情测量和面部肌电图测量 。

传统表情测量是指通过测量眼部肌肉、颜面肌肉和口部肌肉的变化规律来表现各种情绪状态。面部肌电图（EMG）是在脸部安置电极来测量面部肌肉电位，通过面部肌肉电位图形所显示的面部各部位和肌肉活动所产生的面孔的变化来分析个体情绪体验状态。人在处于厌恶、高兴、生气、愉悦等状态时会改变他们的面部肌电等生理信号，通过面部肌电信号能够有效区别厌恶和生气。由于面部肌电的测量需要在面部安置肌电测量装置，其使用场景在一定程度上受到限制。

1.3.2 文献分析

通过检索“面部测量”“面部表情”“情绪测量”等关键词，2008年至今共筛出45篇有效文献。各年产量动态变化、趋于平稳，其中2010年后研究热度突发，2017年前后的研究热度较高，之后呈动态上升趋势。通过中国知网的可视化计量分析来看，面部表情测量技术主要应用于情绪测量、教育、医疗康复中，其距离民用化、商用化还处于起步阶段。国内面部表情测量的主要研究应用方向可分为：传统表情识别、微表情面部测量以及卷积神经网络面部测量。

面部表情研究始于19世纪Darwin的研究，Ekman和Frieser制定了情绪测量系统：“面部肌肉运动编码系统”（FACS），这是面部测量早期的基础系统，它对面部肌肉进行了编组，通过观察各组肌肉的运动来实现对复杂表情变化的测量。赵明珠采用三维数字图像相关方法对面部普通表情及微表情的变形测量进行了精确计算和定量分析，提出的方法以参数优化和消除刚体位移来提高因面部变形而影响测量的精度。

表面肌电信号测量技术是面部肌电测量技术中的一种，记录人体表面肌肉通过收缩产生的生物电流的数据。表面肌电图是由单个运动单元电生理信号组成的时间、空间的组合信号，它反映的是整块肌肉的电生理特性，是安全、易掌握、非侵入性的记录面部肌电的技术。针电极信号测量是面部肌电测量技术中的另一种，指记录插入到肌肉中的针电极收集到的在针电极周围有限范围内的运动单位电位总和的测量技术，具有干扰小、易辨识的优点，但测量过程会对人体造成一定影响。

1.3.3 小结

从文献数据来看，国内面部情绪测量的研究不多，精确测量需要一定的设备支持，属于较小众的研究领域，研究门槛较高。基于深度学习的面部表情识别技术，在国内是较热门的研究领域。

1.4 声音测量

1.4.1 技术简述

声音测量是将声音信号的各种参数转化为不同情绪状态的测量方法，通过测量设备将声音信号以一定的时间间隔分为若干片段，再提取其中若干组特征参数，利用机器深度学习技术将这些数据转化为动态变化的情感，得出各种情绪所占比例。由于人不会一直保持说话的状态，其声音特性是动态变化的量，音调、语气等也会随着人的情绪变化而变化，增加了测量难度。

1.4.2 文献分析

通过检索“声音测量”“语音测量”“情绪测量”等关键词，从2008年至今的时间跨度中筛选出66篇有效的学术论文与期刊。从发表年份来看，声音测量研究发文各年的产量较不稳定，其中2012年后研究热度突发，而后两年又鲜有相关研究论文；2021年的研究热度最高，当年产出14篇相关研究论文。从研究学科分析，声音测量主要涉及电信技术，语音测量的主要应用领域为情感识别、语音识别、语言学习研究，表明语音测量现在的主要功能是将声音信号可视化、情感化，并具体应用于智能设备中，如智能语音助手。

祝宇虹利用平均短时能量和平均短时过零率结合进行语音端点的测量方法，构建出了用于情绪识别的语音基音周期测量分析方法。刘晓峰采用了PC机、USB数据采集卡V1.2和声音传感器模块为硬件平台，LabVIEW 2012为软件开发环境，设计了声音测量系统，可以实时准确地测量声音信号，反映出的声音信号更加直观。葛佳烨对于输入电网调度语音序列存在语音片段停顿、静默声较多、有无效字符占位的测量问题，设计出了含联结时序分类（Connectionist Temporal Classification，CTC）方法的网络解决该问题，通过测量电网调度语音感知电网调度员的情绪变化，从而尽可能降低电网调度运行中人的失误。杨丽佳利用声谱图对语音信号进行测量，测量出的语音信号兼具时域和频域特征。

东南大学在这方面贡献量最高，于2008年至今产出了18篇声音情绪测量相关文献，国内相关的研究最早从东南大学赵力等人开始。为了解声音测量应用在国内的研究进展，在东南大学相关文献中，通过以“语音情感识别”“情绪测量”等关键词，进一步检索自2008年至今产出“语音情感识别”相关的文献，最后检索得出89篇。

1.4.3 小结

从分析结果来看，情绪测量领域中声音情绪测量研究热度较高，且应用领域较广；涉及到的应用有：音乐情感识别、智能语音助手、医疗病症诊断等，这些都是目前国内乃至世界范围的热门、前沿研究领域。

1.5 脑电生理信号测量

1.5.1 技术简述

生理信号直接受自主神经系统和内分泌系统控制，与传统情感分析相比，可以更客观真实地反映出人们的情感状态。其种类有脑电、心电、皮电等，脑电信号等，在情绪识别中因其具有较高的识别率和较为丰富的情绪特征而成为情感识别最主要的手段之一。脑电信号（EEG）测量是通过在大脑皮层特定神经中枢对应的头皮位置上布置电极，记录一段时间内各区域神经元放电现象，绘制成随时间变化的动态曲线的过程。目前，脑电信号的测量技术主要有三种：湿电极测量、半干式电极测量和干电极测量，三种方式具备不同特点，适用于不同研究环境与研究内容。

湿电极脑电测量方法，被称为EEG信号采集的金标准，通过高导电性的电解物质（电解凝胶）作为导电介质，降低皮肤与电极接触面的阻抗大小，进而测量个体的EEG信号。半干式电极也被称为水基脑电测量，与湿电极相比，它采用少量的液体电解质替代电解凝胶，就可以达到相对较低阻抗并获得高质量的脑电信号。干电极测量技术与传统的依赖于与头皮的低阻抗测量原理不同，传感器结合创新的电子处理技术，减少对人体共模信号的拾取和敏感性。不需要任何导电介质，直接将脑电帽电极贴附在头皮表面即可。

1.5.2 文献分析

此处通过检索“脑电测量”“EEG”“情绪测量”等关键词，从2008年至今的时间跨度中共筛选出97篇有效的学术论文与期刊。从发表年份来分析，各年的产量动态变化、总体呈现上升趋势，其中2020年的研究热度最高，当年产出了18篇论文或期刊。

事件相关电位测量技术是在某种特定刺激条件下所引起的一种脑电位变化的测量手段。陶熔铸针对非接触式干电极提出了AE芯片与BE芯片配合工作的四通道脑电信号测量接口专用集成电路方案设计，该方案能够有效地抑制电极偏移、降低电极高阻抗和完成脑电信号模拟到数字的信号转换。邬明洲基于Δ～2Σ ADC结构提出了一种高性能生物电信号测量电路，解决了以EEG为代表的生物电信号幅值小、频率低，易受低频噪声、电极失调和运动伪影等测量问题。宋振宇研制了一种基于章鱼吸盘仿生结构的柔性干电极的可穿戴脑电（EEG）采集系统，该系统有便捷吸附、易于剥离、可多次重复使用的优点。

从文献涉及学科占比分析，脑电情绪测量的应用除了涉及到广义的电信技术外，主要与生物医学工程、精神病学、生物学关联，而涉及电信技术的文献主要研究了脑波的各种特征数据。通过进一步分析关键词发现，脑电情绪测量涉及的领域还包括“注意力检测”“教育学习”“驾驶员情绪检测”等。

1.5.3 小结

从分析结果可见，脑电情绪测量技术研究主要集中在脑电信号测量设备的便捷性和脑电信号自身幅值小、易受干扰的特性研究中。脑电信号测量技术的应用领域相当广泛，目前已在生物学、医学、精神病学、教育学等各大热门领域有了相当的研究进展。但限于脑电测量设备比较笨重，且测量时较不稳定，容易产生较多噪声，现脑电测量主要用于医疗观察方面，距离民用化还有较长的距离；但不可否认的是脑电测量是情绪测量中较为准确的一种方式，其较非生理信号测量更能准确反映真实情绪的一大优势，奠定未来脑电情绪测量将迎来更广阔的发展前景。

2 多模态情绪测量

2.1 技术简述

“多模态”（Multimedal）一词最早由Bigun和Duc等人最先于1997年提出。从信息来源的角度来看，可以有文字、声音、图像、味觉、触觉等，每一个这些信息的来源被称为一个模态。不同的模态提供的信息不同，因此同时结合多个模态对被测者进行测量，并对其统一建模，这就是多模态信号测量。受到人类感知方式的启发，研究认为每个模态对事物的描述具有相对独立性，使用多模态数据的互补表述能够使事物呈现更立体、表现更全面。

前文提到，脑电信号蕴含的情绪特征丰富且不受用户的主观影响，能更真实地反应被测者的情绪状态，但脑电信号有着幅值小、易受噪声干扰等缺陷；相反，表情、声音等非生理信号测量虽然更容易被测出，但在特殊情况下，如：情绪伪装的情况下，就会导致真实情绪与测量值存在偏差。因此，高精准、便携式、可扩展性的多生理参数测量硬件架构和测量技术是多模态情绪识别研究走向工程应用是先决条件。

2.2 文献分析

此处通过检索“多模态情绪测量”“双模态情绪测量”结合“生理信号”“语音”“面部表情”等多组关键词，筛选得出179篇有效的相关研究论文。2017年以前，国内研究此领域的学者较少，2017年研究热度突发，当年产出17篇相关研究论文，其中2020年、2021年的研究热度最高，当年分别产出了44篇、49篇相关的研究论文。

通过分析关键词出现次数，不难看出，国内研究学者在对多模态进行情绪测量研究时，主要研究模态组合为脑电信号、其他生理信号（如肌电信号心电信号等）、人声与面部表情。

在这一技术领域上，南京邮电大学的研究贡献较高，2017～2022年共产出了11篇相关研究论文；其次为上海交通大学，于2016～2022年产出了10篇相关研究论文。由于多模态情绪测量为前文多个模态的情绪测量方法的融合，其中以电信技术、计算机软件及计算机应用、生物医学工程、心理学为主；进一步分析标题与关键词发现，多模态情绪测量的应用研究大多建立在医疗、教育等方面上。

尽管多模态数据在描述事物特征时具有明显优势，但仍面临着较大的挑战。①受到不同成像设备和传感器的限制，难以收集到大规模、高质量的多模态数据集；②多模态数据需要匹配成对用于研究，任一模态测量的缺失都会造成可用数据的减少；③图像、视频数据在处理和标注上需要耗费较多的时间和人力成本，这些问题使得目前本领域的技术尚待攻关。

2.3 小结

不断增加的研究表明多模态情绪测量逐渐成为主流的情绪测量方法，多模态情绪测量的准确性、稳定性在一个个实践项目中也得到了论证。多模态情绪测量实验也逐渐由模拟场景走向更为真实的人机交互环境，例如通过对舞台表演者的语音、表情和姿态的测量来进行多模态情感识别。

3 总结

文章采用文献分析法，综述了面部表情测量、声音测量、脑电生理信号测量、多模态情绪测量四种主要的情绪测量技术的发展现状与研究进程，并简述了四种测量技术方法与局限性。除了文章提到的几种测量技术外，当今研究现状也不乏如化学刺激、磁共振成像（FRMI）、脑磁图（MEG）等更为前沿与精确的测量技术。

当今大多数研究学者都采用了融合多模态的情绪测量这一较为精确的测量技术。若未来的情绪测量技术能参照更多的指标，结合更多种测量方法，使测量结果更精确，才能尽可能地控制并降低测量误差。由于情绪的复杂性，测量技术的仍存在技术更迭、对象多样、适宜度、匹配度、精准度等很多待解决的问题。

4 对未来的展望

随着科技的进步，情绪测量的技术逐渐向柔性可穿戴技术和微小传感器发展，准确性也正逐步提高，尤其是基于传感器结合创新的电子处理技术下，感知精度、数据传输等关键步骤的效率也在不断提高。在当今社会下，人们对心理健康分析与判断的需求越来越高，以需求为导向，未来情绪测量将会逐渐走出实验室，广泛民用化。