基于TGAM模块的视听情绪调控系统

【作 者】张婷，燕光光，李文杰，石春花

长治医学院 生物医学工程系,长治市,046000

0 引言

2019年国民心理健康水平的研究结果表明，一系列心理问题在人群中已日渐凸显出来，影响到了日常生活的幸福感，且在心理健康的需求中，“自我心理调节”方面是最需要的，从侧面反映了我国国民已经意识到情绪调节对幸福生活的重要影响。因此，设计一款能够进行“自我情绪监控并实现基础调控”的仪器成为一种必然。目前，大多数用于情绪监测、调控的设备均服务于一般的心理诊疗中心和治疗室，结构复杂，且功能单一，未一体化，不方便于自我使用。

一方面，脑电信号具有不易伪装以及相对于其他的生理信号有较高的识别准确度的特点，成为情绪识别领域最为可靠的生理信号之一[1]；另一方面，大量研究表明[2]，音乐（听觉）和灯光颜色（视觉）作为刺激或者治疗源，均可以引起情绪变化。如色彩的情绪效应中[3-4]，通过视觉影响人的内分泌系统，从而导致人体激素分泌的变化，最终影响人的情绪，即颜色具有影响病人的生理活动、情绪、认知加工等心理活动变化的特性，且不同颜色可以引起不同的情绪变化，红色、黄色属于暖色系，兴奋交感神经，可激发欢快活泼、积极向上的情绪，有效缓解消极情绪，蓝色属于冷色系，兴奋副交感神经，可使人放松，消除紧张感，降低血压等。因此，其为依据脑电信号监测个体情绪，并通过视听感官能力对其进行调控提供了可能。

本研究设计了一款视听情绪调控系统，利用TGAM芯片即时获取使用者情绪状态[1]，同时将色彩心理学及音乐治疗学原理相结合[2]，共同作用于使用者的视听感官，发挥调节作用。其体型小巧，识别精确，效果明显，可有效缓解使用者的不良情绪，恢复精神稳定。

1 系统方案

本系统分为头箍端和仪器端两部分。头箍端的核心部分是位于头箍带中的TGAM芯片，此外还包括有进行前额脑电采集的干式传感电极以及用于数据传输的蓝牙模块。仪器端的核心部分是STM32主处理器模块，此外还有音频解码模块、滤波模块、灯光治疗模块、显示模块等附属模块。视听情绪调控系统具体结构见图1。

图1 视听情绪调控系统总体结构Fig.1 General block diagram of the audio-visual emotion regulation system

位于头箍端的TGAM脑波芯片经过传感干电极获取使用者脑波数据，通过蓝牙将数据发送给仪器端的STM32处理器进行分析处理，确定使用者当前的情绪状态，控制RGB LED，依据色彩心理学原理进行选择性彩光照射，同时音频通道输出α脑波音乐对使用者进行情绪安抚。α脑波音乐是节拍60～70，频率8～14 Hz的灵感音乐[5]。8～14 Hz的音乐可以和大脑中的脑波信号产生共振现象，激发脑内的α频段的脑波，使大脑进入一种稳定放松的状态。仪器端的Micro SD卡内置多首α脑波音乐，通过显示模块可显示曲目。

2 系统硬件设计

2.1 头箍端总体设计

系统的头箍端外观如图2所示，包含一个由Neurosky公司开发的TGAM脑波芯片，一个HC-08蓝牙模块以及作为单极导联传感干电极的耳夹和软带。其中，作为头箍端的核心，TGAM模块是一款单通道脑电信号采集分析模块，可直接连接干电极[6]。前额电极置于左前额处，耳夹作用为参考电极，通过两电极差分采集脑电信号后输出脑波信号数据，即8组脑波数据，如α信号，β信号，γ信号等，由于该芯片采用了“慢速自适应”调制技术，具有动态自学习能力，可以针对不同使用者的不同脑波信号波动进行动态的补偿，因此选择此芯片，对脑波信号的提取具有良好可靠性和准确性。

图2 头箍端外观Fig.2 Appearance of the headband section

2.2 STM32主处理器及其他模块

综合考虑情绪调控技术对主控芯片的高性能低成本低功耗的苛刻要求，决定选用STM32F103ZET6芯片作为系统仪器端的控制核心，由稳压模块为芯片供给2.0～3.6 V电压。该芯片外接8 MHz晶振。64 kB的SRAM、512 kB的FLASH以及众多外设接口，能满足常规程序设计过程中的应用[7]。其他主要的模块包括：VS1053音频解码模块[8]，Micro SD[9]音乐存储卡，1.44 in的分辨率为128×64的TFT液晶屏，均以STM32F103处理器兼容配合，串口连接，数据传输快，且TFT屏实时显示使用者情绪状态信息，音乐播放信息。

2.3 灯光治疗模块

采用10 mm全彩雾状RGB灯珠作为本系统的灯光治疗模块。将该灯珠固定于镜框一侧，在提供色彩情绪调节的同时可避免灯光直射对眼部造成伤害及对使用者视线的遮挡，如图3所示。不同色彩反射进入眼后，视网膜细胞将色彩，即感受层感受到的生理参数，转换为电脉冲信号，经由视神经传达至大脑。大脑会据此进行不同程度的联想，进而产生不同的心理效应和情感表达。不同色彩通过视觉反映到大脑后，除了产生心理上的冷和暖，轻和重以及远和近的感觉外，还能引起抑郁、烦躁、兴奋、安定等心理效应。与此同时，大脑变化的信号，被脑电模块采集，经过单片机计算处理后，将所得参数通过传输层传递给应用层，来达到情绪监控的目的。

图3 仪器端外观Fig.3 Appearance of the instrument section

3 系统软件设计

3.1 数据解析算法

TGAM模块可以处理并输出脑波频率谱、脑电信号质量、原始脑电波和三个Neurosky的eSense参数：专注度、放松度和眨眼侦测，通过对以上参数分析，可确定当前用户的情绪状况，具体为：当传感干电极以512 Hz的频率对脑波信号进行取样，利用ThinkGear芯片对提取到的数据进行处理分析，最终将采到的脑电模拟信号转变为数字信号，便于进行传输和运算。TGAM模块在1 s的时间内可以发送大约513个包。包分为大包和小包两类[10]。

小包格式如下：

AA AA 04 80 02 xxHigh xxLow xxCheckSum;

其中，AA AA 04 80 02为标志帧格式，固定不变，而后四位处在不断变化中。其中，脑波信号数据是由xxHigh xxLow组成。该小包中也存在校验和数据，即xxCheckSum。在获取到该小包数据之后首先应进行校验和检查，算法格式如下：

算法含义为将04之后的字节相加，取反后再取低八位。若Sum=xxCheckSum，此包正确，在此基础上再进行脑电原始数据的计算，否则将直接丢弃该小包。脑电原始数据计算代码如下：

该代码即表示将高、低位数据相连得到rawdata，将该值与数32768相比较，若rawdata>32768，则执行指令：rawWaveData-65536。

选择基于事件驱动作为系统串口通讯方式，将数据解析程序编入中断函数，进行原始脑电数据的采集处理。数据解析流程如图4所示。

图4 数据解析流程Fig.4 Flowchart for data resolution

3.2 情绪识别分析

采用直观、易理解的二维离散情绪模型，如图5所示。横轴表示效价，从负到正的移动过程，即从不愉快逐渐过渡到愉快；纵轴表示唤醒度，从负到正的移动过程，即从低迷逐渐过渡到兴奋。目前公认人类共有27种不同的情绪，考虑到调节必要性和识别精准度，本系统主要将27类情绪划分为正性情绪、中性情绪、负性情绪三类[11]。先对获取的脑电数据进行选频滤波以及去伪迹处理的预处理，后进行特征提取及降维，最终利用情绪识别分类算法对情绪状态进行识别。

图5 二维情绪模型Fig.5 2D emotional model

3.3 RGB LED控制程序

通过使用STM32主控芯片上TIM4的CH1、CH2、CH3这三个通道的3路PWM调制控制RGB LED的光色，而RGB LED的光强通过固定频率、调节脉宽来实现。若向上计数时TlMx_ CCR1>TIMx_CNT，电平有效，反之无效；若向下计数时TlMx_CCR1

依据色彩心理学原理，在STM32主控芯片成功识别使用者情绪后，若使用者情绪为正性情绪，控制RGB LED发出淡蓝光予使用者以治疗；若为中性情绪，控制RGB LED发出绿色光；若为负性情绪，则发出橙色光。

3.4 音频输出程序

各个模块进行初始化设置，包括TFT显示屏初始化、VS1053音频解码模块初始化、SPI通讯初始化、Micro SD存储卡初始化等，成功初始化后，VS1053即可对来自于STM32主控芯片的音乐数据进行解码并播放。

4 系统评测

本系统以STM32作为主控芯片，以RGB LED灯珠和音乐作为治疗手段，利用不同灯光色彩和音乐对人的心理产生的不同影响来调节人们情绪变化，对人体没有副作用，方便快捷，安全可靠。

4.1 情绪识别能力评测

（1）实验源

选择9个视频片段作为本实验“情绪诱发”的刺激源，时长均为5 min左右，根据Russell的二维情绪模型，按照视频的唤醒度和效价两方面的分数，对其进行情绪标签归类[12]，即第1～3个视频为正性情绪，效价介于7～9分，唤醒度介于4～9分，包括《夏洛特烦恼》《人在囧途之泰囧》《国产凌凌漆》；第4～6个视频为负性情绪，效价介于1～3分，唤醒度介于4～9分，包括《二十二》《Hello！树先生》《阿Q正传》，第7～9个视频为中性情绪，效价介于4～6分，唤醒度介于1～5分，包括《三色艺术史》《李子柒：土豆的一生》《与摩根弗里曼一起穿越虫洞》。

（2）实验对象

随机挑选本校大学二年级学生作为实验对象，男5人，平均年龄20.4岁，女5人，平均年龄20.0岁，视听感官正常，身体健康，智力正常，即统一为“受试者”。

（3）实验过程

以系实验室为实验地点，早八点左右进行，在开始测试前对受试者进行注意事项的再次说明，避免频繁眨眼导致的其他生物电信号对脑电信号的干扰[12]。受试者正确佩戴本系统后分别观看9个视频，每个片段结束后进行实时的情绪识别结果记录，见表1。结果表明：本系统可较为准确地识别受试者的情绪状态，具有较高的精确度。

表1 情绪识别实验结果Tab.1 Results of the emotional recognition experiment

4.2 情绪调节能力评估

研究表明[12]，情绪唤醒程度与皮肤电导率（SC）之间表现出来非常紧密的相关关系，同时，血容量搏动（BVP）也经常被用来反映情绪唤醒程度的敏感性。因此，本系统的情绪调节能力的评估也采用这两个常规生理指标参数。

首先，利用生物反馈仪对10名受试者进行SC值和BVP值的基础采集，记录为表2中的“基线”；然后，受试者分别在观看了上述第4、5、6个视频后，采集并记录其SC值和BVP值，即表2中的“唤起后”，将此数据与基线值进行配对样本t检，结果表明：SC（5.41±2.97）显著高于基线水平（3.71±2.70），t=－8.60，P<0.01；BVP（87.34±15.63）与基线（86.71±15.18）相比无显著变化，t=－0.80，P>0.05，成功唤起了受试者的负性情绪。最后，使用本系统点亮蓝色的灯光和适当频率的音乐，按预定方法进行情绪调节。当受试者情绪平复后停止实验，并记录SC和BVP值，对两组数据进行配对样本t检验，结果表明：受试者接受系统调节后，BVP没有明显变化，t=0.33，P>0.05；SC有所升高，t=－2.59，P<0.05。通过实验，受试者的负性情绪波动得到了有效恢复。

表2 情绪指标统计值Tab.2 Statistics on emotion indicators

5 讨论与结论

本研究设计出了一款可以从视觉听觉两个维度对使用者进行情绪调节的系统。依靠STM32作为主控芯片。使用神念科技的TGAM芯片为情绪识别模块，对使用者的情绪进行识别。以RGB LED灯珠为彩光发生部分，生成各色彩光刺激视觉进行情绪调节。以VS1053音频解码模块进行α脑波音乐的输出，刺激听觉进行情绪调节。经过综合的实验测评，本系统具有较为精准的情绪识别以及调控能力，使用者的自我关注度有效降低。总之，本系统是将情绪心理学原理及电生理学原理相结合而形成的新型情绪调控系统，具有识别使用者情绪并调节的功效。