单电极中潜伏期反应的听觉注意特征提取与识别

徐梦圆 邹采荣, 梁瑞宇, 王 力 王青云

(1东南大学信息科学与工程学院, 南京 210096)(2广州大学机械与电气工程学院, 广州 510006)(3南京工程学院通信工程学院, 南京 211167)

单电极中潜伏期反应的听觉注意特征提取与识别

徐梦圆1邹采荣1,2梁瑞宇1,3王 力2王青云3

(1东南大学信息科学与工程学院, 南京 210096)(2广州大学机械与电气工程学院, 广州 510006)(3南京工程学院通信工程学院, 南京 211167)

通过提取单电极中潜伏期反应(MLR)的特征差异,研究并实现了正常个体听觉注意与非注意2种状态的识别.首先,对MLR信号进行小波滤波、阈值去伪迹、相干平均等预处理;然后,分析了MLR在2种状态下的成分波差异,并将Na,Pa,Nb波的幅值与能量、面积、C0复杂度、AR模型系数等传统特征组合成为新的特征向量;最后,采用支持向量机(SVM)和人工神经网络(ANN)在传统特征向量和新特征向量下进行目标识别.8位被试的实验结果显示,在2种不同状态下,被试的Na,Pa,Nb波幅值具有显著性差异(p<0.05),而潜伏期并无差异.ANN作为分类器时,新特征向量的平均识别正确率可达85.7%.由此可见,利用单电极中潜伏期反应区分听觉注意与非注意状态是有效的.

听觉注意;中潜伏期反应;单电极;人工神经网络

脑电是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映,可分为自发脑电(EEG)和诱发脑电(EP).由听觉刺激引起的诱发电位称为听觉诱发电位(AEP).相比较基于视觉的诱发脑电,基于听觉的诱发脑电对被试视力没有要求且不需要显示屏等一些复杂的不便携设备,故而具有很好的应用前景.2004年,Hill等[1]首先设计了基于听觉空间注意的双耳分听实验范式,被试将注意力集中于提示目标(左侧耳或者右侧耳)方向上,对该方向上目标声音出现次数进行计数而忽略另一侧的声音,从而诱发出失匹配负波(刺激后150 ms左右出现的负向电位),基于支持向量机的平均识别正确率可达72.67%,提取独立分量之后平均识别正确率可达82.33%.此后,基于听觉注意的实验范式得到了不断的研究与发展[2-6],但大都集中于长潜伏期反应(出现在刺激后50～500 ms).作为一种重要的听觉诱发电位,中潜伏期反应(即初级皮层反应)是在声刺激后8～80 ms内出现的一组听觉诱发反应波,主要由3个正峰和3个负峰构成,分别是声刺激8～10 ms出现的负波No(出现时间为潜伏期)、声刺激10～13 ms出现的正波Po、声刺激16～30 ms出现的负波Na、声刺激30～45 ms出现的正波Pa、声刺激40～60 ms出现的负波Nb和声刺激55～80 ms出现的正波Pb[7].MLR反应了听觉通路中从脑干进入皮层阶段听觉系统的信息整合能力和完整性,受到内因和外因的影响[8],这些影响主要从MLR成分波的潜伏期和幅值上体现出来.通过分析这些波形潜伏期和幅值的变化,可将MLR用于听觉系统功能、发育成熟度、感知和意识程度评估、听觉神经系统信息处理机制等多方面的研究与临床应用中[8-11].

本文设计了新的实验范式,探究了听觉注意与非注意2种状态对MLR成分波的影响,提取特征差异,并将不同特征向量用于识别注意与非注意状态的效果进行比较.

1 方法

1.1 数据获取

8名听力正常的在校大学生参与了本实验,平均年龄为24岁,右利手,其中3位为女性.所有被试均无听觉系统、神经系统及精神障碍病史,均签署了《知情同意书》并取得了一定的实验报酬.

测试仪器为丹麦尔听美公司生产的ICS Chartr EP 200诱发电位仪.基本设置如下:滤波范围为10～100 Hz,采样率为1 200 Hz.数据采集电极置于额头顶部的发际中心处,左右参考电极分别置于左右耳乳突,接地电极置于眉心.所有电极的阻抗都保持在5 kΩ以下.实验在静音屏蔽室内进行,灯光及有声设备(空调等)皆处于关闭状态.被试头戴Telephonics TDH-49型耳机平躺于床上,头部垫枕,闭上双眼,左侧耳给声.刺激声为1 kHz,1.1 次/s,70 dB nHL的密集型短纯音.实验场景实拍图见图1.

图1 实验场景实拍图

实验设定了注意和非注意2种状态.注意状态下,被试在心里对刺激声进行计数,计数时不能发出声音、触动嘴唇或者伸缩舌头;非注意状态下,被试保持放松,忽略刺激声.实验开始后,注意和非注意状态随机出现.采集一条数据的过程称作一个试次,在此期间,用1.1次/s的短纯音给声刺激80次,约73 s.每次给声的同时扫描并记录被试80 ms的脑电信号,将80次刺激得到的脑电信号起点对齐相干平均,获得一条MLR数据.一条数据收集完毕后休息5～10 s,并语音提醒下次刺激应保持的状态.每采集完10条数据休息5 min.每轮实验采集40条数据,其中注意和非注意状态各20条数据.每位被试都进行22轮实验,即每位被试采集880条数据,注意状态440条,非注意状态440条,数据收集持续一个月.

1.2 数据处理

作为一种诱发脑电,MLR的峰峰振幅仅在0.3～0.7 μV之间,因此实验记录到的MLR容易淹没在其他脑电信号的背景中,信噪比低.此外,肌电干扰、眼电干扰、工频干扰和基线漂移等都会影响MLR的提取.为有效提取单一电极采集信号中的MLR,在特征提取前需对原始数据进行预处理,处理方法包含小波滤波、去伪迹和相干平均.

1.2.1 小波滤波

Suzuki等[12]认为中潜伏期反应频谱主要集中在30～50 Hz,而Ramikisson等[13]发现中潜伏期反应的主要频段为20～200 Hz.为此,本文通过不断调整滤波范围的方法,对中潜伏期反应的主要频段进行确认.实验结果发现,进行10～150 Hz滤波时,各被试的No,Po,Na,Pa,Nb波均可引出.由于数据的采样率为1 200 Hz,因此采用6层db10小波对数据进行分解.小波类型和层数选择的原因在于:① db10小波与MLR的波形最为相似.图2(a)为db10小波函数ψ(y)在y=0～20时的波形,图2(b)为实测MLR波形.② 6层小波分解的频率范围见表1.由表可知,将第1层、第2层细节分量及第7层近似分量系数置零,而由其他细节分量系数重构原始信号,可实现9.375～150 Hz的带通滤波,从而去除基线以及低频和高频噪声.

(a) db10小波

(b) MLR波形

分解层频率范围第1层细节分量(cD1)300～600第2层细节分量(cD2)150～300第3层细节分量(cD3)75～150第4层细节分量(cD4)37.5～75第5层细节分量(cD5)18.75～37.5第6层细节分量(cD6)9.375～18.75第7层近似分量(cA6)0～9.375

离散小波变换公式为

(1)

离散小波逆变换公式为

(2)

1.2.2 去伪迹

小波分解重构之后的波形仍存在机电噪声、心电噪声和眼动噪声等干扰的迹象,因此需要将幅值异常的数据予以剔除.每段实测数据为80 ms,共97个采样点,按照各被试的平均波形在Na波和Pa波之间进行分割,则前一片段应包含No,Po,Na波,单一试次引出率较低,幅值也较低.后一片段包含Pa波和Nb波,两波幅值较高,引出率较高,将波峰数量小于1的片段视为无效数据.此外,按照剔除比率不高于10%设定最大阈值和最小阈值,以期剔除包含肌电和眼电干扰的数据.这2种干扰极大地影响了幅值的提取,尤其是肌电干扰,其波形与Nb波甚为相似.

1.2.3 相干平均

相干平均是提取事件相关电位的经典方法,N个样本被相关平均后信噪比提高N倍.本实验发现每次刺激诱发响应并不固定,不同日期测得的平均波形在波幅上存在差异,因此,需要在实际测量MLR过程中对相干平均模型进行修改.

设第n次的测量数据为xn={x(0),x(1),x(2),…,x(L-1)},其中L∈Z为数据长度.记待提取的理想MLR为s.每次测量都会受到测试对象主观因素(如心情、清醒水平、专注程度、疲劳程度、汗液等)的影响,第n次测量中的MLR信号sn={s(0),s(1),s(2),…,s(L-1)}在幅值强度上存在差异.设幅值强度用λn表示,则sn=λns(0<λn<1,n=1,2,…,M).λn的概率密度分布如图3所示,其均值大于0.5.实验推导取其保守估计,λn的均值设定为0.5.此外,测试数据还受到EEG和高斯随机噪声的干扰,EEG与刺激件无关,可等价于高斯噪声.设噪声项为un,其均值为0,方差为σ2,则xn=sn+un.对N个样本进行相干平均后可得数据平均值为

(3)

图3 概率密度分布

(4)

(5)

由此可知,对实测MLR运用相干平均的方法,只有在强度λn达到1且整个测量过程保持1时,信噪比才会提高N倍,这显然在实际测量MLR的过程中是难以实现的.而且,N>4时信噪比才会得到提升.此外,被视为噪声的EEG幅值是MLR幅值的几十甚至几百倍,在针对性的带通滤波后残余EEG幅值也会达到MLR的几十倍,其功率可达到MLR功率的几百倍,故MLR的叠加次数一般都很大.本文分别取N=1,3,5,7,即数据叠加了80,240,400和560次.

1.3 特征选择

本文首先提取了传统的脑电特征进行分析研究,包括能量、面积、C0复杂度、AR模型系数等.然后,结合中潜伏期反应波形的固有特点,提取Na,Pa,Nb波的幅值和潜伏期进行显著性分析研究,并将Na,Pa,Nb波的幅值与传统的脑电特征组合形成新的特征向量.此处,不选择No,Po,Pb波的原因在于不同个体单试次波形各波峰引出率不同,No和Po波更容易淹没在噪声中不可辨认,而Pb波特性较不稳定.Na和Nb波幅值取其对应潜伏期区间的最大值;Pa波幅值取其潜伏期区间的最小值.

1.3.1 能量

根据帕斯瓦尔定理,第n次测量中的MLR信号sn={s(1),s(2),s(3),…,s(L-1)}的能量为

(6)

式中,X(i)(i=0,1,…,T-1)为xn的T点离散傅里叶变换,且T≥L.计算能量时,为了滤除直流分量,序列值除去了X(0).实验中取L=97,T=128.

1.3.2 面积

设b为MLR与基线围成的面积,则有

(7)

1.3.3 C0复杂度

设sn的L点傅里叶变换为

(8)

则C0复杂度的表达式为

(9)

1.3.4 AR模型系数

AR模型又称为自回归模型,可采用如下差分方程来表示:

(10)式中,ε(n)表示均值为零、方差为ζ2的白噪声序列;ar(r=1,2,…,R)为R阶的AR模型系数.本文采用Burg算法提取模型系数,阶数R由高阶谱分析工具箱HOSA的定阶函数ARORDER计算获取.

1.3.5 幅值

Na波和Nb波的幅值分别由下列公式计算:

h1=max(s(n))n∈[n1,n2]

(11)

h2=max(s(n))n∈[n3,n4]

(12)

Pa波的幅值为

h3=min(s(n))n∈[n5,n6]

(13)

式中,n1,n2,n3分别为Na,Nb,Pa波潜伏期对应的时间区间起点;n3,n4,n6分别为Na,Nb,Pa波潜伏期对应的时间区间末尾点.

2 实验结果与分析

按照1.2节中方法对每位被试的880条数据进行预处理,去伪迹剔除约10%的无用数据后,进行N个样本的相干平均处理,得到数据约790/N条.图4为各被试测量数据预处理后不同状态下的MLR波形.提取各被试的传统脑电特征共10维,记为v={a1,a2,a3,a4,a5,a6,a7,e,b,c0},其中a1～a7为7阶AR模型系数.然后,提取了8位被试Na,Pa和Nb波的幅值与潜伏期.

采用SPSS v18.0软件对所有被试的Na,Pa,Nb波的幅值和潜伏期进行方差分析,显而易见Na,Pa,Nb波的潜伏期没有显著差异,而幅值具有显著性差异(P<0.05),仅将幅值的分析结果列于表2.表中,被试1,3,6号为女性.

由表2可见,对于所有被试,Na,Pa和Nb波中至少有两者的幅值存在显著性差异.将Na,Pa和Nb波幅值的提取结果与特征向量v组合,得到 13维新的特征向量,即v′={a1,a2,a3,a4,a5,a6,a7,e,b,c0,h1,h2,h3}.

(a) 被试1

(b) 被试2

(c) 被试3

(d) 被试4

(e) 被试5

(f) 被试6

(g) 被试7

(h) 被试8

图4 不同被试不同状态下的MLR波形

表2 方差分析结果(p=0.05)

被试编号NaPaNb123×4×5×6×78× 注:表示有显著性差异;×表示没有显著性差异.

针对特征v和v′,采用K交叉验证法并结合SVM和ANN两种分类器进行目标识别.所有实验均在Matlab平台下进行,SVM算法使用libsvm工具箱2.0版本,采用高斯核函数.设定惩罚参数c和高斯核参数g的寻优范围为[2-10,210].ANN算法采用2层神经网络,第1层和第2层分别包含10个和2个神经元.第1层的传递函数为逻辑函数(logsig),输出层的传递函数为线性函数(linear).对于每位被试,将算法运行100次正确率的平均值作为最终采用的识别正确率;将所有被试的识别正确率的算数平均值作为平均识别正确率.为了研究相干平均对识别效果的影响,将2种分类器与2种特征的4种不同组合随N值变化的平均识别正确率绘于图5.

由图5可见,v′作为特征的平均识别正确率远超过v作为特征的平均识别正确率,且随着N的增加,平均识别正确率逐步提高.ANN作为分类器时,平均识别正确率明显高于SVM.当N=7时v和v′作为特征的平均识别正确率效果相当,ANN的平均识别正确率超过95%.

图5 平均识别正确率折线图

为对比分析所有被试在2种特征向量下的识别正确率并验证特征向量的普适性,将采用ANN作为分类器、N=5时所有被试的识别结果列于表3.由表可知,所有被试在2种特征向量下的识别正确率均高于50%,平均识别正确率分别为79.2%和85.7%,本文所提特征切实有效.所有被试v′作为特征向量的识别正确率均高于v,最高相差12.1%,可见添加MLR成分波幅值的特征向量具有更好的识别效果.男性和女性之间未见明显不同.

表3 所有被试识别结果比较

3 结论

1) 利用小波滤波、阈值去伪迹、相干平均的预处理方法处理单电极中潜伏期反应数据是行之有效的.

2) 中潜伏期反应在听觉注意与非注意状态下的成分波Na，Pa，Nb波幅具有显著性差异，而潜伏期并无差异.

3) 将Na，Pa，Nb波的幅值与能量、面积、C0复杂度、AR模型系数组合成为特征向量，以ANN作为分类器时的平均识别正确率可达85.7%.

4) 利用单电极中潜伏期反应区分听觉注意与非注意状态是有效的.

References)

[1]Hill N J, Lal T N, Bierig K, et al. An auditory paradigm for brain-computer interfaces[C]//Proceedingsofthe17thInternationalConferenceonNeuralInformationProcessingSystems. Cambridge, Massachusetts, USA: MIT Press, 2004: 569-576.

[2]Sellers E W, Kübler A, Donchin E. Brain-computer interface research at the University of South Florida Cognitive Psychophysiology Laboratory: The P300 Speller[J].IEEETransNeuralSystRehabilEng, 2006, 14(2): 221-224. DOI:10.1109/TNSRE.2006.875580.

[3]Klobassa D S, Vaughan T M, Brunner P, et al. Toward a high-throughput auditory P300-based brain-computer interface[J].ClinicalNeurophysiology, 2009, 120(7): 1252-1261. DOI:10.1016/j.clinph.2009.04.019.

[4]Furdea A, Halder S, Krusienski D J, et al. An auditory oddball (P300) spelling system for brain-computer interfaces[J].Psychophysiology, 2009, 46(3): 617-625. DOI:10.1111/j.1469-8986.2008.00783.x.

[5]Schreuder M, Blankertz B, Tangermann M. A new auditory multi-class brain-computer interface paradigm: spatial hearing as an informative cue[J].PloSONE, 2010, 5(4): e9813. DOI:10.1371/journal.pone.0009813.

[6]Guo J, Gao S, Hong B. An auditory brain-computer interface using active mental response[J].IEEETransNeuralSystRehabilEng, 2010, 18(3): 230-235. DOI:10.1109/TNSRE.2010.2047604.

[7]李兴启,王秋菊.听觉诱发反应及应用 [M].北京:人民军医出版社,2015:208-209.

[8]彭贤,符秋养,王涛.听觉诱发中潜伏期反应研究进展[J].听力学及言语疾病杂志,2016,24(1):100-104. DOI:10.3969/j.issn.1006-7299.2016.01.027. Peng Xian, Fu Qiuyang, Wang Tao. Advances in auditory middle latency response research[J].JournalofAudiologyandSpeechPathology, 2016, 24(1): 100-104. DOI:10.3969/j.issn.1006-7299.2016.01.027. (in Chinese)

[9]Weihing J, Musiek F. The influence of aging on interaural asymmetries in middle latency response amplitude.[J].JAmAcadAudiol, 2014, 25(4): 324-334. DOI:10.3766/jaaa.25.4.4.

[10]Romero A C L, Funayama C A R, Capellini S A, et al. Auditory middle latency response and phonological awareness in students with learning disabilities[J].IntArchOtorhinolaryngol, 2015, 19(4): 325-330. DOI:10.1055/s-0035-1551552.

[11]Zhang Y, Wang M, Su Y Y. The role of middle latency evoked potentials in early prediction of favorable outcomes among patients with severe ischemic brain injuries[J].JNeurolSci, 2014, 345(1-2): 112-117. DOI:10.1016/j.jns.2014.07.021.

[12]Suzuki T, Hirabayashi M, Kobayashi K. Effects of analog and digital filtering on auditory middle latency responses in adults and young children.[J].AnnOtolRhinolLaryngol, 1984, 93(3): 267-270. DOI:10.1177/000348948409300316.

[13]Ramkissoon I, Beverly B L. Auditory middle latency responses in chronic smokers compared to nonsmokers: Differential effects of stimulus and age[J].JournalofSpeechLanguage&HearingResearchJslhr, 2014, 57(1): 271-284. DOI:10.1044/1092-4388(2013/12-0309).

Feature extraction and recognition of auditory attention in middle latency response from single electrode

Xu Mengyuan1Zou Cairong1,2Liang Ruiyu1,3Wang Li2Wang Qingyun3

(1School of Information Science and Engineering, Southeast University, Nanjing 210096, China)(2School of Mechanica and Electric Engineering, Guangzhou University, Guangzhou 510006, China)(3School of Communication Engineering, Institute of Nanjing Technology, Nanjing 211167, China)

The recognition of auditory attention and non-attention states of normal individuals are studied and realized by the extraction of the differences of middle latency response (MLR) of single electrode. First, the MLR signal is preprocessed by wavelet filtering, threshold de-artifact and coherent averaging. Then, the component wave differences of these two states are analyzed. The amplitudes of the Na, Pa, Nb waves and the traditional characteristics such as the energy, the area, the C0 complexity, and the coefficients of the auto regression model(AR) are combined into a new feature vector. Finally, the support vector machine(SVM) and the artificial neural network(ANN) are used to identify the target by using the traditional feature vector and the new one. The experimental results of eight subjects show that the amplitudes of the Na, Pa and Nb waves have significant differences (p<0.05) under the two different states, while no difference exhibits during the latencies. Using the new feature vector, the mean classification accuracy achieves 85.7% with the ANN classifier. Therefore, it is effective to use MLR from single electrode to distinguish between the auditory attention state and the non-attention state.

auditory attention; middle latency response (MLR); single electrode; artificial neural network(ANN)

10.3969/j.issn.1001-0505.2017.03.003

2016-10-12. 作者简介: 徐梦圆(1992—),女,硕士生;邹采荣(联系人),男,博士,教授,博士生导师,cairong@seu.edu.cn.

国家自然科学基金资助项目(61375028,61673108)、江苏省“六大人才高峰”资助项目(2016-DZXX-023)、江苏省博士后科研资助计划资助项目(1601011B)、江苏省“青蓝工程”资助项目、广州大学广东省灯光与声视频工程技术研究中心开放基金资助项目(KF201601,KF201602).

徐梦圆,邹采荣,梁瑞宇,等.单电极中潜伏期反应的听觉注意特征提取与识别[J].东南大学学报(自然科学版),2017,47(3):432-437.

10.3969/j.issn.1001-0505.2017.03.003.

R318

A

1001-0505(2017)03-0432-06