基于听觉ERP功能脑网络特征和SVM的测谎方法研究

常文文,王　宏,化成诚

(东北大学机械工程与自动化学院,辽宁沈阳110819)

基于听觉ERP功能脑网络特征和SVM的测谎方法研究

常文文,王宏,化成诚

(东北大学机械工程与自动化学院,辽宁沈阳110819)

基于图论理论的脑网络分析方法近年来在认知脑科学研究中起到了非常重要的作用,而基于事件相关电位(Event-Related Potentials,ERP)的传统测谎方法一直都专注于对某一特定通道上的脑电信号进行分析,针对传统方法中使用少数通道并不能够全面的反映人在说谎状态下大脑整体认知功能特征的缺点,本文提出了基于脑网络特征的测谎方法,通过听觉刺激诱发事件相关电位ERP,记录脑区多通道脑电信号,通过讨论各导联之间的相位延迟指数来构建脑功能网络,计算7类脑网络特征参数作为判别指标.分析被试在说谎和无辜状态下的网络特征参数,使用支持向量机对实验数据进行分类判断,结果表明:本文提出的方法有较高的判别准确率,优于目前判别方法的平均值,证明了本方法的测谎有效性.

脑电;测谎;听觉刺激;小波包;相位延迟指数;脑功能网络

1　引言

脑科学与认知科学的发展为相关领域的研究带来了新视角,其中基于事件相关脑电位(ERP)中P300成分的测谎方法自1989年由美国西北大学Rosenfeld J P教授提出并取得实验室成功以来,得到了快速发展[1～5];但Rosenfeld教授以及后续其他一些相关研究者的工作,比如常用的BAD[2](Bootstrapped Amplitude Difference)方法和BCD[1](Bootstrapped Correlation Difference)方法,都是通过采集脑顶区电极Pz导联的ERP信号,来分析被试在模拟犯罪场景下的脑电特征变化,完成测谎研究.最初对ERP的研究认为在脑中线区的Pz、 Cz、 Fz导联处诱发脑电位最为明显;有关ERP的研究,除了经常使用Pz导联处的信号之外,有一些研究者将Pz、 Cz、 Fz三点的ERP信号相结合进行分析[3],但这些方法都局限于将单个导联或少数导联的信号单独从信号幅值大小和潜伏期长短的角度进行分析,没有考虑各不同导联之间ERP的相互依赖关系,从而不能从全脑区认知功能变化的角度去考虑被试在说谎和不说谎状态下大脑的功能状态[5～7].近年来,随着人们对大脑研究的深入,基于图论理论的脑网络分析方法在脑结构和脑功能研究中取得了相当可观的研究成果[8～10],该方法研究全脑不同区域脑电信号之间的相互关系,根据相互关系变化的程度来更加详细的分析被试在不同认知任务下的脑功能特性[11～13],我们在本文中将脑网络分析方法引入到测谎研究中,考虑从全脑区网络特征变化的角度去分析被试在说谎和不说谎状态下的特征差异.

本文设计基于听觉刺激[14,15]的实验室测谎实验,使用Neuroscan32导脑电采集系统,得到被试在无辜和模拟犯罪情况下全脑区32导联的ERP信号,通过对所有被试总平均ERP信号的小波包分析提取对隐藏信息敏感的脑电波段[16～18],然后分别计算各电极导联间的相位延迟指数[19,20]来构建脑功能连接矩阵,并通过设定合适的阈值,实现网络的二值化,最后计算被试在无辜和说谎状态下二值网络的特征参数,将这些特征参数构成的特征向量作为是否说谎的判断指标.通过对比分析可以看到被试在说谎状态下的脑网络参数明显不同于在无辜状态下对应的参数指标.同时选用支持向量机(Support Vector Machine,SVM)作为特征参数分类器,并分别计算10名被试在无辜和说谎状态下平均ERP的脑网络特征参数,并通过交叉验证,对分类器进行训练和测试,最后得到分类器的最优参数以及最佳分类准确率,实验结果表明,该方法对实验室模拟测谎环境下的无辜者和说谎者的脑网络特征有很好的表征,能够非常准确的对是否说谎做出分类.

2　实验和数据预处理

2.1实验设计

本实验使用Oddball刺激范式、心理学CIT(Conceal Information Test)编题方法,通过播放声音实现听觉刺激诱发ERP完成实验[1,3,5].被试选择10名在校研究生,平均年龄24岁,身体健康,听力正常,都为右利手;所有被试之前没有进行过类似的测谎实验.声音刺激为统一参数的人名,使用专业文字-声音转换软件生成(汉语女声,16Bit,48KHz采样),持续时间1200ms.每组刺激由8个人名组成,包括靶刺激(Target)、探测刺激1(Probe1)、探测刺激2(Probe2)和无关刺激(Irrelevant),其比例分别为Target:12.5%、Probe1:12.5%、Probe2:12.5%、Irrelevant:62.5%.靶刺激为被试导师名(如“王宏老师”),无关刺激为被试不认识人名,探测刺激分两类,其中被试不熟悉的人名为探测刺激1,被试熟悉的人名为探测刺激2,以便于进行对比分析;使用STIM2软件完成刺激序列的编辑.

实验使用Neuroscan32导联ERP实验系统,电极帽导联为国际10-20标准,采样频率1000Hz,在线采样频段0-100Hz,前额为接地,左右耳垂为参考电极,垂直眼电电极放置在左眼上下2cm处,水平眼电电极放置在两眼的外眼角处.实验中被试坐在舒适的座椅上,要求集中精力、少动,眼睛注视显示屏(统一绿色背景),相距80cm,利用STIM2软件播放声音刺激,被试通过双通道立体耳机接收声音刺激,当每一个声音出现时,就相当于在询问被试“你认识这个人吗？”,然后要求被试在自己导师名(Target)出现时“说实话”,按YES键,陌生人名(Irrelevant和Probe1)出现时也“说实话”,按YES键,自己熟悉的人名(Probe2)出现时“说谎话”,按NO键;一个试次中每组刺激重复25次,实验重复进行3次,每次中途休息2min;通过SCAN系统记录各被试的脑电信号.

2.2数据预处理

利用SCAN系统完成对EEG信号的眼电伪迹去除和基线校准,拒绝EEG信号中波形漂移严重和噪声较大的部分.然后根据刺激类型对EEG信号进行分段得到ERP信号,每段长度为1024ms,取刺激出现时刻之前100ms到之后的923ms为一个ERP数据段;之后完成对所有不同刺激类型分段数据的总平均,如图1为Pz导联处ERP总平均信号.

为提取ERP信号中对隐藏信息敏感的波段,即P300波段,我们对ERP信号进行小波包分解和重构[18,21].小波包分解是一种对信号进行时频分析的有效方法,能够将信号逐一分解为低频和高频部分[16,22],然后对我们感兴趣的波段进行重构,就可以得到我们需要的信号.首先使用“db5”母小波对上述ERP信号进行7层小波包分解,然后对其中的慢波段δ波段(0.48～3.9Hz)信号进行重构,得到重构后ERP波形如图2所示.可以看出,提取出的慢波成分相比图1显的更加光滑,P300成分也更加的明显,便于对其进行后续的处理.

3　脑电信号特征提取

已有的大量文献是通过计算两信号之间的同步似然值(Synchronization Likelihood,SL)来评判信号之间的非线性相关程度[8,10],但Stam等人在文章[19]中谈到SL值虽然能够在讨论信号间非线性相关性方面产生很好的效果,但仍然不能避免在EEG信号采集过程中的容积传导问题,由此可能在两组信号间产生虚假的高相关性.

而相位延迟指数(Phase Lag Index,PLI)讨论两信号之间的相位同步性,对容积传导现象不敏感,能够对信号之间的非线性耦合程度提供一种可靠的评价指标.同时,由于ERP信号对不同刺激产生的反应时间不同,导致ERP信号在不同的刺激作用下有相位差的存在,而PLI能够更好的表征这种相位关系[19,20],因此本文采用PLI来构建不同导联信号之间的非线性相关性.

3.1相位延迟指数分析

对一任意的EEG信号x(t),其解析信号ψ(t)可通过一复杂函数来定义[19,20],

(1)

ψ(t)=A(t)eiφ(t)

(2)

其中A(t)为瞬时幅值,φ(t)为瞬时相位.

定义信号xa(t)和信号xb(t)的相位差为,

φab(t)=φ(t)a-φ(t)b

(3)

然后将PLI定义为是对这个相位差分布的不对称测量值,

(4)

其中sign为符号函数,N为采样点数,有PLI值介于0和1之间.如果两组信号之间没有相位同步或只是和一个围绕+/-pi,+/-2pi,+/-3pi…的相对相位相耦合的话,PLI值为0,这种情况很有可能是由于容积传导造成的;PLI=1表明相位严格同步于一个常数,并且延迟为0.3.2脑网络参数分析

大脑功能网络连接可以通过图论理论来分析,图是由一些节点和节点间的连接边组成,将脑电信号的通道定义为节点,通道间的相关值定义为边连接值,将此边连接值表示为矩阵即为该图对应的邻接矩阵[8,9,11],本文中邻接矩阵中的元素值w即为PLI值,如图3所示为说谎和无辜状态下总平均邻接矩阵,该矩阵为30×30的方阵,横轴和竖轴表示的是对应的导联,图中每一个节点表示全脑区各个导联信号两两之间的相位延迟指数值,其值介于0到1之间,其取值越接近于1,说明两个导联之间的相位同步性就越强,不同导联之间的认知同步关系就越紧密.

节点的度定义为与该节点直接相连的边数,将图中所有节点度的平均定义为该图的度;聚集系数和特征路径长度是图的两个最基本的特征量,聚集系数表征了网络的集团化程度,表示某一节点的邻居间互为邻居的可能;如果节点i的度为Di,则聚集系数Ci定义为该节点邻居间实际连接的边数和可能的最大连接边数的比值[8,9,10],即,

(5)

则图的聚集系数为对Ci的平均,

(6)

两节点i和j间边数最少的一条通路定义为这两个节点间的最短路径(Lij).首先我们将边的长度重新定义为边权值的倒数,即如果wij=0,则Lij=+∞,如果wij≠0,则Lij=1/wij,然后定义这条路径上边长度的总和为这两点之间的特征路径长度,同样定义图的特征路径长度为所有路径对长度的平均[8,9,10],

(7)

以上对特征路径长度的定义主要是为了处理孤立节点间边权值为无穷的问题,也有人通过全局效率来对网络的连接路径进行分析,定义图的全局效率为[9],

(8)

为了对脑网络做进一步分析,需要对邻接矩阵进行二值化处理,需要选择一个合适的阈值,我们计算了在不同阈值下的C和L的比值,如图4,通过对10组数据的对比分析最后选择阈值为0.36,进行二值化处理,得到其对应的脑网络拓扑结构如图5.

同时我们考虑了网络的密度和同配系数.网络的密度反应了一个网络的稠密程度,是对脑网络拓扑结构的一种直观表示量,一般将网络的密度定义为网络中实际存在的连线和图中理论上最多可能产生的连线的比值[9],如下式所示,

(9)

Newman[23]认为一个网络中如果是高度数的节点相互连接,则显示同配,可以通过同配系数来考虑网络中高度数节点之间的连接程度.对于一个实际的网络定义其同配系数为,

r=

(10)

大量脑网络研究表明,很多脑功能网络具有“小世界”特性[8,9,12],即这种网络兼具高聚集系数和低特征路径长度,通常以随机网络作为基准,来讨论网络的小世界特性,定义小世界特征指标为,

(11)

其中Creal、Lreal为所讨论网络的聚集系数和特征路径长度,Crand、Lrand为随机网络对应的参数.计算各刺激总平均ERP信号对应的脑网络参数,如下表1所示.可以看出,在四类刺激的脑网络参数值中,对应I和P1之间比较接近,T和P2之间比较接近,是因为I和P1都是被试不熟悉的陌生人,被试反应时间相对较短,T 和P2都是被试熟悉的人(其中P2是被试试图隐瞒的信息),且受到被试心理因素影响,反应时间相对较长,而在P1和P2之间的参数值差别比较明显.

表1　脑网络特征参数

4　模式分类与讨论

以上是从总平均的角度考虑了被试在说谎和无辜状态下脑网络的不同特征表现,可以看到被试在这两种状态下的脑网络特征有明显的不同,因此可以通过对这些参数的讨论来对单个被试的情况进行分类判断.使用20组实验数据(10组为说谎组,10组为没说谎对照组)对上述方法进行实验验证,分别计算各组数据在不同刺激下的脑网络特征参数,如下图6为实验组在不同刺激下的脑网络特征参数的归一化值.

通过上图可以看出,对于单个被试来讲,大多数被试的脑网络特征参数能够和总平均状态保值一致,但也有一些特征量有稍微的变化.为此我们定义各特征量的判别指数:

Pindex=abs(P-I)/abs(P-T)

(12)

为了验证本方法的有效性,我们从每名被试的所有单次ERP序列中随机不重复选取10段ERP序列进行总平均作为最终的测试序列,总共选取了300个测试序列(说谎和不说谎状态各占一半),并计算每个测试序列的Pindex,然后由7组脑网络参数的Pindex构成特征判别向量,作为SVM的输入量,然后通过十则交叉检验,最后得到最佳c=8.17,g=12,此时对于300组测试序列的分类准确率最高,可以达到86.65%.

目前基于ERP测谎的研究方法有多种,Rosenfeld教授在综述性文献[24]中讲到,考虑到不同研究者采用的实验条件和被试者都会有所不同,以及一些实验中会受到反测谎手段的影响,目前不同测谎方法的平均准确率为82.5%,而本文研究基于经典听觉ERP刺激,模拟测谎实验借鉴成熟的实验方法,最后通过脑网络特征参数的讨论得到的正确率高于目前平均水平,是一种有效的测谎方法,而通过脑网络分析的方法也为认知脑电位测谎技术提供了一种新的视角.

5　结论

本文基于听觉刺激诱发ERP信号,完成实验室模拟测谎实验,通过小波包分析得到对隐藏信息敏感成分P300信号,然后计算了在不同刺激作用下各导联ERP信号之间的相位延迟指数,来构建脑功能网络,同时得到被试在说谎和不说谎状态下的脑网络特征参数,作为判别特征量;最后使用SVM对实验数据进行了测试分析,其分类准确率高于目前现有的平均准确率.结果表明:人在说谎状态和不说谎状态下的PLI脑功能网络拓扑结构差别明显,将脑网络特征参数作为定量判别指标,能够比较准确的分辨开是否说谎的状态,研究结果对测谎方法的拓展和测谎系统的开发有重要意思.

[1]Farwell L A,Donchin E.The Truth Will Out:Interrogative Polygraphhy(“Lie Detection”) With Event-Related Brain Potentials[J].Psychophysiology,1991,28(5):531-547.

[2]Rosenfeld J P,Soskins M,Bosh G,Ryan A.Simple,effective countermeasures to P300-based tests of detection of concealed information[J].Psychophysiology,2004,41(2):205-219.

[3]Abootalebi V,Morad M H,Khalilzadeh M A.A comparison of methods for ERP assessment in a P300-based GKT[J].International Journal of Psychophysiology,2006,62(7):309-320.

[4]Meijer E H,Smulders F T H,Merckelbach H L G J,Wolf A G.The P300 is sensitive to concealed face recognition[J].International Journal of Psychophysiology,2007,66(8):231-237.

[5]常文文,王宏.基于P300幅值几何差和脑网络特征的测谎方法研究[J].仪器仪表学报,2015,36(4):822-829.

Chang W W,Wang H.Study on the detection method based on P300 amplitude geometry difference and brain network characteristic[J].Chinese Journal of Scientific Instrument,2015,36(4):822-829.(in Chinese)

[6]Abootalebi V,Moradi M H,Khalilzadeh M A.A new approach for EEG feature extraction in P300-based lie detection[J].Computer Methods and Programs in Biomedicine,2009,94(10):48-57.

[7]高军峰,王沛,郑崇勋.基于P300和机器学习的测谎方法研究[J].西安交通大学学报,2010,44(10):120-124.

Gao J F,Wang P,Zheng Z X.Lie detection method based on P300 and machine learning[J].Journal of Xi’an Jiaotong University,2010,44(10):120-124.(in Chinese)

[8]Stam C J,Haan W de,Daffertshofer A,et al.Graph theoretical analysis of magnetoencephalographic functional connectivity in Alzheimer’s disease[J].Brain,2009,132 (9):213-224.

[9]Rubinov M,Sporns O.Complex network measures of brain connectivity:Uses and interpretations[J].NeuroImage,2010,52(10):1059-1069.

[10]Stam C J,Reijneveld J C.Graph theoretical analysis of complex networks in the brain[J].Nonlinear Biomedical Physics,2007,1(3):1-19.

[11]梁夏,王金辉,贺永.人脑连接组研究:脑结构网络和脑功能网络[J].科学通报,2010,55(16):1565-1583.

Liang X,Wang J H,He Y.Human connectome:Structural and functional brain networks[J].Chinese Sci Bull,2010,55(16):1565-1583.(in Chinese)

[12]Rubinov M,Knock S A,Stam C J,et al.Small-world properties of nonlinear brain activity in schizophrenia[J].Human Brain Mapping,2009,30(12):403-416.

[13]Leistedt S J J,Coumans N,Dumont M,et al.Altered sleep brain functional connectivity in acutely depressed patients[J].Human Brain Mapping,2009,30(10):2207-2219.

[14]González I Q,León M A B,Belin P,et al.Person identification through faces and voices:An ERP study[J].Brain Research,2011,1407(3):13-26.

[15]Alho K,Woods D L,Algazi A.Processing of auditory stimuli during auditory and visual attention as revealed by event-related potentials[J].Psychophysiology,1994,31(11):469-479.

[16]王登,苗夺谦,王睿智.一种新的基于小波包分解的EEG特征抽取与识别方法研究[J].电子学报,2013,41(1):193-198.

Wang D,Miao D Q,Wang R Z.A new method of EEG classification with feature extraction based on wavelet packet decomposition[J].Acta Electronica Sinica,2013,41(1):193-198.(in Chinese)

[17]薛建中,闫相国,郑崇勋.用核学习算法的意识任务特征提取与分类[J].电子学报,2004,32(10):1749-1753.

Xue J Z,Yan X G,Zheng C X.Classifications of EEG during mental tasks by kernel learning algorithms[J].Acta Electronica Sinica,2004,32(10):1749-1753.(in Chinese)

[18]Basar E,Schurmann M,Demiralp T et al.Event-related oscillations are ‘real brain responses’-wavelet analysis and new strategies[J].International Journal of Psychophysiology,2001,39(5):91-127.

[19]Stam C J,Nolte G,Daffertshofer A.Phase lag index:assessment of functional connectivity from multi channel EEG and MEG with diminished bias from common sources[J].Human Brain Mapping,2007,28(1):1178-1193.

[20]Wu J,Zhang J,Ding X,Li R and Zhou C.The effects of music on brain functional networks:a network analysis[J].Neuroscience 2013,250(6):49-59.

[21]Quiroga R Q,Sakowitz O W,Basar E,Schurmann M.Wavelet Transform in the analysis of the frequency composition of evoked potentials[J].Brain Research Protocols,2001,8(6):16-24.

[22]徐宝国,宋爱国,费树岷.在线脑机接口中脑电信号的特征提取与分类方法[J].电子学报,2011,39(5):1025-1030.

Xu B G,Song A G,Fei S M.Feature extraction and classification of EEG in online brain-computer interface[J].Acta Electronica Sinica,2011,39(5):1025-1030.(in Chinese)

[23]Newman M E J.Assortative mixing in networks[J].Phys.Rev.Lett,2002,89(5):208701-208705.

[24]Rosenfeld J P,Hu X Q,Labkovsky E,et al.Review of recent studies and issues regarding the P300-based complex trial protocol for detection of concealed information[J].International Journal of Psychophysiology,2013,90(9):118-134.

常文文男,1987年生,甘肃通渭人,东北大学博士研究生,主要研究方向为事件相关脑电,脑机-接口,脑电信号处理.

E-mail:changww2013@126.com

王宏(通讯作者)女,1960年生,辽宁沈阳人,1998年于德国马格德堡大学获得博士学位,东北大学教授,博士生导师,主要研究方向为脑电信号处理、仿人机器人和康复工程等.

E-mail:hongwang@mail.neu.edu.cn

Study on Lie Detection Method Based on Auditory ERP Functional Brain Network Characteristic and SVM

CHANG Wen-wen,WANG Hong,HUA Cheng-cheng

(School of Mechanical Engineering & Automation,Northeastern University,Shenyang,Liaoning 110819,China)

Recently,brain network method,which based on grapy theory,has played an important role in cognitive science research.And the traditional lie detection methods,which based on ERP signals,usually focus on the EEG from one channel,this has some shortcomings,that use few channels are not able to reflect the whole cognitive characteristic underlying lie condition.In this paper,we proposed a method based on brain network characteristics.We used the auditory stimuli to evoke the ERP signals and it was recorded from different channels.In order to build the functional brain network,we calculated the phase lag index between these channels,and seven network parameters were calculated as the index for lie detection.Those network parameters were compared between guilty and innocent subjects,and support vector machine was used as the classifier to the test date.The result shows that this method has a higher identify accuracy than the average accuracy of existing method,proved the validity of the method.

Electroencephalogram (EEG);lie detection;auditory stimuli;wavelet packet;phase lag index;brain network

2015-07-06;

2015-08-05;责任编辑:马兰英

国家自然科学基金(No.51405073);辽宁省创新团队基金(No.LT2014006)

R318

A

0372-2112 (2016)07-1757-06

��学报URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.07.034