再认记忆的事件相关电位多域特征值研究

尤二涛,徐进,张永兴

(西安交通大学生物医学信息工程教育部重点实验室, 710049, 西安)

再认记忆的事件相关电位多域特征值研究

尤二涛,徐进,张永兴

(西安交通大学生物医学信息工程教育部重点实验室, 710049, 西安)

为了更好地了解再认记忆状态下的事件相关电位(ERP) 在时域、频域和空间域的性质,与传统的ERP信号特征提取方法往往都局限于时域特征不同,该研究采用非负张量分解(NTF)技术,提取再认记忆实验中与“Old”和“New”刺激相关的ERP的多域特征值。多域特征值是从多个导联ERP信号的时频转换中提取的,因此可以同时反映ERP在时域、频域和空间域上的性质。研究结果发现,多域特征值可以明显地反映出不同刺激类型下ERP信号的差异,与额区新旧效应相关的FN400在“New”刺激下的多域特征值显著大于“Old”刺激下的,与顶区新旧效应相关的P600在“Old”刺激下的多域特征值显著大于“New”刺激下的,说明多域特征值能很好地用于区分和识别再认记忆中的新旧刺激,这不仅为再认记忆的研究提供了一个新方法,而且为基于ERP的认知功能研究提供了新的思路和途径。

事件相关电位;非负张量分解;再认记忆;多域特征值

记忆的研究最早可以追溯到19世纪末德国著名学者Ebbinghaus,距今已有100多年历史。随着记忆科学实验研究的发展,其已经成为脑认知领域的重要组成部分。再认记忆作为记忆研究的一个重要分支,20多年以来一直都是实验心理学家和认知神经学家关注的重要方向[1-2]。

再认记忆是对刺激事件是否在先前的实验中出现过的判断力[3]。再认记忆双加工模型理论的提出得到了广泛的支持,该理论指出,再认记忆有两个可分离的记忆过程:回想记忆过程和熟悉性记忆过程[4]。如果被试者能够回忆出一个给定的项目,那么他们就能够确定最初是在什么时候,在哪里学习它的,而对于只有熟悉性感觉的项目则不能。能够做出准确的相关再认判断的能力就是回想,认出一个没有回忆出的给定项目的条件概率就是熟悉性[5]。双加工理论模型包括条件搜索模型、神经解剖学模型、Mandler模型等[6]。

再认记忆的ERP研究表明,有两个ERP成分和再认记忆的两个过程有密切关系。熟悉性记忆与额中部的300～500 ms时间段内负走向的事件相关电位有关,通常称为额区新旧效应。由于额区新旧效应主要分布于额区及中央区,其头皮分布与以往报道的由语义歧义诱发的N400成分(主要分布于中央区和顶区)有些不同,也有人将其称为FN400新旧效应[7]。回想记忆与顶区的500～800 ms时间段内正走向的事件相关电位有关,通常称为顶区新旧效应[8]。

在再认记忆ERP的研究中,往往只利用ERP幅值等时域特征值进行统计分析,不仅量化特征单一,而且受信号信噪比的影响很大。本文利用非负张量分解技术[9]提取ERP的多域特征值[10],为再认记忆的特征分析提供了一种新思路。提取的多域特征值可以同时在时域、频域和空间域上反映ERP的性质,可以更好地反映不同刺激下ERP信号间的差异性[11]。

1 实验设计与信号采集

实验被试者包括26名健康的大学生,全部为右利手。其中有2名被试者的眼部运动太多,7名被试者的ERP信号噪声太大,剩下17名被试者的数据用于分析。

实验刺激由384张名人和非名人的面部图片组成。名人图片中有117张为男性,80张为女性;非名人图片中有100张为男性,50张为女性。通过Adobe Photoshop CS软件去除图片原来的背景并添加白色的背景。

实验分为两个阶段,第一个阶段刺激序列由96张名人图片和96张非名人图片组成。被试者按要求迅速地判断显示器上出现的刺激图片是名人还是非名人。如果是名人,则代表“Famous”刺激类型,被试者应用左手食指按键盘上的“F”键;如果是非名人,则代表“Non-Famous”刺激类型,被试者应用右手食指按键盘上的“J”。第二个阶段刺激序列由第一个阶段出现的96张名人的图片和96张新的名人图片组成。被试者按要求对刺激图片是否在第一个阶段出现过进行判断,如果刺激图片出现过,而且记得与该刺激图片相关的一些细节信息,则代表“Remember”刺激类型,应用左手的无名指按下键盘上的“S”键;如果图片出现过,但不记得与该刺激图片相关的一些细节信息,则代表“Know”刺激类型,应用左手的食指按下键盘上的“G”键,“Remember”和“Know” 刺激类型都属于“Old”刺激类型。如果图片没有在第一个阶段出现过,则代表“New”刺激类型,被试者应用右手的食指按键盘的“K”键。

被试者坐在屏蔽室内,刺激图片呈现在一个标准的CRT显示器上。实验信号采用32通道Ag-AgCl导电极帽(10/20国际系统)和Neuroscan公司的生物放大器系统。皮肤与电极之间的阻抗小于20 kΩ,信号的频带为0.1～200 Hz,采样频率为1 kHz。以左侧乳突为参考电极,右侧乳突作为记录电极,并同步记录该导联信号。

2 多域特征值提取

2.1 张量与非负张量分解概述

张量有两种分解方法:标准分解和Tucker分解。Hitchcock在1927年首次提出将一个张量分解成秩为1的张量线性组合的思想。Cattel在1944年提出平行比例分析的思想,并以此作为分解的基本形式。Carroll等人在心理测验学领域再次引入此基本形式,并称其为标准分解。Tucker于1963年在心理测验领域首次提出,将一个张量分解为一个核张量沿其每个模式乘以一个矩阵的形式,用于在3维数据中寻找特定关系。Lathauwer等人要求因子矩阵为正交矩阵,称其为高阶奇异值分解,并表明它是矩阵奇异值分解的高阶扩展,又称其为Tucker分解[12]。

2007年,Kim等人提出了非负Tucker分解的乘性迭代算法[13]。本文通过对ERP信号进行时频变换来实现非负约束。

2.2 非负张量分解方法

非负张量分解模型可以写成以下形式[12]

(1)

(2)

式中:‖·‖F表示Frobenius范数。本研究中采用层次交替最小二乘(HALS)算法[12],该算法通过以下规则函数来连续地更新

(3)

(4)

式中:第1个公共分解元素U(f)是频谱矩阵(If×J),第i(i=1,2,…,J)列对应第i个成分的频谱;第2个公共分解元素U(t)是时域矩阵(Ut×J),第i(i=1,2,…,J)列对应第i个成分的时域波形;第3个公共分解元素U(c)是空间域矩阵(Uc×J),第i(i=1,2,…,J)列对应第i个成分的地形图分布;最后一个分解元素F是特征值矩阵(Is×J)。本文中Is=34,前17行是被试者在“Old”刺激下对应的特征值,后17行是被试者在“New”刺激下对应的特征值,可对其进行统计分析来反映两个不同刺激下ERP的差异性。

2.3 EEG信号的预处理

脑电信号的预处理主要包括:首先转换左侧乳突参考为左右乳突的平均参考,其次对信号进行0.5～30 Hz的带通滤波,然后对连续脑电数据进行分段,截取从刺激前100 ms到刺激后1 000 ms脑电数据片段(-100～1 000 ms)。将含有峰峰值超过100 μV的脑电信号片段剔除,针对每个被试者的“Old”和“New” 刺激分别进行叠加平均获得相应的ERP信号,并降采样到500 Hz。选择Fp1、Fpz、Fp2、F3、Fz、F4、C3、Cz、C4、P3、Pz、P4、O1、Oz、O2共15个导联的ERP信号进行多域特征提取。

2.4 多域特征值提取

通过复Morlet小波变换[16]把时域的ERPs转换成时频域的数据。由于所要研究的ERP成分属于低频信号,故将频域范围设置为0.5～15 Hz,在该范围内计算出75个频域区,并选取0～800 ms时间段内401个点的数据进行多域特征值提取。

将17个被试者两种刺激(New和Old)下的15个导联的时频数据转换成一个频域(75)×时域(401)×导联(15)×被试(17×2)四阶张量,然后对张量数据进行非负张量分解。

3 结 果

通过对四阶非负张量分解得到4个矩阵,图1显示了U(t)、U(f)、U(c)3个公共分解元素在时域、频域、空间上的28个成分。

根据再认记忆双加工模型理论得知,与熟悉性相关的额区新旧效应的ERP成分分布在300～500 ms之间,其在“New”刺激下的负走向趋势显著大于“Old”刺激下的;与回想记忆相关的顶区新旧效应的ERP成分分布在500～800 ms之间,其在“Old”刺激下的正走向趋势显著大于“New”刺激下的[7-8]。

因为满足时域波形潜伏期为300～500 ms,且地形图激活区位于额区的成分只有第11个,所以额区新旧效应所对应的多域特征值即为第11组特征值,如图2所示。利用SPSS软件对“Old”和“New” 两个刺激特征值的差值进行正态性检验,在小样本的情况下,Shapiro-Wilk检验得到结果是p=0.151>0.05,所以样本符合正态分布;继而做配对t检验得到p=0.049<0.05,额区新旧效应对应的特征值在“Old”和“New”刺激下有显著性差异,且“New”刺激的特征显著大于“Old”刺激的特征。

满足时域波形潜伏期为500～800 ms,且地形图激活区位于顶区的只有第16个成分,所以顶区新旧效应所对应的多域特征值即为第16组特征值,如

(a)频域元素

(b)时域元素

(c)空间元素

图3所示。利用SPSS软件对两个刺激特征值的差值进行正态性检验,在小样本的情况下,Shapiro-Wilk检验得到结果是p=0.297>0.05,所以样本符合正态分布;继而做配对t检验得到p=0.005<0.05,顶区新旧效应对应的特征值在“Old”和“New”刺激下有显著性差异,且“Old”刺激的特征显著大于“New”刺激的特征。

(a)特征#11信号 (b)时域

(c)频域 (d)空间域

(a)特征#16信号 (b)时域

(c)频域 (d)空间域

由以上结果可以得知:首先多域特征值可以有效区分和识别再认记忆中熟悉和回忆两个过程的“Old”和“New”两种刺激;其次反映额区新旧效应的300～500 ms ERP成分在“New”刺激下的特征值比“Old”刺激下特征值显著性增大,反映顶区新旧效应的500～800 ms ERP成分在“Old”刺激下的特征值比“New”刺激下特征值显著性增大,而且通过时域成分可以判断顶区新旧效应主要集中在刺激后600 ms时刻。

文献[7-8]通过传统的ERP研究方法发现:额区新旧效应的ERP成分在“New”刺激下的负走向趋势显著大于 “Old”刺激下的;顶区新旧效应的ERP成分“Old”刺激下的正走向趋势显著大于“New”刺激下的。本文通过张量分解方法对ERP分析所得到的结果与传统ERP的研究结果是一致的,从而对再认记忆双加工模型理论进行了进一步的验证。

4 结 论

ERP信号可以有效地反映大脑的认知功能,而记忆再认是人类重要的认知功能之一。ERP的新旧效应成分分析可以很好地反映记忆再认过程。传统的ERP信号特征提取方法往往都局限于时域特征,而本文利用非负张量分解技术,为ERP的量化特征研究提供了一种新的方法。多域特征值是从多个导联ERP信号的时频转换中提取的,它可以同时反映ERP在时域、频域和空间域上的性质。通过对再认记忆实验中得到的ERP信号进行四阶张量分解,得到了可以区分“Old”和“New”两种刺激的多域特征值及其在时域、频域、空间域上的分布,并且多角度清晰地反映了额区新旧效应和顶区新旧效应。因此,通过非负张量分解可以更全面地对ERP信号进行了解,为基于ERP的认知功能分析提供新的方法和思路。

[1] RICHLER J J, CHEUNG O S, GAUTHIER I. Holistic processing predicts face recognition [J]. Psychological Science, 2011, 22(4): 464-471.

[2] HOLGER W. The role of age and ethnic group in face recognition memory: ERP evidence from a combined own-age and own-race bias study [J]. Biological Psychology, 2012, 89(1): 134-147.

[3] MICHAEL D R, CURRAN T. Event-related potentials and recognition memory [J]. Trends in Cognitive Sciences, 2007, 6(11): 251-256.

[4] HINTZMAN D L, CURRAN T. Retrieval dynamics of recognition and frequency judgments: evidence for separate processes of familiarity and recall [J]. Mem Lang, 1994, 33(1): 1-18.

[5] 樊晓燕, 郭春彦. 从认知神经科学的角度看熟悉性和回想 [J]. 心理科学进展, 2005, 13(2): 314-319. FAN Xiaoyan, GUO Chunyan. Cognitive neuroscience research on recollection and familiarity [J]. Advances in Psychological Science, 2005, 13(2): 314-319.

[6] 李岩松, 周仁来. 再认记忆双加工的理论模型及研究方法 [J]. 北京师范大学学报, 2008, 44(3): 243-246. LI Yansong, ZHOU Renlai. The theoretical model of recognition memory dual-processing and methods [J]. Journal of Beijing Normal University, 2008, 44(3): 243-246.

[7] CURRAN T. Brain potentials of recollection and familiarity [J]. Mem Cogn, 2000, 28(6): 923-938.

[8] 王湘, 程灶火, 姚树桥, 等. 汉词再认的ERP新旧效应 [J]. 航天医学与医学工程, 2005, 2(18): 154-156. WANG Xiang, CHENG Zaohuo, YAO Shuqiao, et al. ERP correlates of recognition memory for Chinese words [J]. Space Medicine & Medical Engineering, 2005, 2(18): 154-156.

[9] CICHOCKI A, ZDUNEK R, PHAN A H, et al. Nonnegative matrix and tensor factorizations: applications to exploratory multi-way data analysis and blind source separation [M]. Chichester, UK: John Wiley & Sons, Ltd., 2009: 214-236.

[10]CONG F, PHAN A H, LYYTINEN H, et al. Classifying healthy children and children with attention deficit through features derived from sparse and nonnegative tensor factorization using event-related potential [C]∥Latent Variable Analysis and Signal Separation. Berlin, Germany: Springer-Verlag, 2010: 620-628.

[11]CONG F, PHAN A H, ASTIKAINEN P, et al. Multi-domain feature of event-related potential extracted by nonnegative tensor factorization: 5 vs. 14 electrodes EEG data [M]∥Lecture Notes in Computer Science: Vol 7191. Berlin, Germany: Springer-Verlag, 2012: 502-510.

[12]KIM Y D, CHOI S. Nonnegative tucker decomposition [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2007: 1-8.

[13]周丙寅. 张量分解及其在动态纹理中的应用 [D]. 石家庄: 河北师范大学, 2012.

[14]MORUP M, HANSEN L K. Automatic relevance determination for multi-way models [J]. Journal of Chemometrics, 2009, 23(2): 352-363.

[15]TIMMERMAN M E, KIERS H A. Three-mode principal components analysis: choosing the numbers of components and sensitivity to local optima [J]. British Journal of Mathematical and Statistical Psychology, 2000, 53(1): 1-16.

[16]TALLON-BAUDRY C, BERTRAND O, DELPUECH C, et al. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human [J]. J Neurosci, 1996, 16(13): 4240-4249.

(编辑 杜秀杰)

Multi-DomainFeatureofEvent-RelatedPotentialinRecognitionMemory

YOU Ertao,XU Jin,ZHANG Yongxing

(MOE Key Laboratory of Biomedical Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China)

To explore the properties of event-related potential (ERP) related with recognition memory in the time, frequency and spatial domains, nonnegative tensor factorization (NTF) was applied to extract multi-domain feature from ERP signals related with “New” stimulus and “Old” stimulus respectively during recognition memory task, which is different from the traditional method to extract the feature of time domain, and the multi-domain feature was extracted from time-frequency transformation of multiple channel ERP signals so that it can reflect the properties of ERP in the time, frequency and spatial domains simultaneously. It is discovered that the multi-domain feature is able to discriminate ERP for different stimulus. The multi-domain feature of FN400 related with frontal old/new effect to “New” stimulus gets greater than the feature to “Old” stimulus. The multi-domain feature of P600 associated with parietal old/new effect to “Old” stimulus gets larger than the feature to “New” stimulus. Therefore, the multi-domain feature extracted by NTF reveals properties of ERP in the time, frequency and spatial domains, and provides a novel method to recognition memory research and cognitive function research based on ERP signal.

event-related potential; nonnegative tensor factorization; recognition memory; multi-domain feature

2013-06-09。 作者简介:尤二涛(1987—),男,硕士生;徐进(通信作者),女,教授。 基金项目:国家自然科学基金资助项目(31271061);中央高校基本科研业务费专项资金资助项目(xjj20100185,xjj20100047)。

时间:2014-01-10 网络出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20140110.1749.009.html

10.7652/xjtuxb201402023

R318

:A

:0283-987X(2014)02-0137-06