语篇理解中语义整合的神经机制及其影响因素*
2015-02-26张秀平杨晓虹杨玉芳
张秀平 杨晓虹 杨玉芳
(1中国科学院心理研究所行为科学重点实验室,北京 100101)(2中国科学院大学,北京 100049)
1 引言
1.1 语篇理解
语篇是指长度不限、可以组合在一起表达完整意义的自然语言,既包括书面语也包括口语(Halliday&Hasan,1976)。de Beaugrande和Dressler(1981)提出了语篇的7个限定性特征:衔接、连贯、目的性、可接受性、信息性、情境性、互文性,其中衔接和连贯是语篇最重要的标准。在心理语言学的研究中,研究者们会关注不同水平的语言加工,如词汇水平、句子水平、语篇水平等,为了与句子水平的研究相区分,本文的语篇主要指由两个或两个以上的小句组成的连贯的语段。而discourse和text都被翻译成语篇,二者在英文文献中也没有进行明确的区分(胡建军,2003;黄国文,徐珺,2006),因此本文采用胡壮麟(1994)的思路,把text和discourse统称为语篇。
任何语篇都是语言使用者在一定语境下产生的,语言使用者既包括说话人和作者,也包括听话人和读者。对说话人和作者来说,他们考虑的是如何生成语篇,以较好地表达自己的想法。而对于听话人和读者来说,他们要做的是正确地理解和解读信息,完成交际过程。前者为语篇产生,后者为语篇理解(杨晓虹,2011)。本文着眼于语篇理解,关注其中的语义整合这一认知过程。
1.2 语义整合
语义整合(semantic unification)是指把当前阅读中新出现的词语与之前的语境进行语义联结以形成连贯表征的过程(Hagoort&Willems,2009)。在该过程中,不仅要关注单个词语的含义,还要在与之前的语境进行整合时选择或建构合适的含义,从而达成连贯理解(Hagoort&Willems,2009)。
20世纪80年代以来,语篇阅读的相关研究关注的焦点之一就是读者如何将当前的信息与前文信息进行整合以形成连贯的意义表征。早期研究主要着重于考察整合发生的性质,如:有些理论模型强调整合的主动性和策略性,认为阅读过程中读者会随文本内容的展开不断主动地整合当前信息和前文信息以形成连贯的语篇表征,如建构主义理论和更新追随假设(Graesser,Singer,&Trabasso,1994;Singer,Graesser,&Trabasso,1994);也有些理论模型强调整合的自动化和非策略性,认为文本阅读中新信息会以共振的方式快速地激活长时记忆中的背景信息从而达到语义整合和情境更新,如记忆基础文本加工理论(McKoon&Ratcliff,1998;O'Brien,Rizzella,Albrecht,&Halleran,1998)。近年来,一些研究者综合上述两种观点,认为主动的、策略性的整合与自动化的、非策略性的整合同时存在于文本阅读的过程中,如风景模型(van den Broek,Risden,Fletcher,&Thurlow,1996;van den Broek,Rapp,&Kendeou,2005)和文本双加工理论模型(王瑞明,莫雷,2011;莫雷,王瑞明,冷英,2012)。这些研究虽然对于整合发生的性质存在争议,但都普遍认为整合是阅读的核心过程,确定了整合这一过程的重要性。
20世纪90年代末以来,随着各种认知神经科学技术的发展,语篇水平上的语义整合的研究也在增多。但在很多方面依然存在争议,如语义整合的定义和语义整合的功能定位(朱祖德,王穗苹,冯刚毅,李国超,2011),对语篇中语义整合的神经机制方面的研究还处于探索阶段,语义整合的影响因素也在逐年丰富。本文在语篇的层次上,对语义整合的神经机制和影响因素进行论述。
2 语篇中语义整合的神经机制
2.1 语篇中语义整合的时间进程:来自ERP的证据
2.1.1 N400与语义整合
在语义整合过程中,听者或读者会把新输入词语的含义与语境相联系,无论这个语境是单个句子(van Petten,Coulson,Rubin,Plante,&Parks,1999)、语篇(Hess,Foss,&Carroll,1995;van Berkum,Brown,&Hagoort,1999),还是非语言的视觉场景(Sedivy,Tanenhaus,Chambers,&Carlson,1999)。在语言加工中,EEG的高时间分辨率的特性大大便利了对语言加工的不同阶段的时间进程的研究。将EEG信号进行叠加平均得到事件相关电位ERP,不同的ERP成分可以反映语言加工的不同阶段(van Berkum,2012)。自从 Kutas和Hillyard(1980)在句子的语义违反中发现了N400,N400就被认为是语义违反诱发的稳定的ERP成分。N400是一个在刺激呈现后400 ms左右在顶中区达到峰值的负波,潜伏期一般在250~600 ms。在语义加工过程中,N400对语义整合尤其敏感(Brown&Hagoort,1993)。
句子水平的N400效应在多种语言中都有发现,在书面语、口语和手语的句子材料中,语义违反以及语义合适度的轻微变化都诱发了N400效应。因此,句子中的语义整合通常被认为是即时发生的,即一般出现在N400的时间窗口(250~600 ms)。在更广泛的语篇语境下进行语义操纵也会诱发N400或者对N400产生影响。基于N400的很多研究发现,语篇中语义整合的时间进程与句子中语义整合的时间进程基本相似。如Berkum,Hagoort和Brown(1999)采用ERP实验发现,当语篇中的最后一个句子与前文存在语义违反时,相对于语义一致的条件,语义违反句在目标词出现200~250 ms后诱发了一个较大的N400,并且这种语篇的N400效应在潜伏期,波幅和地形分布上与句子理解中诱发的N400效应类似。这一结果充分表明,与句子中的当前信息一样,语篇中的当前信息与前文信息不仅会发生语义整合,而且这种整合是即时的,即发生在N400的时间窗内。
使用听觉呈现的刺激材料,研究者同样发现语篇中的语义整合是即时发生的。Salmon和Pratt(2002)比较了听觉呈现的句子水平和语篇水平的语义加工,发现句子和语篇中的语义违反都诱发了 N400(300~500 ms)、P5(始于 460~490 ms,在535~550 ms达到峰值)、LPC(在 850 ms达到峰值),而且特性相似,潜伏期也没有差异,表明故事语篇的加工速度和句子的加工速度一样快。van Berkum,Zwitserlood,Hagoort和 Brown(2003)用听觉材料研究了故事和单个句子中的语义整合,发现N400效应开始的较早(150~200 ms),表明在听觉语言理解中,语篇水平上的语义整合发生很快,在被试听到关键词的两三个词素左右就开始发生了。
以上研究表明,无论是视觉呈现的语篇还是听觉呈现的语篇都和句子一样,存在当前信息与之前信息的语义整合,这种整合的发生主要体现在与语篇背景存在语义违反时出现的N400效应上。虽然听觉材料的语篇中N400效应的开始时间(150~200 ms)早于视觉材料的语篇中的N400效应的开始时间(200~250 ms),而且视觉语篇中的N400效应开始时间(200~250 ms)稍早于句子中N400效应的开始时间(250 ms),但这两种差异在所反映的认知过程和功能上没有本质差异,都表明语篇中的语义整合是即时发生的,即这种当前信息与前文信息的语义整合一般发生在N400的时间窗内。
2.1.2 晚期正成分与语义整合
P600是一个主要分布于头皮后部,在关键词呈现后600 ms左右开始出现的正波,最早出现在在句法违反和形态违反中(Osterhout&Holcomb,1992;Hagoort,Brown,&Groothusen,1993)。Osterhout和Holcomb(1992)在花园路径句的研究中首先发现,在与预期的句法结构违反时,关键词呈现后600 ms出现一个较大的正波。Hagoort等人(1993)在数的一致性违反和词序违反时发现了类似的正波。这种正波后来被称为P600,之后有研究发现P600可以作为句法整合的指标(Kaan,Harris,Gibson,&Holcomb,2000)。
虽然在大多数的研究中,与语篇背景不一致的关键词一般诱发N400效应,但是,在某些研究中,研究者没有发现N400效应,反而诱发了一个较大的晚期正成分,根据其极性、头皮分布,研究者认为解释为P600效应比较合适(Nieuwland&van Berkum,2005)。如:在Nieuwland和van Berkum(2005)的研究中,与语篇语境不一致的关键词(如the women told the suitcase,其中suitcase为语义违反词)没有诱发N400效应,反而在500~600 ms出现了一个的晚期正成分,这种现象被研究者解释为暂时的语义错觉。在该研究中,suitcase虽然是一个语义违反词,但是由于语篇的整体语境是与tourist有关的,所以suitcase是一个在该语境中高度激活、适合语篇背景的词,读者在阅读时会对suitcase形成较强的预期。因此,当读者阅读到suitcase这个语义违反词时才没有检测到违反,出现短暂的语义错觉。而P600的出现作者认为是在表层的语义加工之后发生了精细的语义加工。Sanford,Leuthold,Bohan和 Sanford(2011)比较了容易检测到违反的词(与语境匹配较差的词)和不易检测到违反的词(与语境匹配较好的词)在语义违反时的加工过程,不易检测到的违反词没有引起N400效应,却出现了LPP(800~1100 ms)效应,出现了语义错觉现象,表明与语境匹配较好的违反词即时地与语境进行了整合。
语义错觉产生的机制在于当前加工的内容在语篇语境中得到很强的支持。以上研究也表明读者在阅读当前内容时即时地与之前的语境发生了联系,进行了与之前的语境进行整合的表层的加工,之后又进行了精细的语义加工。因此,语义错觉现象本身也从另一个角度证实了语篇中语义整合是即时发生的,只是在更精细的语义加工上需要延后几百毫秒。
通过对以上研究的分析,我们认为在语篇中当前信息与之前语境进行的整合是即时发生的,即一般发生在N400的时间窗内。
2.2 来自fMRI和神经震荡的证据
2.2.1 来自fMRI的证据
(1)语义加工的相关模型
很多ERP研究都关注了N400与语义整合的关系,有研究者把ERP和fMRI结合起来更好地理解在不同的认知过程中N400与各脑区及其连接之间的关系。如:Lau,Phillips和Poeppel(2008)基于句子水平的N400及一些fMRI的研究成果,提出了语义加工的图式模型(schematic model)。在这个模型中,前颞叶皮质和角回负责与之前的语境进行语义整合,而后额下回区域参与将这些整合的信息与储存的世界知识相联系的过程。随着每个新单词的输入,整合后的语义表征不断进行更新,进入由额下回负责的预期和选择阶段。他们又提出了一个更具体的语境中的词汇语义加工的功能神经解剖学模型(functional neuroanatomic model),进一步指出前颞叶皮质(ATC)与角回(AG)在将当前信息整合到语境中的作用,并区分了前额下回和后额下回在词汇提取和词汇选择中的作用。这个模型将完整的语义加工分为与语境进行语义整合、与世界知识进行联系、预期和选择几个过程,虽然是基于句子水平的研究提出的,但对语篇中的语义加工过程也有借鉴意义,只是语篇水平上这些过程涉及的脑区及脑网络可能与句子水平上的有差异,究竟是否存在差异、存在怎样的差异可能需要在以后的研究中进行扩展。
同样是基于句子水平的研究,Hagoort(2005)提出了语言加工过程的框架,即记忆-整合-控制(MUC),该模型把语言加工分为记忆、整合和控制三个功能成分。记忆成分包括储存在长时记忆中的语言信息及提取过程;整合成分是将提取的词汇信息整合到句子中的过程,包括语音整合、句法整合和语义整合,三者在一定程度上是相互作用和同时发生的;控制成分将语言和动作联系起来,操控交际的意图和动作。关于语义整合,该模型认为是把词汇水平的元素结合起来整合到更大的结构块,其中一个例子就是将单词的含义整合到之前的语境所形成的语篇表征中。一个英文单词可能有多种含义,读者阅读时结合之前的语境选择一个合适的含义,从而达成连贯理解。在该模型的基础上,Hagoort(2013)进一步将语义整合进行了抽象总结,认为语义整合是在语境决定的事件图式中,两种可能的情况竞争和选择的结果。而且,他们提出了语言加工的神经生物学模型,指出颞皮质及顶叶的角回与记忆相关,布洛克区(B44、B45)及其相连的额叶皮质(B47,B6)参与整合过程,背侧前额叶皮质、前扣带皮层及与注意相关的顶叶参与控制过程。他们指出,左外侧裂语言网络拓扑功能组织是通过信息类型(如:语音、句法、语义)来决定哪些区域的连接最强,背侧通路可能与语音和句法的加工相关,腹侧通路可能与语义加工联系较强。他们进一步指出,左额下皮层(LIFC)是语义整合网络中的一个关键结点,将不同通道的语义信息进行连接。
语义加工的图式模型和MUC模型,虽然都是基于句子水平提出的,但前者主要是针对语义加工这个环节的,将语义加工的过程进行了细分,给我们提供了语义整合所处的具体环节的信息;后者则是比较全面的语言理解的模型,涵盖了语言理解的几个重要过程,语义整合仅仅是整合这一过程中的一种,没有具体划分其他的语义加工过程。因此,二者在语义整合这一过程涉及的脑区上的观点也有差异,前者认为前颞叶皮质和角回负责语义整合,额下回负责预期和选择,而后者认为左额下皮质负责语义整合,这种差异也是由于二者在语义加工过程上的不同划分导致的。
Xu,Kemeny,Park,Frattali和 Braun(2005)比较了在阅读单词、句子和故事时大脑成像的差异,结果发现在故事水平上激活了两半球的扩展的外侧裂区域(extrasylvianarears),包括楔前叶(precuneus)、内侧前额叶(medial prefrontal)及背侧颞-顶-枕皮质(dorsal temporo-parieto-occipital cortices)。随着输入的阅读材料复杂性的提高,右半球的参与也在增多,在故事水平上最活跃。他们还发现,左半球的区域在故事开始阶段占主导地位,而右半球则在故事的最后整合阶段起重要作用。在已有研究的基础上,Jung-Beeman(2005)针对故事、对话、语篇等自然语言中的语义加工,提出了BAIS模型。该模型将语义加工分为激活、整合和选择三个阶段,并指出参与各个阶段的脑区。负责语义激活的是后颞中回,负责语义选择的是额下回,与语义整合相关的是颞叶前部,包括双侧的颞上回(STG)前部、颞上沟(STS)延伸到颞中回(MTG)和颞极。
对于语义整合,BAIS模型与MUC模型有一定的差异。MUC模型提出的语义整合范围更大,包括了选择的过程,而BAIS模型则是将语义整合和语义选择分离开,认为语义整合有其区别于语义激活和选择的大脑网络。另外,BAIS模型是针对故事、对话、语篇等自然语言提出的,MUC模型则是基于句子水平的研究提出的,两者在加工过程本身可能就存在差异,因此所涉及的脑区也有差异。MUC模型是一个语言理解的模型,我们所关注的语义整合仅仅是其中的一个过程,可以在该模型的基础上对其扩展。这些模型的提出对我们认识大脑的功能有一定意义,随着对大脑认识的深入,可能还需要结合脑功能连接、神经震荡等提出更新的模型。
(2)语义整合的脑功能网络
认知活动是通过功能网络而非单一的区域实现的,而语义整合的功能网络仍需探索。Hagoort(2013)认为语言功能不是位于某个脑区,而是脑区之间形成的一个动态网络。Shibata,Abe,Itoh,Shimada和Umeda(2011)采用场景阅读任务研究了理解间接回答的神经机制,发现两半球的额-颞网络(fronto-temporal networks)在检测语境违反中有重要作用,额中皮质(medial frontal cortex)对产生推理从而在语境中理解对话比较重要。
Egidi和Caramazza(2013)研究了语篇理解中信息整合的神经机制,他们设置了两种语境(整体的和局部的)和一个结尾句,结尾句与局部语境一致或者不一致,结尾句与整体语境相关或者不相关。在被试听故事时进行fMRI扫描,分析出三个参与不同整合过程中的网络系统,一个是对局部语境敏感,包括角回(AG)、额上回(SFG)、腹侧前额皮质(vmPFC)、颞中回(MTG)等;一个对整体语境敏感,包括缘上回(SMG)、顶上小叶(SPL)和顶内沟前部(aIPS);一个整合两种语境的信息对结尾做出反应,包括顶上小叶和顶下小叶(IPS)。
这些研究都表明,大脑是通过很多脑区的连接来完成某种认知过程的,我们在进行语义整合的神经机制的研究时也不能单纯地看某些脑区的功能,需要看这些脑区是如何连接的,它们之间的不同连接强度可能会反映出不同的问题。
2.2.2 来自神经震荡的证据
有关某种认知功能的大脑神经网络的连接,也可以通过EEG信号中不同脑区的神经元震荡的同步性来考察。在认知心理学领域,Delta(1~4 Hz)、Theta(4~7 Hz)、Alpha(7~12 Hz)、Beta(12~30 Hz)、Gamma(30~100 Hz)这些频段都受到了关注,在某一脑区这些频段与一定的认知过程相联系,但关于某一频段与认知过程的对应关系还存在很多争议。在人脸识别和表情与情绪性图片的研究中,这几个频段的能量在不同的条件下都有变化(Güntekin&Başar,2014)。目前的很多相关研究发现每一个频段都涉及多种不同的认知过程,如:Delta能量的变化可能与注意、信号检测、识别、决策等认知过程有关(Güntekin&Başar,2014);Theta能量的变化可能与单词水平的信息提取、情景记忆、空间记忆、工作记忆、警觉任务中的疲劳、错误检测等相关(Wang,Zhu,&Bastiaansen,2012);Alpha能量的变化则与注意的抑制和增强有关(Klimesch,2012);在解释感觉加工的预期编码框架中,Friston,Bastos,Pinotsis和Litvak(2015)指出Beta与预期相关,Gamma与预期错误的检测有关;早期的研究也发现Gamma可能与联结学习(Miltner,Braun,Arnold,Witte,&Taub,1999)、物体表征(Tallon-Baudry&Bertrand,1999)等有关。
在心理语言学中,目前有关语义整合的神经震荡的研究主要集中在句子水平,对于各个频段所反映的语言加工过程,目前还有很大争议。语言理解主要包括从记忆中提取信息和进行句法与语义上的整合两大过程。已有的研究发现Theta频段的同步性和Alpha频段的去同步性与记忆提取有关,句法整合与Beta频段的同步性有关,语义整合与Gamma频段的同步性有关(Bastiaansen&Hagoort,2006)。我们主要关注与语义整合相关的频段的变化,有研究发现了句子中的语义违反会引起Theta波段能量的增加(Hagoort,Hald,Bastiaansen,&Petersson,2004;Hald,Bastiaansen,&Hagoort,2006),Gamma波段能量的变化与语义整合有关(Bastiaansen&Hagoort,2006)。Wang等人(2012)进一步证明,Gamma波段能量的增加与根据语境对即将出现的词语的预期有关,而Theta波则可能与语义违反的检测相关。Wang,Jensen等(2012)还发现Beta与N400m相关,而Beta能量的降低被定位在左额下回和左上颞叶区域,分别对应语义整合和词汇提取的认知过程。近年来,研究者们开始关注大脑功能的连接与各频段的关系,如:Mellem,Friedman和Medvedev(2013)发现Gamma频段能量的变化与语义表征的局部的功能网络的激活有关,而Theta频段的变化则反映了提取和提取后的加工过程涉及的前部区域与后部区域的耦合,也可能反映了语义相关的加工与工作记忆的相互影响。这些发现大都是在句子水平上,语篇水平上的神经震荡相关的分析还较少,像Urrutia,de Vega和Bastiaansen(2012)研究了语篇中虚拟语气的句子和事实的句子的加工,发现了分布在额叶和顶叶的Gamma波段的能量变化,即在虚拟形式下Gamma波段的能量降低,表明虚拟的信息在整合过程中没有得到更新,没有实现与之前语篇表征的整合。从这些文献中可以看出,语义整合涉及的频段还没有一致的结论,Beta、Theta、Gamma频段的能量变化都可能与语义整合有关。虽然在句子水平上还有很多争议和有待解决的问题,但我们可以借鉴这种方法用于语篇的研究,以期发现更多结果,也会对解决句子水平的问题带来启发。
目前关于语篇中的语义整合的神经网络的研究仍处于探索阶段,未来还有很长的路要走。探讨语义整合的神经网络不仅是基础研究领域的重大课题,也具有深远的临床意义。现阶段,出现阅读障碍的儿童越来越多,一些神经系统的疾病也会带来阅读障碍问题,为了更好地帮助这一人群,我们必须搞清楚正常人在语篇理解过程中的神经机制。
3 影响语篇语义整合的因素
影响语篇语义整合的因素有很多,总体上可以分为语篇内因素、非言语因素和个体差异三类。语篇内因素主要包括语境、韵律、信息结构和话题结构,非言语因素主要包括世界知识、情绪和心境,个体差异主要包括工作记忆容量和阅读水平。
3.1 语篇内因素
语篇内因素主要有韵律、信息结构、修辞结构与话题结构和语篇语境。
韵律主要针对口语语篇而言,有研究者发现韵律信息影响早期的语篇连接阶段以及较晚期的语篇更新的阶段(Schumacher&Baumann,2010)。在汉语中也有大量的关于重读与语篇理解的关系的研究,如:Li,Yang和Hagoort(2008)研究了汉语中重读和声调在语篇理解中的作用,发现不一致重读和不正确的声调都会影响N400的波幅,二者没有交互作用。这表明二者存在共同的认知过程,即都会即时地把当前信息(声调信息或重读信息)整合到之前语境中,在出现不一致重读或不正确声调时语义整合会发生困难。Li,Hagoort和Yang(2008)又结合关键词的新旧信息来研究重音在口语语篇理解中的作用,重读的单词比非重读的单词的N400波幅更大,重读与信息结构之间存在交互作用,即新信息条件下的重读与非重读的差异小于旧信息条件下二者的差异,表明被试能很快地将重读信息整合到之前的语境中,而且在正确的情况下(即新信息重读)整合相对容易。这些研究表明语篇的韵律信息可以让听者把更多的注意资源分配到重读的信息上,易化重读信息的加工,进而促进其语义整合。
除了口语语篇的韵律信息可以调节注意资源的分配,语篇中的焦点与新信息也可以使信息更为凸显,吸引更多注意。语篇的理解建立在系统组织和储存信息的基础上,话题结构和信息的新旧状态是信息加工中的两个核心成分(Hung&Schumacher,2012)。关于信息结构对语义整合的影响有很多研究,比如:Wang,Hagoort和Yang(2009)采用问答句的形式研究信息结构在语义加工中的作用,结果只在焦点位置发现了完全的N400效应,在非焦点位置出现了大大减小的N400效应。这表明信息结构通过给焦点信息分配更多的资源来易化语义加工。Chen,Li和Yang(2012)采用眼动技术研究了焦点与信息的新旧状态在语篇即时加工中的作用,发现焦点信息的加工快于非焦点信息,新信息的加工则慢于旧信息,表明了焦点和新旧状态是不同的概念,可能分别对应语篇加工的不同方面。而在关键词后的区域则出现了焦点信息和新旧信息的交互作用,表明在语篇整合阶段焦点信息和新旧信息存在复杂的关系。为了探讨关键词后出现的交互作用是加工关键词的效应的延续还是整合后面的词语时产生的效应,Chen,Wang和Yang(2014)采用ERP技术进一步探讨了焦点和新旧信息在语篇加工中的作用。结果发现焦点信息与非焦点信息相比,诱发了更大的P2和LPC,而新信息与旧信息相比,则诱发了更大的N400和更小的LPC,而且焦点和新旧信息之间不存在交互作用。这些结果表明焦点信息和新旧信息的加工包含不同的认知过程,在涉及信息结构的研究中需将二者区分开。Wang,Bastiaansen,Yang和Hagoort(2013)又研究了信息结构与词语的情绪性的交互作用,二者都出现了P200和N400效应,在N400时间窗口二者发生了交互作用,表明信息结构只影响中性词不影响情绪词,二者在早期阶段是独立起作用,后期阶段才出现了交互作用。这些研究表明了焦点信息通过调节注意的分配对语义整合有易化作用,而信息结构中的焦点与信息的新旧反映了不同的认知过程:焦点信息会影响注意分配和即时整合,而信息的新旧会对整合困难的加工和记忆提取有影响(Chen et al.,2014)。
语篇的加工不仅包括将新信息整合到之前的语境中,即语篇内容的表征,还包括语篇信息的组织方式,即语篇结构的表征(Yang,Chen,&Yang,2014)。语篇结构比较常见的有修辞结构和话题结构。修辞结构理论(RST)通过描述小句之间的关系以及各个小句对语篇的整体目标的作用来解释语篇的连贯性(Mann&Thompson,1988)。修辞结构理论自提出以来,被广泛应用于计算语言学、语篇分析、跨语言研究、对话与多媒体及写作中(Taboada&Mann,2006)。有关修辞结构对语义整合的影响的研究还比较少,只有Yang等人(2014)探讨了这一问题,他们设置了同一单元内(两小句的语义联系较强)的语义违反和跨单元(两小句的语义联系较弱)的语义违反,结果发现当语篇中两个小句的语义联系较强时,语义整合发生得更加充分;而当小句之间的语义联系较弱时,语义整合可能失败。这一研究表明,不仅语篇内容会影响语义整合,而且语篇的组织形式也会影响语义整合。
近些年来,研究者们开始关注话题结构在语篇理解中的作用,Hung和Schumacher(2012)用ERP来研究汉语语篇加工中的话题结构的特性,他们采用问答句,问句包括话题位置和非话题位置,答句分为话题延续、转换和新话题三种条件。在句子的不同位置(句首、句中、句末)记录了ERP,结果发现句首信息的加工受话题结构的调节,对N400和LPP的影响相似,表现为话题转换诱发的波幅大于新话题和话题延续诱发的波幅。Yang,Chen,Chen,Xu和Yang(2013)研究了话题结构是否会影响语篇中的语义整合。他们采用ERP技术,设置了两种话题结构―话题延续和话题转换,关键句中包含一个与第一个句子的话题一致或不一致的关键词,发现在话题延续的条件下出现了广泛分布的N400效应,而话题转换条件下出现了分布在右半球中后部的N400效应及晚期正成分。这一结果表明话题结构确实对语篇的语义整合产生了影响,即话题转换使得语篇结构更复杂,导致前期加工的减少,后期心理表征更新的加工增加。这些有关话题结构的研究都表明了在语义整合过程中工作记忆的作用,读者在加工一个话题的相关内容后将其保持在工作记忆中,发生话题转换时则需要建立一个关于新话题的心理表征,这时需要抑制之前的表征,使新话题的信息活跃在工作记忆中,积极建立新的表征。
语篇内部能够体现工作记忆的作用的因素还有语篇语境,保持在工作记忆中的语境信息会自上而下地对语篇中的语义整合产生影响。如:Cook和Myers(2004)用两个眼动实验研究了语境和语义知识在故事理解中的作用,发现语境对句子的角色填充词(role filler)的早期整合有影响,语义知识会继续影响其整合。实验结果支持两阶段的加工模型,第一阶段:展开的语篇与被激活的记忆内容相连接,第二阶段:对新旧信息之间的连接进行评估。而Nieuwland和van Berkum(2006)在实验中发现,独立呈现语义违反的句子时,诱发了N400效应。但在支持性语境中,这种效应完全消失了,这表明整体语境可以压制局部的词汇违反,也暗示我们语言理解不包括最初的独立于语境的语义分析,支持一阶段模型。可见,语篇限制性对语篇中的语义整合具有很大影响。既然语境的限制性会影响语义整合,那语境的限制性是来源于语篇的实际信息还是被激活的场景?Otten和van Berkum(2007)研究了这一问题,发现在语境限制性较强时,理解语篇需要迅速应用精确的信息。而在缺乏限制性很强的信息时,被激活的场景也可以较快地影响理解。这一研究表明当语境限制性较强时,语境信息对语篇的语义整合会有显著的影响,当限制性较弱时,可能会激活长时记忆中储存的相关场景来达成连贯理解。
3.2 非言语因素
非言语因素主要有世界知识、情绪和心境。
世界知识可以即时地影响语言理解(Hagoort et al.,2004;Münte,Schiltz,&Kutas,1998)。一些研究者认为语义和世界知识不应区分开,因为一个词语可能有多个意思,这个词语的意思需要激活世界知识才能完全确认(Jackendoff,2003)。Cook和Gueraud(2005)在基于记忆和基于解释的观点的基础上,提出了调节这两种观点的框架,认为早期阶段是基于记忆的,晚期阶段是基于解释的,世界知识在这两个阶段都发挥重要作用。Hald,Steenbeek-Planting和 Hagoort(2007)探讨了语篇语境与世界知识在语篇理解中的作用,发现在语篇理解中长时记忆中的世界知识与语篇语境存在交互作用,合适的语篇语境可以易化新的世界知识的整合,但不能推翻世界知识的影响,世界知识也不能推翻语篇语境的影响。世界知识是储存在长时记忆中的知识,一般会在特定的语境中被激活,如果看到的信息与读者的世界知识不符,就会出现加工困难。
情绪(emotion)在心理学领域研究较多,近年来研究者也越来越关注情绪在语篇理解中的作用。León,Díaz,de Vega 和 Hernández(2010)研究了语篇中的情绪信息的一致性对ERP成分的调节作用。让被试阅读带有情绪信息的故事,对关键句中的关键词设置了四种条件:与语篇情绪信息一致、不一致、语义违反及中性情绪,结果发现与语篇的情绪信息不一致的词语相对于一致的词语诱发了更大的N100/P200和N400,而在单独呈现的句子中这种效应则消失,表明情绪确实对语义整合产生了影响,而且的确是基于语篇水平的。还有研究从具身认知的角度来考察情绪对语篇理解的影响(Horchak,Giger,&Pochwatko,2014),他们研究了模拟情绪对语篇理解的影响,让被试阅读积极情绪的事件,操纵被试的面部表情与语篇的情绪一致或者不一致,并增加自然阅读的控制条件,采取自定步速的在线阅读和逐字阅读并回答问题的离线阅读两种方式,结果发现面部表情与语篇情绪一致的情况下,自定步速阅读的速度要比不一致和控制条件下快,而离线阅读则没有差异,表明这种情绪模拟可能对在线的阅读有影响,而对离线的阅读没有影响。由此可见,在研究语篇理解,尤其是对带有情绪性的语篇的理解时,我们需要将阅读者的情绪考虑进来,还要注意区分在线阅读和离线阅读的差异。
不仅情绪会影响语篇中的语义整合,读者或听者的心境(mood)的不同也会对其产生影响。Egidi和Gerrig(2009)诱导出被试的积极心境或消极心境,让被试阅读可以是积极结尾也可以是消极结尾的故事,实验一结果显示无论被试的心境如何,他们在整合消极情绪的结尾时耗时更长,故事结尾的效价对即时阅读有很大影响;实验二进一步让被试评价他们看到故事结尾时的惊讶程度,结果发现被试的心境的不同会使得他们对故事的结尾形成相应的不同的预期。Egidi和Nusbaum(2012)又以N400为指标,进一步研究了心境如何影响语篇中的语义整合,把被试分为高兴、悲伤和中性心境三组,来阅读积极结尾和消极结尾的故事。结果高兴组和中性组阅读消极结尾时的N400波幅更大,表现出了对消极结尾和心境一致性的敏感性。可见,读者的心境会对语篇中的语义整合会产生影响。在诱发了积极或消极的情绪或心境后,读者要对这些情绪或心境进行加工,需要占用注意资源,从而会影响注意分配及信息提取,因此会对语义整合产生不同作用。
3.3 个体差异因素
与语篇理解相关的个体差异主要有工作记忆容量和阅读能力。工作记忆容量与阅读能力之间存在很高的相关性,一般工作记忆容量大者阅读水平会高些。阅读能力一般的读者比阅读能力好的读者对语境的依赖性更大(Ashby,Rayner,&Clifton,2005)。
Borella和de Ribaupierre(2013)比较了不同年龄段的儿童在阅读理解中的表现的差异,发现年龄较大的儿童在工作记忆容量高的任务上的表现好于较小的儿童。高工作记忆者对语境中出现的与启动词相关的词语不敏感,可能高工作记忆者在整合新单词时有额外的、不同的加工方式。Otten和van Berkum(2009)用ERP的技术探讨了工作记忆容量是否会影响语篇中的预期的加工。结果发现工作记忆容量不影响对具体词的预期,即工作记忆容量高和工作记忆容量低的个体在限制性语篇中都会对某个具体的词自动地产生预期。然而在加工与预期不符的词语中二者表现出了差异,低工作记忆容量的个体出现了一个额外的晚期负成分,表明这些个体进行了进一步的加工,他们需要更多的资源去解决这种不一致或者他们需要更多的资源去抑制之前的预期。这些研究表明了不同工作记忆容量的个体在语篇理解中的加工方式可能存在差异,到底会有怎样的差异,这些差异发生在什么阶段,还需要进一步的研究。
语篇理解中语义整合的影响因素有很多,我们不能穷尽。以后研究者们可能会继续发现新的影响因素,而且各因素间可能存在交互作用。这提示我们在以后的研究中要考虑这些因素可能造成的影响,并对其进行适当控制。
4 总结与展望
4.1 N400、P600等成分的复杂性
目前关于语篇中的语义整合的时间进程的研究大都采用事件相关电位(ERP)技术,运用语义违反的范式,以N400和P600为指标来进行研究。这些研究表明N400对语义违反非常敏感,语义整合是即时发生的。另外,随后在语义违反中出现的P600成分的变化,被解释为高限制性语境下出现的语义错觉,从另一个角度证明了语义整合的即时性。
虽然我们认为语篇中的语义整合发生在N400的时间窗口内,在语境预期较强的情况下的语义违反词没有诱发N400效应反而诱发P600效应,对于这一现象,有些研究者也认为是由于语境的限制性太强,当前信息与之前信息进行即时的浅层整合导致的(Nieuwland,2013;Nieuwland&Martin,2012)。但是,随着ERP研究的增多,研究者们发现N400和P600这两个成分所涉及的认知过程也越来越复杂,如:Brouwer,Fitz和Hoeks(2012)在总结了关于语义错觉的几种解释模型后提出了一个“Retrieval-Integration”的解释模型,认为N400与记忆提取相关,P600与语义整合相关。这一模型可以较好地解释近年来发现的语义错觉现象,但这种解释只适用于与语境匹配较好的违反词的加工的解释,那些与语境匹配较差的违反词一般仅仅引起N400效应则很难用这种观点进行解释。
这些不同的观点也让我们看到对ERP成分解释的复杂性,同一个成分不同的研究者根据自己的实验范式和材料会给出不同的解释,相应的也会反映出不同的加工过程。我们不能简单地认为N400与语义加工相关,P600与句法加工相关,这些不同的成分之间可能会存在加工过程上的交叉与重合,像N400和P600都可能出现在语义整合过程中;而且不同的成分之间可能存在时间上的重合,像delayed N400和P600的时间窗口有很大的重合,可能只是波的极性不同,因此在解释它们代表的加工过程时需要谨慎对待。鉴于这种成分解释的多样性,我们认为仅仅用简单的ERP成分来解释某一认知功能可能有很多不足之处,我们可以充分利用EEG数据,结合溯源分析、时频分析等方法挖掘更多的有效信息,这样我们可以大致定位脑区并能得到频段和时间的对应关系,从而更加精确地揭示语义整合过程。
4.2 脑功能连接趋向
有关语篇中语义整合的神经机制,从具体脑区的功能的研究到神经网络的探讨,积累了大量实证研究数据。已经发现,额叶、颞叶、顶叶的某些部位都参与语义整合,但具体是哪些部位与语义整合密切相关,研究者没有达成一致。研究者们逐渐由具体脑区的定位转向神经网络的研究,发现额-颞网络参与语义违反的检测。在语义整合过程中具体存在怎样的神经网络的连接仍是需要研究的问题。
研究者们提出了一些模型来试图解释语言理解的神经机制,虽然这些模型在语言理解的加工过程上提出了不同的见解,但它们大都是只提出了某个加工过程可能与哪些具体的脑区相联系,对于多脑区的协同活动以及功能网络的解释力不足,未来可以结合脑功能连接的研究,通过计算机模拟大脑的活动来构建能够解释语义整合与功能网络的关联性的问题。
在语篇中的语义整合的神经机制问题上,我们也可以通过神经震荡的方法来探索脑区之间的连接。这方面的研究已经有了很多积累,研究者们对不同频段的能量变化给予了认知过程的解释,但还有很多问题有待解决。比如:很多研究仅仅是发现了某个频段的能量的变化就用这些变化来解释认知过程,这种解释与ERP的成分的分析没有本质的区别,都不能给出一个立体直观的解释,我们认为频段的分析需与其所在的脑区结合才能凸显其研究大脑功能连接的优势,这样我们就可以认为某一认知功能是由于一些脑区的神经共振导致的,这一认知功能的实现需要这些脑区的协同活动。
4.3 影响因素的进一步探讨
关于语义整合的影响因素,在非言语因素和个体差异上有很多问题需要研究,比如:长时记忆中的世界知识与语篇内因素尤其是语篇结构之间在语义整合上是否存在交互作用,病人(如:阅读障碍者、精神分裂症患者、阿尔兹海默症患者)在语义整合上与正常人之间的差异等。
我们重点关注语篇内因素可以深入研究的问题。语境是语篇加工中必然存在的因素,语境会使读者产生预期或激活世界知识,因此我们在研究语篇结构对语义整合的影响时要控制好语境的效应或者考察二者的交互作用。语篇结构中的修辞结构主要是来描述语篇的组织性、解释语篇的连贯性,主要关注语篇的层级性及核心性,目前的研究中主要关注了修辞结构中的层级性对语义整合的影响,而并没有关注修辞结构中的核心性的影响,在此基础上,未来研究可以进一步研究小句在语篇中的核心性对语义整合的影响。
除了修辞结构,语篇中还存在话题结构,在组织语篇,促进语篇的开展中话题结构也有重要作用。目前关于话题结构的研究主要把话题结构分为话题转换和话题延续,要深入探究话题结构对语义整合的影响,我们还需要进一步明确话题结构的性质及类型,比如:话题转换的类型可以根据两个话题之间的语义联系的强弱分为强转换与弱转换,进一步考察话题转换的不同程度对语义整合的影响有什么差异。目前关于话题结构的研究主要在工作记忆范畴下,长时记忆中的世界知识的激活会不会对话题结构的效应有调节作用呢?当语篇中出现两个话题时我们一般认为是话题转换了,但如果这两个话题之间是领属或整体-部分的关系时,它们语义上是有很强的衔接的,我们还不清楚读者关于这两个话题的关系的加工模式是与话题转换一致还是与话题延续一致。在研究方法上,限于EEG技术的要求,目前研究话题结构大都采用短语篇作为实验材料,这种材料一般不太符合语言的使用习惯,其生态效度令人担忧,未来研究也可以考虑采用更为自然的长语篇作为材料,通过自定步速阅读或眼动的方法来探究这一问题。
胡建军.(2003).话语分析与语篇.徐州建筑职业技术学院学报,3(4),50–52.
胡壮麟.(1994).语篇的衔接与连贯.上海:上海外语教育出版社.
黄国文,徐珺.(2006).语篇分析与话语分析.外语与外语教学,(10),1–6.
莫雷,王瑞明,冷英.(2012).文本阅读双加工理论与实验证据.心理学报,44(5),569–584.
王瑞明,莫雷.(2011).文本阅读中信息的协调性整合.心理科学进展,19(4),471–479.
杨晓虹.(2011).汉语语篇层级性和关系性的韵律特征和理解加工(博士学位论文).中国科学院研究生院,北京.
朱祖德,王穗苹,冯刚毅,李国超.(2011).语言理解中语义整合的神经机制.心理科学,34(5),1062–1067.
Ashby,J.,Rayner,K.,&Clifton,C.(2005).Eye movements of highly skilled and average readers:Differential effects of frequency and predictability.The Quarterly Journal of Experimental Psychology,58A(6),1065–1086.
Bastiaansen,M.,&Hagoort,P.(2006).Oscillatory neuronal dynamicsduring language comprehension.Progress in Brain Research,159,179–196.
Beaugrande,R.,&Dressler,W.(1981).Introduction to text linguistics.London and New York:Routledge.
Berkum,J.v.,Hagoort,P.,&Brown,C.(1999).Semantic integration in sentences and discourse:Evidence from the N400.Journal of Cognitive Neuroscience,11(6),657–671.
Borella,E.,& deRibaupierre,A.(2013).The roleof working memory,inhibition,and processing speed in text comprehension in children.LearningandIndividual Differences,34,86–92.
Brouwer,H.,Fitz,H.,&Hoeks,J.(2012).Getting real about semantic illusions:Rethinking the functional role of the P600 in language comprehension.Brain Research,1446,127–143.
Brown,C.,&Hagoort,P.(1993).The processing nature of the N400:Evidence from masked priming.Journal of Cognitive Neuroscience,5(1),34–44.
Chen,L.J.,Li,X.S.,&Yang,Y.F.(2012).Focus,newness and their combination:Processing of information structure in discourse.PloS One,7(8),e42533.
Chen,L.J.,Wang,L.,&Yang,Y.F.(2014).Distinguish between focus and newness:An ERP study.Journal of Neurolinguistics,31,28–41.
Cook,A.E.,&Gueraud,S.(2005).What have we been missing?The role of general world knowledge in discourse processing.Discourse Processes,39(2-3),265–278.
Cook,A.E.,&Myers,J.L.(2004).Processing discourse roles in scripted narratives:The influences of context and world knowledge.Journal of Memory and Language,50(3),268–288.
de Beaugrande,R.-A.,&Dressler,W.U.(1981).Introduction to text linguistics(Vol.1).London:Longman.
Egidi,G.,&Caramazza,A.(2013).Cortical systems for local and global integration in discourse comprehension.NeuroImage,71,59–74.
Egidi,G.,&Gerrig,R.J.(2009).How valence affects language processing:Negativity bias and mood congruence in narrative comprehension.Memory&Cognition,37(5),547–555.
Egidi,G.,&Nusbaum,H.C.(2012).Emotional language processing:How mood affects integration processes during discourse comprehension.Brain and Language,122(3),199–210.
Friston,K.J.,Bastos,A.M.,Pinotsis,D.,&Litvak,V.(2015).LFP and oscillations—whatdo they tellus?Current Opinion in Neurobiology,31,1–6.
Graesser,A.C.,Singer,M.,&Trabasso,T.(1994).Constructing inferences during narrative text comprehension.Psychological Review,101(3),371–395.
Güntekin,B.,& Başar,E.(2014).A review ofbrain oscillations in perception of faces and emotional pictures.Neuropsychologia,58,33–51.
Hagoort,B.,&Willems,R.M.(2009).Semantic unification In M.S.Gazzaniga(Ed.),The new cognitive neurosciences(4th ed.,pp.819–836).London:MIT Press.
Hagoort,P.(2005).On Broca,brain,and binding:A new framework.Trends in Cognitive Sciences,9(9),416–423.
Hagoort,P.(2013).MUC(Memory,Unification,Control)and beyond.Frontiers in Psychology,4,416–429.
Hagoort,P.,Brown,C.,& Groothusen,J.(1993).The syntactic positive shift(SPS)asan ERP measure of syntactic processing.Language and Cognitive Processes,8(4),439–483.
Hagoort,P.,Hald,L.,Bastiaansen,M.,&Petersson,K.M.(2004).Integration of word meaning and world knowledge in language comprehension.Science,304(5669),438–441.Hald,L.A.,Bastiaansen,M.,&Hagoort,P.(2006).EEG theta and gamma responses to semantic violations in online sentence processing.Brain and Language,96(1),90–105.
Hald,L.A.,Steenbeek-Planting,E.G.,&Hagoort,P.(2007).The interaction of discourse context and world knowledge in online sentencecomprehension.Evidencefrom the N400.Brain Research,1146,210–218.
Halliday,M.A.,&Hasan,R.(1976).Cohesion in English.London:Longman.
Hess,D.J.,Foss,D.J.,&Carroll,P.(1995).Effects of global and local context on lexical processing during language comprehension.JournalofExperimental Psychology:General,124(1),62–82.
Horchak,O.V.,Giger,J.-C.,& Pochwatko,G.(2014).Discourse comprehension and simulation of positive emotions.Psicológica,35,17–37.
Hung,Y.-C.,&Schumacher,P.B.(2012).Topicality matters:Position-specific demands on Chinese discourse processing.Neuroscience Letters,511(2),59–64.
Jackendoff,R.(2003).Précis of foundations of language:Brain,meaning,grammar,evolution.Behavioral and Brain Sciences,26(6),651–665.
Jung-Beeman,M.(2005).Bilateralbrain processes for comprehending naturallanguage.TrendsinCognitive Sciences,9(11),512–518.
Kaan,E.,Harris,A.,Gibson,E.,&Holcomb,P.(2000).The P600 as an index ofsyntactic integration difficulty.Language and Cognitive Processes,15(2),159–201.
Klimesch,W.(2012).Alpha-band oscillations,attention,and controlled access to stored information.Trends in Cognitive Sciences,16(12),606–617.
Kutas,M.,& Hillyard,S.A.(1980).Reading senseless sentences:Brain potentials reflect semantic incongruity.Science,207(4427),203–205.
Lau,E.F.,Phillips,C.,&Poeppel,D.(2008).A cortical network for semantics:(de)constructing the N400.Nature Reviews Neuroscience,9(12),920–933.
León,I.,Díaz,J.M.,de Vega,M.,&Hernández,J.A.(2010).Discourse-based emotional consistency modulates early and middle components of event–related potentials.Emotion,10(6),863–873.
Li,X.Q.,Hagoort,P.,&Yang,Y.F.(2008).Event-related potential evidence on the influence of accentuation in spoken discourse comprehension in Chinese.Journal of Cognitive Neuroscience,20(5),906–915.
Li,X.Q.,Yang,Y.F.,&Hagoort,P.(2008).Pitch accent and lexical tone processing in Chinese discourse comprehension:An ERP study.Brain Research,1222,192–200.
Mann,W.C.,& Thompson,S.A.(1988).Rhetorical structure theory:Toward a functionaltheory oftext organization.Text,8(3),243–281.
McKoon,G.,&Ratcliff,R.(1998).Memory–based language processing:Psycholinguistic research in the 1990s.Annual Review of Psychology,49(1),25–42.
Mellem,M.S.,Friedman,R.B.,&Medvedev.A.V.(2013).Gamma-and theta-band synchronization during semantic priming reflectlocaland long-range lexical-semantic networks.Brain and Language,127(3),440–451.
Miltner,W.H.,Braun,C.,Arnold,M.,Witte,H.,&Taub,E.(1999).Coherence of gamma-band EEG activity as a basis for associative learning.Nature,397(6718),434–436.
Münte,T.F.,Schiltz,K.,&Kutas,M.(1998).When temporal terms belie conceptual order.Nature,395(6697),71–73.
Nieuwland,M.S.(2013).“If a lion could speak…”:Online sensitivity to propositional truth-value of unrealistic counterfactual sentences.Journal of Memory and Language,68(1),54–67.
Nieuwland,M.S.,&Martin,A.E.(2012).If the real world were irrelevant,so to speak:The role of propositional truth-value in counterfactualsentence comprehension.Cognition,122(1),102–109
Nieuwland,M.S.,&van Berkum,J.J.(2005).Testing the limits of the semantic illusion phenomenon:ERPs reveal temporary semantic change deafness in discourse comprehension.Cognitive Brain Research,24(3),691–701.
Nieuwland,M.S.,&van Berkum,J.J.(2006).When peanuts fall in love:N400 evidence for the power of discourse.Journal of Cognitive Neuroscience,18(7),1098–1111.
O'Brien,E.J.,Rizzella,M.L.,Albrecht,J.E.,&Halleran,J.G.(1998).Updating a situation model:A memory-based text processing view.Journal of Experimental Psychology:Learning,Memory,and Cognition,24(5),1200–1210.
Osterhout,L.,&Holcomb,P.J.(1992).Event-related brain potentials elicited by syntactic anomaly.Journalof Memory and Language,31(6),785–806.
Otten,M.,&van Berkum,J.J.A.(2007).What makes a discourse constraining?Comparing the effects of discourse message and scenario fit on the discourse-dependent N400 effect.Brain Research,1153,166–177.
Otten,M.,&van Berkum,J.J.A.(2009).Does working memory capacity affect the ability to predict upcoming words in discourse?Brain Research,1291,92–101.
Salmon, N., & Pratt,H. (2002).A comparison of sentence-and discourse-level semantic processing:An ERP study.Brain and Language,83(3),367–383.
Sanford,A.J.,Leuthold,H.,Bohan,J.,&Sanford,A.J.(2011).Anomalies at the borderline of awareness:An ERP study.Journal of Cognitive Neuroscience,23(3),514–523.
Schumacher,P.B.,&Baumann,S.(2010).Pitch accent type affects the N400 during referential processing.NeuroReport,21(9),618–622.
Sedivy,J.C.,Tanenhaus,M.K.,Chambers,C.G.,&Carlson,G.N.(1999).Achieving incremental semantic interpretation through contextual representation.Cognition,71(2),109–147.
Shibata,M.,Abe,J.-i.,Itoh,H.,Shimada,K.,&Umeda,S.(2011).Neural processing associated with comprehension ofan indirectreply during a scenario reading task.Neuropsychologia,49(13),3542–3550.
Singer,M.,Graesser,A.C.,&Trabasso,T.(1994).Minimal or global inference during reading.Journal of Memory and Language,33(4),421–441.
Taboada,M.,&Mann,W.C.(2006).Rhetorical structure theory:Looking back and moving ahead.Discourse Studies,8(3),423–459.
Tallon-Baudry,C.,& Bertrand,O.(1999).Oscillatory gamma activity in humans and its role in object representation.TrendsinCognitiveScience,3(4),151–162.
Urrutia,M.,de Vega,M.,& Bastiaansen,M.(2012).Understanding counterfactuals in discourse modulates ERP and oscillatory gamma rhythms in the EEG.Brain Research,1455,40–55.
van Berkum,J.J.(2012).The electrophysiology of discourse and conversation.In M.J.Spivey,K.McRae,&M.F.Joanisse(Eds.),The Cambridge handbook of psycholinguistics(pp.589–614).New York:Cambridge University Press.
van Berkum,J.J.,Brown,C.M.,&Hagoort,P.(1999).Early referential context effects in sentence processing:Evidence from event–related brain potentials.Journal of Memory and Language,41(2),147–182.
van Berkum,J.J.,Zwitserlood,P.,Hagoort,P.,&Brown,C.M.(2003).When and how do listeners relate a sentence to the wider discourse? Evidence from the N400 effect.Cognitive Brain Research,17(3),701–718.
van den Broek,P.,Rapp,D.N.,&Kendeou,P.(2005).Integrating memory-based and constructionist processes in accounts of reading comprehension.Discourse Processes,39(2-3),299–316.
van den Broek,P.,Risden,K.,Fletcher,C.R.,&Thurlow,R.(1996).A “landscape”view of reading:Fluctuating patterns of activation and the construction of a stable memory representation.In.B.K.Britton&A.C.Graesser(Eds.),Models of understanding text(pp.165–187).London:Psychology Press.
van Petten,C.,Coulson,S.,Rubin,S.,Plante,E.,&Parks,M.(1999).Time course of word identification and semantic integration in spoken language.Journal of Experimental Psychology:Learning,Memory,and Cognition,25(2),394–417.
Wang,L.,Bastiaansen,M.,Yang,Y.,&Hagoort,P.(2013).ERP evidence on theinteraction between information structure and emotionalsalience of words.Cognitive,Affective,&Behavioral Neuroscience,13(2),297–310.
Wang,L.,Hagoort,P.,&Yang,Y.F.(2009).Semantic illusion depends on information structure:ERP evidence.Brain Research,1282,50–56.
Wang,L.,Jensen,O.,van den Brink,D.,Weder,N.,Schoffelen,J.M.,Magyari,L.,...Bastiaansen,M.(2012).Beta oscillations relate to the N400m during language comprehension.Human Brain Mapping,33(12),2898–2912.
Wang,L.,Zhu,Z.,&Bastiaansen,M.(2012).Integration or predictability?A further specification of the functional role of gamma oscillations in language comprehension.Frontiers in Psychology,3,187–199.
Xu,J.,Kemeny,S.,Park,G.,Frattali,C.,&Braun,A.(2005).Language in context:Emergent features of word,sentence,and narrative comprehension.NeuroImage,25(3),1002–1015.
Yang,X.H.,Chen,L.J.,&Yang,Y.F.(2014).The effect of discourse structure on depth of semantic integration in reading.Memory&Cognition,42,325–339.
Yang,X.H.,Chen,X.H.,Chen,S.,Xu,X.Y.,&Yang,Y.F.(2013).Topic structure affects semantic integration:Evidence from Event-related potentials.PloS One,8(12),e79734.