句子理解中颜色信息的心理表征*

2013-02-03鲁忠义

心理学报 2013年4期

张盼鲁忠义

(1河北师范大学教育学院,石家庄 050024) (2中国科学院心理研究所,北京 100101)

1 引言

随着体验认知(embodied cognition)的发展,Barsalou(1999)提出了知觉符号系统(Perceptual Symbols System)。该理论认为语言理解必然会激活相应的知觉符号。在此基础之上,Zwaan(2003)提出了阅读的身临其境框架(The Immersed Experiencer Frame,简称IEF)理论,认为阅读理解的实质就是读者对所描述的情境进行身临其境的体验。这些理论得到了大量的实证研究的证实(Yaxley&Zwaan,2007;Zwaan&Taylor,2006;王瑞明,莫雷,李利,王穗苹,吴俊,2005;Zwaan,Stanfield,&Yaxley,2002;Glenberg&Kaschak,2002;Stanfield&Zwaan,2001)。

颜色作为一种知觉信息,也受到了认知心理学,特别是第二代认知科学的关注。

首先,语言理解中颜色加工的体验观得到了神经影像和行为实验的支持。按照体验认知理论,在语言的表达中提起一种特定的颜色(例如,红)或具有特定颜色的物体(例如,鲜血)都会激活相应的颜色表征。Simmons等人 (2007)利用fMRI技术发现,相对于加工动作概念,被试在加工颜色概念和完成颜色知觉任务时,左侧梭状回都高度激活。实验结果直接证明了颜色知觉和颜色概念加工具有相同的神经机制,为知觉符号理论提供了强有力的证据。在行为研究方面,Richter和Zwaan(2009)的研究排除了被试对色块采用词汇表征策略的可能性,探索了颜色词加工的过程中是否自动激活颜色信息。结果显示,无论实验是否要求被试对颜色词进行真假词判断,只要当先前的色块和颜色词所表达的颜色信息相匹配时,被试对于探测色块的判断反应都快于不匹配条件,即出现匹配易化或不匹配抑制现象。实验结果支持了语言理解的体验观,即听到或读到一个颜色词时,被试会进行一种心理表征,这种表征包含的内容和知觉颜色时的表征具有同一性。

其次,一些研究虽然也支持语言理解中颜色加工的体验观,但实验结果却出现了颜色信息不匹配条件下被试的反应速度快于匹配条件现象,即不匹配易化或匹配抑制现象。Connell(2007)最早在句子水平上对语言理解中颜色信息的心理表征进行了研究。他们用句子作为实验材料,句子中关于物体颜色的信息都是隐含的。例如,句子John look at the steak on his plate,隐含的肉的颜色信息是棕色的;而句子John look at the steak on the butcher’s window,隐含的肉的颜色信息是红色的。实验要求被试自定步速阅读句子,读完后间隔500ms出现探测图片,被试需要判断图片中的物体是否在前面的句子中提到过。研究发现,句-图不匹配条件下被试对图片的判断反应快于匹配条件。

另外,其它研究则进一步探索了语言理解中物体的典型和非典型颜色是如何表征的。典型颜色,指当人们提到某物体时最先想起的或最常见的该物体的颜色,反之则是非典型颜色。例如,番茄的典型颜色是红色,非典型颜色是绿色。Connell和Lynott(2009)采用Stroop范式的变式探讨了语言理解中物体颜色的典型性对心理表征的影响。实验中被试先自定步速阅读隐含物体颜色信息的句子(典型或非典型颜色),间隔500ms后对目标词的墨色(典型或非典型颜色)进行口头命名。结果在匹配条件下被试对非典型颜色墨块的命名反应快于不匹配条件。Therriault,Yaxley和Zwaan(2009)的研究发现,当探测图片中物体颜色和现实中物体的典型颜色匹配时,被试的命名任务、分类任务和阅读任务的反应时都最短。曹静 (2010)使用句-图范式探讨了图式(物体颜色的典型性)和阅读广度对句子中隐含颜色信息心理表征的影响。结果发现,被试在阅读理解的过程中对物体的颜色进行了心理表征,支持了语言理解的体验观,并且日常生活中积累的有关物体典型颜色的图式和阅读广度在颜色信息表征过程中起作用。

综合上述可以看出,语言理解过程中隐含的物体颜色信息确实能被心理表征,而且物体颜色的典型性对心理表征过程有重要影响。但我们也发现,在对句子理解中的颜色信息进行心理表征的研究中,有一些值得进一步探讨的问题。

首先,以往的研究中,相同或相似的实验范式得到的结果却完全相异,即有的实验得到的是匹配条件下的易化反应和不匹配条件下的抑制反应,而有的实验则完全相反,得到的是匹配条件下的抑制反应和不匹配条件下的易化反应。例如,Connell(2007)和曹静(2010)使用了相同的实验范式和实验程序,但是Connell(2007)得出的结果是句-图匹配的条件下被试的判断反应慢,而曹静(2010)得出的结果是句-图匹配的条件下被试的判断反应快。Connell和Lynott(2009)采用的Stroop范式其实是Connell(2007)中句-图范式的变式,唯一的区别是前者判断任务是命名墨色,后者反应任务是判断图片,但是前者得出的结果是匹配条件下被试的反应快,而后者得出的结果是匹配条件下被试的反应慢。

那么,相同或相似的实验范式得到的结果为什么却完全相异呢？一个可能的原因是不同实验使用的实验材料和实验任务不同;另一个原因是句子和图片之间的时间间隔问题。考察句子整合之后知觉信息的心理表征的研究当中,句子和图片的时间间隔是一个很重要的自变量。在上述的这些研究中,设置的句-图间隔都是500 ms。而这个时间间隔一般来说是心理表征的中期,这个时间间隔往往是某种心理状态出现与否的转折点,这样就有可能因不同的实验条件而导致匹配易化和匹配抑制的出现。本实验的一个主要目的是考察句子理解中颜色信息心理表征的即时性,同时找到导致匹配易化和匹配抑制的原因,因此我们试图在同样的实验条件下,设置两个差异较大的时间间隔(早期和晚期)来解决这些问题。根据以往的研究,这样来设计实验,预期可能会出现长时间间隔条件下匹配易化和短时间间隔条件下不匹配易化的结果。

假如在同一个实验中利用相同实验材料和实验范式,从而证实了我们的预测：颜色信息加工的早期出现的是不匹配易化,而后期则是匹配易化,那么早期的不匹配易化是不是反映的是颜色信息加工的即时性呢？如果是,其背后的认知机制是什么呢？这是本研究要探讨的第一个问题。

其次,以往的研究考察的是句子整合之后颜色信息的心理表征,对句子阅读过程中颜色信息加工的即时性和局部性目前尚无研究。不过,以往句子理解过程中动作信息表征的即时性和局部性的研究范式,对本实验是有启发的。Zwaan和Taylor(2006)考察了句子理解过程中动作信息的激活特性。结果发现阅读动词时出现了匹配效应,即动词指称的动作旋转方向和把手旋转方向一致时被试对动词的阅读时间更短。这表明,句子阅读过程中动作信息的心理表征是一种立即的短时效应,它的产生具有即时性与局部性。而且这种匹配效应在其他区域,即使在紧跟动词之后的宾语区,也没有出现。借鉴Zwaan和Taylor(2006)的研究思路,在句子阅读过程中颜色信息的心理表征是否也像动作信息那样具有即时性和局部性呢？而且物体颜色的典型性会对它造成什么影响呢？这是本研究要探讨的第二个问题。

第三,语言理解中颜色信息发生动态变化时的心理表征是什么样的,目前这方面的研究尚是空白。先前的研究只涉及静态语境下单一的颜色信息,即一个句子中只涉及某物体的一种颜色。实验三则是要研究动态语境条件下的颜色信息的心理表征。这里所谓的动态性是指在一个句子中隐含的物体的颜色从一种颜色变成了另一种颜色。例如,“我扔掉了课本里那片枯叶,又从树上摘下了一片嫩叶”,句子中隐含的树叶颜色从黄色变成了绿色。那么,在语境中颜色信息发生动态变化的情况下大脑还能对其进行即时地心理表征吗？这和静态颜色信息的心理表征有什么相同和不同之处呢？物体颜色的典型性又会对动态颜色信息的心理表征有什么影响呢？这是本研究要探讨的第三个方面的问题。

根据上述分析,我们试图通过三个实验对语言理解中颜色信息的心理表征的特点和机制进行深入的探讨。实验一考察句子整合后颜色信息的心理表征的特点和机制。由于本实验关注的不是这两种状态间的转折点,而只是这两种状态的存在性及其背后的反应机制,所以我们在句-图范式中只把句-图之间的时间间隔设置为0 ms(句子理解早期)和1500 ms(句子理解晚期)两种情况。实验二在实验一的基础上,进一步考察句子阅读过程中颜色信息的心理表征的即时性和局部性问题。实验三考察当语境中的颜色信息发生动态变化时大脑是如何对其进行心理表征的。

2 实验一句子整合后颜色信息的心理表征

2.1 被试

38名大学生,视力或矫正视力正常,无阅读障碍且色觉正常。

2.2 实验材料及其评定

采用曹静(2010)的实验材料。实验材料总共4个版本,每个版本都包括10个实验句、6个练习句和10个填充句。实验材料举例见表1。

20名没有参加正式实验的被试对三个实验的全部实验材料进行了评定。给被试呈现一个句子和一个图片,让被试判断句子所表达的意义与图片是否搭配。例如,呈现给被试“珍妮尝了一口成熟的番茄”和一张红色番茄图片,或“珍妮尝了一口没成熟的番茄”和一张绿色番茄的图片,让被试判断两者是否匹配。这相当于对每个目标物体要进行两次判断,一次句子与典型颜色匹配与否的判断,一次句子与非典型颜色匹配与否的判断。评定的结果是,除了关于“肉”的这一句与其图的匹配被试认为是90%,对其他所有材料,100%的被试认为句子和图片是匹配的。

2.3 实验设计

本实验为2(句子版本：典型颜色版本与非典型颜色版本)×2(匹配状态：匹配与不匹配)×2(句-图间隔：0 ms与1500 ms)的混合实验设计。前两个因素是被试内设计,第三个因素是被试间设计。因变量为被试对图片判断的反应时。本研究包含四个实验序列,目的是控制实验材料和实验条件的顺序效应。涉及同一物体的两个实验句子(A1、A2)和两幅探测图片(B1、B2)可以搭配成4种版本,分别是A1B1、A1B2、A2B1、A2B2。其中,A1B1和A2B2为匹配条件,A1B2和A2B1为不匹配条件。对于某一种物体,每个实验序列只包含其一种版本。另外,练习句和填充句在每个实验序列中都相同。20个实验句子在4个实验序列中总共出现两次,10个填充句和6个练习句在4个实验序列中总共出现4次。被试被随机分配到其中一个序列。

表1 句子版本、图片刺激材料

2.4 实验程序

首先在屏幕中央呈现一个“+”1000 ms,接下来呈现句子。被试理解完句子后按空格键,句子消失,屏幕中央再次呈现一个“+”(0 ms或1500ms)。然后呈现图片,被试需要判断图片中的物体在刚才的句子中是否提到过。提到过按“J”键;没有提到过按“F”键。为保证被试认真阅读句子,在填充句后面出现基于句子理解的问题,一半问题与呈现过的句子的意义相符,其正确答案为“是”反应,按“J”键;另一半不相符,被试做“否”反应,按“F”键。

2.5 实验结果

首先,剔除图片判断任务或理解问题任务的错误率高于20%被试2名,占总数的5.26%。再删除2.5个标准差之外的极端值,最后得到36个被试的有效数据。各种条件下被试对图片判断的反应时和标准差见表2。

由于本研究关注的只是被试在不同时间进程上的反应趋势,并且句-图间隔为被试间因素,所以为了便于讨论,我们把两种句-图间隔下的数据分开分析,其中0 ms间隔下19名被试数据,1500ms间隔下17名被试数据。分别以被试和项目为随机变量,对图片判断反应时(因变量)进行重复测量方差分析(即F和F)。统计结果表明：0 ms间隔下,句子版本主效应不显著,

(1,18)=0.267,

=0.612,

(1,18)=0.134,

=0.719;匹配状态主效应显著,

(1,18)=15.312,

=0.001,

(1,18)=5.838,

=0.027,被试对与句子版本相匹配的图片的反应(1593 ms)显著慢于与句子版本不匹配的图片的反应(1379 ms);句子版本和匹配状态交互作用不显著,

(1,18)=0.793,

=0.401,

(1,18)=0.270,

=0.870。1500 ms间隔下,句子版本主效应不显著,

(1,16)=0.940,

=0.347,

(1,18)=1.501,

=0.236;匹配状态主效应显著,

(1,16)=14.372,

=0.002,

(1,18)=9.767,

=0.006,被试对与句子版本相匹配的图片的反应(1283 ms)显著快于与句子版本不匹配的图片的反应(1494 ms);句子版本和匹配状态交互作用不显著,

(1,16)=0.064,

=0.803,

(1,18)=0.502,

=0.488。

2.6 讨论

由于实验一考察的是句子整合后颜色信息的心理表征的特点,所以我们采用了句-图匹配与否的研究范式。结果表明,在句子理解早期,句-图不匹配条件下促进图片的判断;相反,在句子理解晚期,句-图匹配条件下促进图片的判断。句子理解早期的不匹配易化现象跟Connell(2007)的研究结果一致,而句子理解晚期的匹配易化现象跟Connell和Lynott(2009)以及曹静(2010)的研究结果一致。匹配易化和不匹配易化,看起来是一种矛盾的现象,其实不然。以往的研究并没有把句-图间隔作为自变量,而仅仅设置了单一的时间点(例如,500 ms),以至于采用相同或相似的实验范式得到了不同的研究结果。具体来说,有可能Connell(2007)的实验材料对于参与该实验的被试来说相对困难,因此500 ms句-图时间间隔对于被试来说属于句子阅读早期,以至出现不匹配易化现象;而曹静(2010)的实验材料对于参与该实验的被试来说相对容易,因此500 ms句-图时间间隔对于被试来说属于句子阅读晚期,以至出现匹配易化现象。本实验设计两个时间点,得出了不同时间间隔条件下的匹配易化和不匹配易化的结果,说明这种看似矛盾的现象,只是在不同时间进程上的表现。至于这种现象背后的机制,我们在综合讨论中再进行详细探讨。

实验一探讨了句子整合后颜色信息心理表征的特点,但是句子阅读过程中颜色信息的心理表征是怎样的呢？是否像以往关于动作表征的研究结果那样,也具有即时性和局部性呢？物体颜色的典型性会对颜色信息的心理表征有什么影响呢？为研究这些问题,实验二采用实时(on-line)测量的句-图窗口范式进行探讨。因为实验二考察的是句子阅读过程中颜色信息的心理表征的特点,此时被试正处于句子理解早期,所以我们预期实验二出现不匹配易化现象。

表2 各种条件下被试对图片判断的反应时和标准差(ms)

3 实验二句子阅读过程中颜色信息心理表征

3.1 被试

21名大学生,视力或矫正视力正常,无阅读障碍且色觉正常。

3.2 实验材料

由于实验设计的需要,句子将以词(或字)和图的混合方式组成,其中目标词会被图片代替,就是说在目标词的位置出现的不是那个词,而是与那个词相对应的图片。例如 “妈妈︳用︳成熟︳的︳番茄︳做成︳一锅︳汤”,例句中的“番茄”一词被一张画有番茄的图片代替。实验图片分为匹配版本和不匹配版本。以上面这个材料为例,匹配版本是红色的番茄图片,不匹配版本是绿色的番茄图片。填充材料句中的图片都是无关物体,与语境毫不相关。先前的研究表明词和图片都能在普遍概念系统(general-purpose conceptual system)中激活相应的表征,所以这种图片代替词汇的呈现方式相当于正常的阅读理解(Potter,Kroll,Yachzel,Carpenter,&Sherman,1986)。实验材料总共包括16个实验句、6个练习句和8个填充句,事先均经过评定。

3.3 实验设计

本实验为2(句子版本：典型颜色版本与非典型颜色版本)×2(匹配状态：匹配与不匹配)被试内设计。因变量是被试对图片、图片后第一个词、图片后第二个词的阅读时间。实验序列及被试分配方法同实验一。

3.4 实验程序

首先屏幕中央会出现一个“+”1000 ms,然后实验材料以词(图)为单位依次呈现。被试需要按空格键自定步速进行阅读,按一下空格当前的这个词就被下一个词替换。其中目标词会被图片所代替,并不影响阅读。句子呈现完之后屏幕上会出现一个“这句话有意义吗？”的问题,这时被试需要判断整句话有无意义。有意义按F键,无意义按J键。接着会出现一个提示“******”500 ms,然后出现一个再认词。被试需要判断这个词在先前的句子中有没有出现过,出现过按F键,没出现按J键。对于实验句,有无意义判断的正确答案均为F键;对于填充句,有无意义判断的正确答案均为J键;对于练习句,F键和J键反应各占一半。对于再认词判断任务,F键和J键反应在每种类型的句子中都各占一半。

3.5 实验结果

首先,剔除句子意义判断任务或词汇再认任务的错误率高于20%的被试3名,占总数的14.2%。再删除2.5个标准差之外的极端数据,最后得到18个被试的有效数据。各种条件下句子阅读反应时和标准差见表3。

分别以被试和项目为随机变量,对各探测窗口的阅读时间(因变量)进行重复测量方差分析(即F和F)。统计结果表明,对于图片的阅读时间：句子版本主效应不显著,

(1,17)=0.486,

=0.495,

(1,14)=0.247,

=0.627;匹配状态主效应显著,

(1,17)=6.212,

=0.023,

(1,14)=5.264,

0.038,不匹配条件(780 ms)快于匹配条件(909 ms);交互作用不显著,

(1,17)=1.473,

=0.241,

(1,14)=1.086,

=0.315。对于图后第一个词的阅读时间：句子版本主效应不显著,

(1,17)=0.02,

=0.890,

(1,14)=0.619,

=0.445;匹配状态主效应显著,

(1,17)=4.96,

=0.040,

(1,14)=4.741,

=0.047,不匹配条件(501 ms)快于匹配条件(561 ms);交互作用显著,

(1,17)=6.409,

=0.022,

(1,14)=2.214,

=0.159。进一步简单效应分析表明,匹配状态在典型颜色版本上差异不显著,

(1,17)=0.35,

=0.562;匹配状态在非典型颜色版本上差异显著,

(1,17)=8.363,

=0.01,在句子语境支持非典型颜色的情况下,不匹配条件(477 ms)快于匹配条件(580 ms)。

表3 各种条件下句子阅读的反应时和标准差(ms)

对于图后第二个词的阅读时间：句子版本主效应不显著,

(1,17)=0.378,

=0.547,

(1,14)=1.132,

=0.305;匹配状态主效应不显著,

(1,17)=2.169,

=0.159,

(1,14)=1.782,

=0.203;交互作用不显著,

(1,17)=0.146,

=0.708,

(1,14)=0.168,

=0.688。

3.6 讨论

在解决匹配易化和不匹配易化问题的基础上,实验二进一步考察了句子理解过程中颜色信息的心理表征的即时性和局部性。结果显示,对于图片窗口,不匹配条件下被试的阅读时间显著短于匹配条件。这表明,被试在语言理解过程中可以迅速表征颜色信息,颜色信息的心理表征具有即时性。对于图后第一个词的阅读时间,匹配状态主效应显著,不匹配条件显著短于匹配条件。这表明,颜色信息的心理表征延续到了图片后第一个词,句子阅读过程中颜色信息的心理表征是非局部的。不过这种非局部性特点是有条件的,从句子版本和匹配状态的交互作用看,在句子语境支持非典型颜色的情况下,不匹配条件显著短于匹配条件;而在句子语境支持典型颜色的情况下,匹配条件与不匹配条件无显著差异。这表明,句子阅读中,只有非典型颜色的心理表征是非局部性的,而典型颜色的心理表征是局部性的。对于图片后第二个词的阅读时间,所有条件下均无显著差异。这表明,在句子阅读过程中,颜色信息心理表征的非局部特点不仅是在非典型颜色的语境下才出现,而且它也只能延续到图片后第一个词。值得注意的是,实验二是一种自定步速的阅读过程,相邻刺激(词与词,或词与图)之间的时间间隔为0 ms。这种句子实时阅读可以看成句子理解早期,它和实验一中的0 ms句-图时间间隔属于同一种情况,所以出现的都是不匹配易化现象。同样,其背后的机制在综合讨论部分再详细解释。

实验一和实验二分别探讨了句子整合后和句子阅读过程中颜色信息的心理表征,但它们和先前的研究一样都只涉及静态语境下单一的颜色信息,即一个句子中只涉及某物体的一种颜色。如果语境中颜色信息发生动态变化,大脑还能对其进行心理表征吗？这和静态颜色信息的心理表征又有什么不同呢？由于动态颜色信息的心理表征是一个很复杂的问题,因此,我们需要先考察句子整合后的心理表征的过程。如果在句子整合后的理解初期大脑就能对发生变化的颜色信息进行心理表征,我们再在后续的实验中考察句子实时阅读过程中动态变化颜色信息的心理表征过程。如果句子整合后的理解初期大脑还不能对发生变化的颜色信息进行心理表征,那么在句子实时阅读过程中也就不可能对其进行心理表征,因此也就无需对其进行研究了。

4 实验三动态变化语境下颜色信息的心理表征

4.1 被试

44名大学生,视力或矫正视力正常,无阅读障碍且色觉正常。

4.2 实验材料

实验材料是在实验一的基础上改编而成的,每个实验句都包含一种物体的两种颜色信息。例如“我扔掉了夹在课本里的那片枯叶,又从树上摘下了一片嫩叶。”,表达的是树叶从黄色到绿色的转换,这种情况的句子的版本为典型颜色版本。绿色的树叶的图片与此句构成匹配状态,黄色的树叶的图片与此句构成不匹配状态。实验材料总共4套版本,每套材料都包括10个实验句、6个练习句和10个填充句,事先均经过评定。填充材料句中的图片都是与它无关的物体,与语境毫不相关。

4.3 实验设计

本实验为2(句子版本：典型颜色版本与非典型颜色版本)×2(匹配状态：匹配与不匹配)×2(句-图间隔：0 ms与1500 ms)的混合实验设计。前两个因素是被试内设计,第三个因素是被试间设计。因变量为被试对图片的判断反应时。实验序列及被试分配方法同实验一。

4.4 实验程序

实验程序与实验一相同。

4.5 实验结果

首先,剔除图片判断任务或理解问题任务的错误率高于20%的被试4名,占总数的9%。再删除2.5个标准差之外的极端数据,最后得到40个被试的有效数据。各种条件下被试对图片判断的反应时和标准差见表4。

由于本研究关注的只是被试在不同时间进程上的反应趋势,并且时间间隔为被试间因素,所以为了便于讨论,我们把两种句-图间隔下的数据分开分析,0 ms句-图间隔下22名被试数据,1500 ms句-图间隔下18名被试数据。分别以被试和项目为随机变量,对图片判断反应时(因变量)进行被试和项目的重复测量方差分析(即F和F)。统计结果表明：0 ms间隔下,句子版本主效应不显著,

(1,21)=0.026,

=0.874,

(1,18)=0.147,

=0.706;匹配状态主效应不显著,

(1,21)=0.734,

=0.401,

(1,18)=0.923,

=0.349;句子版本和匹配状态交互作用不显著,

(1,21)=0.444,

=0.512,

(1,18)=0.202,

=0.659。1500 ms间隔下,句子版本主效应不显著,

(1,17)=0.365,

=0.554,

(1,18)=0.033,

=0.857;匹配状态主效应不显著,

(1,17)=1.707,

=0.209,

(1,18)=1.558,

=0.228;句子版本和匹配状态交互作用显著,

(1,17)=5.266,

=0.035,

(1,18)=2.387,

=0.140。进一步简单效应分析表明,匹配状态在典型颜色版本上作用显著,

(1,17)=6.342,

=0.022,即被试对与典型颜色句子相匹配的图片判断速度(1581 ms)显著快于与其不匹配的图片(1958 ms);匹配状态在非典型颜色版本上的作用不显著,

(1,17)=0.463,

=0.508。

表4 被试对图片判断的描述性统计

4.6 讨论

由于实验三考察的是句子整合后动态变化颜色信息的心理表征过程,所以我们采用了事后测量的句-图范式。结果在0 ms句-图间隔下,所有主效应和交互作用均不显著,表明被试在句子理解早期还不能对发生转换的颜色信息进行心理表征。而在1500 ms句-图间隔下,句子版本和匹配状态交互作用显著。简单效应分析发现,在典型颜色版本下,被试对与句子匹配的图片的判断速度显著快于与句子不匹配的图片的判断速度;而在非典型颜色版本下,匹配与不匹配条件差异不显著。这表明,被试在句子理解后期才能够对语境中动态变化的颜色信息进行心理表征,即动态颜色信息的心理表征具有非即时性,而且物体颜色的典型性对心理表征有重要影响。同样,对于实验三中出现的匹配易化现象的背后的机制将在综合讨论中再详做解释。

由于句子的实时阅读过程属于句子理解早期,而本实验发现在句子理解早期大脑还不能对发生动态变化的颜色信息进行心理表征,所以我们推测在句子实时阅读过程中大脑也就不能对其进行心理表征。因此,本研究没有必要继续考察句子实时阅读过程中动态颜色信息的心理表征过程。

5 综合讨论

5.1 句子理解中匹配易化和不匹配易化的反应机制

如上所述,为了避免以往研究中颜色信息心理表征不一致的结果,本研究不再设置500 ms这一不同心理表征的转折点,而是在统一实验材料和实验任务的条件下,设置了加工早期和晚期(0 ms和1500 ms)两个时间点。实验结果发现,在句子理解早期,实验一和实验二都出现了不匹配易化,即不匹配条件下被试对图片的判断速度显著快于匹配条件。需要指出的是,因为实验二研究的是句子实时阅读过程中颜色信息的心理表征,因此更可以视作是句子理解的早期。在句子理解晚期,实验一和实验三的结果也是一致的,出现了匹配易化,即匹配条件下被试对图片的判断速度显著快于不匹配条件。总的来讲,本研究发现在句子理解早期出现了不匹配易化效应,而句子理解晚期出现了匹配易化效应。

可以从两种加工任务是否竞争同一神经元来解释这种现象的产生机制。在体验认知的研究中会经常出现两种不同的效应：一种是匹配易化;一种是不匹配易化。例如,在Kaschak等人(2005)的研究中,被试在观察视觉刺激运动的同时对听到的含有动作信息的句子进行意义性判断。实验结果发现当两种运动方向匹配时,被试的反应时较长。研究者认为产生这一现象的原因是当表征某一运动方向的神经元被视觉刺激运动任务激活时就较难被理解句子的心理表征过程获得;而在不匹配条件下,神经元就容易被理解句子的心理表征过程获得。Boulenger等人(2006)的研究也发现产生两种效应的原因是两种加工任务是否竞争同一神经元。当动词呈现和真实运动同时进行时产生不匹配易化现象,而当加工完动词后再进行真实运动时出现匹配易化现象。本研究中,在句子理解早期就让被试判断图片,那么,这两个任务间就可能产生相互干扰。按照体验认知的相关理论,人类理解语言的过程就是对其进行心理模拟的过程,这一过程必然会激活颜色信息表征的神经元。在句子理解早期,由于表征这一颜色的神经元正在加工句子中的颜色信息,所以当判断图片中物体的颜色时,因其形成相同的表征(如句子理解中模拟的“番茄”一词的“红色”表征与判断图片中“番茄”的“红色”表征相一致),这就形成了两个任务竞争相同的认知资源。因此,在颜色神经元处在加工句子的任务上时,判断图片任务就不能即刻获得该神经元,此时就产生了干扰,即出现匹配的抑制反应。相反,如果这两个心理表征不同,一个是句子理解中模拟出的“番茄”一词的“红色”,另一个是图片判断中的“番茄”一词的“绿色”,由于它们不是在共同的神经元上进行竞争,这样反而出现不匹配易化效应。到了句子理解晚期,由于对句子加工有了充分的时间,这时它不再占用表征句子中隐含颜色信息的神经元,所以当判断图片中物体的颜色正好与之一致时,可以促进图片判断,产生匹配易化效应。

另外,无论认知资源充足时的匹配易化,还是认知资源不足时的不匹配易化,都表明被试读完句子后激活了隐含的颜色知觉信息,对句子所描述的情境进行了心理表征,支持了语言理解的体验观,即对含有颜色信息的语言的理解和颜色知觉具有同一性(Connell,2007;Richter&Zwaan,2009)。

5.2 句子阅读中静态颜色信息心理表征的即时性和局部性

实验一探讨的是句子整合后颜色信息心理表征的特点。实验结果发现,在句子理解早期是不匹配易化现象,而在句子理解晚期是匹配易化现象。这表明,心理表征在句子整合后0ms就可以发生,即大脑对静态颜色信息的心理表征具有即时性的特点。实验二对句子阅读过程中颜色信息的心理表征过程进行了探索。结果发现,不匹配条件下被试对图片的阅读时间显著短于匹配条件。匹配主效应在图片窗口就能出现,说明了心理表征过程是迅速发生的,即颜色信息的心理表征是具有即时性的。Zwaan和Taylor(2006)的研究表明句子阅读过程中动作信息的表征是即时的、迅速的,而本研究将这种动作信息表征的即时性扩展到了颜色视觉信息。并且此时不匹配条件下的阅读时间显著短于匹配条件,这和实验一中句子理解早期的结果相一致,因为句子即时阅读和句子整合后的理解早期都属于认知资源相对不充足的情况。Therriault等人(2009)利用图片探测中也考察了句子阅读过程的心理表征,但其实验结果没有出现不匹配易化现象。可能的原因是,该研究的实验材料包含物体的典型颜色(红色的番茄)、灰色(番茄的简笔画)和不规范颜色(蓝色的番茄),但并不涉及物体的非典型颜色(绿色的番茄)。因此,该研究结果和我们实验二的实验结果不存在可比性。总之,在句子阅读理解的中,句子所隐含的静态颜色信息的心理表征具有即时性。

在实验二中,对于图片后第一个词的阅读时间,当句子语境支持非典型颜色时,不匹配条件显著短于匹配条件;而当句子语境支持典型颜色时,不匹配条件和匹配条件无显著差异。就是说,典型颜色版本下被试对颜色信息的心理表征在图片窗口就可以完成,而非典型颜色版本下被试对颜色信息的心理表征还会延续到图片后第一个词。这说明,句子阅读过程中典型颜色信息的心理表征是不仅具有即时特点,还具有局部性特点。而句子阅读中非典型颜色信息的心理表征出现了一种非局部现象,即在图片窗口颜色信息的表征就立即开始,并延长到图片后第一个词结束。相对于典型颜色,非典型颜色的心理表征持续了更长的时间,这说明非典型颜色的心理表征需要消耗更多的加工资源。这从另一个角度反映了物体的非典型颜色相对于典型颜色更难以表征,而人们在日常生活中积累的关于物体典型颜色的图式对认知有重要作用。

综上所述,句子阅读理解中,句子隐含的静态的颜色信息具有即时性和局部性的特点,而且,静态的非典型颜色信息的心理表征还具有非局部性。

5.3 句子阅读中动态颜色信息的心理表征的特点

根据IEF理论,理解是以语言输入为线索,通过整合和序列追踪现实经验痕迹,对所描述的事件的身临其境的经历。大脑是否对静态和动态的颜色信息都能进行身临其境的体验,体验过程有何异同,是一个值得研究的问题。实验一和实验二考察的都是静态颜色信息的心理表征。实验一发现,无论是在句子整合后的理解早期,还是在句子整合后的理解晚期,被试都能对句子中隐含的颜色信息进行身临其境的体验。实验二发现,句子阅读过程中颜色信息的心理表征是一种即时的现象,即在图片窗口就能立即开始表征。因此,总的来讲,无论在句子理解早期还是在句子理解晚期,大脑都能对静态颜色信息进行心理表征。

而动态语境下颜色信息的心理表征就有所不同。在实验三中,在句子理解早期,所有效应均不显著,表明大脑还不能对发生变化的颜色信息进行心理表征;而在句子理解晚期,被试对与典型颜色版本句子匹配的图片的判断速度快于与其不匹配的图片,并且匹配状态在非典型颜色版本上差异不显著。这表明在句子理解晚期,大脑能够对发生变化的物体颜色信息进行心理表征,但这种表征仅限于物体的典型颜色信息。句子实时阅读过程中和句子整合后的0 ms都属于语言理解早期,甚至前者所处的加工阶段比后者还要早。因此,既然大脑在句子理解早期还不能对动态颜色信息进行心理表征,也就不能在句子阅读过程中对颜色信息进行心理表征。总体来讲,大脑在句子阅读早期不能对动态颜色信息进行即时地心理表征,只有在句子理解晚期才能对动态的典型颜色信息进行心理表征。

6 结论

本研究以大学生为被试,探讨了语言理解中颜色信息的心理表征,得出以下结论：

(1)在加工时间有限的情况下,两个加工任务是否竞争相同的认知资源是造成句-图范式下匹配易化和不匹配易化的关键因素。

(2)对于句子隐含的静态颜色信息,大脑对典型颜色信息的心理表征具有即时性和局部性,而对非典型颜色信息的心理表征还具有非局部性的特点。

(3)对于句子隐含的动态颜色信息,大脑不能对其进行即时的心理表征,这种动态颜色信息的心理表征是在在句子阅读晚期发生的。

Barsalou,L.W.(1999).Perceptual symbol systems.

Behavioral&Brain Sciences,22

(4),577–660.Boulenger,V.,Roy,A.C.,Paulignan,Y.,Deprez,V.,Jeannerod,M.,&Nazir,T.A.(2006).Cross-talk between language processes and overt motor behavior in the first 200 msec of processing.

Journal of Cognitive Neuroscience,18

(10),1607–1615.Cao,J.(2010).

Mental representations of color information in language comprehension.

Unpublished master’sthesis,Hebei Normal university.[曹静.(2010).

语言理解中隐含的物体颜色的心理表征.

硕士学位论文,河北师范大学.]Connell,L.(2007).Representing object colour in language comprehension.

Cognition,102

(3),476–485.Connell,L.,&Lynott,D.(2009).Is a bear white in the woods?Parallelrepresentation ofimplied objectcolorduring language comprehension.

Psychonomic Bulletin&Review,16

(3),573–577.Glenberg,A.M.,& Kaschak,M.P.(2002).Grounding language in action.

Psychonomic Bulletin&Review,9

(3),558–565.Kaschak,M.P.,Madden,C.J.,Therriault,D.J.,Yaxley,R.H.,Aveyard,M.,Blanchard,A.A.,&Zwaan,R.A.(2005).Perception of motion affects language processing.

Cognition,94

(3),B79–B89.Potter,M.C.,Kroll,J.F.,Yachzel,B.,Carpenter,E.,&Sherman,J.(1986).Pictures in sentences:Understanding without words.

Journal of Experimental Psychology:General,115

(3),281–294Richter,T.,&Zwaan,R.A.(2009).Processing of color words activates color representations.

Cognition,111

(3),383–389.Simmons,W.K.,Ramjee,V.,Beauchamp,M.S.,McRae,K.,Martin,A.,&Barsalou,L.W.(2007).A common neural substrate for perceiving and knowing about color.

Neuropsychologia,45

(12),2802–2810.Stanfield,R.A.,&Zwaan,R.A.(2001).The effect of implied orientation derived from verbal context on picture recognition.

Psychological Science,12

(2),153–156.Therriault,D.J.,Yaxley,R.H.,&Zwaan,R.A.(2009).The role ofcolordiagnosticity in objectrecognition and representation.

Cognitive Processing,10

(4),335–342.Wang,R.M.,Mo,L.,Li,L.,Wang,S.P.,&Wu,J.(2005).Perceptual symbol representation and propositional symbol representation in language comprehension.

Acta Psychologica Sinica,37

(2),143–150.[王瑞明,莫雷,李利,王穗苹,吴俊.(2005).言语理解中的知觉符号表征与命题符号表征.

心理学报,37

(2),143–150.]Yaxley,R.H.,&Zwaan,R.A.(2007).Simulating visibility during language comprehension.

Cognition,105

(1),229–236.Zwaan,R.A.(2003).The immersed experiencer:Toward an embodied theory of language comprehension.In H.R.Brian(Ed.),

Psychology of Learning and Motivation

(Vol.44,pp.35–62).New York:Academic Press.Zwaan,R.A.,Stanfield,R.A.,&Yaxley,R.H.(2002).Language comprehenders mentally represent the shapes of objects.

Psychological Science,13

(2),168–171.Zwaan,R.A.,& Taylor,L.J.(2006).Seeing,acting,understanding: Motor resonance in language comprehension.

JournalofExperimentalPsychology:General,135

(1),1–11.