语义加工中知觉系统的卷入
——来自颜色适应的证据
2022-12-28许丽玲郑丽玲
许丽玲,郑丽玲,莫 雷
(1.华南师范大学 外国语言文化学院,广州 510631;2.华侨城中学,深圳 518053;3.华南师范大学 心理学院/心理应用研究中心,广州 510631)
一、引 言
当听到“草莓”这个词时你会想到什么?仅仅是“草莓”这个词的语义还是同时出现红色的草莓的形象?大脑对“草莓”这个词的加工和真正看到草莓时的加工过程是否相同?具身语义观认为,语义加工和知觉加工本质上是相同的,这两种加工过程有部分重叠的加工机制和神经基础。这一类观点中最具代表性的是Barsolou等人提出的模拟理论(simulation theory),该理论认为,人们对语言的理解是通过模拟机制实现的,模拟机制是指当听到描写某个物体或事件的词语或句子时会自动激活之前经历该事件时所用到的“感知觉—运动”系统。因此,语言理解被认为是模拟感知觉加工的过程,与感知觉加工有共同的神经生理基础[1-3]。语言理解是具身的,而不是独立于身体之外的加工过程。
颜色是物体的重要属性,关于颜色概念的加工机制可以被用来检验具身语义观。具身语义观认为,加工与颜色概念相关的词语或句子会自动激活颜色知觉加工中用于表征颜色的神经机制,因此颜色概念和颜色知觉的加工过程是部分重叠的。而根据传统符号语义观,当听到颜色词或颜色相关物体词时,激活的是与此相关的、抽象的语义网络,与颜色知觉的加工无关。
已不断有研究尝试证明概念加工中颜色知觉模拟机制的存在。在脑功能成像研究方面,Simmons等人发现,提取物体颜色属性和颜色知觉加工的确激活了共同的脑区——左侧梭状回[4]。据此,研究者认为物体颜色属性的加工与颜色知觉可能使用了共同的机制。在行为实验方面,Richter 和 Zwaan发现,当色块的颜色和先前出现的颜色词相同时,被试对色块颜色的判断快于不同色条件;也就是说,先让被试看“红色”这个词促进了对红色色块的加工,这说明颜色概念和颜色知觉有共同的表征[5],该结论在一定程度上支持了具身语义观的假设。在前人研究的基础上,Heurley等人改进了实验范式和实验材料,用有典型颜色特征的物体词取代颜色词,先让被试朗读颜色相关物体词(如香蕉、青菜),然后判断色块(如黄色、绿色)的颜色,实验同样证实了同色促进效应的存在[6]。一些研究者认为,颜色词与颜色块知觉的一致性效应可以用具身观的模拟理论来进行解释。该理论认为,颜色概念会激活负责颜色知觉的神经机制,神经网络的提前激活易化了对同色知觉刺激的加工,导致同色促进效应的出现。很显然,这种观点认为,概念加工对知觉加工的影响发生在低水平的知觉系统中。
除了词汇加工中的颜色效应外,还有研究从运动的模拟[7-8]、形状的模拟[9]、物体朝向的模拟[10-12]以及可视性的模拟[13]等方面入手,利用语言材料所描绘的感知特性与真实特性的一致性(促进效应)或差异性(阻碍效应)来证明具身在语义加工和表征中的作用。例如,在运动模拟的研究中,研究者让被试听描写向某个方向运动的物体的句子,然后判断屏幕上光点的运动方向。结果发现,当句子描写向上运动时,对向上运动的知觉刺激的反应更快,而对向下运动的知觉刺激的反应更慢,这一现象同样可以用具身语言观进行解释。
值得注意的是,尽管可以将知觉一致性效应的产生解释为词汇加工引发了知觉加工相似的机制,但语义启动所造成的影响却难以排除。例如,向上运动的光点可能引发 “上”的语义,并与描述向上运动物体的句子加工相互影响,因语义的重叠而产生一致性促进效应。如果要证明的确存在知觉模拟,也许还要考虑以某些知觉系统独有的加工特征作为指标。
近年来,一些研究者开始采用适应范式来考察感知觉过程的神经机制,这一范式包括刺激适应阶段与适应后效测试阶段。首先,在适应阶段让被试接受具有某种特征的刺激物持续作用,使处理该刺激的感觉神经元处于激活状态。然后,在适应后效测试阶段给予新的刺激任务,考察适应阶段的持续刺激加工是否产生特定的后效,这种后效的产生是刺激感知系统参与活动更为直接的证据[14]。例如,让被试较长时间地注视一个向下运动的物体后,他们往往倾向于将随后出现的静止物体知觉为向上运动,这就是一种特定的运动后效(motion aftereffect)。这是因为感觉神经元在适应阶段被过度刺激,造成特征选择性神经元的反应减弱,而表征相反方向的感觉神经元的反应增强。据此可以推测,向上与向下运动的视知觉可能在初级视皮层V1区由不同的神经元群执行。
运用适应范式,Dlis等进行了一项重要研究[14]。他们对适应范式做了一个重要的改动,将语言材料作为适应刺激,让被试先听描写向上或向下运动的语篇,然后判断所看到的随机点阵图是向上还是向下运动。实验结果发现,当语篇描写向上运动时,被试倾向于判断点向下运动,反之亦然。这项研究一方面说明描述目标刺激的语言可以像真实的物理刺激那样引发运动后效,即加工描写运动的语篇和对运动物体的视知觉有相同的神经机制;另一方面,这种证据在一定程度上可以排除语义直接启动的作用,证明感知系统直接参与了语言材料的处理。
在颜色知觉领域中,同样存在着类似运动后效的颜色适应现象。例如,对两种互补的颜色,如绿色和红色,当持续看其中一种颜色之后再看白色背景,就会在白色背景上看到它的补色,这种现象称为颜色负后像。根据颜色适应理论,颜色适应后效的机制和运动后效类似,是因为大脑中存在表征颜色的特异性的对立神经元,分别对互补色敏感,因此对红色敏感和对绿色敏感的神经元是不同的。当长时间看红色刺激后,表征红色的神经元疲劳,导致表征绿色的神经元更容易被激活[15-16]。如果具身语义观成立,颜色词语的加工需要颜色知觉系统的卷入,则人们在持续加工红色物体的词语之后,就会与持续感知红色(或绿色)物体一样,由于适应而表现出对其补色绿色(或红色)的感受性增强,这将可以为具身语义观提供新的证据。在Zheng等人的一项研究中[17],他们让被试持续听描述颜色(如“红色的太阳”“绿色的竹林”)或不带颜色(如“春天的潮水”)相关的语篇音频,之后立刻对屏幕上的色块颜色进行判断。结果发现,持续听某一颜色相关的音频语段后,被试更可能将色块颜色判定为与该颜色对应的后效颜色。研究者认为,这种语言适应颜色后效和感知适应颜色后效一样,说明颜色头脑模拟和颜色感知使用了相同的神经系统。
尽管这些研究都发现了类似感知加工的运动或颜色后效,但这些研究所用的语言材料是语段,其中往往包含直接的实体特征词汇,如Dlis等人[14]研究中的方向词(上、下)或描写运动的词(如爬上、滑下),以及Zheng等人[17]研究中的颜色词(如红色、绿色)。因此,一方面,我们并不清楚是否只有在语篇中提到实体特征时,模拟系统才会被激活;另一方面,我们也难以确定这种模拟机制的激活是否存在特定的限制,例如只能在语段提供了明确的知觉特征词且进行慢速加工时才会产生,抑或仅仅在孤立的词汇通达层面也能被激活,这一问题仍值得探索。本研究将采用颜色适应范式,对上述可能性进行检验。具体来说,我们将观察包含同一颜色属性的名词在不断呈现之后,产生颜色后效的可能性。整个研究将分为两个系列实验进行探讨:系列实验1主要考察进行颜色概念加工是否会促进对其互补色块的感知;系列实验2考察色块的知觉是否影响互补色的颜色概念加工。
二、实验1
本实验主要考察持续一段时间的颜色概念加工是否会促进对其互补色知觉刺激的加工。实验1包括两个分实验:实验1a参照Heurley等人的研究范式[6],让被试在阅读颜色相关物体词之后判断色块的颜色,观察是否得到同色促进效应;实验1b通过适应范式增加颜色词语加工的持续时间,让被试连续阅读多个指代同种颜色的物体词,随后进行色块颜色的判断,观察是否出现互补色促进效应。
由于实验1a对颜色物体词语只有一次短暂的加工,因此并不会引发颜色适应,故而我们将观察到同色促进效应;实验1b增加了颜色物体词语加工的持续时间,更有可能引发颜色适应,也更有可能在随后的色块颜色判断任务中观察到互补色促进效应的结果。如果的确出现上述结果,则有理由认为,颜色概念加工与颜色知觉加工关系密切,概念的加工也会引发颜色知觉系统的卷入,两者可能存在共同的、至少是部分重叠的加工机制,这将为具身语义观提供证据。
(一)实验1a
1.目的
参照前人研究的范式,本实验让被试朗读颜色物体词,随后判断色块的颜色,以考察是否出现同色促进效应。
2.研究方法
(1)被试
华南师范大学20名在读大学生参加本实验,实验结束后得到一定报酬。所有被试均裸眼或矫正视力正常,母语为汉语,无任何颜色辨别障碍和阅读障碍。
(2)实验材料
选出50个指代红色或绿色的物体词,让评定者对这些词语与其相应颜色的相关程度进行7点评定。50名不参加正式实验的学生参与评定。根据评定结果选取24个评定分数大于5的颜色相关物体词作为实验材料,其中蔬菜瓜果类12个,花朵草木类12个,如表1所示。
表1 实验材料举例
参照前人的研究,选用两种颜色的圆形色块作为知觉刺激材料。先前研究所用的色块为黄色和绿色,本研究选择的是互为补色的红色和绿色。根据RGB颜色模型,圆的颜色是纯色,红色的值是(255,0,0),绿色的值是(0,255,0)。
(3)实验设计与程序
本研究采用单因素被试内设计。自变量是物体词指代的颜色和色块的颜色之间的关系,有两个水平:同色(红—红、绿—绿)、不同色(红—绿、绿—红)。因变量是对色块颜色判断的反应时和正确率。
实验在计算机上进行,首先在电脑屏幕中央呈现250毫秒的注视点“+”;随后呈现物体词250毫秒,要求被试朗读该物体词;接着在屏幕中央呈现一个红色或绿色的色块,被试要对色块的颜色进行判断。“F”键代表红色,“J”键代表绿色。在100毫秒白屏之后,下一个试次开始。需要注意与前人研究相同的是,在物体词消失之后、色块出现之前会有一个250毫秒的掩蔽。计算机自动记录反应时和正确率。24个颜色物体词随机呈现,每个词重复1次,共48个试次,有一半的试次颜色词和色块的颜色相同,在另一半的试次中颜色词和色块的颜色不同(互为补色),实验刺激随机呈现,如图1所示。
图1 实验1a中一个试次的流程图
3.结果与分析
所有被试的反应正确率均高于70%,1名被试的反应时高于平均值以上3个标准差而被删除。此外,删除反应时在2.5个标准差以上的极端数据,共删除7.71%的数据。
不同条件下色块颜色判断任务的反应时和正确率如表2所示。统计结果表明,当词语指代的颜色和色块的颜色相同时,相比于颜色不同的条件,色块颜色判断的反应时显著更快,t(2,18)=3.13,p=0.006;正确率也更高,t(2,18)=3.14,p=0.006。
表2 不同条件下对色块颜色判断的反应时和正确率(n=19)
实验1a得出了与前人研究一致的结果,即加工颜色词语能够促进同色颜色知觉加工。然而,这个同色促进效应也可能来自语义上的重叠,即对词语及色块的颜色均采用语义的方式进行表征,一致或重叠的语义表征直接产生了促进效应,而不能直接证明词语概念的加工包含感知系统的直接卷入。因此,在实验1b中,我们将进一步采用颜色后效范式更直接地观察知觉系统是否直接参与了词汇概念的加工。
(二)实验1b
1.目的
多次呈现指代同一颜色的不同词语来引发视觉适应,探讨是否可以观察到互补色促进效应。
2.研究方法
(1)被试
华南师范大学23名在读大学生参加本实验,实验结束后得到一定报酬。所有被试均裸眼或矫正视力正常,母语为汉语,无任何颜色辨别障碍和阅读障碍,且没有参加过先前的实验。
(2)实验材料
与实验1a相同,选出24个红色或绿色物体词,并将24个物体词分成A与B两个系列。A系列12个物体词指代的颜色都是红色,B系列12个物体词指代的颜色都是绿色。A系列12个物体词随机各出现1次组成1个试次,按照这个方式组成12个试次;同样,B系列也组成12个试次。两个系列共24个试次。
与实验1a相同,选用红、绿两种颜色的圆形色块作为颜色物体词的知觉刺激材料。
(3)实验设计与程序
本研究采用两因素被试内设计。自变量1是物体词指代的颜色和色块的颜色之间的关系,有两个水平:互补色(红—绿、绿—红)、非互补色(红—红、绿—绿);自变量2是适应阶段,分为适应前期和适应后期两个水平。A、B两个系列先呈现的6个试次作为适应前期,后呈现的6个试次作为适应后期。之所以将适应分为前后两期进行考察,是因为考虑到在知觉加工中,适应后效是一个逐步累加的过程,当加工时间较短时,相应的神经元可能刚被激活而未产生疲劳,因此出现同色促进效应;随着加工时间的逐步增加,神经元产生疲劳,才会出现互补色促进效应,即适应后效。
实验程序采用组块设计,同一系列的12个试次连续呈现。在每一试次中,首先逐个呈现颜色物体词,要求被试朗读,共连续呈现12个词,每个词呈现的时间由原来的250毫秒增加到500毫秒;接着进行色块判断任务。在该试次完成后进入下一个试次,12个颜色物体词的呈现顺序随机,其他步骤与第一个试次相同。如此重复,直到同一颜色系列的12个试次完成,如图2所示。该任务完成后进入另一个颜色系列。
图2 实验1b中一个颜色系列的实验流程图
3.结果与分析
1名被试因正确率低于70%而被删除,其余被试正确率均高于70%。此外,删除反应时在2.5个标准差以上的极端数据,共删除了6.75%的数据。
色块颜色判断任务在不同条件下的反应时和正确率如表3所示。对反应时进行重复测量方差分析,结果发现,适应阶段和颜色关系的交互作用显著,F(1,19)=4.78,p=0.041,2=0.20。简单效应检验表明,在适应前期,互补色条件和非互补色条件下对色块颜色判断的反应时差异不显著,p=0.122;而在适应后期,互补色条件和非互补色条件下对色块颜色判断的反应时差异显著,互补色条件下的反应时要显著快于非互补色条件下的反应时,p=0.020。这个结果表明,概念加工早期没有出现适应后效,概念加工后期才出现适应后效;也就是说,语义颜色后效和知觉颜色后效一样,是一个逐渐累加形成的过程。
表3 不同条件下对色块颜色判断的反应时和正确率的平均值和标准差(n=20)
正确率的统计结果表明,交互作用与主效应均不显著,F(1,19)=0.048,p=0.83,说明不存在反应时和正确率的权衡问题。
实验1b最重要的贡献是发现,当个体对同种颜色的物体词进行多次加工时,会产生颜色的适应,使个体对互补色的加工逐渐变得更加敏感,产生互补色促进效应。这一结果一方面说明,颜色概念加工和颜色知觉加工一样能够产生神经适应,而语义颜色后效和知觉颜色后效一样也表现出逐渐累加的结果;另一方面,因为被试对互补色表现得更敏感,这种效应并不能用语义启动的结果来解释,因为若仅是语义上的促进,红色的抽象意义并不能促进对绿这一概念的加工。
三、实验2
本实验主要考察颜色知觉是否会反过来影响颜色概念加工。根据具身语义观,两者有部分重叠的加工机制,那么这种影响应该是双向的;也就是说,当持续一段时间进行颜色知觉后,会影响对该颜色物体词的加工,促进对其互补色物体词的反应。实验2包括两个分实验:实验2a让被试看色块之后,再进行颜色物体词的命名任务,观察是否得到同色促进效应;实验2b增加色块注视的持续时间,让被试持续注视色块之后,进行颜色物体词的命名任务,观察是否出现互补色促进效应。
与实验1a类似,实验2a中由于对颜色色块注视的时间较短,个体难以产生颜色后效,因此可能出现同色促进效应;而实验2b增加了对颜色色块注视的持续时间,则有机会产生颜色知觉的适应,因此可能出现互补色促进效应的结果。同样,如果出现类似实验1的结果,则有理由认为,颜色概念加工与颜色知觉加工存在某些共同的机制,这将为具身语义观提供更有力的证据。
(一)实验2a
1.目的
通过被试观看色块后对颜色物体词的加工情况,考察颜色的知觉是否会促进同一颜色物体的识别,表现出同色促进效应的结果。
2.研究方法
(1)被试
华南师范大学23名在读大学生参加本实验,实验结束后得到一定报酬。所有被试均裸眼或矫正视力正常,母语为汉语,无任何颜色辨别障碍和阅读障碍,且没有参加过之前的实验。
(2)实验材料
与实验1a相同,由24个颜色物体词(12个红色物体,12个绿色物体)与红、绿两种圆形色块组成。
(3)实验设计与程序
本研究采用单因素被试内设计。自变量是色块的颜色与物体词指代的颜色之间的关系,有两个水平:同色(红—红、绿—绿)、不同色(红—绿、绿—红)。因变量是对颜色物体词的物体颜色判断的反应时和正确率。
实验在计算机上进行,首先在电脑屏幕中央呈现250毫秒的注视点“+”;随后呈现红色或绿色的色块并要求被试注视这个色块,250毫秒后色块消失(这一呈现时间的设置参考了前人的研究,色块在这一呈现时间下,个体并不会产生颜色后效[5]);接着屏幕中央呈现颜色物体词,被试要对这个词语指代的物体的颜色进行判断。“F”键代表红色,“J”键代表绿色。判断完成后,屏幕上出现一个“?”,要求被试回想之前的色块是什么颜色。需要注意的是,这个步骤是为了让被试关注第一个色块,如果没有这个无关任务,由于第一个色块对目标任务的完成没有任何意义,被试可能会忽视色块的颜色,直接对物体词进行判断,这样导致的结果就不是我们研究设计要求出现的结果。计算机自动记录反应时和正确率。24个颜色物体词随机呈现,每个词重复1次,共有48个试次,有一半的试次颜色词和色块的颜色相同,在另一半的试次中颜色词和色块的颜色不同(互为补色),试次的出现顺序随机,如图3所示。
图3 实验2a中一个试次的流程图
3.结果与分析
所有被试的平均正确率都高于70%,删除反应时在2.5个标准差以上的极端数据,据此删除了3.17%的数据。
物体词颜色判断任务在不同条件下的反应时和正确率如表4所示。统计结果表明,当色块的颜色和词语指代的颜色相同时,对物体词的物体颜色判断反应时显著快于颜色不同时的反应,t(1,22)=5.94,p<0.001;两种条件下颜色判断的正确率差异不显著,t(1,22)=1.55,p=0.136。
表4 不同条件下对物体词的物体颜色判断的反应时和正确率(n=23)
在色块颜色回忆任务中,同色条件下的反应时显著快于不同色条件下的反应时,t(1,22)=3.15,p=0.005;两种条件下回忆的正确率差异不显著,t(1,22)=0.74,p=0.470。
实验2a的结果证明了颜色知觉也会反过来影响物体词颜色的加工,表现出同色促进效应。这一现象还不能完全证实是由于颜色知觉系统参与了词汇加工所致,因此,实验2b将继续采用颜色后效范式对这一可能性进行进一步的检验。
(二)实验2b
1.目的
增加色块的注视持续时间,引发颜色知觉后效,观察是否出现互补色促进效应,进而对具身语义观进行验证。
2.研究方法
(1)被试
华南师范大学26名在读大学生参加本实验,实验结束后得到一定报酬。所有被试均裸眼或矫正视力正常,母语为汉语,无任何颜色辨别障碍和阅读障碍,且没有参加过先前的实验。
(2)实验材料
与实验2a相同,实验材料由24个颜色物体词(12个红色物体,12个绿色物体)与红、绿两种圆形色块组成。每个词重复1次,每次作为1个试次,共48个试次。先呈现的24个试次中,色块都是红色(绿色),构成第一个颜色系列;后呈现的24个试次中,色块都是绿色(红色),构成第二个颜色系列。系列的呈现顺序在被试间平衡,红色和绿色物体词在两个系列中的数量相等且随机呈现。
(3)实验设计和程序
本研究采用两因素被试内设计。自变量1是物体词指代的颜色和色块的颜色之间的关系,有两个水平:互补色(红—绿、绿—红)、非互补色(红—红、绿—绿);自变量2是适应阶段,分为适应前期和适应后期两个水平。每个系列中先呈现的12个试次作为适应前期,后呈现的12个试次作为适应后期。
实验程序与实验2a基本相同,不同之处是色块的呈现时间由实验2a的250毫秒增加到3 000毫秒,实验流程如图4所示,这一时间也参照了先前发现颜色知觉后效的时间设置。
图4 实验2b中,一个颜色系列的实验流程图
3.结果与分析
所有被试的平均正确率都高于70%,删除反应时在2.5个标准差以上的极端数据,据此删除了3.69%的数据。
不同条件下被试进行物体词的颜色判断任务的反应时和正确率如表5所示。对反应时数据进行重复测量方差分析,结果表明,颜色关系与适应阶段交互作用显著,F(1,25)=9.03,p=0.006,2=0.27。简单效应检验表明,在适应前期,互补色与非互补色条件下对词语指代物体的颜色进行判断的反应时差异不显著,p=0.75;而在适应后期,互补色条件下对词语所指物体的颜色进行判断的反应时显著快于颜色非互补时的反应时,p=0.002。
表5 不同条件下对词语指代物体的颜色判断的反应时和正确率(n=26)
对正确率进行重复测量方差分析,结果表明,颜色关系与适应阶段交互作用显著,F(1,25)=12.22,p=0.002,2=0.33。简单效应检验表明,在适应前期,互补色与非互补色条件下对词语指代物体的颜色进行判断的正确率差异不显著,p=0.30;而在适应后期,互补色条件下对词语所指物体的颜色进行判断的正确率显著优于非互补色条件下的正确率,p=0.05。
实验2b的结果与实验1b的结果完全一致:在颜色知觉适应前期,互补与非互补两种条件下反应时差异不显著;在颜色知觉适应后期,表征某种颜色的神经元持续激活后疲劳,而表征补色的神经元处于活跃状态,表现出互补色促进效应。这一结果表明,对词汇颜色的加工的确有颜色感知系统的卷入。
四、讨 论
已有研究发现,颜色概念影响颜色知觉加工,表现为同色促进效应。持具身语义观的研究者们对此的解释是:颜色概念加工和颜色知觉加工有部分重叠的神经机制,加工颜色概念会激活表征颜色的神经元,神经元的提前激活易化了对同色知觉刺激的加工。为进一步检验这个解释,本研究从颜色后效的角度进行设计,选择红和绿这对互补色,开展了两项实验。第一系列的实验发现词汇概念的颜色加工影响颜色的知觉。实验1a发现,当对概念所指代的物体加工时间较短时,会促进与概念的颜色特征相一致的色块颜色感知,表现出同色促进效应;实验1b发现,当增加具有同一颜色概念的加工时间和加工次数后,受试对该颜色的感知会产生适应,引发颜色后效,进而促进对互补色色块的加工。第二个系列的实验发现对颜色的直接知觉也会反过来影响对词汇概念颜色属性的加工。实验2a发现,当色块呈现时间较短时,会出现同色概念词的促进效应;实验2b发现,当感知色块的时间和次数增加之后,指代互补色的物体词加工得到促进。此外,本研究还发现,和知觉颜色后效一样,语义的这种颜色后效也有效应逐渐累加的特性,说明概念的颜色特征属性很可能在某种程度上确实激活了负责颜色知觉的神经基质。
本研究结果具有重要意义。首先,颜色物体词加工对颜色知觉加工的互补促进,为具身语言观提供了新的证据。
在实验1a中,将物体词隐含的颜色和色块的颜色进行相同与不同两种条件对比,判断色块颜色的反应时更快且正确率更高,说明颜色概念促进了对同色知觉刺激的加工,该实验结果与前人研究一致[6]。Heurley等人的研究发现,无论在较长还是较短的SOA条件下,颜色概念都能促进对同色颜色知觉刺激的加工,出现同色促进效应。然而,尽管这种同色促进效应符合具身语义观的设想,符号语义观同样也可以进行解释。因此,只有证明这种促进效应是发生在知觉层面,才能够为具身语义观提供确定性的证据。相比之下,实验1b互补色促进效应的结果,排除了抽象语义启动的可能性,揭示了物体词颜色属性的加工的确会影响颜色的直接知觉加工,为两者具有共同的知觉机制提供了重要的证据,也有力地支持了具身认知语言观。
实验1b结果发现,当物体词隐含的颜色信息和色块的颜色互补时,与非互补色条件相比,色块颜色判断的反应时更快;也就是说,让被试持续加工多个指代同种颜色信息的物体词后,对互补色知觉刺激的加工显著快于对非互补色知觉刺激的加工。这一结果与颜色知觉适应后效是相似的。在颜色知觉后效中,适应阶段用的是直接作用于被试视网膜的知觉刺激色块,而在本研究的语义颜色后效中,适应阶段的刺激是隐含颜色信息的词语,其与颜色色块一样,都能够促进对互补色知觉刺激的加工。这一结果表明,加工颜色物体词与颜色知觉一样也能够产生颜色适应,而这极有可能是因为加工颜色概念引发了颜色知觉系统中负责颜色知觉加工的神经活动。更具体地说,前人的研究认为,后效现象是发生在神经水平的感知觉现象,只有当负责颜色知觉加工的特异性神经元被激活,才能出现这一神经性适应的互补效应。因此,只有在颜色概念的加工过程中确实激活了感知颜色的神经元,才有可能观察到颜色语义加工的颜色适应现象,这也更有力地支持了具身语义观(模拟观)。相比之下,符号语义观无法对互补色促进效应进行解释,如果按照符号语义观,红色相关物体词激活的是“红色”这个语义节点,那么无论是听一个词(实验1a)还是延长概念加工的时间——听多个同色词(实验1b),都不会激活颜色感知神经元,更谈不上出现神经元的疲劳,也就不会出现实验1b的互补色促进效应。由此可见,实验1b的结果是符号语义观无法解释的,这为具身颜色模拟观提供了更有力的证据。
此外,为进一步确认语义颜色后效(互补色促进效应)和知觉颜色后效一样是由神经适应造成的,我们在实验1b中引入了另外一个变量,即适应阶段(适应前期和适应后期)。考虑到知觉颜色后效是一个慢慢累加的过程,持续加工某种颜色的刺激才会产生后效,如果刺激时间不够长,神经元未产生疲劳仍处在活跃的状态,就会出现如实验1a的同色促进效应。如果语义颜色后效也是通过神经元适应造成的,那么也应该符合随着刺激时间增加后效也慢慢累加的这一特点。例如,在Dlis等人[14]对语义运动后效的研究中,当被试听完文章的前两段时并没有出现运动后效,只有当听完整个语篇后才出现对相反方向知觉刺激加工的促进效应。与此相似,实验1b中也发现语义颜色后效存在类似于知觉语义后效的累加效应,具体表现为在适应前期,两种条件下对色块判断的反应时差异不显著,只有到了适应后期,才出现互补色促进效应。语义颜色适应后效的这一特点,进一步证实了颜色概念和颜色知觉有部分重叠的加工机制。
应该指出,尽管Dlis等人[14]和Zheng等人[17]的研究也证实语言加工会产生运动后效及颜色后效,为具身认知语言观提供了证据,但是他们所用的语言材料是语篇,里面包含实体的特征词,如方位词(上、下)或描写运动的词(爬上、滑下),以及景色的颜色词(红色的、绿色的),因此很难区分直接激活知觉模拟的刺激是否必须是实体特征的直接描述,还是只要呈现隐含知觉特征的物体就能够出现;而且,两个实验都用到语篇,也不清楚如果没有上下文形成的整体语境,词语本身是否也会产生知觉模拟。本研究把无语义关联的同色物体词作为适应刺激连续呈现,同时,我们也并没有直接呈现这些物体具体的颜色特征,结果仍有力地证明了单个词语也能够自动激活模拟机制。这说明,即使没有复杂语段信息的支持,简单的词汇提取加工中也能产生知觉模拟现象,这极好地拓展了前人的研究。
其次,颜色知觉加工对颜色物体词加工的互补促进,也证明了两个加工过程有部分重叠的神经机制。在本研究设计的第二个系列实验中,实验2a发现颜色知觉加工会反过来影响颜色物体词的加工,当物体词隐含的颜色信息和先呈现的色块颜色相同时,与不同的条件相比,受试对物体词颜色判断的速度更快,表现出同色促进效应,这和Richter与Zwaan等人[5]的研究结果一致。他们让被试看色块后进行词汇判断任务(判断是词还是非词),发现当颜色词指代的颜色和色块颜色相同时,反应速度快;不相同时,反应速度慢。但是,Richter和Zwaan的研究所采用的是颜色词,而颜色词的词义和颜色信息有直接指向性[18]。相比之下,本实验所采用的词语是隐含颜色信息的物体词,因此能更好地对不同的语言观进行检验。
为排除符号启动引发同色促进效应的可能性,实验2b进一步使用补色促进效应来检测,更深入地探讨颜色知觉加工与颜色物体词加工是否有部分重叠机制。实验2b在实验2a的基础上延长了色块加工的时间,结果发现,当物体词指代的颜色和先前持续呈现的色块颜色互补,与非互补色条件相比,受试对物体词指示物的颜色判断反应时更短,且正确率更高。这一结果更有力地推论出颜色知觉加工与颜色物体词的加工具有部分重叠的神经机制。只有当颜色知觉刺激激活了负责表征颜色的神经元群,且加工时间延长又使同色神经元发生疲劳时,受试对随后颜色物体词的物体颜色判断才有可能出现互补效应。相比之下,根据符号语义观的观点,对具有红色特征的物体词,如“草莓”的加工,只要激活草莓“红色”的这个语义节点,就可促进受试对草莓的颜色进行判断。这一过程并不会影响负责视觉脑区中的红色神经元群,它们不会产生疲劳,也就不会出现互补促进效应。可见,单纯的符号语义观难以解释我们所观察到的现象。然而,按照具身语言观,颜色物体词的加工也需要颜色知觉机制的卷入,则加工“草莓”这个词将同时激活与草莓颜色相对应的神经元群,此时,多次的激活会导致大脑视觉区域红色神经元群的疲劳,产生颜色适应性,这将提高受试对其互补颜色绿色的感受性,出现互补色促进效应。实验结果与这种假设是相吻合的。因此,在延长颜色知觉加工时间后所观察到的补色促进效应,极具说服力地证明,颜色物体词的加工在某种程度上使用了与颜色知觉加工相同的机制。
综合两个系列实验的结果,可以认为,颜色物体词的加工会导致与颜色知觉加工相类似的神经机制的卷入,并且与直接的颜色刺激相类似的,个体可以产生相应的颜色知觉。这一研究结果有力地支持了具身认知的模拟加工观,在一定程度上证实了颜色物体词的加工与颜色知觉加工的相互影响是发生在知觉层面,或者说是在更低级的神经水平上。另外,本研究还具有方法学上的意义,与之前的研究范式相比,当前的适应范式具有重要的优势:同色促进效应既可能发生在知觉层面,也可能发生在词汇层面,但是互补色促进效应却只能发生在低层次的知觉层面,因此能够更深入地验证认知加工机制,这为检验具身语义观与符号语义观提供了一种重要的方法。