APP下载

语言加工中的符号相互依存:语言统计和知觉模拟的交互作用

2017-04-07MaxLouwerse何先友邓玉梅赵雪汝

关键词:编码符号词汇

Max Louwerse, 何先友 作;邓玉梅, 赵雪汝, 薛 颖 译

语言加工中的符号相互依存:语言统计和知觉模拟的交互作用

Max Louwerse, 何先友 作;邓玉梅, 赵雪汝, 薛 颖 译

在近20年中,认知科学的主导观点认为,具身认知理论可以很好地解释人类的认知活动。根据具身认知理论,知觉模拟在很多认知任务中发挥着关键的或根本性的作用,至少在语言加工任务中就是如此,而语言统计则没有什么作用或作用微弱。符号相互依存假设(The Symbol Interdependency Hypothesis)却持不同的观点,该假设认为,知觉模拟和语言统计在语言加工中都起着重要作用,这是因为语言本身就编码着知觉信息。读者的理解是更多地依赖语言统计还是更多地依赖知觉信息,取决于刺激性质、认知任务、加工时程以及个体差异等因素。

符号相互依存 知觉模拟 语言统计

一、引 言

人们是如何赋予词汇意义的?这一直是哲学、语言学和心理学等学科中极受关注的问题。最近,该问题也成了认知科学的一个讨论热点。讨论的焦点是人们形成的心理表征本质上主要是非模态的、任意的(计算的)还是模态的、非任意的(知觉的)。该讨论可以追溯到认知科学的初期,特别是20世纪50年代的认知革命。随着第一代计算机的发展,计算机模型被看作是人类思维的代表,其基本符号被认为是可以由代数规则修改的、离散的。在语言领域发展起来的心理模型[1,2]、命题网络[3,4]、符号加工模型[5,6]和信息加工的联结主义模型[7]都对“意义”的生成进行了理论探讨,这标志着跨学科研究领域的蓬勃发展,同时也使得心理表征如何使语言与世界相联系的问题变成了一个新的兴趣点。尽管语言加工的计算机模型看起来很有前景,但在20世纪80年代前后,研究者们提出的问题是:虽然计算机模型取得了较大的成功,但它真的反映了人类的思维吗?

Searle挑战了信息加工的传统模型以及心理状态和过程的计算概念。在他著名的“中文房间思想”(Chinese Room Thought)实验中,他认为意义并不是来源于符号的转换,而是最终都必须具身化。[8]即语言不会通过符号的操作而获得意义,而要通过把符号与符号指代物相联系来获得意义。简言之,松鼠不是松鼠,因为它同样可以用011011011以及和它共同存在的111001111(树)来表示,我们把松鼠看成是松鼠仅仅因为我们有松鼠的知觉表征,我们可以看到它们、可以对它们喂食、可以触摸它们。根据认知的具身、知觉观,我们不可能在没有外部理解中介的基础上解释符号的意义。[9,10]这个论点引发了一系列关于“意义”的观点,这些观点强调外部环境的作用,认为语言意义的具身至关重要。符号的意义不仅仅是在句法、代数以及与其他符号的真值保留关系上添加一些微不足道的东西,[11]也是与大脑、身体和环境的内部联结,其中,符号本身就是环境的重要组成部分。

关于人类思想的表征,计算模型和知觉经验之间的争论被普遍认为是符号认知理论和具身认知理论之间的争论,[12]这一争论已波及认知科学的诸多领域,如心理学[13]、人工智能[14]、神经科学[15]、语言学[16]、教育学[17]、哲学[18]和人类学[19]。这场争论并未停留在认知科学的外围,相反,就在过去的十年里,涌现出了1 500多篇期刊文章、书籍章节和会议主题,引用次数超过30 000次。这场争论是各抒己见、畅所欲言的。

(一)具身认知

许多认知科学家把理论的重点放在符号是如何变成具身的方法上。具身认知理论日益强调意义的符号表征以及计算机与人类对意义提取方法之间的类比,具身认知理论的支持者们认为,知觉经验对于认知过程而言是必不可少的,即意义的获得必然要涉及知觉和具身经验的激活。大量具身表征的证据表明,模块内的加工要快于模块间的加工。[20,21]此外,在实验任务中启动的动作表征似乎也影响语言理解[22],并且在语言理解过程中视觉表征会得到激活[23—26]。研究表明,知觉特征也影响语言理解,如定位[27]、时间性[28]、清晰性[29]、空间排列[30]、形态[31]、方向[32,33]、形状[26]和位置[34]。

以上这些研究以及许多其他研究都表明语言理解包括非语言特征和知觉模拟的激活。[13,35—38]每个符号总是会激活与其构成意义相吻合的具身表征。[9]因此,具身认知理论认为,语言符号和这些符号的组合是抽象的,在本质上是任意的,所以,它们不能构成意义的基础。

(二)符号认知

符号认知把理论重点放在符号是如何从其他符号中获取意义的。[39]虽然“符号的”经常被看作是“经典认知科学”的标签,但这里的“符号的”(symbolic)意味着它是语言意义的一个信息来源。意义并不是来源于感觉运动表征中某个具身的词汇,它(也可以)来源于符号的表面特征、词汇本身以及这些词汇在文本中相对于其他词汇的分布,即统计语言频率。

根据严格的研究语言的符号方法,非模态的符号系统和知觉状态之间并没有直接的对应关系。也就是说,非模态的符号和知觉之间的任何关系都是间接的,因为不可能有一个在脑海中能够看到具体形态意象的小矮人。[40]即使认知科学近期并没有为极端的符号观提供更多的证据,但是考虑到一系列研究展示了(非模态的)计算机模拟具有与人类表现的同等效果,也不应该废除这种接近人类认知的非模态符号系统。

然而,在具身认知的文献中特别提到了语言加工的一种符号认知模型,[37,41]该模型不是一个认知体系,而是一个计算程序,是矢量空间模型的潜在语义分析(Latent Semantic Analysis,LSA)。根据LSA和多维空间语言模拟(Hyperspace Analogue to Language,HAL),意义是通过将最初无意义的单词映射到一个连续的高维语义空间而获得的。[42,43]

像LSA这样的矢量空间模型在很多任务中都展现出了令人振奋的前景。例如,最初LSA被用作信息检索目的。[44]在标准的准确率测量上,LSA平均得分的精确度要比没有矢量的方法高30%。郎德尔与杜麦斯测试了LSA是否能够通过外语考试中一项英语的测试(TOEFL),[39]这场由教育测试服务中心组织的考试是每一个想要在美国大学学习的外国人必须通过的。在这项含有80道多项选择题目的测试中,LSA的表现与普通学生参加测试的结果一样。当LSA训练的是教科书的内容而不是问题或者答案时,LSA也会在由教科书出版者提供的多项选择测试中得到一个合格的分数。[45]LSA同时也是对话中分配意义输入的主要成分。比如,智能辅导系统AutoTutor会测试学生输入的内容并且产生每个学生独特教育活动的对话。[46]

需要补充的是,根据郎德尔与杜麦斯提出的观点,[39]LSA并不是没有知觉的。他们认为LSA背后的技术还可以应用于图像。然而,很多具身认知学家将LSA看作是意义不能形成的一个很好的例子,认为“松鼠”不是松鼠,因为它是和“树”共同存在的,它可以在树上被看到。

(三)分歧的融合

符号认知理论和具身认知理论被认为是彼此不同的两个观点。[12]一方面是由于这两个理论来自不同的方法论。具身认知理论通常依赖实验证据,而符号认知理论通常依赖于计算证据。由此产生了一个尴尬的情况:跨学科的研究领域比如认知科学本身是通过合并不同的方法论和不同的学科产生的,因此,对于“意义的意义”(meaning of meaning)的争论就在不同的方法与理论阵营之间发生了。

符号认知和具身认知之间这种面对面的争论是有益于科学研究的。它推动了研究发展并且使研究者重视事物的两面性,进行批判性思考。尤其在这种情况下它会变得明显,即当赋予词汇意义时并没有严格地要求将词汇和词汇指代物相联系(比如,我们在面对抽象词汇时并没有将词汇与其指代物相联系,如自由),也没有严格地要求将该词汇与其他单词联系起来(比如,当读到“松鼠”这个词时,我们会在脑海中看到松鼠的形象),因此,现在是时候考虑一个统一的理论了。认知科学现在需要思考的是,在多大程度上对符号理论和具身理论进行认知融合。

符号认知理论和具身认知理论的分歧是否被夸大了呢?极端的符号观或极端的具身观被所有人都接受,这可能吗?已有文献中存在很大的分歧。首先,一些强调符号观的研究把具身认知领域中的研究排除在外[47],同样,强调具身观的研究也把符号观的研究排除在外[37,38]。其次,有研究者提出了符号是不是具身的这一争论。[12]此外,很多文章都清楚地列出它们的分歧。“在认识论上,我没有看到该争论的些微的现实意义,对于心理学来说,意义则更小”[40];“曾经有段时间,心理学理论认为符号是通过参与其他符号的网络而变得有意义,比如,语义网络或者高维空间。现在普遍认为这是不成立的”[48];“这些[符号的]标记可能适合某一特定理论,但由此引发的问题是‘这些符号是如何获得意义的’”[31]。

考虑到相当多的心理学证据都支持符号认知理论和具身认知理论的观点[12],可以认为这两个理论是相互加强的[49]。已有一些理论提出了将二者统一起来的观点。佩维奥的双重编码理论认为,视觉信息和言语信息的处理方式不同,分别沿着不同的通道,但是强调不同通道之间的参考关系。[50—52]最近,巴沙娄、桑拖斯、西蒙斯和魏尔森提出了语言和情境仿真理论(the Language and Situated Simulation, LASS)。[53]根据LASS,语言和情境仿真系统都是即时参与的,但是语言激活的高峰先于仿真的激活。Louwerse提出了符号相互依存假设(the Symbol Interdependency Hypothesis),该假设认为,语言理解既是具身的又是符号的。[35,54]

本文将集中探讨符号相互依存假设,但不是因为它优于其他可替换的模型,也不是因为我们在实验室发展了这个模型,并发现了这个模型的大量证据,因此对这个模型更熟悉;而是因为符号相互依存假设从根本上不同于其他的模型,它假定语言编码了知觉信息。

二、符号相互依存假设

根据符号相互依存假设,语言理解可以通过符号的相互依存进行,也可以通过标记符号进行模态表征进行,前者是符号的,而后者是具身的。[35]也就是说,“松鼠”的意义可以来源于理解者对松鼠的知觉经验,也可以来源于单词“松鼠”在语言语境中的运作。接下来,我们将详细做出解释。如果理解者读到了“约翰看到1101101手中抓着橡子,冲进了树林”这个句子,根据具身认知理论,这个任意组合的单词“11011011”不能被具身化,因而没有任何意义。但是通过语言情境的其他单词来看,这个单词仍然具有意义(符号认知理论的观点),进而建立了知觉经验(具身认知理论的观点)。但是,符号相互依存假设认为“11011011”不是完全任意的。毕竟,在语言中它使用的方式不是任意的。实际上,“11011011”的意义在上述句子中是很容易预测的,并不是所有其他的单词(如勺子)都可以放置在这个情境中。符号相互依存假设认为语言编码着知觉信息。下面我们将给出这种编码的例子。

语言编码着世界上各种关系,包括具身关系,对于语言使用者来说,语言已经逐渐发展成为一种便捷的交流方式。因此,符号相互依存假设认为语言加工既是符号的也是具身的,符号或者具身参与的加工程度受许多因素的影响。举个例子说明,当阅读“约翰看到勺子手中抓着橡子,冲进了树林”时,可以形成各种知觉经验,但这种情境是不大可能的,理解者不能依赖语言情境完成理解,这时候必须激活知觉经验。事实上,符号相互依存假设认为,对于浅显的表征,语言情境能够满足这些情况的需要,理解者更多地依赖语言情境;而当语言情境不能满足这些情况的需要时,认知任务则更多地依赖知觉模拟。注意,我们并不认为依赖语言情境时没有知觉模拟的发生,只是一定程度上语言因素或者知觉因素所占的主导地位不同而已。符号相互依存假设认为,语言统计主导着概念加工的早期阶段,产生快速而粗略的表征(quick-and-dirty representations); 晚期阶段的加工与具身认知相联系,知觉模拟主导着概念加工,产生一个完整的情境模型(full-fledged situation model)。[55—57]对于语言加工来说,所有的(通常的)模型或观点都是“足够好的表征”(good enough representations)[58],这意味着从语言表面结构中提取的语义信息虽然可能是杂乱的,但是对于“足够好的理解”却提供了重要的线索。

符号相互依存假设并不是什么全新的理论,它是基于Deacon的标记层次(hierarchy of signs)理论[19]产生的,而标记层次理论又是基于Peirce的符号学理论(semiotic theories)[59]产生的。也就是说,根据Deacon的理论,语言结构通过符号之间的相互关系(符号关系)以及这些符号的指代(指代关系)提供意义。Deacon的理论中非常重要的一点是,人们使用语言结构作为外部记忆。

符号相互依存假设也和Kintsch的建构整合模型(Construction Integration Model)[60]有关。在Kintsch的模型中,符号表征控制着建构阶段,而整合阶段却受多种表征的控制。然而,与建构整合模型不同的是,符号相互依存假设认为建构阶段的核心是语言的表层结构,而不是语言的命题深层结构。最后,符号相互依存假设和Paivio的双重编码理论(Dual Coding Theory)[50,51]、Barsalou的知觉符号理论(Perceptual Symbol Theory)[61]以及Zwaan的L-L联系理论(linguistic-linguistic associations)[62]和L-R联系理论(linguistic-referential associations)[35]非常相似。但是,正如我们前面所说,符号相互依存假设不同于其他理论,它认为:(1)语言编码着知觉信息,理解者可以使用统计语言频率作为情境模型的捷径;(2)统计语言过程先于具身过程,因为相比具身过程来说,语言过程提供了较浅的(足够好的)表征;(3)调节因素,比如认知任务、加工深度、个体差异和激活时程,影响着符号和具身在加工中占主导地位的程度。

三、 语言编码知觉信息

到目前为止,声称语言编码着知觉信息似乎有些牵强。虽然我们都接受语言是通过编码单词、句子和段落的信息来描述我们周围的世界,但语言编码知觉信息这个观点的意义显然要更深远。

(一)有意义的关系

语言编码着知觉关系。我们以空间关系中任何两个具有垂直空间关系的单词为例,比如,眼睛和鼻子。上面的概念(眼睛)先于下面的概念(鼻子)的频次要显著高于下面的概念先于上面的概念的频次。这一点同样可以用其他单词对来说明,比如,上—下、高—低、上面—下面、顶部—底部、头—脚。在我们不认识的外语中,以具有垂直关系的两个单词为例,人们可以根据它们的排列顺序来预测在知觉世界中哪个单词在上,哪个单词在下。高—低映射通常比低—高映射更为频繁。[63]

映射不仅限于垂直空间关系,效价单词也有同样的映射,以任何一个积极词汇和一个消极词汇为例,积极词汇先于消极词汇的可能性要显著大于消极词汇先于积极词汇的可能性。[64]比如,高兴和悲伤、好和坏、天堂和地狱、笑和哭、加和减,甚至太阳和雨。

权威关系和性别关系也具有相同的模式,权威概念先于非权威概念,比如,老师和学生、雇主和雇员,而不是学生和老师、雇员和雇主;男性概念先于女性概念,比如,兄弟姐妹、爸爸妈妈,而不是姐妹兄弟、妈妈爸爸。[64]

当然,没有什么可以阻止人们先说消极对象然后说积极对象,但是这种说法要比先积极再消极的说法更不常见,这就使得人们在没有根植于知觉经验的情况下也可以对这些单词的意义做出预测。而且,这些模式并不局限于只言及两个对象的情况。[65]如果该两个对象(词汇)被其他词汇分离开了,例如在“概念1,[词汇1],[词汇2],[词汇3],概念2”的条件下,仍然存在前述这种先积极后消极的关系。[63]

语言编码着知觉模拟的思想甚至可以扩展到模块(modalities)本身。Louwerse 和 Connell研究了语言统计是否能够对一组对某种特定模块特别敏感的形容词表现出准确的模块化识别。[55]换句话说,我们的研究问题是当“酸”(sour)与“大声”(loud)同时呈现时,被试是否能够准确识别味觉模块中的“酸”和听觉模块中的“大声”。我们在Lynott和Connell 2009年的模式排他性标准[66]中选取了所有的423个特定模块的词汇并计算了他们的共同出现情况。然后对这个423×423矩阵进行了主成分分析。在所有五大模块中,语言统计方法能够预测三大模块:视觉—触觉、听觉与嗅觉—味觉。语言统计不能对视觉和触觉进行区分,也不能对嗅觉和味觉进行区分,这意味着语言统计能够对这些词汇进行分类,但只能达到“足够好”(good-enough)的类别标准(即浅层表征的分类)。

(二) 语言编码地理信息和社会关系

语言同样编码着地理信息。在其他研究中,我们证明了在报纸、小说和说明文中通过命名实体(城市名和人名)的共同发生能够估计城市的经度和维度。[67—70]Tobler的地理学第一定律认为:“一切事物都和其他的事物相关联,但是近的事物比远的事物更相关。”[71]据此,Louwerse 和 Zwaan 认为:“坐落在一起的城市总是会被一起提及。”[69]我们选取了美国最大的50个城市,并用潜在语义分析(LSA)对纽约时报、华尔街日报和洛杉矶时报进行了分析,计算了这些城市之间的语义联系。用多维标度(MDS)分析50×50矩阵的语义联系,在两个MDS中的城市名字的共同提及概率引发了这些城市经度和纬度的强烈相关。而且这些城市名在报纸上出现的频率和它们的人口多少相关。运用相似的方法,对中国与阿拉伯的文本中提及的城市名进行分析,同样可以估计这些城市在中国和中东的地理位置。[68]最近,Louwerse 和 Benesh 利用《指环王》的文本内容估计了中土(Middle Earth)的位置。[67]有关证据表明,不论语言的语料库(英语、中文、阿拉伯语)或者文本类型(报纸、百科全书、小说)是什么,不同地区(美国、中东、中国,甚至虚构的中土)的地理位置都可以很好地被估计。

类似于对地理位置进行计算语言学的估计,我们的研究表明,这些计算技术同样可以用来估计人与人之间的社会关系,通过计算人名之间的语义联系来实现。例如,对小说《哈利波特》中的人物矩阵联系进行MDS分析,就会获得关于这些人物的详细社会网络,这意味着具有某种社会关系的人们会被共同提及,相关网络的第一维度是人物的声望,第二维度是朋友和敌人。社会网络的分析方法已扩展到了对其他小说的分析,比如《冰与火之歌》《暮光之城》。当然,它也可以用于分析报纸和其他的说明文。[72]

四、语言统计解释认知过程

在系列实验中我们测试了统计语言频率是否可以预测反应时。例如,Louwerse对Zwaan 和 Yaxley的发现进行了研究。Zwaan 和 Yaxley声称,在语义判断任务中,像阁楼—地下室这样具有垂直布局的单词对的反应时要短于地下室—阁楼布局的单词对,这是因为被试在知觉上模拟了这些单词对的指向。[30]Louwerse的研究发现,语言统计观点可以同样(甚至更好)地解释Zwaan和Yaxley的结果。[63]Hutchinson 和 Louwerse使用效价关系和权威关系进行了相似的实验。[64]Meier 和 Robinson认为,高兴—悲伤的快速加工是建立在“快乐是向上的”这样的基本隐喻之上的;[73]同样,Meier、Robinson和 Schubert认为,医生—病人的快速加工是建立在“控制者是在上面的”这样的基本隐喻之上的。[74,75]Hutchinson 和 Louwerse的研究发现,语言统计也能很好地解释这些发现,甚至比知觉模拟能更好地解释这些发现。[64]

前面部分提及的所有研究都表明,高统计频率语言(如,高兴—悲伤)比低统计频率语言(如,悲伤—高兴)的加工时间更短。这可能说明语言统计解释了认知过程。但是,我们之前也提出语言编码了知觉关系。那是否意味着,不是语言频率解释着认知过程,而是知觉关系解释着认知过程——只是这碰巧和语言频率相关?但是证据似乎并不支持这个论点。Louwerse发现,许多单词对都有频繁的高低顺序(如,阁楼—地下室比地下室—阁楼出现得更频繁)。[63]重要的是,几乎没有单词对的语言统计模式与知觉模式是不匹配的,例如,高的概念(“阁楼”)出现在低的概念(“地下室”)之前比在其之后更频繁,因此,语言统计观点可以解释反应时,而知觉理论不能。[63]事实上,我们所有的研究都发现语言统计独立解释了反应时的变化。[36]

语言统计解释反应时的证据并不局限于空间关系、效价或者模块间的单词对,Louwerse 和 Benesh的研究探讨了被试在他们的地理表征中是否依赖于语言统计。[67]我们利用Tolkien的《指环王》来估计中土的地理位置,然后我们比较了两组被试对中土的地理估计。一组被试没有读过《指环王》,只是按要求学习中土的地图,然后在一张空白地图上估计城市的位置;另外一组被试读过《指环王》三部曲,他们没有学习中土的地图,只是根据他们阅读的《指环王》在空白地图上估计城市的位置。当我们比较地图被试和文本被试估计的地图-位置和计算机-位置时,我们发现文本被试估计的计算机-位置比地图被试估计的计算机-位置更加准确,而地图被试估计的地图-位置比文本被试估计的地图-位置更加准确。但是这些发现不是结论性的,因为并不是文本被试更可能基于文本产生知觉表征,地图被试同样也可以产生知觉表征。但这项研究至少证明了语言编码知觉关系(包括地理位置),同时也表明语言统计在心理表征形成中所起的作用。

五、符号和具身认知的调节因素

符号相互依存假设并不认为概念加工本质上要么是符号的要么是具身的,而是认为概念加工本质上既是符号的又是具身的,但在不同条件下二者的主导地位不同。也就是说,一些因素在一定程度上调节着人类加工语言时是更多地依赖知觉还是符号。我们已有的研究对许多调节因素进行了探讨。

Louwerse和 Jeuniaux[56]进行了一项类似于 Louwerse[63]2008年和Zwaan与Yaxley[30]2003年所做的实验,但是刺激的性质和认知任务不同。他们运用语言刺激(如,垂直布局的显示器—键盘和键盘—显示器)进行了两项实验,同时也运用图片刺激(如,图片形式的垂直布局的显示器—键盘和键盘—显示器)进行了两项实验。在其中的两个实验中,实验材料一个是单词,一个是图片,要求被试做出语义判断,即要求判断这两个概念描述的意义是否相似。在另外两个实验中,实验材料一个是单词对,一个是图片对,要求被试做出形象性判断,即要求被试判断这两个概念在现实中一个对象是否会出现在另一个对象的上面。因为形象性判断任务中含有语义判断任务,但不仅仅只是与语义加工有关的任务,所以语义判断任务是浅层的(或者至少是更浅的)认知任务,而形象性任务是深层的(或者至少是更深的)认知任务。

结果表明,当单词作为刺激时,语言统计因素(操作定义为两个单词的统计语言频率)解释反应时差异要优于知觉因素(操作定义为在现实世界中两个物品一个在另外一个之上的可能性)。而当图片作为刺激时,结果却正好相反:知觉因素比语言统计因素能够更好地解释反应时差异。重要的是,语言统计因素和知觉因素都解释了反应时,但是他们解释的程度取决于刺激的性质。对于认知任务结果同样是明确的:语言变量(统计语言频率)在浅层的认知任务中占主导地位,而知觉因素(知觉评估)在深层的认知任务中占主导地位。这些发现符合符号相互依存假设,该假设认为浅加工导致“足够好”(good enough)的表征,在这之中语言统计很重要,然而对于深层加工,知觉模拟则占主导地位。

Louwerse和 Connell是这么解释这一发现的:如果语言统计能够很好地解释较浅的认知加工,那么我们就可以认为语言统计能够很好地解释更快的反应时,而知觉因素则能够很好地解释更慢的反应时。[55]他们单独分析了三组中每个被试和每种条件下的语义判断反应时,发现语言统计因素能够很好地解释最快的反应时,知觉模拟因素能够解释最慢的反应时,而语言统计和知觉模拟都可以很好地解释中等的反应时。

Louwerse和 Hutchinson进一步通过脑电实验探讨了加工的时间进程。[57]他们发现,在概念加工的早期,与语言加工相关的大脑区域会比与知觉加工相关的大脑区域得到更多的激活,但是在加工的后期这种模式就会反转。此外,相比较语义判断任务(描述两个单词之间的意义关系),在形象性任务中(描述在现实世界中概念之间的关系)知觉区域更容易激活,而语言区域则呈现相反的模式。Louwerse 和 Hutchinson比较了相关的激活,发现在整个加工任务中,与语言加工和知觉加工相关的大脑区域都会得到很明显的激活。[57]

在空间—数字联合反应编码效应(Spatial Numerical Association Response Code Effect ,SNARC)实验中也发现,知觉模拟在深层认知任务中的作用尤其突出。[76]他们采用中国的数字和月份进行了三个SNARC实验,发现SNARC效应由认知任务和加工的时间进程调节。不同版本的中文刺激(幅度信息和顺序信息)的结果表明更多的认知努力产生了更强的SNARC效应。此外,当刺激呈现过早(250ms)或过晚(750ms)时,SNARC效应不会产生,但当刺激呈现是适中状态(500ms)时,就会产生SNARC效应。换句话说,在加工的早期阶段不会获得知觉模拟,而这对SNACR效应的产生是至关重要的,同时,知觉模拟也不会作为后效获得,但在理解的适中阶段就会获得知觉模拟。

除了认知任务和时程是符号认知和具身认知的调节因素以外,Hutchinson和Louwerse还发现,个体差异也能决定概念加工在本质上主要是统计语言的还是知觉的。[64]Hutchinson和Louwerse指出,大量研究发现了语言和空间能力都存在着性别差异。例如,在空间任务上男生通常优于女生。[77—78]相似地,女生在大量任务中,比如语言流畅性任务、语义分类任务和口头记忆任务,就表现出了较好的语言技能。[79—81]基于这些性别效应,我们假设,因为女生在编码语言信息时可能有着更明显的优势,这种优势会延伸到语义判断任务中,因此,语言因素可能会更好地预测女生的反应时。我们发现的结果确实如此。除了刺激类型、认知任务和时程外,性别也是符号认知和具身认知的一个调节因素,有关结果也确实表明女性被试比男性被试更依赖于统计语言模式。

六、概念加工中语言统计和知觉模拟的重要性

在认知科学的背景下,符号认知和具身认知的争论是否小题大做了?正如我们前面提到的,许多研究者参与了这场讨论,并发表了很多论文,出版了不少著作,因此,我们不能对这场争论视而不见。然而,有的人会说也许不应该看研究的数量,而应该看具身认知实验的效应量大小。毕竟,效应量的大小决定着具身认知理论是否值得探索。我们选取了51篇1999年到2012年发表在同行评审期刊中的有关具身认知研究的论文,其中包含采用实验研究来探讨的心理语言问题。[36]这51篇具身认知的研究论文一共包括126个实验,这些实验的效应量都比较大,表明具身认知的观点得到了支持,也表明具身认知的争论不是不重要的,我们既不能看出版物的数量,也不能看对具身认知现象关注的多少。同时,我们也对另外58篇关于语言统计效应的研究论文进行了分析,结果发现,语言统计的效应量大小与知觉模拟的效应量一样大或者更大。当探讨影响效应量大小的因素时,我们发现与即时加工相联系的因素(按键、文字加工)会减少知觉模拟的效应量。另外,这些发现符合符号相互依存假设,即语言统计可以解释快速的、足够好的表征(good enough representations),知觉模拟则可以解释那些需要付出更多努力的、更为细节性的表征。

七、结 语

本文概述了符号认知和具身认知的主要争论,[12]即人们加工语言时形成的心理表征究竟是知觉模拟的结果还是语言统计的结果。对这个问题,我们并没有提供相互排斥的解决方法,相反,我们提出了符号相互依存假设作为包容性的解决方法。根据该假设,语言加工既是符号的又是具身的,这依赖于多种因素。符号加工指的是人们依赖语言统计来提供“足够好”的表征,这对加工早期阶段的浅层认知任务来说似乎是足够的,然而,在加工后期的深层认知任务中知觉模拟则占了主导地位。因为语言编码知觉信息,因此,早期就可以形成“足够好”的表征。

当然,符号相互依存假设不能回答所有的问题,但它却有助于我们理解认知的基础。与其说符号相互依存假设在回答认知究竟是符号的还是具身的,还不如说它是在回答一个更现实的问题,即在何种程度上或者在什么情况下,认知主要是符号的还是具身的,这为心理表征的本质提供了一个跨学科和综合的视角。

[1] P. N. Johnson-Laird.MentalModelsinCognitiveScience. Cognitive Science, 1980, 4:71—115.

[2] P. N. Johnson-Laird. Mental Models. Cambridge: Cambridge University Press, 1983.

[3] W. Kintsch, T. A. Van Dijk.TowardaModelofTextComprehensionandProduction. Psychological Review, 1978, 85:363—394.

[4] T. A.Van Dijk, W. Kintsch. Strategies of Discourse Comprehension. New York: Academic Press, 1983.

[5] J. R. Anderson.ASpreadingActivationTheoryofMemory. Journal of Verbal Learning and Verbal Behavior, 1983, 22: 261—295.

[6] J. A. Fodor.MethodologicalSolipsismConsideredasaResearchStrategyinCognitivePsychology. Behavioral and Brain Sciences, 1980, 3:63—109.

[7] D. E. Rumelhart, J. L. McClelland, and the PDP Research Group. Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Cambridge, MA: MIT Press, 1986.

[8] J. R. Searle.Minds,Brains, &Programs. Behavioral & Brain Sciences, 1980, 3: 417—457.

[9] A. M. Glenberg.WhatMemoryIsfor:CreatingMeaningintheServiceofAction. Behavioral and Brain Sciences, 1997, 20:1—55.

[10]S. Harnad.TheSymbolGroundingProblem. Physica, 1990, 42: 335—346.

[11]J. Fodor. The Language of Thought. New York, USA: Crowell, 1975.

[12]M. de Vega, A. M. Glenberg, A. C. Graesser. Symbols and Embodiment: Debates on Meaning and Cognition. New York, NY: Oxford University Press, 2008.

[13]L. W. Barsalou.GroundedCognition. Annual Review of Psychology, 2008, 59: 617—645.

[14]A. Cangelosi, T. Riga.AnEmbodiedModelforSensorimotorGroundingandGroundingTransfer:ExperimentswithEpigeneticRobots. Cognitive Science, 2006, 30(4): 673—689.

[15]B. Z. Mahon, A. Caramazza.ACriticalLookattheEmbodiedCognitionHypothesisandaNewProposalforGroundingConceptualContent. Journal of Physiology - Paris, 2008, 102: 59—70.

[16]G. Lakoff, M. Johnson. Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Thought. New York, NY: Basic Books, 1999.

[17]M. W. Alibali, M. J. Nathan.EmbodimentinMathematicsTeachingandLearning:EvidencefromLearners’andTeachers’Gestures. Journal of the Learning Sciences, 2012, 21(2): 247—286.

[18]A. Clark.AnEmbodiedCognitiveScience? Trends in Cognitive Science, 1999, 3: 345—351.

[19]T. W. Deacon. The Symbolic Species: The Co-evolution of Language and the Brain. New York, NY: W.W. Norton & Company, 1997: 202.

[20]J. F. Marques.SpecializationandSemanticOrganization:EvidenceforMultipleSemanticsLinkedtoSensoryModalities. Memory & Cognition, 2006, 34: 60—67.

[21]C. Spence, M. E. Nicholls, J. O. N. Driver.TheCostofExpectingEventsintheWrongSensoryModality. Attention, Perception, & Psychophysics, 2001, 63(2): 330—336.

[22]R. A. Zwaan, R. A. Stanfield, R. H. Yaxley.DoLanguageComprehendersRoutinelyRepresenttheShapesofObjects? Psychological Science, 2002, 13, 168—171.

[23]L. Boroditsky.MetaphoricStructuring:UnderstandingTimethroughSpatialMetaphors. Cognition, 2000, 75:1—28.

[24]R. Fincher-Kiefer.PerceptualComponentsofSituationModels. Memory and Cognition, 2001, 29: 336—343.

[25]T. Matlock, M. Ramscar, L. Boroditsky.TheExperientialLinkbetweenSpatialandTemporalLanguage. Cognitive Science, 2005, 29: 655—664.

[26]R. A. Zwaan, R. H. Yaxley.LateralizationofObject-ShapeInformationinSemanticProcessing. Cognition, 2004, 94(2): B35—B43.

[27]R. A. Stanfield, R. A. Zwaan.TheEffectofImpliedOrientationDerivedfromVerbalContextonPictureRecognition. Psychological Science, 2001, 12: 153—156.

[28]R. A. Zwaan,C. J. Madden, S. N. Whitten.ThePresenceofanEventintheNarratedSituationAffectsItsAvailabilitytotheComprehender. Memory & Cognition, 2000, 28(6):1022—1028.

[29]D. N. Rapp, W. S. Horton.OutofSight,outofMind:OcclusionandtheAccessibilityofInformationinNarrativeComprehension. Psychonomic Bulletin & Review, 2003, 10:104—110.

[30]R. A. Zwaan, R. H. Yaxley.SpatialIconicityAffectsSemanticRelatednessJudgments. Psychonomic Bulletin & Review, 2003, 10: 954—958.

[31]S. van Dantzig, D. Pecher, R. Zeelenberg, et al.PerceptualProcessingAffectsConceptualProcessing. Cognitive Science, 2008, 32: 579—590.

[32]A. M. Glenberg, M. P. Kaschak.GroundingLanguageinAction. Psychonomic Bulletin & Review, 2002, 9:558—565.

[33]M. P. Kaschak, C. J. Madden, D. J. Therriault,et al.PerceptionofMotionAffectsLanguageProcessing. Cognition, 2005, 94: B79—B89.

[35]M. M. Louwerse.SymbolInterdependencyinSymbolicandEmbodiedCognition. Topics in Cognitive Science, 2011, 3: 273—302.

[36]M. M. Louwerse, S. Hutchinson, R. Tillman,et al.EffectSizeMatters:theRoleofLanguageStatisticsandPerceptualSimulationinConceptualProcessing. Language, Cognition and Neuroscience, 2015, 30(4): 430—447.

[37] D. Pecher, R. A. Zwaan. Grounding Cognition: The Role of Perception and Action in Memory, Language, and Thinking. Cambridge, USA: Cambridge University Press, 2005.

[38]G. R. Semin, E. R. Smith. Embodied Grounding: Social, Cognitive, Affective, and Neuroscientific Approaches. Cambridge, MA: Cambridge University Press, 2008.

[39]T. K. Landauer, S. T. Dumais.ASolutiontoPlato’sProblem:TheLatentSemanticAnalysisTheoryofAcquisition,Induction,andRepresentationofKnowledge. Psychological Review, 1997, 104(2): 211.

[40]J. A. Fodor.LOT2:TheLanguageofThoughtRevisited:TheLanguageofThoughtRevisited. New York, NY: Oxford University Press, 2008.

[41]A. M. Glenberg, D. A. Robertson.SymbolGroundingandMeaning:AComparisonofHigh-dimensionalandEmbodiedTheoriesofMeaning. Journal of Memory & Language, 2000, 43: 379—401.

[42]C. Burgess, K. Lund.ModelingParsingConstraintswithHigh-dimensionalContextSpace. Language & Cognitive Processes, 1997, 12: 177—210.

[43]K. Lund, C. Burgess.ProducingHigh-dimensionalSemanticSpacesfromLexicalCo-occurrence. Behavior Research Methods, Instrumentation, and Computers, 1996, 28: 203—208.

[44]M. W. Berry, S. T. Dumais, G. W. O’Brien.UsingLinearAlgebraforIntelligentInformationRetrieval. SIAM Review, 1995, 37: 573—595.

[45]T. K. Landauer, P. W. Foltz, D. Laham.AnIntroductiontoLatentSemanticAnalysis. Discourse Processes, 1998, 25: 259—284.

[46]A. C. Graesser, S. Lu, G. T. Jackson, et al.AutoTutor:ATutorwithDialogueinNaturalLanguage. Behavioral Research Methods, Instruments, and Computers, 2004, 36: 180—193.

[47]T. K. Landauer, D. S. McNamara, S. Dennis, et al. Handbook of Latent Semantic Analysis. Mahwah, NJ: Erlbaum, 2007.

[48]A. M. Glenberg.EmbodimentasaUnifyingPerspectiveforPsychology. Cognitive Science, 2010, 1:586—596.

[49]R. L. Goldstone, B. J. Rogosky.UsingRelationswithinConceptualSystemstoTranslateacrossConceptualSystems. Cognition, 2002, 84(3):295—320.

[50]A. Paivio. Imagery and Verbal Processes. New York: Holt, Rinehart, and Winston,1971.

[51]A. Paivio. Mental Representations: A Dual Coding Approach. Oxford, UK: Oxford University Press, 1986.

[52]A. Paivio. Mental Representations: A Dual Coding Approach. Oxford Psychology Series - 9. New York, NY: Oxford University Press, 1990.

[53]L. W. Barsalou, A. Santos, W. K. Simmons, et al.LanguageandSimulationinConceptualProcessing//M. De Vega, A. M. Glenberg, & A. C. Graesser. (Eds.). Symbols, Embodiment, and Meaning. Oxford: Oxford University Press, 2008: 245—283

[54]M. M. Louwerse.IconicityinAmodalSymbolicRepresentations//T. K. Landauer, D. S. McNamara, S. Dennis, et al. (Eds.). Handbook of Latent Semantic Analysis. Mahwah, NJ: Erlbaum, 2007: 107—120.

[55]M. Louwerse, L. Connell.ATasteofWords:LinguisticContextandPerceptualSimulationPredicttheModalityofWords. Cognitive Science, 2011, 35(2): 381—398.

[56]M. M. Louwerse, P. Jeuniaux.TheLinguisticandEmbodiedNatureofConceptualProcessing. Cognition, 2010, 114(1) : 96—104.

[57]M. M. Louwerse, S. Hutchinson.NeurologicalEvidenceLinguisticProcessesPrecedePerceptualSimulationinConceptualProcessing. Frontiers in Psychology, 2012, 3: 385.

[58]F. Ferreira, V. Ferraro, K. G. D. Bailey.Good-enoughRepresentationsinLanguageComprehension. Current Directions in Psychological Science, 2002, 11:11—15.

[59]C. S. Peirce. C. Hartshorne, P. Weiss & A. Burks. (Eds.). The Collected Papers of Charles Sanders Peirce. Cambridge MA: Harvard University Press, 1923.

[60] W. Kintsch. Comprehension: A Paradigm for Cognition. New York, NY: Cambridge University Press, 1998.

[61]L. W. Barsalou.PerceptualSymbolSystems. Behavioral and Brain Sciences, 1999, 22:577—660.

[62]R. A. Zwaan.TimeinLanguage,SituationModels,andMentalSimulations. Language Learning, 2008, 58(s1):13—26.

[63]M. M. Louwerse.EmbodiedRelationsAreEncodedinLanguage. Psychonomic Bulletin & Review, 2008, 15(4): 838—844.

[64]S. Hutchinson,M. M. Louwerse.LanguageStatisticsandIndividualDifferencesinProcessingPrimaryMetaphors. Cognitive Linguistics, 2013, 24(24):667—687

[65]S. B. Benor, R. Levy.TheChickenortheEgg?AProbabilisticAnalysisofEnglishBinomials. Language, 2006, 82: 233—278.

[66]D. Lynott,L. Connell.ModalityExclusivityNormsfor423ObjectProperties. Behavior Research Methods, 2009, 41(2):558—64.

[67]M. M. Louwerse, N. Benesh.RepresentingSpatialStructurethroughMapsandLanguage:LordoftheRingsEncodestheSpatialStructureofMiddleEarth. Cognitive Science, 2012, 36(8):1556—1569.

[68]M. M. Louwerse, S. Hutchinson, Z. Cai.TheChineseRouteArgument:PredictingtheLongitudeandLatitudeofCitiesinChinaandtheMiddleEastUsingStatisticalLinguisticFrequencies//N. Miyake, D. Peebles, & R. P. Cooper (Eds.). Proceedings of the 34th Annual Conference of the Cognitive Science Society. Austin, TX: Cognitive Science Society, 2012: 695—700.

[69]M. M. Louwerse, R. A. Zwaan.LanguageEncodesGeographicalInformation. Cognitive Science, 2009, 33: 51—73.

[70]G. Recchia, M. M. Louwerse.GroundingtheUngrounded:EstimatingLocationsofUnknownPlaceNamesfromLinguisticAssociationsandGroundedRepresentations//P. Bello, M. Guarini, M. McShane, et al. (Eds.). Proceedings of the 36th Annual Conference of the Cognitive Science Society. Austin, TX: The Cognitive Science Society, 2014: 1270—1275.

[71]S. Hutchinson, V. Datla, M. M. Louwerse.SocialNetworksAreEncodedinLanguage//N. Miyake, D. Peebles, & R. P. Cooper (Eds.).Proceedingsofthe34thAnnualConferenceoftheCognitiveScienceSociety. Austin, TX: Cognitive Science Society, 2012: 491—496.

[72]S. Hutchinson, V. Datla, M. M. Louwerse.SocialNetworksAreEncodedinLanguage//N. Miyake, D. Peebles, & R. P. Cooper (Eds.).Proceedingsofthe34thAnnualConferenceoftheCognitiveScienceSociety. Austin, TX: Cognitive Science Society, 2012: 491—496.

[73]B. P. Meier, M. D. Robinson.TheMetaphoricalRepresentationofAffect. Metaphor and Symbol, 2005, 20: 239—257.

[74]B. P. Meier, M. D. Robinson.WhytheSunnySideIsUp. Psychological Science, 2004, 15:243—247.

[75]T. W. Schubert.YourHighness:VerticalPositionsasPerceptualSymbolsofPower. Journal of Personality and Social Psychology, 2005, 89: 1—21.

[76]X. He, J. Wang, L. Li, et al.AutomaticityoftheSpatialNumericalAssociationofResponseCodesEffects:PerceptualSimulationasaFunctionofCognitiveTaskandTimeCourse. (under review).

[77]C. P. Benbow, J. C. Stanley.SexDifferencesinMatheMaticalReasoningAbility:MoreFacts. Science, 1983, 222: 1029—1031.

[78]M. B. Casey, R. L. Nuttall, E. Pezaris.Spatial-MechanicalReasoningSkillsversusMathematicsSelf-confidenceasMediatorsofGenderDifferencesonMathematicsSubtestsUsingCross-nationalGender-basedItems. Journal for Research in Mathematics Education, 2001, 32: 28—57.

[79]J. M. Andreano, L. Cahill.SexInfluencesontheNeurobiologyofLearningandMemory. Learning and Memory, 2009, 16: 248—266.

[80]D. D. Burman, T. Bitan, J. R. Booth.SexDifferencesinNeuralProcessingofLanguageamongChildren. Neuropsychologia, 2008, 46: 1349—1362.

[81]M. H. Bornstein, M. O. Haynes, K. M. Painter, et al.ChildLanguagewithMotherandwithStrangeratHomeandintheLaboratory:AMethodologicalStudy. Journal of Child Language, 2000, 27: 407—420.

【责任编辑:王建平;实习编辑:杨孟葳】

教育部人文社会科学重点研究基地重大项目“文字符号否定与图形符号否定的加工机制:来自多方法的汇集证据”(15JJD190005);国家自然科学基金项目“具身的美与赋予的美:来自汉字字形审美的行为与fMRI实验证据”(31671132)

2016-06-06

B842.1

A

1000-5455(2017)02-0051-10

Max Louwerse,荷兰人,心理学博士,荷兰蒂尔堡大学认知交流蒂尔堡中心教授、博士生导师;何先友,湖南新宁人,心理学博士,华南师范大学心理学院教授、博士生导师。译者简介:邓玉梅, 湖南新宁人,广东省委党校副教授;赵雪汝, 山东莱阳人,华南师范大学心理学院博士研究生;薛颖,广东湛江人,华南师范大学心理学院硕士研究生。)

猜你喜欢

编码符号词汇
学符号,比多少
基于SAR-SIFT和快速稀疏编码的合成孔径雷达图像配准
本刊可直接用缩写的常用词汇
一些常用词汇可直接用缩写
《全元诗》未编码疑难字考辨十五则
子带编码在图像压缩编码中的应用
“+”“-”符号的由来
本刊可直接用缩写的常用词汇
Genome and healthcare
变符号