知识背景对信息表征形式的影响

王瑞明，张清平，邹艳荣

（华南师范大学心理应用研究中心，广东广州510631）

知识背景对信息表征形式的影响

王瑞明，张清平，邹艳荣

（华南师范大学心理应用研究中心，广东广州510631）

通过2个实验探讨知识背景对言语理解中的信息表征形式的影响。被试为华南师范大学本科生，包括文科生、理科生和美术生共148名。实验1使用句图匹配再认范式，结果表明三种知识背景的被试都能产生知觉符号表征。实验2使用语义相关判断范式，结果表明只有美术生产生了知觉符号表征，而文科生和理科生产生的都是命题符号表征。总的实验结果表明，文科生和理科生只有在句图匹配再认范式中才产生知觉符号表征，而美术生在两种范式中都能产生知觉符号表征，这是因为美术生的知识背景更倾向于形象知识；该结果还进一步说明知觉符号表征并不是一种自动化的加工过程，它受被试的知识背景的影响，同时也受实验任务的影响。

知识背景；信息表征；知觉符号表征；命题符号表征

一、前 言

人们如何表征言语理解中的相关信息？这是一个非常古老但至今仍没有得到很好解决的热点问题。目前认知心理学界关于知识表征主要存在两种理论：命题符号理论（propositional symbol system）［1，2］和知觉符号理论（perceptual symbol system）［3，4］。命题符号理论是比较传统的知识表征理论，它认为认知的构成材料是命题，人们对于言语理解中的信息的表征是一种命题符号表征，然后形成命题网络。而知觉符号理论是最新提出的知识表征理论，它认为知觉符号是认知的构成材料，长时记忆里储存的是由具有模式性、类似性的知觉符号所构成的仿真器。以上两种理论的一个重要差异在于对内在符号与外在刺激原型关系的不同描述。命题符号理论认为两者的关系是任意的、语言学模式的，而知觉符号理论则认为两者的关系是类似的、知觉的。比如，“天空中的老鹰”和“巢穴中的老鹰”，按照命题符号理论，刺激的特征变化不会引起其概念命题的变化，大脑都运用相同命题“老鹰”来表征；而按照知觉符号理论，外在刺激的变化会引起其知觉符号的改变，大脑会使用不同的“老鹰”仿真器来进行表征，即天空中的老鹰是展开翅膀的老鹰，巢穴中的老鹰是合着翅膀的老鹰。最近几年，研究者主要使用句图匹配再认范式和语义相关判断范式设计一系列实验对以上两种理论进行了验证，获得了支持知觉符号理论的许多证据。

在句图匹配再认范式中，研究者要求被试阅读一系列句子，每个句子呈现后都有一幅图画，图中事物的方位或形状是变化的，它与句子中隐含的事物方位或形状有匹配和不匹配两种情况。例如，呈现给被试“他往墙壁上钉钉子”或“他往地板上钉钉子”的句子，接着出现一幅图画，图画中的钉子要么是水平的，要么是垂直的，这样就与句子所隐含的方位形成了匹配和不匹配两种情况。再如，呈现给被试“天空中有一只老鹰”或者“巢穴中有一只老鹰”的句子，接着出现一幅图画，图画中的老鹰要么是展开翅膀的，要么是合着翅膀的，这样就与句子所隐含的形状形成了匹配和不匹配两种情况。实验任务是要求被试尽快判断图画中的事物是否在之前的句子中提到过。根据知觉符号理论，被试对匹配图画的再认时间会明显短于不匹配图画的再认时间；而根据命题符号理论，两种情况下再认时间不会有差异。实验结果表明，不论是方位信息还是形状信息，图画和句子不匹配时的再认时间明显慢于匹配时的再认时间，这些结果支持了知觉符号理论［5－8］。

在语义相关判断范式中，研究者使用那些指代有纵向空间次序关系物体的名词作为实验材料，如“树冠”和“树根”，要求被试快速判断词对是否语义相关。各个词对纵向呈现，其呈现顺序要么与指代物的空间位置次序一致（如“树冠”在上，“树根”在下），要么不一致（如“树根”在上，“树冠”在下）。按照命题符号理论的观点，“树冠”和“树根”不管在哪个位置上，被试对它们的表征都是概念上的“树冠”和“树根”，两种呈现方式没有差异；而按照知觉符号理论的观点，被试表征“树冠”和“树根”时会自动激活它们的空间位置信息，呈现方式跟它们本身的空间位置一致与否会有差异。实验结果表明，不一致条件下语义相关判断的反应时显著慢于一致条件，这些结果也支持了知觉符号理论［9－11］。

先前很多实验虽然验证和支持了知觉符号理论，但是在这些实验中，研究者对被试群体并没有进行区分，都默认为所有被试的信息表征形式都是一样的。实际上，命题符号表征更倾向于抽象表征，而知觉符号表征更倾向于形象表征。如果被试的知识背景不同，他们在言语理解中的信息表征形式也应该会有所不同。例如，美术专业背景的被试会对形象信息更为敏感，相对于一般的文科专业被试和理科专业被试，应该会有更强的知觉符号表征。另外，句图匹配再认任务比语义相关判断任务更形象，不同被试在这两种不同的实验范式中其信息表征形式也可能会有不同。先前很多研究证明，言语理解中被试会自动产生知觉符号表征，但也有一些研究证明，知觉符号表征只在一定条件下才产生，那么知觉符号表征到底是不是一种自动化的过程？基于上述问题，本研究准备在前人研究的基础上，从被试的知识背景出发，结合使用句图匹配再认范式和语义相关判断范式进一步检验言语理解中的信息表征形式到底是知觉符号表征还是命题符号表征。

二、实验1

（一）研究目的

采用句图匹配再认范式，探讨不同知识背景被试言语理解中信息表征的形式。

（二）研究方法

1.被试。华南师范大学65名本科生参加本实验，其中文科生21名，理科生20名，美术生24名。所有被试均裸眼或矫正视力正常，母语为汉语，无任何阅读障碍和识图障碍。

2.实验材料。实验中总共使用了120个句子，包括48个实验句子和72个填充句子，其中多数改编自Zwaan等人（2002）的实验，另外一些是我们根据需要自己编制的。48个实验句子两两配对，每对句子都包含同一事物，但隐含着该事物的不同形状。例如，一对句子，其中一个是“天空中有一只老鹰”，另一个是“巢穴中有一只老鹰”。72个填充句子中包含的事物都不相同。通过把表示事物的名词放在句子的开头、中间与结尾来控制名词的位置。所有句子都至少包含一个名词。

另外，实验中还有120个探测项目，分别对应于120个句子，其中包括72张黑白图画和48个名词词汇。72张黑白图画中多数取自Zwaan等人（2002）的实验，另外一些是我们根据中国人的习惯和经验添加的。72张图画中有48张作为实验探测图画，分别对应于48个实验句子，其余24张作为填充探测图画。实验探测图画也是两两配对，两张画有同一事物的图画为一对，但事物形状不同。例如，对应于实验句子“天空中有一只老鹰”和“巢穴中有一只老鹰”的一对图画，其中一张是在天空中展翅飞翔的翅膀展开的老鹰，另一张是在巢穴中栖息的翅膀收拢的老鹰（如图1）。24张填充探测图画和48个名词探测词汇分别对应于72个填充句子。所有图画的大小都一致。实验探测图画中的物体在先前阅读的句子中都会出现，因此在再认判断中都应该作出“是”的反应。填充探测图画中的物体在先前阅读的句子中都不会出现，因此在再认判断中都应该作出“否”的反应。48个名词探测词汇有一半在先前阅读的句子中出现过，因此在再认判断中应该作出“是”的反应；另有一半在先前阅读的句子中没有出现，因此在再认判断中应该作出“否”的反应。

图1 实验1使用的实验探测图画

3.设计与程序。本实验是3×2两因素混合设计。被试间变量是被试的知识背景，有三个水平：文科、理科和美术；被试内变量是句子隐含形状与再认图画的匹配关系，有两个水平：匹配与不匹配。因变量是图画的再认时间和判断的正确率。

为控制实验项目和条件间的顺序效应，设计了4个实验序列，包含同一个事物的两个实验句子（A1、A2）和两幅实验探测图画（B1、B2），共搭配出四个版本（A1B1／A1B2／A2B1／A2B2），即四种句图匹配情况，每一实验序列包括所有四种句图匹配情况，其中两个是匹配条件（A1B1和A2B2），两个是不匹配条件（A1B2和A2B1），每一系列中一个事物只有其中一个版本，平均分配被试阅读其中的一个序列，其中有48个实验句子和与其对应的48个实验探测图画，每种句图匹配情况各有12个，另外有72个填充句子和与其对应的填充探测图画或词汇，实验句子和填充句子随机呈现。

实验采用移动窗口技术，在计算机上进行。在实验中，被试首先看到屏幕中央出现一个注视点“＋”250 ms，然后出现句子，当被试理解句子后按下空格键，又有一个注视点“＋”出现在屏幕中央250 ms，然后出现图画或词汇，要求被试判断图中事物或词汇是否在刚才的句子中提到过，“F”键代表是，而“J”键代表否，计算机自动记录再认时间和正确率。实验开始前让被试将左手食指放在“F”键上，将右手食指放在“J”键上，双手大拇指放在空格键上，指导被试仔细阅读每一个句子，并告诉被试他们的反应时间将被记录，要求他们尽快作出判断。被试每读完24个句子会有1分钟的休息时间，如果不想休息，可按空格键继续。整个实验大约需要15分钟完成。正式实验开始前有4个练习实验让被试熟悉实验任务。填充材料的数据不计算。

（三）结果与分析

首先删除全部判断正确率低于80%的被试，据此删除3名被试。图片再认反应时间都在2个标准差以内，因此没有极端数据被删除。在SPSS10.0中对所有数据进行两种统计处理，一种以被试为随机变量（F1），一种以项目（即实验材料）为随机变量（F2）。不同知识背景的被试在不同匹配条件下对实验图画的平均再认反应时间和正确率分别见表1和表2。

表1 不同知识背景的被试在不同匹配条件下对图画的平均再认反应时间（ms）

统计结果表明：匹配关系主效应显著，F1（1，61）＝7.581，p＝0.008；F2（1，23）＝16.814，p＝0.000，被试在匹配条件下对图画的再认反应时明显短于不匹配条件下对图画的再认反应时，这与前人研究结果一致，说明被试在言语理解中自动表征了句子中隐含的形状信息，被试当前条件下的信息表征是知觉符号表征而非命题符号表征，进一步证明了知觉符号理论。知识背景主效应不显著，F1（2，122）＝0.358，p＝0.701，F2（2，46）＝1.846，p＝0.169，即美术、文科、理科知识的被试在对图画的再认反应时上没有差异。知识背景和匹配关系的交互作用被试检验不显著，F1（2，122）＝1.923，p＝0.155，但项目检验显著F2（2，46）＝3.673，p＝0.033。分别对三种知识背景的被试在不同匹配条件下的再认反应时进行分析，结果发现，对美术被试来说，匹配条件下对图画的再认反应时跟不匹配条件没有显著差异，t1（23）＝0.004，p＝0.949，t2（23）＝0.000，p＝0.990；而对文科和理科被试来说，匹配条件下对图画的再认时间明显短于不匹配条件下对图画的再认时间，前者t1（20）＝6.576，p＝0.018，t2（23）＝11.662，p＝0.002；后者t1（19）＝3.770，p＝0.067，t2（23）＝9.429，p＝0.005。从表中数据可见，美术被试在不匹配条件下的再认反应时比文科、理科知识背景的被试快，导致匹配条件与不匹配条件差异不显著，这可能是因为美术知识背景的被试对形象性的信息表征更强所致。

表2 不同知识背景的被试在不同匹配条件下对图片的再认正确率（%）

统计结果表明：匹配关系主效应显著，F1（1，61）＝38.434，p＝0.000；F2（1，23）＝21.668，p＝0.000，所有被试匹配条件下图画的再认正确率都高于不匹配条件下图画的再认正确率。知识背景主效应不显著，F1（2，122）＝0.022，p＝0.978，F2（2，46）＝0.020，p＝0.980。知识背景和匹配关系的交互作用不显著，F1（2，122）＝0.783，p＝0.462，F2（2，46）＝1.472，p＝0.240，对美术、文科、理科知识背景的被试来说，匹配条件下图片的再认正确率都显著高于不匹配条件下的再认正确率。反应时和正确率统计结果表明本实验中不存在反应时和正确率的权衡问题，该结果说明所有被试在言语理解中自动表征了句子中隐含的形状信息，他们在当前条件下的信息表征形式都是知觉符号表征，而非命题符号表征。

三、实验2

（一）研究目的

采用语义相关判断范式，探讨不同知识背景被试言语理解中信息表征的形式。

（二）研究方法

1.被试。华南师范大学83名本科生，其中文科生26名，理科生30名，美术生27名。所有被试均裸眼或矫正视力正常，母语为汉语，无阅读障碍。他们均未参加实验1的研究。

2.实验材料。使用96对具体名词，都为双字词，其中24个实验词对，分别指代那些具有一定纵向线性关系的物体，如“树冠—树根”等，实验词主要来自Zwaan等人（2003）使用的材料，另有一些是根据中国人的习惯改编的。72个填充词对（24个语义相关，48个语义无关），这些词对都不包含线性关系，语义相关词对是指可以归为同一类的词语（如“苹果”和“雪梨”），语义无关词对是指不能归为同类的词语（如“旗杆”和“蚕豆”）。

3.设计与程序。本实验是3×2双因素混合设计，被试间变量是被试的知识背景，有三个水平：文科、理科和美术；被试内变量是词对呈现方式与其指代物的空间关系，有两个水平：一致和不一致。因变量是被试做语义相关判断的反应时和正确率。

所有实验材料匹配为两个材料系列，每个系列都包含24个实验词对、24个相关填充词对和48个无关填充词对，以随机顺序呈现，其中实验词对都有一致、不一致两种条件，每种实验条件各有12个实验词对，每个实验词对在每个系列中只出现一次，每个系列的填充词对完全一样。每个被试只阅读其中一个系列。实验在计算机上进行，被试首先看到一个注视点，在屏幕中央呈现250 ms，然后出现一个词对，一个在上，一个在下，相距5.5 cm，要求被试阅读词对并尽快判断两者是否语义相关，是就按“F”键，否就按“J”键，被试按键后词对消失，下一个注视点出现，计算机自动记录反应时与正确率。如果被试2 000 ms内没有反应，当前词对自动消失，计算机将当前判断计为错误反应。实验过程中要求被试始终把双眼集中到屏幕中心的注视点上，并把左右手食指分别放在“F”键与“J”键上，正式实验前有5个词对进行练习。

（三）结果与分析

首先删除全部判断正确率低于80%的被试，据此删除17名被试。然后删除反应时超过2 000 ms和在2个标准差以外的极端数据，据此删除了6.0%的数据。在SPSS10.0中对所有数据进行两种统计处理，一种以被试为随机变量（F1），一种以项目（即实验材料）为随机变量（F2）。不同知识背景的被试在不同空间关系下语义相关判断的平均反应时和正确率分别见表3和表4。

表3 不同知识背景的被试在不同空间关系下语义相关判断的平均反应时（ms）

统计结果表明：空间关系主效应被试检验边缘显著，F1（1，65）＝2.937，p＝0.091，项目检验不显著，F2（1，23）＝2.189，p＝0.153。知识背景主效应被试检验不显著，F1（2，130）＝1.531，p＝0.224，项目检验显著F2（2，46）＝6.979，p＝0.002。知识背景和匹配关系的交互作用不显著，F1（2，130）＝1.516，p＝0.227，F2（2，46）＝0.548，p＝0.582。进一步对三种知识背景的被试的再认反应时进行分析，结果发现，对美术背景的被试来说，一致跟不一致条件下语义相关判断的反应时间被试检验显著，t1（26）＝5.978，p＝0.022，项目检验不显著，t2（23）＝1.873，p＝0.184，初步说明美术知识背景的被试在言语理解中自动激活了词汇中的空间信息，他们当前条件下的信息表征形式是知觉符号表征，而非命题符号表征；而对文科和理科被试来说，一致跟不一致条件下的反应时间差异不显著，前者t1（25）＝0.344，p＝0.564，t2（23）＝0.674，p＝0.420，后者t1（29）＝0.002，p＝0.965，t2（23）＝0.002，p＝0.969，表明文科、理科知识背景的被试在当前条件下的信息表征形式是命题符号表征而非知觉符号表征。

表4 不同知识背景被试在不同空间关系下语义相关判断的正确率（%）

统计结果表明：空间关系主效应不显著，F1（1，65）＝0.153，p＝0.697，F2（1，23）＝0.069，p＝0.796。知识背景主效应不显著，F1（2，130）＝0.900，p＝0.412，F2（2，46）＝1.530，p＝0.227。知识背景和空间关系的交互作用不显著，F1（2，130）＝1.348，p＝0.267，F2（2，46）＝1.904，p＝0.161，进一步对美术、文科、理科知识背景的被试在不同语义关系判断中的再认正确率进行分析，结果都表明差异不显著，分别为t1（26）＝1.045，p＝0.317，t2（1，23）＝1.569，p＝0.223；t1（25）＝1.833，p＝0.190，t2（23）＝1.486，p＝0.235；t1（29）＝0.230，p＝0.637，t2（23）＝0.235，p＝0.632。正确率的统计结果表明本实验中不存在反应时和正确率的权衡问题。

实验2结果表明在语义相关判断任务中只有美术背景的被试才激活了指代物的空间位置信息，他们的信息表征形式是知觉符号表征，但对文科和理科知识背景的被试来说，他们的信息表征形式都是命题符号表征。

四、讨 论

命题符号理论是认知科学发展史上盛行的理论，但它在发展过程中逐渐暴露出了许多问题，如缺少直接的经验性证据证明存在命题符号、许多研究表明归类知识不是命题性的等等［12，13］。基于此，Barasalou提出了知觉符号理论，被认为是与传统的主流的命题符号理论相对立的一种观点，很多研究者对它发生了浓厚的兴趣，并且也通过实验证明了知觉符号表征的存在。但前人的研究一直没有涉及到被试的知识背景问题，究竟是所有知识背景的被试的信息表征形式都一样，还是其知识背景会对他们的信息表征形式产生影响呢？另外，实验范式不同，被试的信息表征形式是否会有不同？本研究正是针对这些问题设计了系列实验。

在实验1中，我们采用了句图匹配再认范式，选择了三类被试：文科、理科和美术背景的本科生。实验结果表明，三类知识背景的被试在阅读句子时都明显地表征了物体所隐含的形状信息，在再认任务中当图画与物体隐含形状不匹配时，被试对图画的再认正确率显著低于图画与物体隐含形状匹配时的再认正确率，同时文科和理科被试在不匹配条件下的反应时显著慢于匹配条件下的反应时。这与前人的研究结论基本一致，进一步验证了知觉符号表征的存在。实验2中，我们采用了语义相关判断范式，要求被试对纵向呈现的两对词语进行语义相关判断，这些词对的呈现方式与其指代物的空间关系被分为一致和不一致两种条件。实验结果表明，对文科和理科背景的被试来说，词对呈现方式跟指代物的空间关系一致时语义相关判断的反应时间与不一致时的反应时间并无显著性差异，只有美术知识背景被试在不一致条件下的判断时间明显高于一致条件，说明在语义相关任务判断中，只有美术背景的被试才产生了知觉符号表征，文科和理科背景的被试产生的都是命题符号表征。

对实验1中三类知识背景的被试的再认反应时进一步进行比较分析，发现美术知识背景的被试在不匹配条件下的再认判断时间显著快于文科和理科被试，结合实验2中只有美术知识背景的被试产生了知觉符号表征，可以说明美术背景的被试对形象性的信息表征更强，这与其专业知识背景的特点是相一致的。因为美术知识背景的被试平时在生活学习中对物体的形状、方位等空间信息要求比较细致、严格，且平时的专业要求使他们对物体的外在形象性有更高的审美要求，从而使被试在再认中能够更准确、更快速的对再认图片作出判断，更容易产生知觉符号表征。

先前很多研究认为言语理解中被试会自动产生知觉符号表征［5，6］，但也有研究认为知觉符号表征的产生并不是一种自动化的过程［7，8］。结合本研究的结果，可以认为，言语理解中知觉符号表征并不是一种自动化的加工过程，它受被试的知识背景的影响，同时也受实验任务的影响。言语理解中信息表征过程的自动化问题是最近几年研究者特别关注的问题［14］，本研究结合使用句图匹配再认范式和语义相关判断范式对这一问题也有了一定探讨，研究结果有一定的启发意义。

五、结 论

本研究结果表明，文科生和理科生只有在句图匹配再认范式中才产生知觉符号表征，而美术生在两种范式中都能产生知觉符号表征，另外，知觉符号表征并不是一种自动化的加工过程，它受被试的知识背景的影响，同时也受实验任务的影响。

［1］ PYLYSHYN ZW.The Imagery Debate：Analogue Media Versus Tacit Knowledge.Psychological Review，1981，88：16－45.

［2］ NEWELL A，SIMON H A.Human Problem Solving.Englewood Cliffs，NJ：Prentice－Hall，1972.

［3］ BARASALOU LW.Language Comprehension：Archival Memory or Preparation for Situated Action？Discourse Processes，1999，28：61－80.

［4］ BARASALOU LW.Perceptual Symbol System.Behavioral and Brain Science，1999，22：577－660.

［5］ ZWAAN R A，STANFIELD R A.The Effect of Implied Orientation Derived from Verbal Context on Picture Recognition.Psychological Science，2001，12：153－156.

［6］ ZWAAN R A，STANFIELD R A，YAXLEY R H.Language Comprehenders Mentally Represent the Shapes of Objects.Psychological Science，2002，13：168－171.

［7］ 李莹，王瑞明，莫雷.物体隐含的形状信息对图画再认的影响.心理科学，2005，28：588－590.

［8］ 王瑞明，莫雷，李利，等.言语理解中的知觉符号表征与命题符号表征.心理学报，2005，37：143－150.

［9］ ZWAAN R A，YAXLEY R H.Spatial Iconicity Affects Semantic Relatedness Judgments.Psychonomic Bulletin＆Review，2003，10：954－958.

［10］ ZWAAN R A，YAXLEY R H.Hemispheric Differences in Semantic－Relatedness Judgments.Cognition，2003，87：79－86.

［11］ 王瑞明，莫雷，伍丽梅，等.空间信息表征对语义相关判断的影响.心理科学，2006，29：1320－1323.

［12］ GLASERW R.Picture Naming.Cognition，1992，42：61－105.

［13］ DAMASIO A R.Time－Locked Multire Gional Retroactivation：A Systems－Level Proposal for the Neural Substrates of Recall and Recognition.Cognition，1989，33：25－62.

［14］ 王瑞明，莫雷，李利，等.文本阅读中协调性整合的机制.心理学报，2008，40：1165－1176.

【责任编辑：王建平】

B844

A

1000－5455（2010）02－0068－06

2009－10－15

国家自然科学基金项目“中英双语者语言理解转换中的词汇加工机制”（30900409）、教育部人文社会科学研究项目“文本阅读中文本表征的意识性研究”（308JCXLX005）、广东省哲学社会科学规划教育学研究项目“第二语言学习者二语词汇语义通达的认知过程与机制研究”（307SXQ001）

王瑞明（1979—），男，山东胶州人，心理学博士，华南师范大学心理应用研究中心副教授；张清平（1985—），女，广东惠州人，华南师范大学教育科学学院本科生；邹艳荣（1983—），山东泰安人，华南师范大学教育科学学院硕士研究生。