情景间语义关系对语义关联判断的影响 *

2019-03-12康廷虎吴晨静

心理与行为研究 2019年1期

康廷虎吴晨静

(1 西北师范大学心理学院视觉认知实验室，兰州 730070) (2 甘肃省行为与心理健康重点实验室，兰州 730070)

1 引言

情景（scene）是由真实世界中各个分散的刺激物及其背景构成的、具有语义一致性的视觉图景（Henderson, 2005; Henderson & Hollingworth,1999; 康廷虎, 王丽, 2016）。Henderson 和Hollingworth（1999）将人类的视觉研究分为三个水平：低水平的视觉（low-level vision），中级水平的视觉（intermediate-level vision）和高水平的视觉（high-level vision）。其中高水平的视觉是从视觉表征到意义的综合映像，以及认知与知觉交互作用的过程，包括信息的有效获得、视觉信息的短时记忆等。那么，高水平视觉加工所获得的情景语义是否会影响人们对情景间关系的识别呢？

Muehlhaus等人（2014）认为，通过对客体与客体之间关系的理解而获得的语义关系，可以促进对单独客体的理解，而语义关系的基本组织原则是分类。分类可以使个体快速识别刺激物并将其与熟悉的其他物体相关联；分类还可以帮助个体学习如何将新异的刺激物与已有的知识结构进行整合（Sachs, Weis, Zellagui et al., 2008）。有研究者指出，对客体或者实物的分类一般是依据客体之间的语义关系而进行，而语义关系可以分为类别关系和主题关系（Caramazza & Mahon, 2003;Mirman, Landrigan, & Britt, 2017; Patterson, Nestor, &Rogers, 2007; Thompson-Schill, 2003）。其中类别关系是指一系列客体或实物在知觉、生理学或者功能属性上具有一定的相似性（Chen et al., 2014;Jones & Golonka, 2012; Medin & Ortony, 1989），比如餐桌和书桌；而主题关系存在于客体、事件、人物以及其他实体之间，具有主题关系就表示在时间以及空间上可以共现或相互作用（Markman,1991）。其主要包括空间关系（窗户和墙）和生产关系（牛奶和奶牛）（Estes, Golonka, & Jones,2011; Lin & Murphy, 2001; Wamain, Pluciennicka, &KalãNine, 2015）。

在对语义关系研究中，研究者主要以词对和客体图片作为研究材料（Chee et al., 2000; Maintenant,Blaye, & Paour, 2011; Muehlhaus et al., 2014），而且发现人们对不同语义关系的归类加工存在差异（Chen et al., 2013; de Zubicaray, Hansen, & Mcmahon,2013; Kalénine et al., 2009; Lewis, Poeppel, & Murphy,2015; Sachs, Weis, Krings, Huber, & Kircher, 2008; Yi et al., 2011），比如，东方被试倾向于做主题判断，而西方人倾向于做类别判断。研究者认为这可能与人们在语义关系判断任务中所采用的策略及其所拥有的文化经验有关。处于个人主义文化背景中的被试，其与个体相关经验的启动会抑制对物体共性的知觉，但是处于集体主义文化背景中的被试，其相关经验的启动会促进对物体共性的知觉（Nisbett, Peng, Choi, & Norenzayan, 2001; Ji,Zhang, & Nisbett, 2004; Pennequin, Fontaine, Bonthoux,Scheuner, & Blaye, 2006）。Gutchess等（2006）的研究也发现，与美国被试相比，亚洲被试进行主题判断的正确率高于类别判断，并认为亚洲文化中的被试更偏向于使用功能性关系（主题关系）判断，而非类别关系的判断。

Ziaeefard和Bergevin（2015）认为，在人类的视觉加工过程中，语义具有重要的影响。对于真实情景而言，情景语义是指观察者对情景中全部属性进行提取加工得到的（如情景语义梗概），它以语言的形式进行加工，可以引导被试的注意以及眼动过程（Hwang, Wang, & Pomplun, 2011;Torralba, Oliva, Castelhano, & Henderson, 2006）。人们对情景之间语义关系的识别与判断是高级语义的加工，也属于情景的高层次加工，因此，可以通过情景梗概所激活的语义概念判断不同情景之间是否存在语义关系。在本研究中，拟应用情景图片对作为实验材料，探索人们在情景知觉过程中，情景间语义关系的影响及其视觉加工特征。在以词对为实验材料的研究中，研究者发现人们在对词对进行分类的过程中往往会依据词对之间的语义关系，使用主题分类策略和类别分类策略（Patterson et al., 2007）。那么，对于具有语义特征的情景图片材料，被试是否会依赖情景间语义关系进行分类呢？此外，如果情景之间的语义关系对情景分类产生影响，那么，人们在情景浏览过程中，其视觉信息加工具有什么特点呢？本研究将通过两个实验，分别考察情景分类过程中情景间语义关系的影响，以及情景间语义关系分类过程中的眼动特征。

2 实验1

2.1 实验目的

实验1探讨情景之间的语义关系是否对情景语义关联判断具有显著的影响。

2.2 研究方法

2.2.1 被试

随机选取32名某大学在校大学生，其中女生13名，男生19名，年龄在18岁到23岁之间，平均年龄20.35±2.18。所有被试都是右利手，视力正常或者矫正视力在1.0以上，实验持续20-30分钟。在实验结束之后，给被试赠送小礼品。被试签署实验知情同意书。

2.2.2 实验材料

根据实验目的，先选取一定的语义关联词语，然后在百度图库中搜索可以用词语描述的情景图片，然后根据相关属性以及无关属性对图片进行配对（两张情景图片组成一张材料刺激，如图1-a，小麦和馒头存在语义关联），其中相关属性材料中包括主题语义关系和类别语义关系图片对。对选择的图片材料使用Photoshop7.0图片处理工具进行编辑处理。所有真实情景图片均为1024×768像素。材料编辑完成后选取11名被试对其语义关系进行评定（这些被试不参与正式实验），选取反应正确率（被试对图片对的正确反应人数/总评定人数）在65%以上的材料作为正式实验材料。最终形成312张（156对）实验材料。其中104对情景图片之间具有关联语义关系（情景之间可以通过类别或者主题关系进行联结），其余52对情景图片不具有关联语义关系（不能用某种语义关系联结）。

2.2.3 实验设计及程序

单因素被试内实验设计，语义关系（语义关联，无语言关联）为自变量，因变量为自由判断条件下被试进行判断的时间以及每组相关属性材料的语义关系选择的正确率。不同语义属性的材料随机呈现。

实验中，首先呈现指导语，并引导进入练习实验（5个试次）。在练习结束，被试正确理解指导语并熟悉实验流程之后进入正式实验。正式实验时，首先呈现“注视点”500ms，然后随机呈现实验材料，要求被试判断两个真实情景图片之间有无语义关联，“有语义关联”按“F”键，“无语义关联”则按“J”键。如果被试选择“F”键，呈现第二个判断界面，要求被试选择之前判断相关性依据的是哪种关系（主题、类别以及其他关系）。整个实验约30分钟（实验流程如图2所示）。

2.2.4 数据分析

实验应用E-prime2.0编程并收集数据，运用SPSS20.0（试用版）做数据整理与分析。

2.3 结果与分析

对每一组相关属性实验材料在关联判断过程中语义关系应用的频率进行统计，结果发现对于主题关系以及类别关系的正确选择比率在65%以上，这表明情景之间的确存在语义关系。表1显示的是不同语义属性下被试的判断时间描述统计。

表 1 有无语义关系情景图片对的语义关联判断反应时（ms）

对语义关联判断反应时进行单因素方差分析，结果显示语义关系的主效应显著F（1, 21）=17.20，p＜0.01，η2=0.003，无语义关联材料的反应时显著长于语义关联材料的反应时。相关属性材料包含了主题语义关系和类别语义关系，情景图片之间的语义关系可能促进了被试对语义关联材料的判断。

3 实验2

3.1 实验目的

实验2应用眼动研究范式（eye movement paradigm, Henderson & Hollingworth, 1999），考察情景间语义关联判断过程中的眼动特征及信息加工特点。

3.2 实验方法

3.2.1 被试

随机选取27名某大学的在校学生，男性11名，女性16名，年龄在18-24之间，平均年龄21.55±1.91。所有被试都是右利手，视力正常或者矫正视力在1.0以上。实验持续大概20分钟，每个被试在实验结束之后，赠送小礼品。实验前均签署实验知情同意书。

3.2.2 实验仪器

该实验应用SR EyeLink 1000 Plus塔座式眼动仪记录眼动指标，实验中仅追踪右眼，采样率为2000 HZ。固定被试的下巴与额头，采用9点校准。刺激图片在32位1024×768像素的计算机屏幕以三角形的方式呈现在固定区域（如图3所示）。被试坐在他眼睛平视距离为65 cm的地方。

3.2.3 实验材料

实验1中的语义关联材料（包括主题语义关系图片对和类别语义关系图片对）和无语义关联材料按“三词组”范式（Gutchess, Hedden, Ketay,Aron, & Gabrieli, 2010）对情景图片进行组合，最终形成实验2的实验材料55张，每张实验材料包含3张情景图片，其中两两具有主题语义关系、类别语义关系以及无关关系（Sachs et al., 2008）。

3.2.4 实验设计和程序

自变量为语义关系类型（主题语义关系、类别语义关系、无关关系）的被试内实验设计，因变量为自由判断条件下被试进行语义关系类型判断的反应时间、频数百分数和正确率，以及不同兴趣区的注视点个数、注视时间、回视路径时间、瞳孔直径和回视出个数。

采用EB编辑实验程序。首先呈现指导语，并引导进入练习实验（5个试次），被试学习判断标准并对呈现的图片进行判断。在练习结束，被试正确理解指导语并熟悉实验流程之后进入正式实验。在实验过程中，先进行9点校准，校准后呈现“＋”字注视点500 ms，然后随机呈现实验材料（5000 ms），要求被试对于三角形三顶点处的三张情景图片进行语义关联判断，并按“F”、“J”以及空格键进行反应，以“F”键代表三角形的左边，“J”键代表三角形的右边，“空格键”代表三角形的底边。以图3为例，如果被试认为1号边两端的情景图片有语义关系，就按“F”键；如果被试认为2号边两端的情景图片有语义关系，就按“J”键；如果认为3号边两端的情景图片有语义关系，就按“空格键”。

3.2.5 数据整理与分析

对被试情景语义关系判断频数做卡方分析，结果显示，被试对主题关系和类别关系判断的频数存在显著差异（χ2=9.00，df=1，p＜0.05）。被试做主题关系判断的频数显著高于类别关系判断。为了考查被试语义关系判断过程中的信息加工特点。兴趣区的界定以三角形的三条不同的边定义为不同兴趣区，区域的编码与三边上情景语义关系相一致，按其语义关系分别编码为主题兴趣区、类别兴趣区、无关兴趣区。在本实验中主要分析主题兴趣区和类别兴趣区的眼动数据。对图片反应的正确率为97.2%，错误率为2.8%。实验材料有效，实验数据有效。运用SPSS20.0（试用版）做数据分析。

4 结果

4.1 语义关联判断过程中的瞳孔直径与凝视时间变化

对不同语义关联判断条件下瞳孔直径、凝视时间变化的描述统计分析结果如表2所示。

表 2 语义关联判断条件下各兴趣区的瞳孔直径、凝视时间变化（M±SD）

方差分析结果显示，不同语义关联判断条件下的瞳孔直径大小存在显著性差异，F（1, 50）=3.98，p＜0.05，η2=0.002。其中主题关系判断条件下的瞳孔直径显著小于类别关系判断条件下。对凝视时间的分析发现，主题关系判断条件下被试对主题兴趣区的凝视时间显著长于类别关系兴趣区F（1, 25）=4.15，p＜0.05，η2=0.005。相反，在类别关系判断条件下被试对类别兴趣区的凝视时间显著长于主题兴趣区F（1, 25）=9.88，p＜0.05，η2=0.01。

4.2 语义关联判断过程中的首次注视时间、回视次数、回视路径时间比较

对不同语义关联判断条件下首次注视时间、回视次数、回视路径时间的描述统计分析结果如表3所示。

表 3 语义关联判断条件下的首次注视时间、回视次数、回视路径时间比较（M±SD）

对不同语义关系条件下情景语义关联判断过程中首次注视时间、回视次数、回视路径时间做方差分析，结果显示，主题兴趣区与类别兴趣区的首次注视时间不存在显著性差异，F（1, 100）=1.03，p＞0.05，η2=0.001；但是，不同兴趣区的回视次数（F（1, 100）=1596.41，p＜0.05，η2=0.46）和回视路径时间（F（1, 100）=439.84，p＜0.05，η2=0.19）均存在显著性差异，而且变化的方向并不一致。主题关系兴趣区的回视次数显著高于类别关系，相反，主题关系兴趣区的回视路径时间却显著小于类别关系兴趣区。

5 讨论

真实情景具有语义属性，而且在情景知觉过程中，人们会基于情景信息获得情景语义梗概。那么，在不同情景之间，是否会受到情景语义的影响，而存在语义关系呢？如果存在语义关系，人们又是如何加工或组织情景语义关系的呢？在前人研究的基础上（Patterson et al., 2007），本研究根据词对之间语义关系，匹配情景图片材料，以考察情景之间的语义关系及其影响。实验1结果表明，在反应时间上，语义关系的主效应显著，被试对无语义关系情景图片对的判断反应时显著长于对有语义关系的情景图片对判断。这可能是因为情景图片之间存在语义关系，而这种语义关系促进了人们对有语义关系情景图片对的反应。那么，对情景之间的语义关系，人们又是如何组织加工的呢？

Muehlhaus等人（2014）认为，语义关系的基本组织原则是分类，而语义关系的分类主要包括类别关系和主题关系（Caramazza & Mahon, 2003）。实验2应用三词范式，考查人们在依据语义关系对情景进行分类的过程中，其信息加工的特点。研究结果发现，被试更倾向于做主题关系判断。这与Ji等人（2004）的研究基本一致。他们在以词对为材料的语义关联判断研究中发现，东方被试倾向于做主题关系判断，而西方被试倾向于做类别关系判断。在本研究中，以高校在读的大学生为被试，他们均生活在东方文化背景下，因此，主题关系判断的倾向性可能具有文化的特征。此外，在本研究中应用的实验材料并不是具有抽象语义的词对，而是具有形象特征的情景。可以推论人们对情景的归类可能会依据情景的大小、形状等形象特征，也可能会依赖于情景的语义特征。但是本研究发现，在情景间语义关系的判断任务中，被试更倾向于做主题关系判断，这可能是因为情景语义的获得对大小、形状、颜色等的形象特征加工产生了抑制作用，Pennequi等人（2006）也认为主题反应多于类别反应，与个体相关知识经验启动对物体共性特征知觉的抑制有关。

对以三词范式呈现的情景图片材料眼动数据的分析中发现，不同语义关联判断条件下的瞳孔直径大小存在着显著性差异，其中主题关系判断条件下的瞳孔直径显著小于类别关系判断条件下的瞳孔直径。在对凝视时间的分析中则发现主题关系判断条件下被试对主题兴趣区的凝视时间显著长于类别关系兴趣区；相反，在类别关系判断条件下被试对类别兴趣区的凝视时间显著长于主题兴趣区。这表明，在以三词范式呈现情景图片材料时，被试无论是做出类别关系判断，还是主题关系判断，凝视时间的变化均与语义关联判断反应相一致。换言之，对主题关系判断和类别关系判断，都需要被试通过增加凝视时间获得情景的语义信息，然而，瞳孔直径数据的变化表明，与主题关系判断相比，类别关系判断需要被试付出更多的努力和认知资源（闫国利等, 2013），这可能是因为在类别关系判断过程中，被试对情景语义的归类，可能会受到低水平视觉加工的影响。康廷虎和白学军（2013）的研究也发现，在对与情景具有语义一致性的靶刺激信息的识别过程中，靶刺激的注意优先性会受到知觉信息启动的干扰。

对情景语义关系的组织加工，不仅体现在信息的获得与认知资源的利用，而且可能在时间进程上也会有不同。在有关阅读的研究中，闫国利和白学军（2013）认为首次注视可以作为反映词汇通达早期阶段特征的指标，而回视路径时间可以反映后期句子整合的加工过程，回视次数反映了对之前浏览信息的再加工过程。在实验2中，对不同语义关系条件下情景语义关联判断过程中首次注视时间、回视次数、回视路径时间的分析发现，不同语义关系兴趣区的首次注视时间并不存在显著性差异，但是主题关系兴趣区和类别关系兴趣区的回视次数和回视路径时间均存在显著性差异，而且变化的方向并不一致。主题关系兴趣区的回视次数显著高于类别关系；相反，主题关系兴趣区的回视路径时间却显著小于类别关系兴趣区，这可能是因为在情景间语义关系判断的早期加工阶段，无论是主题关系判断，还是类别关系判断，首次注视主要获得的是深度、颜色、纹理结构等低水平的视觉物理信息（Henderson &Hollingworth, 1999），以及物体外形、轮廓和空间关系信息（Ullman, 1996）。在这一阶段，被试对情景信息的视觉加工并不存在差别。

随着对情景图片浏览时间的增加，可能会增加对单一情景语义以及不同情景间语义关系的激活。换言之，对情景间语义关系判断的后期加工，被试需要从视觉表征转换到意义的综合映像、以及认知与知觉交互作用的过程（Henderson& Hollingworth, 1999），因此，与类别关系判断相比，主题关系判断主要依赖于情景之间的语义联系（Barsalou, 1999）。Renninger和 Malik （2004）的研究发现，即使是在小于70ms的条件下，人们对情景的识别也高于概率水平，因此在情景语义快速识别的条件下，主题关系判断受低水平视觉加工的影响较小；相反，类别关系判断既需要获得情景语义，又需要获得刺激物知觉、生理学或者功能属性上的相似性（Medin & Ortony, 1989），被试可能更倾向于通过回视路径时间进行系列扫描，而此更易受低水平视觉加工的干扰。

与单一情景知觉的研究不同，在本研究中应用情景图片对作为实验材料，试图探索人们在情景知觉过程中，情景间语义关系的视觉加工特征。研究结果发现，情景间语义关系对情景语义关联判断具有促进作用，并且发现在情景间语义关系的判断中，人们更倾向于做主题关系判断，而且在情景视觉加工的不同阶段，眼动特征存在着差别。但是，对情景间语义关系的获得与单一情景语义获得之间存在怎样的关系，情景物理特征对情景间语义关系的获得有怎样的影响等问题仍然无法予以回答，对此尚需要作更深入的探索。