比较视觉搜索任务中工作记忆最小化的眼动研究*

苏 娟白学军王 超阴国恩

（1教育部人文社会科学重点研究基地天津师范大学心理与行为研究院，天津 300074） （2内蒙古财经大学统计与数学学院，呼和浩特010070）（3麦克马斯特大学心理神经科学与行为系，加拿大 L8S 4L8）

比较视觉搜索任务中工作记忆最小化的眼动研究*

苏 娟1,2白学军1王 超3阴国恩1

（1教育部人文社会科学重点研究基地天津师范大学心理与行为研究院，天津 300074） （2内蒙古财经大学统计与数学学院，呼和浩特010070）（3麦克马斯特大学心理神经科学与行为系，加拿大 L8S 4L8）

采用比较视觉搜索任务和眼动追踪技术，通过增加组成图片的图形数量和改变不同图形的特征属性，考察比较视觉搜索任务是否遵循工作记忆最小化原则以及图形特征加工的优先性问题。结果表明图形数量的增加不影响平均每次注视的图形数量，被试平均每次注视1.65个图形，即比较视觉搜索任务仍遵循工作记忆最小化原则。不同图形中颜色和形状都不同的注视时间最短，颜色不同和形状不同在注视时间上差异不显著，表明比较视觉搜索任务中特征维度数量比特征性质在引导注意上具有优先性。事先不规定搜索路径的情况下，被试主要采用系统搜索策略完成比较搜索任务。

比较视觉搜索任务，工作记忆最小化，眼动。

1 引言

生活中经常需要对两张相似的图片进行比较。比如，外科医生通过对比患者手术前后的脑成像情况，判断肿瘤是否成功摘除。鉴定专家通过比较两种笔迹的特征，判断是否由同一个人书写而成。还有人们经常玩的找不同游戏，都需要经过快速的视觉搜索判断两张图片相同还是不同。Pomplun等人（2001）提出的比较视觉搜索任务范式，与日常生活中的上述情况有关。他们在实验中同时呈现两张图片，图片由不同颜色或形状的图形组成，通过比较左右两张图片中的图形来判断图片是否相同。这一任务包括视觉搜索、眼动和视觉工作记忆等过程。其中，工作记忆在比较视觉搜索任务中的作用成为了争论的焦点之一。有研究者认为比较视觉搜索任务遵循工作记忆最大化原则，即实时的视觉表征是对当前注意刺激的细节信息和3到4个相关刺激的抽象信息及其场景排列和结构的总和表征（Hollingworth&Henderson,2002;Irwin&Zelinsky,1992）。另一些研究者认为比较视觉搜索任务遵循工作记忆最小化原则，也就是说实时的视觉表征仅与当前任务有关，目的是完成特定任务从环境中提取有关的视觉信息 （Ballard,Hayhoe,Pook,& Rao,1997;Hayhoe,Bensinger,& Ballard,1998; Wang,Matthew,Pavlo,Chen,& Marc,2016）。Pomplun等人的研究发现被试在执行任务的过程中发生了很多 “检查”的眼动，从而减少了需要记忆编码的信息量。Gajewski和Henderson（2005）通过平均每次注视的图形数验证工作记忆最小化和最大化模型。平均每次注视的图形数是指眼跳到另一张图片前被试注视图形的个数。以后的研究在比较视觉搜索任务范式的基础上，通过改变两张图片间的距离 （Vera,Markus,&Stephan,2011,2015; Bauhoff,Huff,&Schwan,2011）或者转换为真实的场景 （Gajewski&Henderson,2005;Galpin& Underwood,2005;Bauhoff,Huff,&Schwan,2012）探讨这一问题，结果均支持工作记忆最小化原则。

有研究还考察了视觉搜索任务中刺激图形的颜色、形状、大小等特征的加工特点。Soto等人研究结果发现不同维度的刺激对注意的捕获能力存在差异，注意优先效应发生在特征显著的目标上，如对颜色的加工速度要快于对形状的加工 （张豹,黄赛, 2013;张豹,黄赛,侯秋霞,2014）。Fournier，Eriksen和Bowd（1998）考察了特征维度数量对加工速度的影响，发现了目标判断的多特征优势，即判断两个或两个以上特征联合出现 （如颜色、大小和形状都不同）比判断一个特征的出现 （如颜色）更容易。以上研究结果尚缺乏比较视觉搜索任务下的实验证据。

那么在比较视觉搜索任务中被试是否总是遵循工作记忆最小化原则？如果增加图片中刺激的数量，被试是否会改变搜索策略，采取工作记忆最大化原则？也就是说在增加图片中刺激数量的情况下，被试通过增加工作记忆的负荷，减少在两张图片中扫描的次数完成比较搜索任务。其次，在比较视觉搜索任务过程中，对不同图形的特征加工和已有视觉搜索任务的研究结果是否一致？当特征的维度数量和特征的性质同时进行搜索比较时，哪一个更具有优先性？因此，本研究采用眼动追踪技术，在改进Pomplun等 （2001）的研究范式基础上，借鉴Gajewski和Henderson（2005）的计算方法，通过增加图形的数量进一步探究工作记忆最小化原则的适用范围。同时匹配了工作记忆刺激与搜索刺激条件，包括颜色和形状都不同、颜色不同或形状不同三种条件。如果刺激特征的维度数量和特征性质在比较搜索任务中具有优先性，那么颜色和形状都不同的加工速度最快，颜色不同次之，形状不同的加工速度最慢。

2 方法

2.1 被试

来自内蒙古某大学的18名学生参加实验。年龄在19－21岁，视力或矫正视力正常，无色盲。被试均不了解实验目的。

2.2 仪器

使用EyeLink 2000记录被试的眼动轨迹，取样率为500Hz。刺激呈现在19英寸的DELL显示器上，分辨率为1024×768。被试眼睛和屏幕间的距离为70cm。

2.3 实验材料

144对由红、绿、蓝三种颜色和圆形、正方形、三角形三种图形组成的图片。每个图形大小为1°视角 （45像素），相邻图形间隔最小为1°视角（45像素），最大为2°视角 （90像素）。图片大小为8.6°×12.9°（400像素×600像素），两张图片间隔1.1°（50像素）。每张图片图形数分别为12个、15个和18个，每对中两张图片总的图形数分别为24个、30个和36个。相同或不同的图片各72对，共144对。不同的图片对中相同位置的两个图形不同，包括颜色不同、形状不同以及颜色和形状都不同三种情况。相同或不同的一对图片随机呈现，以避免被试形成反应偏向。每对图片中的图形及不同图形的位置随机化处理，请5名大学生对相邻颜色和形状的图形重复排列构成的图片筛选。

2.4 实验设计

实验采用3×3的被试内设计，自变量分别是组成每对图片的图形数 （24，30和36个）和图形特征 （颜色不同、形状不同以及颜色和形状都不同）。

2.5 程序

（1）每个被试单独施测。 （2）被试坐在距眼动仪70cm处，下颌放在下颌托上，要求尽量在实验过程中保持不动。 （3）采用九点校准。眼校准成功后向被试呈现指导语： “下面将呈现一系列由不同颜色的三角形、正方形和圆形组成的图片。每次同时呈现两张图片，请你仔细比较左右两张图片是否相同。若 ‘相同’请按F键，若 ‘不同’请按J键。请集中注意，又快又准地做出判断”。 （4）被试理解指导语后，按空格键翻页。屏幕中央出现一个黑色圆点，要求被试注视黑色圆点并按空格键呈现实验图片，呈现图片后按 ‘F’或 ‘J’键进行判断，之后再次呈现黑色圆点，注视并按空格键进行下一屏图片判断。 （5）6个练习结束后进入正式实验，整个实验条件轮组。实验约持续40分钟。

2.6 数据处理

采用SPSS16.0 for Windows对数据进行分析，总共剔除无效数据占总数据的1.7%。相同图片作为填充材料不参与数据分析。

3 结果

本研究通过分析正确率、平均每次注视图形数和目标注视时间等眼动指标，探讨比较视觉搜索任务中的搜索策略、工作记忆容量以及目标特征的加工特点。结果见表1。

3.1 图形数量和特征对正确率的影响

判断正确率的图形数量主效应不显著，F（2,34）=1.43，p＞0.05。图形特征的主效应显著，F（2,34）=17.08，p＜0.001。图形数量和图形特征的交互作用不显著，F（4,68）=0.95，p＞0.05。Bonferroni多重比较后发现，形状和颜色都不同的正确率显著高于其他两种条件，ps＜0.01。形状不同和颜色不同的正确率差异不显著，ps＞0.05。

3.2 图形数量和特征对平均每次注视图形数量的影响

平均每次注视图形数量只对回答正确的项目进行分析。以图片为单位划分两个兴趣区。根据公式：平均每次注视图形数=总的注视图形数/进入兴趣区总次数，平均每次注视图形数量在图形数量上的主效应不显著，F（2,34）=3.72，p＞0.05，每张图片平均每次注视1.65个图形。图形特征的主效应显著，F（2,34）=7.66，p＜0.05。Bonferroni多重比较后发现，形状和颜色都不同的平均每次注视图形数量显著多于形状不同的条件，ps＜0.05。其他条件在平均每次注视图形数量上两两差异均不显著，ps＞0.05。图形数量和图形特征的交互作用不显著，F（4,68）=1.49，p＞0.05。

表1 不同图片在图形数量和特征上的眼动特征

3.3 图形数和目标图形特征对目标注视时间的影响

以两张图片中不同的一对目标刺激为单位划分兴趣区，分别为目标1兴趣区和目标2兴趣区 （以下简称目标1和目标2）。兴趣区被定义为以目标刺激为中心，边长为1.2°视角的正方形区域。目标注视时间指目标1和目标2的注视时间之和。目标注视时间上选择回答正确的项目，且只对目标1和目标2均进行注视的数据进行分析。结果表明目标注视时间在图形数量上的主效应不显著，F（2,34）= 0.23，p＞0.05。目标图形特征的主效应显著，F（2,34）=4.72，p＜0.05。Bonferroni多重比较后发现，形状和颜色都不同的目标注视时间显著少于其他两种条件，ps＜0.05。形状不同和颜色不同的目标注视时间差异不显著，ps＞0.05。图形数量和目标图形特征的交互作用不显著，F（4,68）=0.94，p＞0.05。

4 讨论

比较视觉搜索任务包括注视一个或者多个图形并保存在工作记忆中，引导眼跳使得新图形进入工作记忆和工作记忆中已有的图形进行比较。这一搜索、存储和比较的过程多次重复直到发现不同的两个目标或者搜索穷尽，然后做出判断。本研究从工作记忆最小化原则、目标特征加工特点和视觉搜索策略三个方面进行讨论。

4.1 工作记忆最小化原则

Pomplun等人 （2001）的比较视觉搜索任务范式要求被试比较由各种颜色和形状组成的两张图片是否不同。研究结果发现两张图片间的扫视频繁，由此推测被试通过不断地左右扫视而不是增加工作记忆的信息量来完成比较视觉搜索任务。Gajewski和Henderson（2005）在此基础上对真实场景中的比较视觉搜索任务进行研究，通过计算平均每次注视的图形数作为工作记忆量的指标，进一步验证了工作记忆最小化的研究假设。结果发现平均每次注视图形数量为1.7个图形。本研究借鉴了Gajewski等人的计算方法，研究结果表明图形数量的增加不影响判断的正确率和平均每次注视的图形数，每张图片每次平均注视1.65个图形。结果同样符合工作记忆最小化模型的假设，表明工作记忆容量和搜索任务有关且是有限的。由于比较视觉搜索任务采用的是边搜索边加工的即时策略，使得视觉系统更倾向于表征的最小化。情景识别过程中眼动比将表征保存在工作记忆里更容易，也就是说，眼动比工作记忆更为经济可行。另一方面有研究表明中央凹视觉区在注视点周围约1°视角的地方，副中央凹视觉区位于注视点10°视角 （注视点左右各5°视角）的地方，边缘视觉区是副中央凹区外的所有视觉区域。中央凹处的视敏度最高，随着与中央凹距离的增大，视敏度显著降低，提取信息的能力也显著下降 （Rayner,2012）。本研究材料每个图形呈1°视角，图形间隔最小为1°视角，即注视一个图形时，相邻图形可能分布在该注视点的中央凹或副中央凹区域。图形数增加对相邻两个图形的视野分布影响不大，有可能是造成工作记忆容量没有显著差异的原因。研究结果还发现形状和颜色都不同的平均每次注视图形数量显著多于形状不同的条件，p=0.045。进一步分析后发现，形状和颜色都不同以及形状不同的总的注视图形数和进入兴趣区总次数差异均不显著，p＞0.05。说明目标特征对平均每次注视的图形数量的影响并不明显。

4.2 目标特征的加工特点

有人 （Soto,Heinke,Humphreys,&Blanco, 2005;Soto,Humphreys,&Heinke,2006）在其研究中操纵了三种工作记忆表征与视觉搜索刺激之间刺激属性的匹配条件。结果发现当工作记忆刺激与搜索刺激的颜色与形状都相同或颜色相同但形状不同时，两种条件下眼动指标没有显著差异；和形状相同而颜色不同条件相比，前两种条件捕获的首次注视点数更多。说明在工作记忆表征自上而下地引导视觉注意选择过程中，刺激的颜色属性比形状属性具有更大的优先性。本研究匹配了三种工作记忆表征与视觉搜索刺激之间的条件，结果发现工作记忆刺激与搜索刺激的颜色和形状都不同的正确率显著高于颜色不同和形状不同两种条件，加工时间则显著少于其他两种条件。这表明目标特征影响比较视觉搜索任务的正确率和加工时间，其中目标特征的维度数量比特征性质的影响更大。这一结果验证了Fournier，Eriksen和Bowd（1998）的实验结果，即目标特征维度的增加有利于引导注意，从而提高了加工速度。但颜色和形状在比较视觉搜索任务中的 “显著程度”是相同的，结果并没有发现不同维度的刺激具有注意的优先性。说明刺激的特征维度数量与特征性质相比在引导注意上具有优先性。另一方面也说明在需要辨识图形或者记忆视觉细节的情况下，比较视觉搜索任务仍遵循工作记忆最小化的原则。

4.3 视觉搜索策略

视觉搜索可以分为结构性视觉搜索和非结构性视觉搜索。Pomplun（2001）首次确定了比较视觉搜索任务范式，图形间用直线连接且规定了从左到右、从上到下的搜索模式，属于结构性视觉搜索。通常情况下，搜索者会严格采用系统搜索策略在结构性视觉条件下进行搜索作业。本研究属于非结构性视觉搜索任务 （也叫自由视觉搜索），要求被试注视屏幕的中心，当图片出现时开始搜索并作出判断。组成图片的图形没有固定的排列格式，且事先不规定搜索路径。Drury（1978）研究发现在自由视觉搜索任务中，搜索者既可能采取随机搜索策略，也可能采取系统搜索策略，通常是介于两者之间。本研究结果发现95.7%的项目被试采用了从左到右、从上到下的系统搜索策略。4.3%的项目被试采用了随机搜索策略 （如从下到上、从右到左），且多发生在搜索的早期阶段。部分被试开始可能使用随机搜索的策略进行图片间的比较，当熟悉了搜索任务后，转为采用系统的搜索方式。多数被试采用从图片呈现到所有任务结束都采用系统搜索的策略，这可能与搜索习惯有关。

5 结论

本研究结果表明： （1）比较视觉搜索任务中图形数量的增加并不影响比较视觉搜索策略，被试仍遵循工作记忆最小化原则； （2）不同的图片中颜色和形状都不同的目标注视时间最短，颜色不同和形状不同在目标注视时间上差异不显著； （3）事先不规定搜索路径的情况下，被试主要采用系统搜索策略完成比较搜索任务。

张豹,黄赛.(2013).工作记忆表征对视觉注意的引导机制.心理科学进展,21(9),1578－1584.

张豹,黄赛,候秋霞.(2014).工作记忆表征捕获眼动中的颜色优先性.心理学报,46(1),17－26.

Ballard,D.H.,Hayhoe,M.M.,Pook,P.K.,&Rao,R.P.N. (1997).Deictic codes for the embodiment of cognition.Behavioral and Brain Sciences,20(5),723－767.

Bauhoff,V.,Huff,M.,&Schwan S.(2011).The effect of temporal distance on comparative visual search.Journal of vision,23 (3),1325－1333.

Bauhoff,V.,Huff,M.,&Schwan S.(2012).Distance matters:spatial contiguity effects as trade－off between gaze switches and memory load.Applied Cognitive Psychology,26,863–871.

Drury,C.(1978).Integrating human factors models into statistical quality control.Human Factors,20(5),521－528.

Fournier,L.R.,Eriksen,C.W.,&Bowd,C.(1998).Multiple－feature discrimination fasterthan single－feature discrimination within the same object?Perception&Psychophysics,60(8), 1384－1405.

Gajewski,D.A.,& Henderson,J.M.(2005).Minimal use of working memory in a scene comparison task.Visual Congnition,12(6),979-1002.

Galpin,A.J.,&Underwood,G.(2005).Eye movements during search and detection in comparative visual search.Peception& Psychophsice,67(8),1313-1331.

Hayhoe,M.M.,Bensinger,D.G.,&Ballard,D.H.(1998).Task constraints in visual working memory.Vision Research,38(2), 125-137.

Hollingworth,A.,& Henderson,J.M.(2002).Accurate visual memory for previously attended objects in natural scenes.Journal of Experimental Psychology:Human Perception and Performance,28,113-136.

Irwin,D.E.(1992).Memory for position and identity across eye movements.JournalofExperi mental Psychology:Learning, Memory,and Cognition,18,307-317.

Pomplun,M.,Sichelschmidt,L.,Wagner,K.,Clermont,T.,Rickheit, G.,&Ritter,H.(2001).Comparative visual search:A difference that makes a difference.Cognitive Science,25,3–36.

Rayner,K.,Pollatsek,A.,Ashby.J.,& Clifton,C.J.(Eds.), (2012).Psychology of reading.(pp.9).Taylor& Francis Group:Psychology Press.

Soto,D.,Heinke,D.,Humphreys,G.W.,&Blanco,M.J.(2005). Early,involuntary top-down guidance of attention from working memory.Journal of Experimental Psychology:Human Perception and Performance,31(2),248–261.

Soto,D.,Humphreys,G.W.,&Heinke,D.(2006).Working memory can guide pop-out search.Vision Research,46(6–7), 1010–1018.

Vera,B.,Markus,H.,&Stephan,S.(2015).The influence of expertise on comparative visual search performance.Annals of Leisure Research,7,1-3.

Vera,B.,Markus,H.,&Stephan,S.(2011).Effects of split attention revisited:A new displaytechnologyfortroubleshooting tasks.Computers in Human Behavior,28,1254-1261.

Wang,J.H.,Matthew H.S.,Pavlo D.A.,Chen,C.,&Marc,P. (2016).Is reading impairment associated with enhanced holistic processing in comparative visual search?Dyslexia,22,345-361.

Minimal Use of Working Memory in a Comparative Search for Feature Differences

Su Juan1,2,Bai Xuejun1,Wang Chao3,Yin Guo′en1
(1 Academy of psychology and behavior,Tianjin normal university,Tianjin 300074;2 Institute of Mathematics and Statistics,Inner Mongolia of Finance and Economics University,Hohhot010070;3 Department of Psychology,Neuroscience and Behaviour,McMaster University,Canada)

We manipulated the display size and object identities to investigate whether the comparative search task follows minimal use of working memory and priority for processing features using eye tracking.The number of fixations per scene glance suggested that on average,1.65 objects per fixation were encoded and maintained in visual working memory despite increased display size.Fixation times were shorter for redundant trials than for color-only and shape-only trials,and no difference between color-only and shape-only trials.These results demonstrated that the number of features is of greater attentional priority than feature characteristics.Participants mostly used systematic search strategy to complete the tasks when they were provided no instruction regarding the visual-spatial processing strategy they were to employ.

comparative search task,minimal use of working memory,eye movement.

B842.3

2016-11-14

天津市高等学校心理健康与行为调控创新团队 （39）、天津市科技计划项目 （12ZCZDSF07100）和国家自然科学基金项目（81471629）。

阴国恩，E-mail:yinguoen@mail.tjnu.edu.cn。