工作记忆与知觉负载对工作记忆表征引导注意的调节*
2017-02-05胡岑楼陈颜璋缪素媚
张 豹 胡岑楼 陈颜璋 缪素媚 黄 赛
(广州大学心理系/广东省未成年人心理健康与教育神经科学实验室,广州 510006)
1 前言
视觉工作记忆是用于临时存储和操纵信息的认知加工系统(Cowan,1999)。日常生活中,人们经常需要从海量的视觉信息中搜索有用的信息进入大脑进行更深层次的加工,在此视觉搜索过程中,工作记忆会以注意模板(attentional template)或者靶子模板(target template)的形式存储与当前任务相关的目标刺激(Bundesen,Habekost,&Kyllingsbæk,2005;Desimone &Duncan,1995)。该注意模板能够引导注意快速地从视觉场景中搜索到目标刺激,优化视觉搜索效率(Desimone &Duncan,1995)。根据注意的偏向竞争理论,视觉工作记忆表征是通过自上而下的回馈通道增强初级视觉皮层中与之相同或相似的刺激的表征,使该刺激获得竞争优势,从而使注意偏向该刺激(Desimone &Duncan,1995)。
近 10多年来工作记忆表征对视觉注意的引导受到越来越多研究者的关注(见综述:Olivers,Peters,Houtkamp,&Roelfsema,2011;Soto,Hodsoll,Rotshtein,&Humphreys,2008;潘毅,2010;张豹,黄赛,2013)。例如,Downing (2000)首先在屏幕中央呈现一个面孔让被试记住,然后快速闪现两个面孔(一个为记忆面孔,另一个为新面孔),随后在其中一个面孔位置呈现一个探测方框让被试快速按键判断方框的开口朝向,最后再次在屏幕中央呈现一个面孔让被试按键判断该面孔是否与记忆面孔相同。结果发现,探测方框出现在记忆面孔位置的反应时显著快于探测方框出现在新面孔位置的反应时。因此,Downing认为视觉工作记忆表征能引导注意偏向与之匹配的视觉刺激,从而促进对出现在该位置的探测刺激的检测速度。后来,Soto等将工作记忆任务与视觉搜索任务结合,并使工作记忆表征与视觉搜索任务中的靶子或干扰刺激共享相同的特征,结果发现,与工作记忆表征共享特征的视觉搜索刺激,无论作为搜索靶子还是干扰刺激,都能比其他未共享特征的搜索刺激捕获更多的注意,表现出注意引导效应(Soto,Heinke,Humphreys,&Blanco,2005;Soto,Humphreys,&Heinke,2006)。进一步研究还发现即使工作记忆表征只与视觉搜索任务中的干扰刺激共享特征,注意偏向会损害视觉搜索效率,上述注意引导效应依然存在(Carlisle &Woodman,2013;Olivers,Meijer,&Theeuwes,2006;Soto et al.,2005,2006;Soto,Greene,Chaudhary,&Rotshtein,2012;Tan et al.,2014;van Moorselaar,Battistoni,Theeuwes,&Olivers,2015)。
尽管不少研究发现工作记忆表征对注意的引导效应稳定地存在于各种实验情境,但有研究发现基于工作记忆表征的注意引导效应会受到工作记忆负载的影响(Downing &Dodds,2004;Soto et al.,2012;Soto &Humphreys,2008;van Moorselaar,Theeuwes,&Olivers,2014;Zhang,Zhang,Huang,Kong,&Wang,2011)。例如 Downing 和 Dodds (2004)要求被试在工作记忆中保持两个记忆项目,一个项目作为随后视觉搜索任务的靶子,另一个则有可能作为视觉搜索任务的干扰刺激,结果发现当记忆刺激作为视觉搜索任务的干扰刺激再次出现时,没有观察到该干扰刺激对视觉注意的引导效应,Peters等人采用 ERP技术也得到了类似的结果(Peters,Goebel,&Roelfsema,2009)。但Downing和Dodds(2004)以及 Peters等(2009)研究中两个工作记忆表征的地位并不对等,相对于处于工作记忆注意焦点的搜索靶子来说,作为非搜索靶子的工作记忆表征处于从属地位(Olivers et al.,2011;Peters et al.,2009),因而未能观察到注意引导效应并不能完全归结于工作记忆负载的影响。后来,Soto和Humphreys (2008)通过变化工作记忆中存储项目的数量直接操纵工作记忆负载,结果发现：当工作记忆负载从1增加到2时,工作记忆表征对注意的引导效应并没有随着负载的增加而减弱,但在实验中加入发音抑制任务以避免被试对工作记忆项目进行言语编码后,工作记忆负载为2时的注意引导效应显著小于工作记忆负载为1时的注意引导效应。由此他们认为,工作记忆负载和发音抑制任务共同消耗认知资源使得工作记忆表征对注意的引导效应减弱。但个体需要同时完成两个以上的认知任务时,多任务间的认知转换策略就会成为影响该认知过程的主要因素(Charron &Koechlin,2010)。Soto和Humphreys (2008)的研究中,被试需要同时协调完成发音抑制、工作记忆和视觉搜索三个认知任务,因此他们的研究结果可能受到上述认知转换策略的影响。Zhang等(2011)在Soto和Humphreys (2008)研究的基础上,排除言语抑制任务的作用,并将工作记忆负载扩展到4个项目(工作记忆满负载,Luck&Vogel,1997),结果发现,当视觉工作记忆负载为1和 2时观察到了显著的注意引导效应,但当工作记忆负载增加到4时注意引导效应消失了,证实了工作记忆负载对注意引导效应的直接影响,此结果亦得到了 Soto等(2012)研究的支持。但最近 van Moorselaar等采用注意捕获任务却发现,当工作记忆负载为 1时,相对于一般奇异项来说,与工作记忆表征匹配的奇异项能捕获更多的注意,但当负载增加到2时注意引导效应就已经消失了(van Moorselaar et al.,2014)。
综上所述,虽然上述研究均发现工作记忆表征对注意的引导效应受到工作记忆负载的影响,但对其影响机制的解释仍然存在争议。Soto等(2008,2012)认为,工作记忆表征对视觉注意引导依赖于大脑额叶对枕叶视皮层自上而下的调节通路,而这一神经通路需要认知资源来维系,当工作记忆负载增加时,其所消耗的认知资源会导致维持神经通路的认知资源减少,当工作记忆负载对认知资源的消耗达到一定程度时,工作记忆表征对注意的引导效应就会完全消失。而 van Moorselaar等(2014)及Olivers等(2011)、Peters等(2009)认为工作记忆负载主要通过工作记忆表征的状态来影响注意引导效应,即当视觉工作记忆存储两个或以上项目时,工作记忆表征之间会相互竞争,如果其中一个记忆表征获得额外的优先权,该记忆表征就会获得竞争优势因而处于注意焦点状态,而其他项目则处于从属状态(Olivers et al.,2011),但如果工作记忆中的记忆表征处于平等地位,所有记忆表征都处于从属状态(van Moorselaar et al.,2014),而且他们认为只要工作记忆表征处于从属状态就不能引导注意。因此,两种主要解释争论的焦点在于工作记忆负载为2时工作记忆表征能否引导注意？这是本研究关注的主要问题之一。
通过比较有关工作记忆负载影响注意引导效应的研究发现,以往研究中所采用的任务存在差异,Soto等(2008,2012)和Zhang等(2011)采用的均为视觉搜索任务,而 van Moorselaar等(2014)采用的是注意捕获任务。一方面,视觉搜索任务与注意捕获任务知觉负载不同,Soto等(2008,2012)和Zhang等(2011)所采用的视觉搜索任务比较难,属于系列搜索的范畴(Theeuwes,2012),因此在视觉搜索的过程中更容易受到认知控制等因素的影响,从而导致注意引导效应发生改变(Carlisle &Woodman,2011;Han &Kim,2009;胡艳梅,张明,徐展,李毕琴,2013;张豹,胡岑楼,黄赛,2016)。正是基于这样的原因,van Moorselaar等(2014)在研究中特意采用注意捕获任务来减少注意引导过程中认知控制因素的影响。另一方面,视觉搜索任务与注意捕获任务的搜索模式不同(Bacon &Egeth,1994),注意捕获任务的搜索采用的是奇异项检测模式(singleton detection mode),主要依赖于奇异项的凸显性(Bacon&Egeth,1994;Theeuwes,2012),而视觉搜索任务的搜索则采用的是特征检测模式(feature-search mode),主要依靠刺激的特征属性及其与任务的相关性(Bacon &Egeth,1994)。由于搜索模式的差异,两者在引导注意选择时也出现了不同的研究结果,例如Theeuwes,Reimann和Mortier (2006)在研究中先给被试呈现一个几何图形作为启动图形,再要求被试完成一个注意捕获任务,注意捕获任务中的奇异项作为靶子刺激,启动图形既有可能作为靶子刺激(即有效条件),也有可能不作为靶子刺激(即无效条件),结果发现,有效条件下的反应时显著快于无效条件,即先前呈现的启动图形促进了与之相匹配的靶子刺激的检测(同样的结果参见：Theeuwes&van der Burg,2007)。但Soto等(2005)采用类似的任务,只是以视觉搜索任务替代了注意捕获任务,结果却没有得到启动图形对与之匹配的靶子刺激的启动效应(同样的结果参见：Pan &Soto,2010;Pan,Xu,&Soto,2009)。搜索模式的差异亦有可能是导致以往有关工作记忆负载影响注意引导效应的研究结果不一致的原因,由于注意捕获任务依赖奇异项的突显性来捕获注意,当工作记忆中保持两个工作记忆表征时,彼此之间会相互竞争,因而其突显性相对于单个工作记忆表征来说会显著下降,这种内部表征的突显性降低有可能会导致 van Moorselaar等(2014)研究中当工作记忆负载为 2时没有注意引导效应。
由上述分析可知,van Moorselaar等(2014)的研究结论可能受限于其所采用的注意捕获范式,Hollingworth和Beck (2016)认为基于特征检测的视觉搜索范式比基于凸显的奇异项检测的注意捕获范式更能敏感地探测到注意引导效应。但在 Soto等(2008,2012)、Zhang等(2011)的研究中,其所采用的视觉搜索任务较难,而且研究结果是基于视觉搜索反应时,正如Theeuwes (2012)及张豹、黄赛和祁禄(2013)所分析,视觉搜索时间反映了个体从视觉刺激的知觉、系列扫描、匹配、决策到反应执行等一系列认知过程的行为输出,期间容易受到诸如认知控制的影响而导致注意引导效应发生改变,甚至会掩盖注意早期阶段所产生的注意引导效应。虽然van Moorselaar等(2014)采用注意捕获范式在一定程度上减少了认知控制因素的干扰,但犹如上述分析,奇异项检测模式可能会给结果带来混淆。眼动追踪技术可以较好地解决上述问题,它可以实时地记录外显注意的动态转移轨迹(van Gompel,Fischer,Murray,&Hill,2007),并且能在注意引导效应的研究中非常精确地反映注意选择的时间信息与空间信息(Olivers et al.,2006;Soto et al.,2005,2006;张豹等,2013,2016)。更重要的是,眼动追踪技术能提供视觉搜索早期阶段工作记忆表征对注意的引导效应,相对于 van Moorselaar等(2014)的注意捕获任务来说,首次注视点所提供的时间要远远早于注意捕获任务所完成的时间,例如在Olivers等(2006)的研究中,首次注视点的潜伏期约为 150～250ms,而注视点到达靶子时的潜伏期约为 500ms左右,手动完成靶子判断的反应时则约为 1000ms。因此,采用首次注视点作为分析指标比van Moorselaar等(2014)所采用的注意捕获任务更能减少认知控制因素对注意引导效应的影响。
此外,如前面所分析,以往相关研究采用的视觉搜索任务与注意捕获任务之间还存在知觉负载的差异,从资源消耗的角度来看,视觉搜索任务的知觉负载越大,认知资源消耗就越多,因此视觉搜索任务的知觉负载亦有可能通过消耗认知资源的方式影响注意引导效应。
综上所述,本研究拟在以往研究的基础上,采用高时间精度的眼动追踪技术,将工作记忆任务与视觉搜索任务相结合,同时操纵工作记忆负载与视觉搜索任务的知觉负载,以进一步探讨工作记忆负载如何在工作记忆表征引导视觉注意过程中起作用。可以预测,如果工作记忆负载通过工作记忆表征状态起作用(Olivers et al.,2011;Peters et al.,2009;van Moorselaar et al.,2014),那么当工作记忆负载增加到 2时注意引导效应即会消失;反之,如果工作记忆负载通过认知资源的消耗起作用(Soto et al.,2012;Soto &Humphreys,2008;Zhang et al.,2011),那么当工作记忆负载为2时,至少在低知觉负载的视觉搜索任务中注意引导效应仍然会出现,而在高知觉负载的视觉搜索任务中注意引导效应有可能会消失。
2 实验1 低知觉负载搜索任务下工作记忆负载的作用
实验1在Zhang等人(2011)的实验程序的基础上,(1)为了减少认知控制因素的影响,增加眼动追踪技术,测量视觉搜索过程中注意空间转移的轨迹,并以首次注视点百分率作为分析指标来测量视觉搜索早期阶段的注意引导效应;(2)为了使视觉搜索更为容易,知觉负载更小,实验 1将作为视觉搜索任务中的靶子斜线的倾斜度由 38°增加到 45°,以增大与干扰刺激(垂直线)之间的差异。
2.1 方法
2.1.1 被试
选取20名大学生参加实验,其中男生5名,年龄18～21岁(平均19.5岁)。所有被试身体健康,视力或矫正视力正常,无色弱或者色盲,均未参加过类似实验,实验后给予报酬。
2.1.2 仪器和材料
采用Eyelink II (SR Research,Ontario,Canada)眼动仪采集眼动数据,采样频率为500 Hz。刺激呈现在17英寸CRT显视器上(分辨率为1024×768,刷新频率为 85 Hz),屏幕背景为灰色。程序采用E-Prime 1.1编程与运行。
记忆与搜索图形为 2.5°×2.5°的彩色几何图形,由 9种基本形状和 9种不同颜色的随机组合而成,形状与颜色均来自于Zhang等人(2011)的实验。
工作记忆任务包括3种负载：负载为1时屏幕中央呈现1个记忆刺激;负载为2时距屏幕中央上下 2°视角位置各呈现一个颜色和形状皆不同的刺激;负载为4时在屏幕中央为中心,边长为4°视角的假想正方形4个角的位置上各呈现一个颜色和形状彼此不同的刺激。
视觉搜索刺激由4个形状和颜色各不相同的彩色图形组成,每个图形里面嵌入一条大小为0.5°×1.2°视角的线段,其中一条向左或向右倾斜45º的斜线作为靶子,另外 3条垂直线段作为干扰刺激。4个图形分布在以屏幕中央为圆心,半径为6°视角的假想圆盘的 1、4、7、10点钟或 2、5、8、12点钟的位置。
2.1.3 程序
被试坐在距离计算机屏幕约57cm的位置,眼睛与屏幕中心平视。实验程序如图1所示,每次试验开始时屏幕中央都会出现一个“+”提醒试验开始,被试需要盯住“+”,当眼动仪检测到被试的注视点与“+”重合时即进入记忆阶段(即漂移校正)。记忆阶段屏幕上会出现1个、2个或者4个记忆图形要求被试记住并保持到该试验结束,记忆刺激呈现时间分别为1000ms、2000ms或4000ms。252ms空屏后,进入视觉搜索阶段,此阶段要求被试在 3000ms内找到靶子斜线,并又快又准地判断其方向(向右倾斜按“F”键,向左倾斜按“J”键)。按键或 3000ms后视觉搜索刺激消失,紧接着屏幕中央出现一个记忆探测图形,要求被试判断该图形是否是之前要求记住的图形,在 50%的试次中,该图形与其中一个记忆图形完全相同(按“F”键),在另外 50%的试次中,该图形与其中一个记忆图形在形状、或颜色、或颜色与颜色上不同(按“J”键)。记忆探测任务只要求正确率,不要求反应速度。反应结束后被试按空格键进入下一试次的试验。
图1 工作记忆负载为1时的实验流程图示
根据工作记忆项目与视觉搜索干扰刺激之间的特征匹配关系,实验包括两种匹配类型：无效条件下视觉搜索任务中的一个干扰刺激的颜色和形状与其中一个记忆刺激的颜色和形状完全相同,其他所有刺激的特征互不相同;中性条件下所有记忆刺激与视觉搜索刺激的特征互不重叠。实验 1为3(工作记忆负载：1、2、4)×2(匹配类型：无效条件、中性条件)两因素被试内实验设计。正式测验中每种实验条件各 60试次,正式测验之前被试需练习 20试次以熟悉实验程序和任务要求。被试可以在试验结束按空格键进入下一试次时自主决定是否休息。
采用眼动仪同步记录被试右眼在视觉搜索过程中的眼动轨迹。实验开始或被试休息之后都采用9 点矩阵进行调节和校正。实验中要求被试在启动视觉搜索任务之前都将眼睛保持在屏幕中央注视点位置(注视点为中心1.5°视角的范围内皆可接受)。
2.2 结果与讨论
数据采用SPSS 18.0进行分析,其中两名被试工作记忆任务的正确率( <60%)明显低于其他被试而被删除。实验1视觉搜索任务的正确率为97.43%,由于本研究所有实验视觉搜索正确率都比较高,故不对其进行分析。反应时数据和首次注视点数据只分析记忆任务与视觉搜索任务都正确的试次,反应时剔除超过平均数3个标准差以外的极端数据。
2.2.1 工作记忆任务的正确率分析
2.2.2 首次注视点百分率及潜伏期分析
研究拟通过分析无效条件下记忆匹配干扰刺激所捕获的首次注视点百分率来评估工作记忆表征对视觉搜索早期阶段的注意引导效应。为了在统计分析时与无效条件下记忆匹配干扰刺激的数据进行对比,在程序编写时也在中性条件下设定一个干扰刺激,其出现的频率和位置与记忆匹配干扰刺激相同。以上述两种干扰刺激为中心,边长为 1.2°视角的正方形内的区域为兴趣区,落在兴趣区内的首次注视点即为该干扰刺激所捕获的首次注视点,无效条件与中性条件下兴趣区的首次注视点百分率之间的差异即反映了工作记忆在视觉搜索早期阶段对视觉注意的引导效应。
图2 实验1三种工作记忆负载下无效/中性条件的首次注视点百分率与反应时
2.2.3 视觉搜索反应时分析
实验1的结果再次证实了视觉工作记忆负载会影响基于工作记忆表征的注意引导效应。首先,在眼动指标与行为反应时指标上,在工作记忆负载为1和2时都发现了显著了注意引导效应,这重复了Zhang等人(2011)的研究结果,但显然与 van Moorselaar(2014)及 Peters,Roelfsema和 Goebel (2012)的研究结果不一致。根据他们的解释,当视觉工作记忆中超过一个记忆表征时,这些记忆表征将自动存储为从属状态的,因而在工作记忆负载为2时不会出现注意引导效应。实验1的结果显然与上述解释不符,因而否定了工作记忆负载通过工作记忆表征状态起作用的解释(Olivers et al.,2011;Peters et al.,2009;van Moorselaar et al.,2014)。其次,当工作记忆负载为4时,首次注视点百分率指标与行为反应时指标上的结果不一致,首次注视点百分率指标上注意引导效应消失,这与 Zhang等人(2011)的研究结果一致,奇怪的是在行为反应时指标上,注意引导效应仍然存在。这种不一致结果可能与两种指标所反映的视觉搜索阶段有关,首次注视点百分率反映的是视觉搜索早期阶段的相对自动化的注意引导效应(实验1首次注视点平均潜伏期为247ms),而视觉搜索反应时则反映的是行为决策后的注意引导效应(从反应时数据来看超过 1000ms),这期间包括个体从刺激的知觉、搜索、匹配到决策等一系列过程,有可能会受到个体认知策略的影响(Hickey,Chelazzi,&Theeuwes,2011),例如在工作记忆负载为 4时,由于记忆任务难度加大,被试为了更好地完成视觉搜索任务之后的记忆探测任务,有可能会在视觉搜索阶段有意识地偏向工作记忆项目进行复述以巩固记忆(Woodman &Luck,2007),这一解释将在下面的实验中予以验证。
3 实验2 高知觉负载搜索任务下工作记忆负载的作用
为了检验视觉搜索任务的知觉负载是否会在工作记忆负载影响注意引导效应的过程中起作用,实验2在实验1的基础上增加搜索靶子与干扰刺激之间的相似性来增加视觉搜索任务的知觉负载。
3.1 方法
3.1.1 被试
选取另外19名大学生,其中包括男生9名,年龄18～23岁(平均19岁)。所有被试身体健康,视力或矫正视力正常,无色弱、色盲,无类似实验的经验,实验后给予报酬。
3.1.2 实验材料和程序
实验 2除了视觉搜索靶子斜线的倾斜方向为15°之外,其他都与实验1相同。
3.2 结果与讨论
3名被试由于记忆任务的正确率太低( <50%)而被剔除,剩余被试的视觉搜索任务的正确率为94.91%。
3.2.1 工作记忆任务的正确率分析
3.2.2 首次注视点百分率及潜伏期分析
图3 实验2三种工作记忆负载下无效/中性条件的首次注视点百分率与反应时
3.2.3 视觉搜索反应时分析
在首次注视点百分率指标上,实验 2与实验 1在工作记忆负载为1时都观察到了经典的注意引导效应,而在工作记忆负载满负荷时,注意引导效应都消失了,但当工作记忆负载为2时,实验1中所观察到的注意引导效应在实验2中随着视觉搜索任务难度的增加竟然消失了,此结果与研究的预测及以往的研究结果一致(Han &Kim,2009;Hu,Xu,&Hitch,2011;张豹等,2016),即视觉搜索任务的知觉负载亦会对注意引导效应产生影响。
与实验1相似,实验2行为反应时结果与首次注视点百分率结果存在明显的差异。如果行为反应时所反映的注意引导效应受到了有意复述的影响,实验2的视觉搜索难度更大,那么被试有更多的机会复述记忆匹配项目。因此实验2中无效条件下的工作记忆任务的正确率显著高于中性条件,可能就是这种有意识复述的结果。为了排除上述记忆复述策略,实验3和 4按照 Dowd,Kiyonaga,Egner和Mitroff (2015)的方法,将视觉搜索任务与记忆探测任务分开试次呈现,即在随机呈现的一半的试次中,工作记忆任务之后只出现视觉搜索任务,另一半试次中,记忆刺激呈现之后直接出现记忆探测任务。如此操纵一方面被试为了顺利完成随后随机出现的记忆探测任务,需要记住工作记忆任务中呈现的项目,另一方面由于被试知道视觉搜索任务之后不会有记忆探测任务,因而不需要在视觉搜索阶段采用复述策略来增强记忆效果。
4 实验 3 防止记忆复述时低知觉负载搜索任务下工作记忆负载的作用
4.1 方法
4.1.1 被试
选取18名大学生参加实验,其中男生5名,年龄18～21岁(平均20.5岁)。所有被试身体健康,视力或矫正视力正常,无色弱或者色盲,没有参加过类似实验,实验后给予报酬。
4.1.2 实验材料和程序
实验3与实验1不同之处只是在记忆刺激呈现之后,50%试次中直接出现记忆探测任务,50%试次中只出现视觉搜索任务,不再出现记忆探测任务。
4.2 结果与讨论
2名被试由于高负载条件下的记忆任务的正确率太低而被剔除(<50%),剩余被试在视觉搜索任务上的正确率为98.84%。
4.2.1 工作记忆任务的正确率分析
4.2.2 首次注视点百分率及潜伏期分析
F
s<
1)。干扰刺激的首次注视点平均潜伏期为268ms。
图4 实验3三种工作记忆负载下无效/中性条件的首次注视点百分率与反应时
4.2.3 视觉搜索反应时分析
5 实验 4 防止记忆复述时高知觉负载搜索任务下工作记忆负载的作用
5.1 方法
5.1.1 被试
选取20名大学生参加实验,其中男生4名,年龄18～24岁(平均19.89岁)。所有被试身体健康,视力或矫正视力正常,无色弱或者色盲,无类似实验经验,实验后给予报酬。
5.1.2 实验材料和程序
实验 4除了视觉搜索靶子斜线的倾斜方向为15°之外,其他都与实验3相同。
5.2 结果与讨论
3名被试由于高负载条件下的记忆任务的正确率太低而被剔除(<50%),剩余被试在视觉搜索任务中的正确率为94.69%。
5.2.1 工作记忆任务的正确率分析
5.2.2 首次注视点百分率及潜伏期分析
图5 实验4三种工作记忆负载下无效/中性条件的首次注视点百分率与反应时
5.2.3 视觉搜索反应时分析
在控制记忆复述策略之后,实验4中首次注视点百分率与行为反应时的结果共同显示,当采用较难的视觉搜索任务时,注意引导效应只在工作记忆负载为1时存在,而在工作记忆负载为2和4时则完全消失了。
6 总讨论
本研究采用眼动追踪技术,分别在低、高两种不同知觉负载的视觉搜索任务中探讨了视觉工作记忆负载对注意引导效应的影响。实验1与实验3的结果发现,当采用低知觉负载的视觉搜索任务时,视觉工作记忆负载为1和2时都出现了注意引导效应,但当视觉工作记忆负载增加到4时注意引导效应消失了;而实验2与实验4的结果则发现,当采用高知觉负载的视觉搜索任务时,只在视觉工作记忆负载为1的条件下观察到了注意引导效应,但视觉工作记忆负载增加到2和4时,注意的引导效应就消失了。
如前言所述,以往研究结果发现工作记忆表征对注意的引导效应受到工作记忆负载的影响(Downing &Dodds,2004;Olivers et al.,2011;Peters et al.,2009;Soto et al.,2012;Soto &Humphreys,2008;van Moorselaar et al.,2014;Zhang et al.,2011),但对于其影响机制却仍然存在争议。一部分研究者认为工作记忆负载对注意引导效应的影响主要通过工作记忆负载消耗认知资源来实现(Soto et al.,2012;Soto &Humphreys,2008;Zhang et al.,2011),即当认知资源被工作记忆负载消耗到不足以用来维系工作记忆表征引导视觉注意所需的认知资源时,注意引导效应就会消失。另一些研究者则认为工作记忆负载主要通过工作记忆表征状态来影响注意引导效应,即当视觉工作记忆存储多个工作记忆表征时,记忆表征之间会相互竞争,只有处于优势状态的表征才能引导注意(Olivers et al.,2011;Peters et al.,2009),如果所有表征都处于平等地位,那么所有记忆表征都处于从属状态从而不能引导注意(van Moorselaar et al.,2014)。而这两种解释关键之不同在于当工作记忆负载为2时,工作记忆表征能否引导注意？根据注意资源消耗的解释,由于视觉工作记忆的最大容量约为 4 (Luck &Vogel,1997),故工作记忆负载为 2时仍然有足够的资源来维系工作记忆表征对注意的引导(如 Soto et al.,2012;Soto &Humphreys,2008;Zhang et al.,2011),但根据工作记忆表征状态的解释,当工作记忆系统中同时存在2个或以上的项目时,如果没有特定的项目获得竞争优势而处于优势地位,则所有的项目皆处于从属状态从而都不能引导注意(Olivers et al.,2011;Peters et al.,2009;van Moorselaar et al.,2014)。从本研究的结果来看,实验1与3采用低知觉负载的视觉搜索任务时,在工作记忆负载为2的条件下都观察到了显著的注意引导效应,这一结果与Soto等(2008,2012)和Zhang等(2011)的研究结果一致,支持了注意资源消耗的解释。显然,实验 1与实验3的结果与van Moorselaar等(2014)的研究结果不一致,导致不一致的原因可能源于两者所采用的注意任务的差异。本研究所采用的是 Soto等(2008,2012)和Zhang等(2011)所采用的视觉搜索任务,而 van Moorselaar等(2014)采用的是注意捕获任务。如前言中所分析,两者在知觉负载与搜索模式两个方面都存在差异。在知觉负载方面,van Moorselaar等(2014)认为 Soto等(2008,2012)和Zhang等(2011)所采用的视觉搜索任务知觉负载较大,容易受到认知控制因素的影响,因而采用注意捕获任务来避免这种影响。但本研究采用首次注视点百分率指标相对于van Moorselaar等(2014) 采用的注意捕获任务的行为反应时指标来说,其反映的注意引导效应发生时间更早(约 240ms～270ms),更难以受到认知控制因素的影响。因而实验1与实验3在工作记忆负载为2时,首次注视点百分率表现出的注意引导效应应该不是认知控制因素的作用。在搜索模式方面,视觉搜索任务主要采用依赖刺激的特征属性及其与任务的相关性的特征检测模式(Bacon &Egeth,1994),而注意捕获任务主要采用依赖于奇异项凸显性的奇异项检测模式(Bacon &Egeth,1994;Theeuwes,2012)。当工作记忆中只存储一个记忆表征时,该记忆表征会自动成为注意焦点处于优先状态(Oberauer,2002),使得该内部表征具有突显性从而能在注意捕获任务中捕获注意,因而能观察到注意引导效应(如 Olivers et al.,2006)。当工作记忆中同时存储两个或以上工作记忆表征时,记忆表征之间的相互竞争,如果其中一个表征获得优先权,注意资源就会集中分配给该表征,从而使其在竞争中获得优势,因而能与知觉产生交互效应(Bays &Husain,2008),这也是为何van Moorselaar等(2014)在实验 4中通过记忆提取线索提高其中一个工作记忆表征的地位,该记忆表征能引导视觉注意的原因。但工作记忆表征获得优先权是以消耗额外的认知资源来抑制其他工作记忆表征为代价的,如果没有特殊的线索提示或任务要求,为了减少这种资源的消耗,最佳的方式是所有的工作记忆表征处于平等的状态(Pertzov,Bays,Joseph,&Husain,2013),此时注意需要同时分配给多个记忆表征,导致每个工作记忆表征的突显性下降,这可能是导致 van Moorselaar等(2014)在工作记忆负载为2时未能发现注意引导效应的主要原因。
当工作记忆中存储多个记忆表征时,其表征的存在状态有两种不同的假设,单项目模板假设(single-item template hypothesis,Olivers et al.,2011)认为,视觉工作记忆系统可以同时存储多个工作记忆表征,但监控机制最多只允许一个工作记忆表征成为注意模板,该注意模板能与视感觉加工产生交互作用,引导知觉选择。多项目模板假设(multipleitem template hypothesis,Beck,Hollingworth,&Luck,2012)则认为,多个记忆表征在视觉工作记忆的存储依赖于其在视感觉皮层的神经激活(Emrich,Riggall,LaRocque,&Postle,2013),它们可以同时引导注意选择。显然,两种假设的主要差别在于当多个记忆表征以平等的地位存储于视觉工作记忆系统中时,这些表征能否平行地引导注意？单项目模板假设认为如果没有工作记忆表征获得优先权成为注意模板,那么所有工作记忆表征都处于从属状态,都不能引导注意(van Moorselaar et al.,2014),而多项目模板假设认为存储于视觉工作记忆中的所有项目都能成为注意模板引导注意(Hollingworth&Beck,2016)。显然,从结果来看,本研究与多项目模板假设的预测结果一致,即不管视觉工作记忆系统中存储一个还是两个记忆表征,都观察到了显著的注意引导效应。Soto等(2012)曾采用脑成像技术探讨工作记忆负载对注意引导效应的影响,他们发现,不管工作记忆负载为 1还是 3,工作记忆表征在视觉搜索任务中再次出现时,都观察到了后感觉皮质神经激活的增强,即工作记忆中的所有项目都能同时表征在视觉皮层。但当工作记忆负载为3时,感觉皮层与额叶之间的神经通路则会受到干扰,在行为指标上表现为注意引导效应消失。Soto等(2012)的研究结果表明,视觉工作记忆表征对视觉注意的引导不仅依赖于记忆表征在初级视觉皮层的神经激活,更依赖于额叶对视觉皮层自上而下的调节通路,而额叶至视觉皮层的调节通路需要认知资源来维系。Soto等(2012)只设置了工作记忆负载为1和3两种条件,无法得知工作记忆负载为2时额叶——初级感觉皮层的神经通路是否如工作记忆负载为3时一样受到干扰。从本研究及以往研究结果(如Soto &Humphreys,2008;Zhang et al.,2011)来看,工作记忆负载为2时依然观察到了显著的注意引导效应,说明额叶——初级感觉皮层的神经通路并未受到影响,但当工作记忆负载增加到4(又见Zhang et al.,2011)或同时伴随其他认知任务(如言语抑制任务,Soto &Humphreys,2008)以增加认知资源的消耗时,用于维持上述神经通路的认知资源减少可能正是注意引导效应消失的主要原因。
此外,实验2与4的结果进一步证实了认知资源对注意引导效应的影响,即当增加视觉搜索任务的知觉负载时,工作记忆负载为2时注意引导效应就已消失,此结果表明工作记忆负载对注意引导效应的影响同时受到视觉搜索任务知觉负载的调节。当采用知觉负载较大的视觉搜索任务时,被试较难搜索到靶子,因而视觉搜索任务本身需要消耗更多的认知资源。以往研究发现工作记忆表征的编码、保持和注意共享共同的认知资源(Konstantinou,Beal,King,&Lavie,2014),两者有着相同的认知神经机制(Awh,Anllo-Vento,&Hillyard,2000;Kuo,Rao,Lepsien,&Nobre,2009)。甚至有研究者认为工作记忆是内部注意的延伸,与外部注意主要负责筛选外部情境中的感觉信息类似,工作记忆是内部注意对内部记忆表征的选择与调控(Chun,Golomb,&Turk-Browne,2011),两者相互影响,对认知资源的消耗存在此消彼长的关系(Kiyonaga &Egner,2013,2014)。当属于外部注意的视觉搜索任务与工作记忆负载共同消耗的认知资源达到一定程度时,用于维系工作记忆表征对视觉注意引导的额叶——初级感觉皮层神经通路所需要的资源就会受到影响,故在实验2与实验4中在工作记忆负载为2时注意引导效应就完全消失了。由此可知,在工作记忆引导注意的过程中,除了工作记忆负载会通过内部注意的方式来调控认知资源以影响注意引导效应之外,视觉搜索任务的知觉负载也能通过调控外部注意所需的认知资源来影响注意引导效应。
但需要指出的是,以往研究发现,当视觉搜索任务的知觉负载越高,注意引导效应就越容易受到认知控制因素的影响,从而导致注意引导效应减弱、消失甚至反转(Carlisle &Woodman,2011,2012;Han &Kim,2009;Woodman &Luck,2007;胡艳梅等,2013;张豹等,2016),因此认知控制因素是导致实验2与实验4中工作记忆负载为2时注意引导效应的消失的另一原因。如前言所述,实验2与实验4所采用的首次注视点百分率反映的是视觉搜索早期阶段注意引导效应,相对于反应时指标来说更不容易受到认知控制因素的影响。如果认知控制因素在高知觉负载的视觉搜索过程中起作用,那么其影响在所有工作记忆负载条件下应该是一致的。但在工作记忆负载为1时,实验2与实验4在首次注视点百分率与行为反应结果上都出现了注意引导效应。由此可以推测,在工作记忆负载影响注意引导效应的过程中,知觉负载并不是通过认知控制起作用。
7 结论
本研究通过4个眼动实验探讨视觉工作记忆负载在不同知觉负载的视觉搜索任务中对基于工作记忆表征的注意引导效应的影响。结果表明(1)当视觉工作记忆中同时存储多个记忆表征时,在认知资源充足的情况下,这些表征都可以参与视觉注意选择的引导;(2)工作记忆负载主要通过认知资源调控的方式影响工作记忆表征对视觉注意的引导;(3)视觉搜索任务的知觉负载也能通过调控外部注意对认知资源的需求来影响注意引导效应。
Awh,E.,Anllo-Vento,L.,&Hillyard,S.A.(2000).The role of spatial selective attention in working memory for locations:Evidence from event-related potentials.Journal of Cognitive Neuroscience,12
(5),840–847.Bacon,W.F.,&Egeth,H.E.(1994).Overriding stimulusdriven attentional capture.Perception &Psychophysics,55
(5),485–496.Bays,P.M.,&Husain,M.(2008).Dynamic shifts of limited working memory resources in human vision.Science,321
(5890),851–854.Beck,V.M.,Hollingworth,A.,&Luck,S.J.(2012).Simultaneous control of attention by multiple working memory representations.Psychological Science,23
(8),887–898.Bundesen,C.,Habekost,T.,&Kyllingsbæk,S.(2005).A neural theory of visual attention:Bridging cognition and neurophysiology.Psychological Review,112
(2),291–328.Carlisle,N.,&Woodman,G.(2012).The guidance of attention is dominated by task relevance and not simply maintenance in working memory.Journal of Vision,12
(9),953.Carlisle,N.B.,&Woodman,G.F.(2011).Automatic and strategic effects in the guidance of attention by working memory representations.Acta Psychologica,137
(2),217–225.Carlisle,N.B.,&Woodman,G.F.(2013).Reconciling conflicting electrophysiological findings on the guidance of attention by working memory.Attention,Perception &Psychophysics,75
(7),1330–1335.Charron,S.,&Koechlin,E.(2010).Divided representation of concurrent goals in the human frontal lobes.Science,328
(5976),360–363.Chun,M.M.,Golomb,J.D.,&Turk-Browne,N.B.(2011).A taxonomy of external and internal attention.Annual Review of Psychology,62
,73–101.Cowan,N.(1999).An embedded-processes model of working memory.In A.Miyake &P.Shah (Eds.),Models of working memory:Mechanisms of active maintenance and executive control
(pp.62–101).Cambridge,UK:Cambridge University Press.Desimone,R.,&Duncan,J.(1995).Neural mechanisms of selective visual attention.Annual Review of Neuroscience,18
,193–222.Dowd,E.W.,Kiyonaga,A.,Egner,T.,&Mitroff,S.R.(2015).Attentional guidance by working memory differs by paradigm:An individual-differences approach.Attention,Perception,&Psychophysics,77
(3),704–712.Downing,P.E.(2000).Interactions between visual working memory and selective attention.Psychological Science,11
(6),467–473.Downing,P.E.,&Dodds,C.(2004).Competition in visual working memory for control of search.Visual Cognition,11
(6),689–703.Emrich,S.M.,Riggall,A.C.,LaRocque,J.J.,&Postle,B.R.(2013).Distributed patterns of activity in sensory cortex reflect the precision of multiple items maintained in visual short-term memory.Journal of Neuroscience,33
(15),6516–6523.Han,S.W.,&Kim,M.-S.(2009).Do the contents of working memory capture attention? Yes,but cognitive control matters.Journal of Experimental Psychology:Human Perception and Performance,35
(5),1292–1302.Hickey,C.,Chelazzi,L.,&Theeuwes,J.(2011).Reward has a residual impact on target selection in visual search,but not on the suppression of distractors.Visual Cognition
,19(1),117–128.Hollingworth,A.,&Beck,V.M.(2016).Memory-based attention capture when multiple items are maintained in visual working memory.Journal of Experimental Psychology:Human Perception and Performance,42
(7),911–917.Hu,Y.M.,Xu,Z.,&Hitch,G.J.(2011).Strategic and automatic effects of visual working memory on attention in visual search.Visual Cognition,19
(6),799–816.Hu,Y.M.,Zhang,M.,Xu,Z.,&Li,B.Q.(2013).Guidance of working memory on attention:The effects of inhibition incentive.Acta Psychologica Sinica,45
(2),127–138.[胡艳梅,张明,徐展,李毕琴.(2013).客体工作记忆对注意的导向作用:抑制动机的影响.心理学报,45
(2),127–138.]Kiyonaga,A.,&Egner,T.(2013).Working memory as internal attention:Toward an integrative account of internal and external selection processes.Psychonomic Bulletin &Review,20
(2),228–242.Kiyonaga,A.,&Egner,T.(2014).Resource-sharing between internal maintenance and external selection modulates attentional capture by working memory content.Frontiers in Human Neuroscience,8
,670.Konstantinou,N.,Beal,E.,King,J.R.,&Lavie,N.(2014).Working memory load and distraction:Dissociable effects of visual maintenance and cognitive control.Attention,Perception,&Psychophysics,76
(7),1985–1997.Kuo,B.-C.,Rao,A.L.,Lepsien,J.,&Nobre,A.C.(2009).Searching for targets within the spatial layout of visual short-term memory.Journal of Neuroscience,29
(25),8032–8038.Luck,S.J.,&Vogel,E.K.(1997).The capacity of visual working memory for features and conjunctions.Nature,390
(6657),279–281.Oberauer,K.(2002).Access to information in working memory:Exploring the focus of attention.Journal of Experimental Psychology:Learning,Memory,and Cognition,28
(3),411–421.Olivers,C.N.L.(2009).What drives memory-driven attentional capture? The effects of memory type,display type,and search type.Journal of Experimental Psychology:Human Perception and Performance,35
(5),1275–1291.Olivers,C.N.L.,Meijer,F.,&Theeuwes,J.(2006).Featurebased memory-driven attentional capture:Visual working memory content affects visual attention.Journal of Experimental Psychology:Human Perception and Performance,32
(5),1243–1265.Olivers,C.N.L.,Peters,J.,Houtkamp,R.,&Roelfsema,P.R.(2011).Different states in visual working memory:When it guides attention and when it does not.Trends in Cognitive Sciences,15
(7),327–334.Pan,Y.(2010).Content-based working memory-driven visual attention.Advances in Psychological Science,18
(2),210–219.[潘毅.(2010).基于工作记忆内容的视觉注意.心理科学进展,18
(2),210–219.]Pan,Y.,&Soto,D.(2010).The modulation of perceptual selection by working memory is dependent on the focus of spatial attention.Vision Research,50
(15),1437–1444.Pan,Y.,Xu,B.H.,&Soto,D.(2009).Dimension-based working memory-driven capture of visual selection.The Quarterly Journal of Experimental Psychology,62
(6),1123–1131.Pertzov,Y.,Bays,P.M.,Joseph,S.,&Husain,M.(2013).Rapid forgetting prevented by retrospective attention cues.Journal of Experimental Psychology:Human Perception and Performan,39
(5),1224–1231.Peters,J.C.,Goebel,R.,&Roelfsema,P.R.(2009).Remembered but unused:The accessory items in working memory that do not guide attention.Journal of Cognitive Neuroscience,21
(6),1081–1091.Peters,J.C.,Roelfsema,P.R.,&Goebel,R.(2012).Task-relevant and accessory items in working memory have opposite effects on activity in extrastriate cortex.The Journal of Neuroscience,32
(47),17003–17011.Soto,D.,Greene,C.M.,Chaudhary,A.,&Rotshtein,P.(2012).Competition in working memory reduces frontal guidance of visual selection.Cerebral Cortex,22
(5),1159–1169.Soto,D.,Heinke,D.,Humphreys,G.W.,&Blanco,M.J.(2005).Early,involuntary top-down guidance of attention from working memory.Journal of Experimental Psychology:Human Perception and Performance,31
(2),248–261.Soto,D.,Hodsoll,J.,Rotshtein,P.,&Humphreys,G.W.(2008).Automatic guidance of attention from working memory.Trends in Cognitive Sciences,12
(9),342–348.Soto,D.,&Humphreys,G.W.(2008).Stressing the mind:The effect of cognitive load and articulatory suppression on attentional guidance from working memory.Perception &Psychophysics,70
(5),924–934.Soto,D.,Humphreys,G.W.,&Heinke,D.(2006).Working memory can guide pop-out search.Vision Research,46
(6–7),1010–1018.Tan,J.F.,Zhao,Y.F.,Wu,S.S.,Wang,L.J.,Hitchman,G.,Tian,X.,… Chen,A.T.(2014).The temporal dynamics of visual working memory guidance of selective attention.Frontiers in Behavioral Neuroscience,8
,345.Theeuwes,J.(2012).Automatic control of visual selection.In M.D.Dodd &J.H.Flowers (Eds.),The influence of attention,learning,and motivation on visual search
(pp.23–62).New York:Springer.Theeuwes,J.,Reimann,B.,&Mortier,K.(2006).Visual search for featural singletons:No top-down modulation,only bottom-up priming.Visual Cognition,14
(4–8),466–489.Theeuwes,J.,&van der Burg,E.(2007).The role of spatial and nonspatial information in visual selection.Journal of Experimental Psychology:Human Perception and Performance,33
(6),1335–1351.van Gompel,R.P.G.,Fischer,M.H.,Murray,W.S.,&Hill,R.L.(2007).Eye movements:A window on mind and brain
.Amsterdam,Netherlands:Elsevier.van Moorselaar,D.,Battistoni,E.,Theeuwes,J.,&Olivers,C.N.L.(2015).Rapid influences of cued visual memories on attentional guidance.Annals of the New York Academy of Sciences,1339
(1),1–10.van Moorselaar,D.,Theeuwes,J.,&Olivers,C.N.L.(2014).In competition for the attentional template:Can multiple items within visual working memory guide attention?Journal of Experimental Psychology:Human Perception and Performance,40
(4),1450–1464.Woodman,G.F.,&Luck,S.J.(2007).Do the contents of visual working memory automatically influence attentional selection during visual search?Journal of Experimental Psychology:Human Perception and Performance,33
(2),363–377.Zhang,B.,Hu,C.L.,&Huang,S.(2016).What do eye movements reveal about the role of cognitive control in attention guidance from working memory representation.Acta Psychologica Sinica,48
(9),1105–1118.[张豹,胡岑楼,黄赛.(2016).认知控制在工作记忆表征引导注意中的作用:来自眼动的证据.心理学报,48
(9),1105–1118.]Zhang,B.,&Huang,S.(2013).Mechanisms underlying the attentional guidance form working memory representations.Advances in Psychological Science,21
(9),1578–1584.[张豹,黄赛.(2013).工作记忆表征对视觉注意的引导机制.心理科学进展,21
(9),1578–1584.]Zhang,B.,Huang,S.,&Qi,L.(2013).Working memory representation does guide visual attention:Evidence from eye movements.Acta Psychologica Sinica,45
(2),139–148.[张豹,黄赛,祁禄.(2013).工作记忆表征引导视觉注意选择的眼动研究.心理学报,45
(2),139–148.]Zhang,B.,Zhang,J.X.,Huang,S.,Kong,L.Y.,&Wang,S.P.(2011).Effects of load on the guidance of visual attention from working memory.Vision Research,51
(23–24),2356–2361.Zhang,B.,Zhang,J.X.,Kong,L.Y.,Huang,S.,Yue,Z.Z.,&Wang,S.P.(2010).Guidance of visual attention from working memory contents depends on stimulus attributes.Neuroscience Letters,486
(3),202–206.