视觉工作记忆中注意模板的表征—来自EROS的证据 *
2020-07-20车晓玮王凯旋上官梦麒李寿欣
车晓玮 王凯旋 上官梦麒 李寿欣
(山东师范大学心理学院,济南 250358)
1 引言
现实生活中,人们经常需要在复杂的视觉环境中搜索目标。完成这类搜索任务时,需要将搜索目标保存在工作记忆中,以引导随后的搜索。工作记忆是一个容量有限的记忆系统,能够保存和操作用于后续任务的相关信息(Baddeley,2012)。保存在工作记忆中的内容能够引导注意,会使场景中与之匹配的客体获得竞争优势,从而促进匹配客体的知觉加工(Desimone & Duncan,1995)。在视觉工作记忆保持阶段插入视觉搜索任务的研究发现,当记忆项与视觉搜索任务的搜索目标相匹配时,能促进目标的搜索(Dowd &Mitroff, 2013; Soto, Heinke, Humphreys, & Blanco,2005)。当被试完成对记忆项的工作记忆表征之后,如果要求被试再完成视觉搜索任务,用于随后的视觉搜索任务的记忆项目被称之为注意模板(attentional templates),其他的记忆项目则被称之为附属记忆项(accessory memory items)(Olivers,Peters, Houtkamp, & Roelfsema, 2011);如果要求被试完成再认任务,工作记忆项目则被称之为普通记忆项(ordinary working memory items)(Gunseli,Meeter, & Olivers, 2014)。不同项目的工作记忆表征机制不同。
注意模板用于随后的视觉搜索任务,位于执行加工的焦点,处于激活状态,能够引导注意;附属记忆项进行保存而不用于随后的视觉搜索任务,处于附属状态,位于执行加工焦点之外,容易受到抑制,不能引导注意(Olivers et al., 2011)。采用功能性磁共振成像(functional magnetic resonance imaging, fMRI)技术进行的研究发现,在视觉搜索过程中,相对于附属记忆项,表征注意模板时能引发视觉皮层的激活增加,负责认知控制的前额叶、前部脑岛和顶叶的激活也随之增加。这表明,与附属记忆项相比,注意模板能够激活大脑更多区域,促进与之匹配刺激的加工(Peters, Roelfsema, & Goebel, 2012)。另有研究者探讨了搜索任务中注意模板和无关干扰项在工作记忆存储过程的表征差异,结果发现,相比于干扰项,存储注意模板在枕叶区表现出更高程度的激活,表明注意模板的表征加工要强于无关干扰项(Reeder, Olivers, & Pollmann, 2017)。
普通记忆项则用于随后的再认任务,位于当前执行加工的焦点,与附属记忆项不同的是,普通记忆项的加工与当前任务有关,不需要进行抑制。Gunseli,Meeter等人(2014)以反映视觉工作记忆容量的对侧差异波(contralateral delay activity,CDA)和反映视觉工作记忆保持阶段资源投入的晚正成分(late positive complex, LPC)为指标,探讨工作记忆保持阶段注意模板与普通记忆项的工作记忆表征机制,发现注意模板与普通记忆项诱发的CDA没有差异,而注意模板诱发的LPC高于普通记忆项。这说明,相较于普通记忆项,在视觉工作记忆中存储注意模板不占用更多的视觉工作记忆容量,但需要投入更多的认知资源。van Driel,Gunseli,Meeter和 Olivers(2017)以反映注意主动控制的α功率和反映不同脑区连通性的α频段相位变化为指标,探讨工作记忆保持阶段和搜索过程注意模板与普通记忆项的工作记忆表征,研究发现,在表征注意模板时α功率强于普通记忆项,并且前额叶与后顶叶的α频段连通性也强于普通记忆项。这表明,与普通记忆项相比,对注意模板的表征需要更强的注意控制。因此,与普通记忆项相比,表征注意模板需要更多的资源投入与注意控制。
与同处于注意焦点的普通记忆项相比,注意模板表征的脑机制尚不明确。事件相关光信号(event-related optical signal, EROS)技术作为一种非侵入性脑功能成像技术,既有较高的时间分辨率(小于100 ms),也有一定的空间分辨率(5~10 mm)(Gratton & Fabiani, 2010),有助于探讨在认知加工过程中不同脑区的动态激活机制,能够较为全面地揭示注意模板在不同加工阶段的脑区激活情况。本研究采用EROS技术,要求被试进行视觉工作记忆后分别完成视觉再认任务和视觉搜索任务,以探讨视觉工作记忆中注意模板的表征机制。由于与普通记忆项相比,注意模板在表征过程中需要更多的注意控制(van Driel et al.,2017),且前额叶对枕叶产生自上而下的调节能够促进注意模板的视觉选择(Bichot, Rossi, &Desimone, 2005),因此,本研究假设:在注意模板表征过程中,与注意资源投入有关的前额叶和枕叶激活程度高于普通记忆项,且前额叶激活程度的增强早于枕叶;反之,如果注意模板和普通记忆项的表征需要相同的注意控制,则与普通记忆项相比,注意模板的表征仅诱发枕叶更多程度的激活。
2 方法
2.1 被试
选取某大学17名在校大学生。所有被试均为右利手,视力或矫正视力正常,无色盲色弱情况,无精神疾病史,无脑疾病、脑外伤等,均未参加过类似实验,实验后给予报酬。实验过程中,1名被试的数据因光学数据不完整被删除,最终有效被试16名,其中男生5名,年龄21.5±2.92岁。根据Gunseli,Meeter等人(2014)实验中不同任务类型下反应时差异的效果量(η=0.94),采用G*Power 3.1软件,设置Power为95%,α水平为0.01,计算被试样本量为4。
2.2 实验材料
采用E-prime 1.1编制实验程序,在计算机上进行实验,屏幕分辨率为1024×768像素,刷新率为60 Hz。
视觉工作记忆任务的记忆项和再认任务的探测项为带有缺口的红色方框(0.7°×0.7°, 线粗0.1°),方框缺口分别朝向于上、下、左、右四个方向。视觉搜索任务的搜索序列为随机呈现在半径为3°的虚拟圆环上的6个带有缺口的红色方框。
2.3 实验设计
采用检测任务类型(再认、搜索)单因素被试内设计。在再认任务中,仅呈现一个方框,需要被试判断该方框的缺口朝向与记忆项是否一致;在搜索任务中,呈现六个方框,需要被试判断这六个方框中是否有与记忆项缺口朝向一致的方框。记录被试行为反应的反应时、正确率,以及完成任务过程中的光信号。
2.4 实验程序
实验在隔音昏暗的实验室中进行,被试距离计算机屏幕约57 cm。单一试次流程图见图1,首先屏幕中央呈现注视点“+”(0.23°×0.23°)800~1200 ms,然后在屏幕中央呈现记忆项100 ms,在900 ms的保持间隔后,呈现检测任务。在再认任务中,要求被试判断出现的方框缺口朝向是否与记忆项一致,若一致则按“1”键,若不一致则按“0”键。50%的试次中呈现方框和记忆项的缺口朝向一致,50%的试次中呈现方框和记忆项的缺口朝向不一致。在搜索任务中,要求被试判断出现的六个方框是否包含与记忆项缺口朝向一致的方框,若包含则按“1”键,若不包含则按“0”键。50%的试次中呈现方框包含且仅有一个方框与记忆项缺口朝向一致,50%的试次中不包含与记忆项缺口朝向一致的方框。要求被试尽量准确快速地完成反应。
实验分为再认任务和搜索任务各两个Block,每个Block包括8个练习试次和80个正式实验试次,Block间顺序平衡。每完成1个Block休息5分钟,完成整个实验约需60分钟。
图1 单一试次实验流程图
2.5 EROS数据采集与分析
光学数据记录采用ISS Imagent近红外光谱成像仪(Imagent, ISS, Inc., Champaign, IL, USA),光源为830 nm波长、110 MHz调制频率的近红外光。实验中于被试头皮表面放置16个光源和8个接收器。
参照以往研究(Whalen, Maclin, Fabiani, &Gratton, 2008),采用两种光源和接收器的位置排布,一半试次采用图2A的方式采集数据,另一半试次采用图2B的方式采集数据。光源和接收器间距最短约3 cm,接收器和接收器间距最短约3 cm。实验中光源和接收器的排布方式可以覆盖长约20 cm、宽约8 cm的区域,记录区域的中心位于被试两耳上缘连线的中心,实验采样率为31.25 Hz。见图2C。
图2 实验中光源和接收器的放置位置图
通过Fastrak 3D定位仪(Polhemus Fastrak 3Space, Colchester, VT)对3个基准点(鼻根、左右侧耳前)以及包括光源、接收器和其他面部结构点在内的282个点进行坐标采集。用GE Discovery 3.0 T MR磁共振设备获取被试的高分辨率脑结构像(矩阵 256×256, TR=8.2 ms, TE=3.2 ms, 层厚1.2 mm)。在进行MRI扫描时,分别在被试鼻根、左右侧耳前放置维生素E药丸,以帮助将采集到的3D定位数据和被试脑结构像进行匹配(Gratton & Fabiani, 2010)。
EROS数据分析采用Matlab p_pod工具包和Opt_3D软件进行。首先,采用p_pod工具包对光学数据进行预处理:(1)对数据进行相位校正、去除脉冲伪迹、15 Hz低通滤波;(2)对记忆项出现前192 ms到记忆项出现后992 ms的光信号进行分段;(3)根据实验条件、行为数据采集的时间点、光源和接收器建立的通路对数据进行叠加平均。其次,依据3D定位和MRI采集的共同基准点,将通过Fastrak 3D定位仪采集的三维坐标和MRI结构像配准,建立被试的头骨模型,采用最小二乘拟合程序对模型进行调整,使误差低于5 mm,将光源和接收器位置的三维坐标转换为适合进行群组水平分析的Talairach坐标。最后,采用Opt_3D软件将平均后的光学数据与大脑通路位置结合形成不同条件下脑区激活差异图:(1)剔除光源与接收器距离小于15 mm或大于75 mm的通道信号;(2)采用8 mm高斯滤波对数据进行空间平滑化处理;(3)将各被试在每一体素的信号进行t检验,对再认任务和搜索任务下脑区的激活进行差异分析,并转化为Z分数,生成两类任务条件下的脑区横断面激活差异图;(4)根据以往研究(Mathewson et al., 2014)选择前额兴趣区(左额中回,x: -20 ~-50,y: 5 ~ 35,z: 10 ~ 40; 右额中回,x: 20 ~ 50,y: 5 ~35,z: 10 ~ 40)和枕叶兴趣区(左枕中回,x: -31 ~-1,y: -69 ~ -99,z: -35 ~ -5; 右枕中回,x: 4 ~ 34,y:-69 ~ -99,z: -35 ~ -5),对再认任务和搜索任务条件下激活差异显著(p<0.05)的脑区进行多重比较校正(Gratton et al., 2006),校正后的Z值见表1。
3 结果
3.1 行为结果
对行为实验中反应时小于150 ms的试次进行剔除(剔除试次数1.50%),同时剔除超出平均值2.5倍标准差的试次数据,总剔除试次数占比2.71%。对被试在再认任务和搜索任务下的正确率和反应时分别进行配对样本t检验,结果见图3,再认任务的正确率(97.85%±1.86%)高于搜索任务(91.54%±4.11%),t(15)=9.00,p<0.001,Cohen'sd=0.60;再认任务的反应时(574±117 ms)短于搜索任务(1205±137 ms),t(15)=15.33,p<0.001,Cohen'sd=3.20。
表1 两种任务条件下存在激活差异的脑区
图3 再认任务和搜索任务的正确率和反应时
3.2 EROS结果
对正确反应试次的光学数据进行分析,结果显示,在视觉工作记忆中记忆项出现后0~96 ms,搜索任务下前额叶的激活程度高于再认任务,见图4;当视觉工作记忆中记忆项消失后,在224~256 ms、288~320 ms、608~672 ms、768~800 ms,搜索任务条件下前额叶的激活程度高于再认任务;在288~320 ms、384~448 ms、832~864 ms,搜索任务下枕叶的激活程度高于再认任务,见图5。
图4 记忆项呈现时,搜索任务与再认任务脑区激活的差异图
图5 记忆项消失后,搜索任务与再认任务脑区激活的差异图
4 讨论
采用EROS技术,要求被试在记忆项目后,分别完成视觉再认和视觉搜索任务,探讨视觉工作记忆中注意模板的表征机制。行为结果发现,与视觉再认任务相比,被试完成视觉搜索任务的正确率更低、反应时更长。这一结果与Gunseli,Meeter等人(2014)研究结果一致,表明完成视觉搜索任务比完成视觉再认任务更难。EROS结果发现,与普通记忆项相比,表征注意模板时,前额叶和枕叶的激活程度更高;在脑区激活的时间进程上,前额叶的激活也早于枕叶。
4.1 工作记忆编码阶段注意模板和普通记忆项的表征差异
在工作记忆编码阶段,表征注意模板和普通记忆项在前额叶出现了激活差异,这与van Driel等人(2017)采用EEG技术研究的结果一致,即表征注意模板时前额-顶叶电极点α频段连通性强于普通记忆项。在视觉工作记忆表征过程中,前额叶主要用于编码包括任务要求在内的相关信息的表征,这些任务信息的表征用于指导视觉刺激表征的创建和保存(D'Esposito & Postle, 2015;Sreenivasan, Curtis, & D'Esposito, 2014)。在完成视觉搜索任务时,被试需要在众多干扰刺激中寻找目标项;而完成再认任务时,被试只需要将工作记忆表征项目与检测项目进行比较。因此,与再认任务相比,视觉搜索任务的难度更大。而对任务难度预期的变化,使得注意模板和普通记忆项的表征要求在工作记忆编码阶段有所不同(Gunseli,Olivers, & Meeter, 2014)。与普通记忆项相比,表征注意模板对注意控制和记忆加工的要求增加,导致负责这一功能的前额叶脑区激活增加,以投入更多的注意控制资源,从而促进对注意模板的加工。
4.2 工作记忆保持阶段注意模板和普通记忆项的表征差异
在工作记忆保持阶段,注意模板表征时的枕叶激活高于普通记忆项,这与van Driel等人(2017)采用EEG技术研究的结果一致,即表征注意模板时枕叶电极点α功率强于普通记忆项。枕叶主要与视觉信息的加工有关,视觉工作记忆表征过程往往伴随着枕叶视知觉皮层的激活(Ester, Serences,& Awh, 2009; Harrison & Tong, 2009),其反映了工作记忆过程中的知觉或注意需求(Mitchell& Cusack, 2008)。在视觉工作记忆保持过程中,对于较为复杂的视觉信息,需要对记忆项不断进行复述,防止产生遗忘,这一过程也会激活初级视觉皮层(Ester, Anderson, Serences, & Awh,2013)。与再认任务相比,被试完成搜索任务时需要从众多的干扰项中找到与注意模板匹配的目标。因此,注意模板表征需要更为精确,这增加了知觉加工需求,使枕叶的激活增加;同时,也需要对注意模板的表征进行更主动的复述,也使枕叶的激活增加。这一结果支持工作记忆的感觉占用假设(Pasternak & Greenlee, 2005),即视觉工作记忆中信息的存储占用感觉加工的通道。
研究结果还发现,与普通记忆项相比,工作记忆保持阶段注意模板的表征在前额叶出现更高程度的激活,且前额叶激活程度的增强早于枕叶。前额-顶叶网络被认为是具有最高整体连通性的脑区,会随着任务需求的变化改变与其他脑区的功能联系,使得认知任务能够顺利进行(Xu,2017)。而且前额叶神经元具有混合选择性,能对不同神经元表征的信息进行整合。与感觉皮层相比,前额叶的神经元具有更高的时间尺度,使得前额叶能够有效追踪感觉刺激的变化,提高信息表征的稳定性(Morcos & Harvey, 2016; Murray et al.,2014)。Feredoes,Heinen,Weiskopf,Ruff和Driver(2011)在视觉工作记忆保持阶段对前额叶施加经颅磁(transcranial magnetic stimulation,TMS)刺激,提高前额叶的激活,发现当存在干扰项时,负责加工任务相关信息的视觉皮层激活提高,说明前额叶自上而下地调节视觉皮层的活动。视觉信息在大脑中的表征是一个动态的过程(Stokes, 2015),在不同的时间点,信息的表征状态不同(Buonomano & Maass, 2009)。在本研究中,当要求被试完成视觉搜索任务时,需要注意模板对随后的视觉搜索任务产生引导,而在视觉记忆项消失后,注意模板仍需要维持较为激活的表征状态。因此,与普通记忆项相比,注意模板的表征可能需要前额叶不断追踪感觉刺激的变化,并依据这一变化向低级视皮层(枕叶)发送反馈信息,以调整枕叶对注意模板的复述,促进对注意模板的保持。
综上,在进行工作记忆编码时,与普通记忆项相比,对注意模板的表征主要表现为前额叶注意控制的增强,而在工作记忆保持阶段,对注意模板的表征表现为枕叶复述加工的增强,这一过程可能受到前额叶的认知调控。
5 结论
在完成视觉工作记忆表征后,再进行视觉搜索任务或者再认任务,与普通记忆项相比,注意模板表征的潜在机制可能是:先激活前额叶以增强注意控制,并对枕叶的活动加以调节,增强注意模板表征的复述。