客体信息在视觉工作记忆编码和维持阶段的不同注意选择模式*

庞 超 陈颜璋 王 莉 杨喜端 贺 雅 李芷莹 欧阳小钰 傅世敏 南威治

客体信息在视觉工作记忆编码和维持阶段的不同注意选择模式*

庞 超1陈颜璋2王 莉2杨喜端1贺 雅1李芷莹1欧阳小钰1傅世敏1南威治1

(1广州大学教育学院心理系/脑与认知科学中心, 广州 510006) (2华南师范大学心理学院, 广州 510665)

视觉工作记忆不同加工阶段(编码、维持)对多特征客体信息的注意选择模式是否相同目前仍存在争议。本研究采用变化觉察范式, 引入前注意线索和后注意线索, 分别探测在视觉工作记忆编码和维持两个阶段中的注意选择模式。3个实验结果显示, 在前注意线索试次中, 被试对任务相关特征变化的觉察显著受到任务无关特征变化的干扰, 表现为任务无关特征变化条件相比于不变条件的反应更慢, 报告标准更低; 且该干扰效应并不受记忆负荷的影响。而在后注意线索试次中, 仅在低记忆负荷条件下(实验1a/1b)存在干扰效应, 当记忆负荷增大后(实验2/3)干扰效应消失。结果表明, 在视觉工作记忆编码阶段, 客体中任务相关与无关特征均被编码进视觉工作记忆并相互竞争注意资源; 而在维持阶段, 任务无关特征仅在低记忆负荷条件下得到加工。结果揭示, 在编码阶段的注意选择模式是基于客体的; 而维持阶段的注意选择模式是基于特征的, 且受到记忆负荷的调控。

视觉工作记忆, 编码阶段, 维持阶段, 基于客体的注意, 基于特征的注意

1 引言

视觉工作记忆(visual working memory, VWM)是对视觉信息暂时存储和加工的场所(Baddeley, 2000; Baddeley & Hitch, 1974)。由于认知资源的限制, VWM无法同时加工外界环境输入大脑的所有信息(Cowan, 2017; Fukuda et al., 2010; Vogel et al., 2001)。此时大脑可根据任务需求, 通过注意选择当前任务最相关的信息进入VWM进行加工, 以缓解认知资源上的限制(Awh et al., 2006; Gazzaley & Nobre, 2012)。日常环境中的客体均由多种特征组成(如, 颜色、形状、纹理等), 根据注意选择的客体信息的不同, 注意可分为基于客体的注意以及基于特征的注意。基于客体的注意是指被试选择性注意客体中的一种特征时, 其他特征也会一同被选择且相互影响(Luck & Vogel, 1997)。基于特征的注意则指被试能够单独选择一种特征进行注意, 而不受其他特征的影响(Wheeler & Treisman, 2002)。但在VWM中对多特征客体的注意选择模式究竟是基于客体的还是基于特征的仍存在争议。

基于客体的注意理论认为, 当多特征客体中的一个特征被选中时, 同一客体上的其他特征会被自动激活(Ernst et al., 2013; O'Craven et al., 1999)。以往支持该理论的研究大多采用变化觉察范式, 该范式要求被试首先将记忆项目编码进入VWM并维持一段时间, 最后与探测项目进行比较, 从而可有效探究VWM中客体信息的加工机制(Lin & Luck, 2012)。Luck和Vogel (1997)最早为多特征客体在VWM中为基于客体的注意选择模式提供实证支持, 他们采用变化觉察范式发现, 被试在只记忆多特征客体中的单一特征与同时记忆多个特征之间的任务表现并没有差异。表明即使当前任务要求被试只需要选择一种特征进行记忆, 被试也无法按照自身意愿进行选择, 仍会将任务无关特征编码进入VWM。随后, Shen等人(2013)又进一步证明VWM中的基于客体的注意选择模式不仅存在, 而且十分稳健。研究中, 在变化觉察范式的记忆屏之前, 被试被告知只需要记忆颜色特征并报告其是否发生变化, 同时忽略任务无关的形状特征的变化。结果发现当任务无关的形状特征发生变化时被试的反应时间显著增加, 这表明任务无关的形状特征被一同编码进入了VWM。在随后的实验中, 通过增加记忆负荷、降低任务无关特征发生变化的概率以及增加被试工作记忆中注意资源的消耗等操作, 仍观察到相同结果, 表明这种基于客体的注意选择模式稳定存在于VWM的编码阶段。

虽然早期的研究可以作为VWM中基于客体的注意机制存在的证据, 然而, 这些研究大多关注发生在VWM的编码阶段的注意选择模式, 即在记忆屏之前告知特征与任务的相关性。已有的证据表明注意选择不仅可以发生在记忆的编码阶段, 同样可以持续的在内部表征的维持阶段发挥作用(Griffin & Nobre, 2003), 而有关维持阶段的注意选择模式的研究却有着不一样的发现(Niklaus et al., 2017; Park et al., 2017; Sasin & Fougnie, 2020; Ye et al., 2016)。Ye等人(2016)在一项记忆报告任务中, 为了探究在多特征客体内部表征的维持阶段能否将注意资源成功集中到任务相关的特征维度上, 采用后注意线索(回溯线索)在记忆屏之后告知被试特征的任务相关性。实验条件分为有效线索与中性线索, 在有效线索条件下, 线索提示特征即为记忆报告特征; 在中性线索条件下, 线索同时指向两种特征, 记忆报告则是随机的一种特征。结果发现相较于中性线索, 有效的后注意线索可以增加报告目标特征的可能性, 表明被试可以利用后注意线索灵活的将内部注意资源分配到内部记忆表征的特定维度上, 同时也说明客体特征的储存是相互独立的, 从而支持VWM中存在基于特征的注意假设。此外, Wang等人(2017)的研究发现, 在固定记忆客体数量的前提下, 改变一种维度特征值的数量并不会影响对另一种特征的记忆表现。他们认为VWM系统具有多个储存特征的子系统, 不同维度特征被分别储存在相互独立的子系统中, 进一步为VWM维持阶段基于特征的注意提供了证据支持。

综上, 已有的研究分别为VWM中存在基于客体的注意选择模式与基于特征的注意选择模式提供了相应的证据支持, 出现这种看似矛盾的结论可能是由于这些研究所探究的VWM加工阶段本身就不同。正如我们所知, VWM编码和维持阶段存在不同的加工机制(Woodman & Vogel, 2005), 因此两种注意选择模式可能分别存在于VWM的不同加工阶段。例如, Ye等人在得出VWM中存在基于特征的储存机制的结论后并没有直接反驳VWM中存在基于客体的注意的观点, 而是结合前人的研究进一步提出基于客体的注意和基于特征的注意共同存在于VWM中的假设, 他们认为一开始被试以一种非自愿的基于客体的方式编码记忆项目, 随后可以自愿的以基于特征的方式将它们储存在VWM中。然而, 以往的研究并没有发现支持这一假设的实证研究, 而且以往对该假设的推论也只是基于不同研究的结果, 这些研究无论是在实验范式、报告指标还是特征信息的选择上都存在差异。例如, 以往认为VWM编码阶段存在基于客体的注意的研究大多采用的是变化觉察范式, 而支持VWM维持阶段存在基于特征的注意的研究采用的是回忆报告范式。虽然在采用回忆报告范式的研究中发现被试对任务无关特征的报告处在随机水平, 但这可能并不意味着任务无关特征不存在于VWM。比如, 心理学中经典的舌尖现象(Brown & McNeill, 1966), 短暂的提取失败并不代表不存在相关记忆。相较于回忆报告范式, 变化觉察范式只需要被试进行再认, 这可能更适用于考察信息是否存在于VWM。因此, 有必要在同一种研究范式、报告指标以及特征组合的实验设计下同时观测VWM编码和维持阶段中的注意选择模式, 为该假设提供实证性支持。本研究在Shen等人研究中的变化觉察范式基础上, 引入前注意线索和后注意线索在VWM不同加工阶段操控特征的任务相关性, 观察任务无关特征变化对任务相关特征的干扰效应, 从而有效地帮助我们理解VWM对多特征客体信息的注意选择模式。

此外, Xu (2010)的研究发现, 客体中与任务无关的形状特征只在低记忆负荷条件下才能够被编码进入VWM, 而在高记忆负荷条件下这一过程则会削弱甚至被抑制。因此他们认为对客体任务无关信息的加工并不是必须的, 而是受到任务相关特征加工资源需求的影响。虽然后续的研究证明记忆负荷并不影响编码阶段中基于客体的注意选择模式(Shen et al., 2013; Yin et al., 2012), 但是维持阶段的注意选择模式是否会受到记忆负荷的影响仍不清楚。因此, 本研究进一步设计了低、中、高三种记忆负荷条件, 探索VWM中编码阶段和维持阶段的注意选择模式是否会受到记忆负荷的调控。基于以往的研究结果, 我们推断：1)在编码阶段, 更多的可能是基于客体的注意选择模式且不受记忆负荷调控, 即无论记忆负荷高低都可稳定的观察到任务无关特征的干扰效应。反之如果为基于特征的注意模式, 则不会观察到干扰效应。2)在维持阶段, 更多的可能是基于特征的注意选择模式, 即观察不到干扰效应。如果受记忆负荷调控, 在不同的记忆负荷条件下可能表现出不同的干扰效应。

2 实验1: 低记忆负荷条件下VWM编码和维持阶段的注意选择模式

本实验采用变化觉察范式(考察任务无关特征变化是否会影响对任务特征的变化觉察), 实验中包含两种试次类型, 分别是在记忆屏之前呈现线索的前注意线索试次, 和在记忆屏之后呈现线索的后注意线索试次, 前注意线索试次中线索词出现在记忆屏之前, 注意选择发生在编码阶段; 后注意线索试次中线索词出现在记忆屏之后, 注意选择发生在维持阶段。要求被试根据线索词对多特征客体的单一特征进行选择性的编码或维持。如果两个阶段中的注意模式同为基于客体的注意, 则两者的任务无关特征干扰效应应该同时存在。反之, 若为基于特征的注意选择模式, 则将观察不到干扰效应。

2.1 实验1a

2.1.1 被试

首先采用G*Power 3.1软件对所需被试样本量进行先验分析, 在中等水平效应量(= 0.25, Cohen, 2013), α水平为0.05, 统计检验力为0.8的前提下, 计算被试样本量为24人。为了确保足够的统计检验力, 实验1招募在校大学生30名(26名女性, 4名男性), 平均年龄19.40 ± 1.10岁。所有被试均为右利手, 视力或矫正视力正常, 无色盲或色弱情况, 无精神病史, 实验前所有被试都签署了被试知情同意书, 实验后给予一定报酬。

2.1.2 实验仪器与材料

所有被试都被安排在一个光线昏暗的独立小房间内完成实验, 距离屏幕60 cm。实验材料的选取与制作参考Shen等人的研究。实验中所有的刺激材料均采用液晶显示屏进行呈现, 屏幕分辨率为1024×768, 刷新率为100 Hz, 以黑色(CIE: 0.312/ 0.329, 1.0 cd/m2)作为背景色。刺激呈现与反应记录均由Eprime 2.0软件实现(Psychological Software Tools, Inc., Pittsburgh, PA)。刺激材料是由不同的颜色和形状组成的图形, 其中包括4种颜色：红色(CIE: 0.64/0.33, 20 cd/m2)、绿色(CIE: 0.6/0.3, 20 cd/m2)、蓝色(CIE: 0.172/0.141, 20 cd/m2)、粉色(CIE: 0.269/0.125, 20 cd/m2), 4种形状：圆形(大小: 1.88°×1.88°)、三角形(大小：1.88°×1.8°)、正方形(大小：1.67°×1.67°)和五角星(大小：2.17°×2.17°)。在记忆屏和探测屏中, 将一个半径为2.84°视角的假象圆, 以60°为间隔分别在屏幕的左下方、左侧、左上方、右上方、右侧、右下方划分出6个空间位置(如图1实验3显示)。从6个空间位置中随机抽选2个位置呈现图形。记忆屏之前或之后会呈现一个汉字线索词(“颜色”或“形状”), 字体为Arial, 字号为24。

2.1.3 实验设计

实验为2 (线索类型：前注意线索、后注意线索) × 2 (任务无关特征变化类型：不变、变化)被试内设计。任务无关特征变化类型由任务无关特征是否发生变化决定, 由于颜色和形状都有可能发生变化, 所以共有颜色变化形状变化、颜色变化形状不变、颜色不变形状变化、颜色不变形状不变4种情形。由于实验任务本身特性, 在每一个试次中根据线索词确定一种特征作为任务相关特征(比如颜色), 另一种则作为任务无关特征。以上4种情形可以归纳为任务无关特征不变(颜色变化形状不变、颜色不变形状不变)与任务无关特征变化(颜色不变形状变化、颜色变化形状变化)2种情形。后续的分析主要是通过比较这两种条件下的差异, 考察任务无关特征对任务相关特征变化觉察的干扰效应。

实验共480个试次, 每种条件下有120个试次, 实验分为8个部分进行, 每个部分结束后要求被试至少闭上眼睛休息1分钟, 实验总时长大约50分钟。在正式实验开始之前, 每个被试需要进行30次的练习试次, 且正确率大于90%才能进入正式实验。练习阶段在每个试次后都给予正确与否的反馈, 而正式实验阶段则是在完成每一部分实验后反馈当前部分的反应时和正确率。在实验过程中, 被试的反应时和正确率都被记录。此外本研究引入信号检测理论来评估正确率, 计算敏感性分数()和报告标准()两个指标。由于变化觉察范式本身的特性, 需要被试正确的辨别新旧刺激之间的差异, 传统的正确率指标仅仅能够描述被试正确判断的数量, 这两个指标不仅可以描述被试辨别新旧刺激的敏感程度, 还可以评估出被试在反应过程中的反应偏向。计算公式如下：=[击中率] −[虚报率];= −0.5 ([击中率] +[虚报率])。其中击中指的是当任务相关特征变化时, 被试成功觉察到变化, 而虚报指的是当任务相关特征不变时, 被试认为发生了变化。

2.1.4 实验程序

实验流程如图1所示, 每个试次开始之前都有一个任意按键屏, 被试按键之后呈现200 ms的注视点, 标志着试次的开始。试次分为前注意线索和后注意线索两种类型, 主要的区别在于线索词出现在记忆屏之前或之后。在前注意线索试次中, 线索词首先出现在屏幕中央, 呈现时间500 ms, 在一个500～1000 ms的随机刺激间隔之后, 记忆屏呈现500 ms, 屏幕上会随机呈现两个不同颜色和形状组成的图形, 此时被试只需要根据线索词的提示记忆任务相关的特征, 与任务无关的特征要求被忽视。在另一个500～1000 ms的延迟之后, 屏幕上会呈现一对探测刺激, 探测刺激相较于记忆刺激的空间位置没有发生变化, 只是改变其中一个图形的某一种特征或者同时改变两种特征(如：只改变颜色, 或者颜色和形状同时改变), 所有的变化只会发生在同一个图形上。在实验中任务相关特征与任务无关特征发生变化的概率均为50%, 探测项中出现的新的特征值为记忆屏中没有使用过的。探测刺激呈现直到被试反应为止, 允许的最长反应时长为2000 ms。后注意线索试次的不同之处在于, 当记忆屏出现时被试必须将两个图形的颜色和形状特征同时记忆, 随后再根据线索词选择某一种特征进行维持。在探测界面被试被要求判断任务相关特征是否发生变化, 同时忽略任务无关特征的变化。如果任务相关特征发生变化, 则用左手按下“F”键, 否则用右手按下“J”键, 按键在被试之间平衡。要求被试在保证正确率的前提下加快反应速度。

2.1.5 数据分析与结果

实验1中被试的平均正确率为95.30%, 在反应时结果分析之前, 剔除了错误试次(4.70%)和超出3个标准差之外的试次(1.84%), 在计算信号检测论指标之前剔除所有未反应的试次(0.44%)。对剔除后的数据进行了2 (线索类型：前注意线索、后注意线索) × 2 (任务无关特征变化类型：不变、变化) 的重复测量方差分析。结果如图2所示。

反应时结果显示, 线索类型主效应显著,(1, 29) = 34.48,< 0.001, η2p= 0.54, 前注意线索试次的反应时间(= 701 ms,= 20.38) 慢于后注意线索试次(= 668 ms,= 18.49); 任务无关特征变化类型主效应显著,(1, 29) = 30.63,< 0.001, η2p= 0.51, 表现为变化条件下的反应时间(= 695 ms,=20.01) 慢于不变条件(= 674 ms,= 18.66); 线索类型与任务无关特征变化类型交互作用显著,(1, 29) = 5.94,= 0.021, η2p= 0.17。进一步的简单效应分析发现, 在前注意线索试次中, 任务无关特征变化条件下的反应时间更慢(716 vs. 687 ms),(29) = −6.566,< 0.001, Cohen’s= −0.86, 95% CI = [−1.13, −0.59]; 在后注意线索试次中, 任务无关特征变化条件下的反应时间同样更慢(675 ms vs. 661 ms),(29) = −2.66,= 0.013, Cohen’s= −0.43, 95% CI = [−0.75, −0.10], 表明在反应时结果中, 两种线索试次中的任务无关特征干扰效应都显著存在, 但前注意线索试次的干扰程度更大。

注：图中上部分为前注意线索试次流程, 下部分为后注意线索试次流程。右侧为不同实验间记忆项目数量。

图2 实验1a结果图

注: 报告标准数值越小表明被试越倾向于报告任务相关特征发生变化。柱状图误差线代表了该条件下均值的标准误。

***< 0.001; **< 0.01; *< 0.05; n.s.> 0.05。下同。

信号检测论指标结果显示, 在敏感性分数结果中, 线索类型主效应显著,(1, 29) = 12.79,= 0.001, η2p= 0.31, 表现为前注意线索试次的分数(= 3.83,= 0.09)大于后注意线索试次(= 3.54,= 0.10); 任务无关特征变化类型主效应不显著,(1, 29) = 0.01,= 0.922; 交互作用不显著,(1, 29) = 2.91,= 0.099。在报告标准值的结果中, 线索类型主效应不显著,(1, 29) = 1.86,= 0.184; 任务无关特征变化类型主效应显著,(1, 29) = 47.93,< 0.001, η2p= 0.62, 任务无关特征变化条件下的值(= −0.15,=0.04) 小于不变条件(= 0.15,= 0.03); 线索类型与任务无关特征变化类型交互作用显著,(1, 29) = 19.98,< 0.001, η2p= 0.41。简单效应分析结果显示, 在前注意线索试次中, 任务无关特征变化条件下的C值更小(−0.19 vs. 0.25),(29) = 9.62,< 0.001, Cohen’s= 1.42, 95% CI = [1.12, 1.72]; 在后注意线索试次中, 任务无关特征变化条件下的值同样更小(−0.11 vs. 0.05),(29) = 2.55,= 0.016, Cohen’s= 0.50, 95% CI = [0.10, 0.89], 这与反应时结果一致, 两种线索试次中的任务无关特征干扰效应都显著存在, 但前注意线索试次的干扰程度更大。

2.1.6 讨论

实验1a在低记忆负荷条件下, 采用前注意线索和后注意线索分别在VWM的编码和维持阶段, 考察任务无关特征的变化对多特征客体的单一维度特征注意选择的影响。结果发现, 无论是在反应时指标还是报告标准值上, 任务无关特征的变化类型主效应显著存在, 表明任务无关特征的变化确实能够影响到被试对任务相关特征的变化觉察。此外, 线索类型与任务无关特征变化类型交互作用在两种指标上也是显著的, 表现在两种注意线索试次下的干扰效应都显著存在, 且前注意线索试次下的干扰更大。这些结果支持在VWM的编码和维持阶段同时存在基于客体的注意。

然而, 实验1a存在一个干扰因素, 前注意线索试次和后注意线索试次采用的是随机呈现的方式, 目的是为了平衡两种试次之间的差异, 而实验结果显示, 线索类型主效应在反应时和分数的指标上都显著存在, 表现为前注意线索试次下的反应更快以及对新旧刺激的敏感性更高。结果并未达到最初平衡试次差异的目的, 反而这种反应快慢和敏感性高低的反复交替可能会对实验结果产生影响。比如实验结果中, 两种注意线索试次下既然同为基于客体的注意选择模式, 为什么会存在干扰程度上的差异？因此, 在实验1b中前注意线索试次和后注意线索试次将采用组块设计, 目的是保证试次内部的纯净, 减少试次类型差异对实验结果的影响, 同时再次验证实验1a结果的可靠性。

2.2 实验1b

实验1b的目的是为了排除实验1a中前注意线索和后注意线索随机呈现对实验结果的干扰, 在实验1b中两种线索试次将分组块进行, 进一步验证实验1a的结果。

2.2.1 研究方法

实验1b招募在校大学生28名(22名女性, 6名男性), 平均年龄19.04 ± 2.76岁。实验1b设计在实验1a的基础上做了如下改变：1) 为了减少不同线索类型之间相互干扰, 对前注意线索试次与后注意线索试次采用组块设计, 组块顺序被试间平衡; 2) 为了匹配后续记忆负载实验, 刺激材料除了实验1a中的4种颜色和形状外, 另加入了4种颜色和形状分别为：青色(CIE: 0.382/0.276, 20 cd/m2)、粉色(CIE: 0.502/0.288, 20 cd/m2)、棕色(CIE: 0.526/0.388, 20 cd/m2)、橄榄色(CIE: 0.402/0.451, 20 cd/m2)、旗帜(大小：1.88°×1.88°)、箭头(大小：1.8°×1.88°)、月牙(大小：1.8°×1.8°)和十字(大小：1.67°×1.67°); 3) 实验1b每种条件下64个试次, 总共256个试次, 实验总时长大约40分钟; 4) 实验1b中的500～1000 ms随机间隔统一固定为1000 ms。其他部分与实验1a保持一致。

2.2.2 数据分析与结果

实验1b中被试的平均正确率为95.31%, 在反应时结果分析之前, 剔除了错误试次(4.69%)和超出3个标准差之外的试次(1.48%), 在计算信号检测论指标之前剔除所有未反应的试次(0.52 %)。对剔除后的数据进行了2 (线索类型：前注意线索、后注意线索) × 2 (任务无关特征变化类型：不变、变化) 的重复测量方差分析(见图3中A和B)。

反应时结果显示, 线索类型主效应不显著,(1, 27) = 3.39,= 0.077; 任务无关特征变化类型主效应显著,(1, 27) = 10.14,= 0.004, η2p= 0.27, 表现为无关特征变化条件下的反应时间(= 739 ms,=26.55)慢于不变条件(= 722 ms,= 25.74); 交互作用不显著,(1, 27) = 2.55,= 0.122, 这与实验1a的结果不同, 虽然两种线索试次的任务无关特征干扰效应都存在, 但是两者之间差异不显著。

信号检测论指标结果显示, 在敏感性指标分数结果中, 主效应和交互作用均不显著,s < 1.62,s < 0.214。在报告标准值的结果中, 线索类型主效应显著,(1, 27) = 8.76,= 0.006, η2p= 0.25, 前注意线索试次的报告标准值(= 0.04,= 0.03)大于后注意线索试次(= −0.08,= 0.03); 任务无关特征变化类型主效应显著,(1, 27) = 27.87,< 0.001, η2p= 0.51, 任务无关特征变化条件下的值(= −0.12,=0.03) 小于不变条件(= 0.07,= 0.03); 交互作用不显著,(1, 27) = 2.28,= 0.143, 与反应时结果一致, 两种线索试次的任务无关特征干扰效应都存在, 但是两者之间差异不显著。

2.2.3 讨论

实验1b将前注意线索试次和后注意线索试次分组块进行, 结果发现无关特征变化类型的主效应显著存在, 虽然编码阶段的干扰量仍然具有大于维持阶段的趋势, 但是线索类型和任务无关特征变化类型交互作用并不显著。这与实验1a的结果一致, 无论是编码阶段还是维持阶段均为基于客体的注意选择模式。然而本研究的目的是为了验证VWM中编码阶段存在基于客体的注意选择模式, 维持阶段存在基于特征的注意选择模式, 实验1的结果并不符合我们预期的假设。对此我们提出了两种可能的解释：第一, 维持阶段确实是基于客体的注意选择模式, 被试仅能对整合的客体进行选择而无法对客体内部的特征进选择; 第二, 维持阶段是基于特征的注意选择模式, 但是颜色和形状特征存储在同一个VWM子系统中, 相互之间存在资源的竞争。虽然后注意线索能够将资源进行再分配(Rerko & Oberauer, 2013; Souza et al., 2014), 但是由于当前任务记忆负荷水平较低(2项), 此时维持任务相关特征可能并不足以占用全部的注意资源, 因此任务无关特征获取了剩余的资源。这一猜想也与Lavie (2005)的负荷理论相似, 即在高负载条件下, 由于任务相关特征需要的资源增加, 从而导致任务无关特征由于资源不足无法得到加工。此外, 以往的研究已经发现, 记忆负荷并不会影响基于客体的注意选择模式(Shen et al., 2013; Yin et al., 2012), 因此, 本研究在进一步的实验中将记忆负荷水平提升, 探索维持阶段下注意选择模式的变化。我们假设, 如果维持阶段是基于客体的注意, 那么负荷水平的提升不会消除干扰效应, 相反, 如果是基于特征的注意, 那么干扰效应应该会被削弱直至消失。

图3 实验结果图

注：图A、B为实验1b结果; 图C、D为实验2结果图; 图E、F为实验3结果图。

3 实验2: 中记忆负荷条件下VWM编码和维持阶段的注意选择模式

3.1 研究方法

实验2招募在校大学生28名(21名女性, 7名男性), 平均年龄21.11 ± 2.08岁。实验2将记忆屏和探测屏中的项目数增加到4个, 从6个位置中随机抽选4个呈现颜色和形状各不相同的图形。被试的任务仍然是根据线索词判断任务相关特征是否发生变化, 同时忽略任务无关特征。实验2材料和流程与实验1b保持一致, 在正式实验之前被试完成了30次练习试次以熟悉实验流程。

3.2 数据分析与结果

3.2.1数据分析

实验2中被试的平均正确率为75.59%, 显著的小于实验1 (95.31%),(84) = −24.57,< 0.001, Cohen’s= −5.65, 95% CI = [−6.11, −5.20], 不难理解随着记忆负荷的增大任务变难, 被试表现下降, 同时也表明实验中记忆负荷操控的有效性。在反应时结果分析之前, 剔除了错误试次(24.41%)和超出3个标准差之外的试次(0.64%), 在计算信号检测论指标之前剔除所有未反应的试次(1.17%)。对剔除后的数据进行了2 (线索类型：前注意线索、后注意线索) × 2 (任务无关特征变化类型：不变、变化) 的重复测量方差分析(见图3中C和D)。此外, 为了验证记忆负荷在其中起到的调控作用, 我们还进行了跨实验间的混合方差分析(见图4)。

图4 不同记忆负荷下后注意线索试次报告标准C值结果图

3.2.2 反应时结果

反应时结果显示, 线索类型主效应显著,(1, 27) = 33.40,< 0.001, η2p= 0.55, 表现为前注意线索试次的反应时间(= 887 ms,= 28.50) 快于后注意线索试次(= 991 ms,= 29.76); 任务无关特征变化类型主效应显著,(1, 27) = 18.18,< 0.001, η2p= 0.40, 无关特征变化条件下的反应时间(= 956 ms,=28.19) 慢于不变条件(= 921 ms,= 27.88); 交互作用显著,(1, 27) = 8.29,= 0.008, η2p= 0.24。简单效应分析结果显示, 在前注意线索试次中, 任务无关特征变化条件下的反应时间更慢(915 vs. 860 ms),(27) = −6.07,< 0.001, Cohen’s= −0.61, 95% CI = [−0.82, −0.40]; 而在后注意线索试次中, 任务无关特征变化与不变条件之间差异不显著(998 vs. 983 ms),(27) = −1.24,= 0.227, Cohen’s= −0.17, 95% CI = [−0.45, 0.11], 表明当记忆负荷增大时, 后注意线索试次中的任务无关特征干扰效应消失了。

由于在实验1b和实验2中, 前注意线索试次的任务无关特征干扰效应稳健存在, 实验中主要的差异出现在后注意线索试次中。为了检验记忆负荷对后注意线索试次的影响, 我们将实验1b与实验2的后注意线索试次合并, 进行了2 (记忆负荷：低、中) × 2 (任务无关特征变化类型：不变、变化) 的混合方差分析, 其中记忆负荷为组间变量, 任务无关特征变化类型为组内变量。结果显示, 记忆负荷主效应显著,(1, 54) = 36.42,< 0.001, η2p= 0.40, 低记忆负荷条件下的反应时(= 747 ms,= 28.53 ms)要显著快于中记忆负荷条件(= 991 ms,= 28.53 ms); 任务无关特征变化类型主效应不显著,(1, 54) = 2.94,= 0.092; 交互作用不显著,(1, 54) = 0.17,= 0.682。

3.2.3 信号检测论结果

信号检测论指标结果显示, 在敏感性指标分数结果中, 线索类型主效应显著,(1, 27) = 47.27,< 0.001, η2p= 0.64, 前注意线索试次的分数(= 1.92,= 0.09)大于后注意线索试次(= 1.30,= 0.05); 任务无关特征变化类型主效应不显著,(1, 27) = 0.60,= 0.446; 交互作用不显著,(1, 27) = 2.38,= 0.135。在报告标准值的结果中, 线索类型主效应不显著,(1, 27) = 1.69,= 0.204; 任务无关特征变化类型主效应显著,(1, 27) = 16.23,< 0.001, η2p= 0.38, 任务无关特征变化条件下的值(= 0.19,=0.06)小于不变条件(= 0.33,= 0.05); 线索类型与任务无关特征变化类型交互作用显著,(1, 27) = 14.10,< 0.001, η2p= 0.34。进一步的简单效应分析显示, 前注意线索试次中任务无关特征变化条件下的C值更小(0.16 vs. 0.42),(27) = 5.23,< 0.001, Cohen’s= 0.95, 95% CI = [0.58, 1.32]; 然而, 后注意线索试次中无关特征变化与不变条件之间差异不显著(0.23 vs. 0.24),(27) = 0.24,= 0.816, Cohen’s= 0.04, 95% CI = [−0.30, 0.37], 与反应时结果一致, 后注意线索试次的任务无关特征干扰效应消失了。

同样, 我们将实验1b与实验2的后注意线索试次报告标准值合并, 进行2 (记忆负荷：低、中) × 2 (任务无关特征变化类型：不变、变化) 的混合方差分析。结果显示, 记忆负荷主效应显著,(1, 54) = 20.66,< 0.001, η2p= 0.28, 低记忆负荷条件下的值(= −0.08,= 0.05)要显著小于中记忆负荷条件(= 0.23,= 0.05); 任务无关特征变化类型主效应显著,(1, 54) = 5.94,= 0.018, η2p= 0.10, 任务无关特征变化条件下的值(= 0.04,=0.04)小于不变条件(= 0.11,= 0.04); 交互作用显著,(1, 54) = 4.43,= 0.040, η2p= 0.08。简单效应分析结果显示, 低记忆负荷条件下, 任务无关特征变化条件与不变条件差异显著(−0.16 vs. −0.01),(54) = 3.21,= 0.002, Cohen’s= 0.61, 95% CI = [−0.23, 0.99], 中记忆负荷条件下, 任务无关特征变化条件与不变条件差异不显著(0.23 vs. 0.24),(54) = 0.24,= 0.815, Cohen’s= 0.05, 95% CI = [−0.34, 0.43]。这表明记忆负荷的操控能够影响后注意线索试次中的任务无关特征干扰效应。

3.3 讨论

与实验1结果不同, 实验2将记忆项目增加到4个时, 无论是在反应时还是报告标准值上的结果显示, 前注意线索试次下的任务无关特征干扰效应显著存在, 而后注意线索试次的干扰效应消失。同时, 后注意线索试次跨实验间的交互作用在报告标准值上也是显著的, 这些结果表明在VWM中确实存在着不同的注意选择模式。此外后注意线索试次中干扰效应的消失, 证明在低记忆负荷条件下(实验1a/1b)）维持阶段的注意选择模式并非是基于客体的而是基于特征的。低记忆负荷条件下存在干扰效应的原因是由于在注意资源分配的过程中任务相关特征加工所需的注意资源较少导致任务无关特征获取了部分注意资源, 而一旦任务相关特征需要占用更多的注意资源时(实验2), 任务无关特征便无法得到加工。然而前注意线索试次的干扰效应仍然存在, 可能是由于实验2的记忆项目数量为4项, 刚好处于工作记忆3～4个容量范围之内(Vogel et al., 2001), 被试仍然能够同时加工任务无关特征。在实验3中进一步将记忆项目增加到6项, 考察前注意线索试次中的干扰效应是否会消失, 以及验证实验2中后注意线索试次干扰效应消失的可靠性。

4 实验3: 高记忆负荷条件下VWM编码和维持阶段的注意选择模式

4.1 研究方法

实验3招募在校大学生28名(16名女性, 12名男性), 平均年龄20.57 ± 1.78岁。实验3将记忆屏中记忆项目数增加到6个, 实验材料和流程与实验1b和实验2保持一致, 每种条件下72个试次, 共288个试次。

4.2 数据分析与结果

4.2.1 数据分析

实验3中被试的平均正确率为65.54%, 显著的小于实验2 (75.59%),(54) = −8.07,< 0.001, Cohen’s= −2.16, 95% CI = [−2.69, −1.62], 表明记忆负荷操控的有效性。在反应时结果分析之前, 剔除了错误试次(34.46%)和超出3个标准差之外的试次(0.6%), 在计算信号检测论指标之前剔除所有未反应的试次(1.2%)。对剔除后的数据进行了2 (线索类型：前注意线索、后注意线索) × 2 (任务无关特征变化类型：不变、变化) 的重复测量方差分析(见图3中E和F)。我们进一步将实验1b、实验2和实验3的后注意线索试次的反应时和报告标准值合并, 进行了3 (记忆负荷：低、中、高) × 2 (任务无关特征变化类型：不变、变化) 的混合方差分析, 其中记忆负荷为组间变量, 任务无关特征变化类型为组内变量(见图4)。

4.2.2 反应时结果

反应时结果显示, 线索类型主效应显著,(1, 27) = 17.13,< 0.001, η2p= 0.39, 表现为前注意线索试次的反应时间(= 962 ms,= 29.85) 快于后注意线索试次(= 1091 ms,= 23.72); 任务无关特征变化类型主效应显著,(1, 27) = 11.17,= 0.002, η2p= 0.29, 表现为无关特征变化条件下的反应时间(= 1044 ms,=20.89) 慢于不变条件(= 1009 ms,= 24.28); 交互作用不显著,(1, 27) = 1.54,= 0.225, 表明在反应时结果中, 两种线索试次之间的任务无关特征干扰效应不存在差异。

跨实验分析结果显示, 记忆负荷主效应显著,(2, 81) = 42.73,< 0.001,η2p= 0.51, 随着记忆负荷为的增加反应时在逐渐增大(747 vs. 991 vs. 1091 ms);任务无关特征变化类型主效应显著,(1, 81) = 2.94,= 0.021, η2p= 0.06, 无关特征变化条件下的反应时间(= 951 ms,=15.82) 慢于不变条件(= 935 ms,= 16.12); 交互作用不显著,(2, 81) = 0.40,= 0.669。

4.2.3 信号检测论结果

信号检测论指标结果显示, 在敏感性指标分数结果中, 线索类型主效应显著,(1, 27) = 80.48,< 0.001, η2p= 0.75, 前注意线索试次的分数(= 1.30,= 0.06)大于后注意线索试次(= 0.68,= 0.06); 任务无关特征变化类型主效应不显著,(1, 27) = 1.27,= 0.269; 交互作用不显著,(1, 27) < 0.01,= 0.999。在报告标准值的结果中, 线索类型主效应显著,(1, 27) = 12.04,= 0.002, η2p= 0.31, 前注意线索试次的值(= 0.44,= 0.06)大于后注意线索试次(= 0.24,= 0.06); 任务无关特征变化类型主效应显著,(1, 27) = 20.05,< 0.001, η2p= 0.43, 任务无关特征变化条件下的值(= 0.27,=0.05) 小于不变条件(= 0.41,= 0.05); 交互作用显著,(1, 27) = 16.90,< 0.001, η2p= 0.39; 简单效应分析结果显示, 前注意线索试次中任务无关特征变化条件下的值更小(0.31 vs. 0.56),(27) = 5.71,< 0.001, Cohen’s= 0.83, 95% CI = [0.53, 1.12]; 然而, 后注意线索试次中无关特征变化与不变条件之间差异不显著(0.23 vs. 0.25),(27) = 0.38,= 0.705, Cohen’s= 0.05, 95% CI = [−0.21, 0.31], 这表明有且仅有前注意线索试次下存在任务无关特征干扰效应。

在跨实验分析中, 报告标准值结果显示, 记忆负荷主效应显著,(2, 81) = 13.16,< 0.001, η2p= 0.25, 低记忆负荷条件下的值(= −0.08,= 0.05)要显著小于中记忆负荷(= 0.23,=0.05)和高记忆负荷(= 0.24,=0.05); 任务无关特征变化类型主效应显著,(1, 81) = 5.17,= 0.026, η2p= 0.06, 任务无关特征变化条件下的值(= 0.10,= 0.03)小于不变条件(= 0.16,= 0.03); 交互作用边缘性显著,(2, 81) = 3.10,= 0.051, η2p= 0.07。简单效应分析结果显示, 低记忆负荷条件下, 任务无关特征变化条件与不变条件差异显著(−0.16 vs. −0.01),(81) = 3.34,= 0.001, Cohen’s= 0.64, 95% CI = [0.26, 1.02]; 中记忆负荷条件下, 任务无关特征变化条件与不变条件差异不显著(0.023 vs. 0.24),(81) = 0.25,= 0.807, Cohen’s= 0.05, 95% CI = [−0.33, 0.43] ; 高记忆负荷条件下, 任务无关特征变化条件与不变条件差异不显著(0.23 vs. 0.25),(81) = 0.35,= 0.728, Cohen’s= 0.07, 95% CI = [−0.31, 0.45]。

4.2.4 补充分析

尽管本研究通过跨实验间的分析得到一些结论, 但是记忆负荷在报告标准值上的交互作用只达到了边缘性显著水平, 表明记忆负荷在实验间的作用似乎并不强烈。因此我们引入了VWM容量指标值, 该指标被用来评估VWM存储表征的数量(Pashler, 1988; Rouder et al., 2011; Zhang et al., 2013)。具体计算公式为：=× (−) / (1 −), 其中表示记忆项目数量,表示击中率,表示虚报率。如果本实验结果可靠, 那么我们预期在低记忆负荷条件下, 由于任务相关和无关特征都得到了加工, 前、后注意线索试次之间的VWM容量应该没有差别, 而在较高的记忆负荷条件下, 由于后注意线索试次中的任务无关特征无法得到加工, 则前注意线索试次下的工作记忆容量要大于后注意线索试次。

我们对实验1b、实验2和实验3三个实验的结果进行3 (记忆负荷：低、中、高) × 2 (线索类型：前注意线索、后注意线索) 的混合方差分析(见图5)。结果显示, 记忆负荷主效应显著,(2, 81) = 17.28,< 0.001, η2p= 0.30, 低记忆负荷条件下的值(= 1.91,= 0.08)要显著小于中记忆负荷(= 2.53,= 0.08)和高记忆负荷(= 2.51,= 0.08), 而中负荷和高负荷之间差异不显著; 线索类型主效应显著,(1, 81) = 65.94,< 0.001, η2p= 0.45, 前注意线索试次下的值(= 2.56,= 0.05)要显著大于中后注意线索试次(= 2.07,= 0.06); 交互作用显著,(2, 81) = 23.34,< 0.001, η2p= 0.37。简单效应分析结果显示, 低记忆负荷条件下, 前注意线索试次和后注意线索试次之间差异不显著(1.91 vs. 1.92),(81) = 0.17,= 0.869; 中记忆负荷条件下, 前注意线索试次下的值要显著大于后注意线索试次(2.77 vs. 2.28),(81) = 4.73,< 0.001, Cohen’s= 0.91, 95% CI = [0.53, 1.29]; 高记忆负荷条件下, 前注意线索试次下的值同样要显著大于后注意线索试次(3.00 vs. 2.02),(81) = 9.50,< 0.001, Cohen’s= 1.82, 95% CI = [1.44, 2.20]。

图5 不同记忆负荷下前后注意线索试次K值结果图

4.3 讨论

实验3的结果与实验2相似, 相较于反应时结果, 报告标准值的结果更加稳定, 无论是实验内还是跨实验间的分析都显示, 当记忆负荷增大之后后注意线索试次的任务无关特征干扰效应消失了。这与最初的假设一致, 当任务相关特征所需的注意资源增加后, 任务无关特征由于加工资源不足导致无法继续维持在VWM中。而且, VWM容量指标的分析结果也再次验证了之前的结果, 当记忆项目数量被增大到4项之后, 两种线索试次在VWM存储量的差异也开始出现, 后注意线索试次中由于任务无关特征的加工缺失, 导致整体的存储量要更低。同时实验间的交互作用也能够说明记忆负荷在VWM维持阶段中起到的调节作用。

5 总讨论

本研究的目的是通过实验检验在VWM的不同加工阶段(编码、维持)中是否分别存在基于客体的和基于特征的注意选择模式。在变化觉察范式的基础上, 引入前注意线索和后注意线索, 分阶段地考察VWM中的注意选择模式。与前人发现一致, 我们发现VWM的编码阶段存在基于客体的注意选择模式, 且足够稳健而不会受到记忆负荷水平的影响。同时在VWM的维持阶段观察到了基于特征的注意选择模式, 但是仅限于较高记忆负荷条件下。总之, 本研究在统一研究范式、报告指标以及特征组合后, 进一步为VWM编码阶段存在基于客体的注意选择模式和维持阶段存在基于特征的注意选择模式提供了直接性的证据。

5.1 视觉工作记忆的编码阶段是基于客体的注意选择模式

在VWM编码阶段中稳健的任务无关特征干扰效应表明, 无论记忆负荷高低, 客体中的所有特征都将被编码进入VWM中, 该结果支持基于客体的注意理论的观点。大量采用任务无关特征变化的变化觉察范式的研究都得到与本研究一致的结果(Gao et al., 2011; Jiang et al., 2000; Shen et al., 2013; Yin et al., 2012)。此外, 本研究采用的是变化觉察范式的整体报告法, 这就有可能导致被试采取的是将特征信息与空间位置信息进行关联的记忆策略, 而一旦该空间位置信息被激活则会自动激活曾经在该位置出现过的其他信息。但是Yin等人在同样的范式下采用部分报告法, 并设置将单个探测刺激呈现在屏幕中央和最初位置两种呈现方式, 结果发现无论哪种呈现方式都显著存在任务无关特征的干扰效应。另外, 为了排除以上结果是由于实验范式本身的特异性致使被试进行的策略性加工所导致的, 研究者们又进一步在视觉搜索范式中验证了这种基于客体的编码效应(Foerster & Schneider, 2018; Gao et al., 2016)。然而仍有少部分使用事件相关电位(event related potentials, ERP)和功能性磁共振(functional magnetic resonance imaging, fMRI) 技术的研究没有发现任何任务无关特征被激活的证据, 他们认为任务无关特征并没有被选择进入VWM (Serences et al., 2009; Woodman & Vogel, 2008)。对此可能的解释是, 在任务相关特征被激活时, 任务无关特征被同时激活, 但由于其与当前认知加工任务无关, 并且在整个实验中任务无关特征在记忆屏和探测屏之间一直保持不变, 进而转变为一种阈下神经激活的“沉默状态(silent state)” (Bocincova & Johnson, 2019; Mongillo et al., 2008; Stokes, 2015; Stokes et al., 2013)。然而大量行为研究却一致地发现了任务无关特征的干扰效应, 表明这些神经性指标可能并不适用于考察任务无关特征。总之, 本研究重复了前人研究结果, 再次证明在VWM编码阶段存在基于客体的注意选择模式。

5.2 视觉工作记忆维持阶段基于特征的注意选择模式受记忆负荷的调控

在后注意线索试次中, 我们在较高的记忆负荷条件下(实验2/3)发现, 被试可以根据任务要求, 成功的选择多特征客体中的单个特征进行维持, 这与以往的研究结果一致。后注意线索可以将更多的注意资源重新分配到任务相关特征上从而实现基于特征的注意, 同时也证明客体特征在VWM中维持阶段分离储存的假设(Heathcote et al., 1994; Isenberg et al., 1990; Stefurak & Boynton, 1986; Wheeler & Treisman, 2002; Wolfe et al., 1994)。然而, 令人意外的结果是维持阶段基于特征的注意会受到记忆负荷的调控, 在低记忆负荷条件下, 任务无关特征的干扰效应仍然显著存在(实验1a/1b)。对此有两种可能的解释。第一, 跨实验间的实验结果发现记忆负荷对任务无关特征干扰效应存在调控作用, 当记忆项目只有2个时干扰效应显著存在, 而当记忆项目增加到4项和6项后干扰效应就消失了。而且, 记忆容量的分析结果也表明, 当记忆负荷水平提高后, 两种线索试次下的记忆容量出现了差异。这些结果似乎表明记忆负荷越大被试越能够成功选择任务相关特征(Gilchrist et al., 2016; Kuo et al., 2012; Nobre et al., 2008; Souza et al., 2014; van Moorselaar et al., 2015)。以往研究普遍使用的记忆项目数量为3～4个, 刚好是VWM容量的边界(Vogel et al., 2001), 可能此时的任务无关特征已经由于资源不足而无法得到加工。第二, 在支持VWM中存在基于特征的注意的研究中, 客体信息大多是颜色和朝向特征的组合, 有研究证明这两种特征之间的注意资源是相互独立的(Markov et al., 2019; Wang et al., 2017), 其中朝向特征更多的被认为是一种空间信息, 而空间信息和客体信息储存在不同的VWM子系统中(沈模卫等, 2007; Ungerleider & Haxby, 1994; Ventre-Dominey et al., 2005; Vicari et al., 2006)。所以, 即使发现两者分离储存的结果似乎也并不奇怪。然而本研究中的客体信息是由颜色和形状两种基本特征组成, 由于两者储存在同一个VWM子系统, 因此会相互竞争同种注意资源, 即使后注意线索可以减少任务无关特征的资源竞争, 但是仅仅维持2项任务相关特征并不足以占用全部的注意资源, 从而导致任务无关特征获取剩余的注意资源。然而一旦维持任务相关特征所需要的资源增加后, 任务无关特征就会由于资源不足而被排除在VWM之外, 这就可以解释为什么在本研究的实验2和实验3中, 当记忆负荷增大之后无关特征的干扰效应消失。

5.3 客体特征信息在视觉工作记忆中的存储机制

在以往的研究中, 研究者们在VWM编码阶段发现基于客体的注意选择模式时, 则认为客体特征信息是以整合客体的形式进行存储的(Ernst et al., 2013; Luck & Vogel, 1997; Luria & Vogel, 2011; O’Craven et al., 1999; Vogel et al., 2001), 称之为基于客体的存储假说; 相反, 在VWM维持阶段发现基于特征的注意选择模式时, 则认为客体特征信息是以相互独立的特征形式进行存储的(Markov et al., 2019; Niklaus et al., 2017; Sasin & Fougnie, 2020; Wang et al., 2017; Ye et al., 2016), 称之为基于特征的存储假说。这就导致了这两种观点在解释客体特征信息在VWM中的存储机制时出现了矛盾。然而, 本研究的结果对解决这一矛盾有一定的启示作用。

首先, 本研究在平衡了前人研究之间的差异后, 为VWM编码阶段存在基于客体的注意选择模式, 维持阶段存在基于特征的注意选择模式的假设提供了实证支持。既然维持阶段可以实现基于特征的选择, 那么我们应该排除基于客体的存储假说。因为, 基于客体的注意理论认为, 选择一个特征会自动激活客体中的另一特征(Ernst et al., 2013; O'Craven et al., 1999), 而本研究发现在较高记忆负荷水平下任务无关特征无法得到加工; 其次, 如果是基于特征的存储假说, 那么客体中的所有信息应该被分别储存在不同的VWM子系统中, 相互独立且互不干扰。然而, 本研究发现在低记忆负荷条件下任务无关特征变化干扰效应仍然存在, 只有在较高的记忆负荷水平下干扰才会消失。这就表明客体特征信息的存储并非完全独立的, 而是相互之间存在注意资源的竞争。以往发现特征分离存储的研究, 大多使用的是颜色和朝向特征组合的客体, 正如上文所述, 这两种特征可能本身就存储在不同的VWM子系统中, 享有相互独立的注意资源(Markov et al., 2019; Wang et al., 2017)。然而, 对于颜色和形状这类基本特征而言, 更有可能是存储在同一个VWM子系统中, 共同竞争同一种注意资源。此外VWM的内部注意资源本身就十分有限, 如果对客体中的每种特征都设置一个记忆系统显然是不经济的。最后, 本研究结果支持基于特征的存储假说, 但需要强调的是一些简单的基本特征信息会被存储在同一VWM子系统中, 且相互之间竞争资源。

5.4 不足与展望

本研究在实验设计中仍存在一些不足之处。首先, 实验中将记忆负荷作为被试间变量的操作, 可能会导致不同实验间数据的变异程度存在差异, 而且不同记忆负荷水平下的任务难度也不同, 进一步增大了数据之间的变异程度, 从而降低了跨实验间分析结果的可靠性。未来的研究需要解决这一问题, 进一步考察记忆负荷对维持阶段的注意选择模式的影响。其次, 本研究为了平衡特征选择阶段到反应决策阶段的时间, 匹配了前注意线索中的记忆屏到探测屏的时间和后注意线索试次中线索屏到探测屏的时间, 但是这种设置必然会导致在两种线索试次中记忆屏到探测屏之间的时长不同, 虽然有研究发现在平衡特征选择阶段到反应决策阶段的时长后两种线索试次之间具有相同的选择性注意机制(Sahan et al., 2016), 但是这些结果仅限于对空间信息的选择, 在非空间信息的选择上是否继续适用还需要进一步的实验验证。最后, 虽然本研究通过引入信号检测论在被试的报告标准指标上发现了差异, 但该指标是由特定的公式推导而出, 相较于一些生理指标不够直接。有研究在视觉搜索范式中采用眼动追踪技术发现, 即使告知被试记忆客体中任务无关特征会干扰对任务相关特征的搜索, 而当任务无关特征出现在搜索项中时, 总能捕获被试的首次注视点并且延长成功搜索到目标的时间。该结果为VWM存储了客体的任务无关特征信息提供了进一步的证据支持(Foerster & Schneider, 2018)。但是, 该研究仅在低记忆负荷下, 考察了VWM编码阶段的注意选择模式, 未来的研究可以结合本研究的实验设计, 在不同记忆负荷水平下, 采用眼动追踪技术进一步验证VWM维持阶段的注意选择模式。

6 结论

本研究结合前注意线索和后注意线索分别探究VWM编码和维持两个阶段的注意选择模式。3个实验的结果表明, 在VWM编码阶段的注意选择模式是基于客体的; 而在维持阶段的注意选择模式是基于特征的, 且受到记忆负荷的调控。本研究对解决VWM在多特征客体上的注意选择模式的争议有重要意义。

Awh, E., Vogel, E. K., & Oh, S.-H. (2006). Interactions between attention and working memory.,(1), 201−208.

Baddeley, A. (2000). The episodic buffer: A new component of working memory?,(11), 417−423.

Baddeley, A. D., & Hitch, G. (1974). Working memory.,, 47−89.

Bocincova, A., & Johnson, J. S. (2019). The time course of encoding and maintenance of task-relevant versus irrelevant object features in working memory.,, 196−209.

Brown, R., & McNeill, D. (1966). The “tip of the tongue” phenomenon.,(4), 325−337.

Cohen, J. (2013).. Routledge.

Cowan, N. (2017). The many faces of working memory and short-term storage.,(4), 1158−1170.

Ernst, Z. R., Boynton, G. M., & Jazayeri, M. (2013). The spread of attention across features of a surface.,(10), 2426−2439.

Foerster, R. M., & Schneider, W. X. (2018). Involuntary top-down control by search-irrelevant features: Visual working memory biases attention in an object-based manner.,, 37−45.

Fukuda, K., Awh, E., & Vogel, E. K. (2010). Discrete capacity limits in visual working memory.,(2), 177−182.

Gao, T., Gao, Z., Li, J., Sun, Z., & Shen, M. (2011). The perceptual root of object-based storage: An interactive model of perception and visual working memory.,(6), 1803−1823.

Gao, Z., Yu, S., Zhu, C., Shui, R., Weng, X., Li, P., & Shen, M. (2016). Object-based encoding in visual working memory: Evidence from memory-driven attentional capture.,, 22822.

Gazzaley, A., & Nobre, A. C. (2012). Top-down modulation: Bridging selective attention and working memory.,(2), 129−135.

Gilchrist, A. L., Duarte, A., & Verhaeghen, P. (2016). Retrospective cues based on object features improve visual working memory performance in older adults.,(2), 184−195.

Griffin, I. C., & Nobre, A. C. (2003). Orienting attention to locations in internal representations.,(8), 1176−1194.

Heathcote, D., Walker, P., & Hitch, G. J. (1994). Feature independence and the recovery of feature conjunctions.,(3), 253−266.

Isenberg, L., Nissen, M. J., & Marchak, L. C. (1990). Attentional processing and the independence of color and orientation.,(4), 869−878.

Jiang, Y., Olson, I. R., & Chun, M. M. (2000). Organization of visual short-term memory.,(3), 683−702.

Kuo, B.-C., Stokes, M. G., & Nobre, A. C. (2012). Attention modulates maintenance of representations in visual short-term memory.,(1), 51−60.

Lavie, N. (2005). Distracted and confused?: Selective attention under load.,(2), 75−82.

Lin, P.-H., & Luck, S. J. (2012). Proactive interference does not meaningfully distort visual working memory capacity estimates in the canonical change detection task.,, 42.

Luck, S. J., & Vogel, E. K. (1997). The capacity of visual working memory for features and conjunctions.,(6657), 279−281.

Luria, R., & Vogel, E. K. (2011). Shape and color conjunction stimuli are represented as bound objects in visual working memory.,(6), 1632–1639.

Markov, Y. A., Tiurina, N. A., & Utochkin, I. S. (2019). Different features are stored independently in visual working memory but mediated by object-based representations.,, 52−63.

Mongillo, G., Barak, O., & Tsodyks, M. (2008). Synaptic theory of working memory.,(5869), 1543−1546.

Niklaus, M., Nobre, A. C., & van Ede, F. (2017). Feature-based attentional weighting and spreading in visual working memory.,, 42384.

Nobre, A. C., Griffin, I. C., & Rao, A. (2008). Spatial attention can bias search in visual short-term memory.,, 4.

O'Craven, K. M., Downing, P. E., & Kanwisher, N. (1999). fMRI evidence for objects as the units of attentional selection.,(6753), 584−587.

Park, Y. E., Sy, J. L., Hong, S. W., & Tong, F. (2017). Reprioritization of features of multidimensional objects stored in visual working memory.,(12), 1773−1785.

Pashler, H. (1988). Familiarity and visual change detection.,(4), 369–378.

Rerko, L., & Oberauer, K. (2013). Focused, unfocused, and defocused information in working memory.,(4), 1075–1096.

Rouder, J. N., Morey, R. D., Morey, C. C., & Cowan, N. (2011). How to measure working memory capacity in the change detection paradigm.,(2), 324–330.

Sahan, M. I., Verguts, T., Boehler, C. N., Pourtois, G., & Fias, W. (2016). Paying attention to working memory: Similaritiesin the spatial distribution of attention in mental and physical space.,(4), 1190−1197.

Sasin, E., & Fougnie, D. (2020). Memory-driven capture occurs for individual features of an object.,(1), 1−10.

Serences, J. T., Ester, E. F., Vogel, E. K., & Awh, E. (2009). Stimulus-specific delay activity in human primary visual cortex.,(2), 207−214.

Shen, M., Li, J., Lang, X., Gao, T., Gao, Z., & Shui, R.. (2007). The storage mechanism of objects in visual working memory.,(5), 761−767.

[沈模卫, 李杰, 郎学明, 高涛, 高在峰, 水仁德. (2007). 客体在视觉工作记忆中的存储机制.,(5), 761−767.]

Shen, M., Tang, N., Wu, F., Shui, R., & Gao, Z. (2013). Robust object-based encoding in visual working memory.,(2):1, 1-11.

Souza, A. S., Rerko, L., Lin, H.-Y., & Oberauer, K. (2014). Focused attention improves working memory: Implications for flexible-resource and discrete-capacity models.,(7), 2080−2102.

Stefurak, D. L., & Boynton, R. M. (1986). Independence of memory for categorically different colors and shapes.,(3), 164−174.

Stokes, M. G. (2015). ‘Activity-silent’ working memory in prefrontal cortex: A dynamic coding framework.,(7), 394−405.

Stokes, M. G., Kusunoki, M., Sigala, N., Nili, H., Gaffan, D., & Duncan, J. (2013). Dynamic coding for cognitive control in prefrontal cortex.,(2), 364−375.

Ungerleider, L. G., & Haxby, J. V. (1994). ‘What’ and ‘where’ in the human brain.,(2), 157−165.

van Moorselaar, D., Olivers, C. N., Theeuwes, J., Lamme, V. A., & Sligte, I. G. (2015). Forgotten but not gone: Retro-cue costs and benefits in a double-cueing paradigm suggest multiple states in visual short-term memory.,(6), 1755−1763.

Ventre-Dominey, J., Bailly, A., Lavenne, F., Lebars, D., Mollion, H., Costes, N., & Dominey, P. (2005). Double dissociation in neural correlates of visual working memory: A PET study.,(3), 747−759.

Vicari, S., Bellucci, S., & Carlesimo, G. A. (2006). Evidence from two genetic syndromes for the independence of spatial and visual working memory.,(2), 126−131.

Vogel, E. K., Woodman, G. F., & Luck, S. J. (2001). Storage of features, conjunctions and objects in visual working memory.,(1), 92−114.

Wang, B., Cao, X., Theeuwes, J., Olivers, C. N., & Wang, Z. (2017). Separate capacities for storing different features in visual working memory.,(2), 226−236.

Wheeler, M. E., & Treisman, A. M. (2002). Binding in short-term visual memory.,(1), 48−64.

Wolfe, J. M., Friedman-Hill, S. R., & Bilsky, A. B. (1994). Parallel processing of part-whole information in visual search tasks.,(5), 537−550.

Woodman, G. F. & Vogel, E. K. (2005). Fractionating working memory: Consolidation and maintenance are independent processes.,(2), 106–113.

Woodman, G. F., & Vogel, E. K. (2008). Selective storage and maintenance of an object’s features in visual working memory.,(1), 223−229.

Xu, Y. (2010). The neural fate of task-irrelevant features in object-based processing.,(42), 14020−14028.

Ye, C., Hu, Z., Ristaniemi, T., Gendron, M., & Liu, Q. (2016). Retro-dimension-cue benefit in visual working memory.,, 35573.

Yin, J., Zhou, J., Xu, H., Liang, J., Gao, Z., & Shen, M. (2012). Does high memory load kick task-irrelevant information out of visual working memory?,(2), 218−224.

Zhang, Q., Shen, M., Tang, N., Zhao, G., & Gao, Z. (2013). Object-based encoding in visual working memory: A life span study.,(10), https://doi.org/10. 1167/13.10.11

Different attentional selection modes of object information in the encoding and maintenance stages of visual working memory

PANG Chao1, CHEN Yanzhang2, WANG Li2, YANG Xiduan1, HE Ya1, LI Zhiying1, OUYANG Xiaoyu1, FU Shimin1, NAN Weizhi1

(1Department of Psychology and Center for Brain and Cognitive Sciences, School of Education, Guangzhou University, Guangzhou 510006, China) (2School of Psychology, South China Normal University, Guangzhou 510631, China)

Visual working memory (VWM) and selective attention are two essential topics of investigation in the field of cognitive psychology. Previous studies have suggested that object-based attention selection modes may be present during the VWM encoding stage, and feature-based attention selection modes may be present during the maintenance stage. Nonetheless, these conclusions are based on different research paradigms, object feature dimensions, and response indicators, so it is prudent to exercise caution when inferring the existence of distinct attention selection modes during different stages of VWM processing. The aim of the present study is to evaluate this hypothesis and provide empirical support.

In Experiment 1a, 30 college students were recruited to complete a change-detection task.Participants were instructed to memorize the features of the objects presented in the memory display by means of a pre-cue or retro-cue presented prior to or following the memory display. Specifically, in pre-cue trials, participants were asked to memorize only the cueing task-relevant feature while ignoring the task-irrelevant feature. In retro-cue trials, participants needed to memorize the entire object so that they could select the task-relevant feature according to the retro-cue. The present study examined the “irrelevant-change distracting effect” by comparing memory performance between the condition of task-irrelevant feature changes and no-changes on the memory probe test display. Experiment 1b had a similar procedure, except that the cue types were block designs. Based on the design of Experiment 1b, Experiments 2 and 3 increased the number of memory items to test whether the memory load would modulate the attention selection modes. Twenty-eight participants were recruited for Experiment 1b, Experiment 2, and Experiment 3. All experiments were 2 (cue types: pre-cue, retro-cue) × 2 (task-irrelevant feature change types: change, no-change) within-subjects designs, participants’ response times (RTs) and correct rates were recorded, and the sensitivity and criteria of the participants were calculated by signal detection theory (SDT).

The results of the three experiments showed that the change in task-irrelevant features had an impact on task performance in the pre-cue trials, with longer RTs and lower criteria in the task-irrelevant feature change condition than in the no-change condition. This distracting effect was not modulated by the memory load. This suggests the existence of robust object-based attentional selection during the encoding stage in VWM. In contrast, in the retro-cue trials, the distracting effect was present only in the low memory load condition (Experiment 1a/1b) and disappeared when the memory load increased (Experiment 2/3). This suggests that during the maintenance stage, task-irrelevant features are processed only under low memory load conditions, and insufficient resources lead to their inability to be processed as the demand for attentional resources for task-relevant features increases.

In summary, the present study provides further evidence for the hypothesis that different modes of attentional selection exist in the encoding and maintenance stages of VWM, specifically that the attention selection mode during the VWM encoding stage is object-based, while the attention selection mode during the maintenance stage is feature-based and regulated by memory load. This study has important implications for resolving the controversy surrounding the attention selection mode of multifeature objects in VWM.

visual working memory, encoding stage, maintenance stage, object-based attention, feature-based attention

2022-11-30

* 广东省基础与应用基础研究基金项目(2021A1515110452)。

南威治, E-mail: nanwz@gzhu.edu.cn

B842