基于空间方位信息的构型对视觉工作记忆绩效的影响

黄羽商 曹立人



基于空间方位信息的构型对视觉工作记忆绩效的影响

黄羽商 曹立人

(浙江大学心理与行为科学系, 杭州 310028)

通过考察构成视觉客体构型的两种因素在视觉工作记忆任务中的影响, 探讨了构型对视觉工作记忆绩效的作用机制。采用变化觉察实验范式, 在构型朝向不变和旋转两种条件下, 系统地控制构型中的客体相对方位和整体几何形态两种因素的变化, 考察其对视觉工作记忆绩效的影响。实验结果显示, 无论构型朝向不变还是旋转, 只要客体相对方位保持一致, 工作记忆绩效就可以维持较高水平, 而几何形态没有表现出显著作用。上述发现提示构型客体相对方位是构型影响视觉工作记忆绩效的主要因素。

视觉工作记忆; 客体; 构型

1 引言

视觉工作记忆(visual working memory)是用于信息短暂存储(storage)与操纵(manipulation)的认知加工子系统(Baddeley, 2012; Luck & Vogel, 2013), 是认知科学的热门研究领域之一。该系统不仅在底层的认知加工过程中起重要作用(e.g., Hollingworth, Richard, & Luck, 2008 ), 而且与各种高级认知加工过程紧密相关(e.g., Wickelgren, 1997), 在认知系统占据核心地位。正是由于视觉工作记忆的重要性, 近十多年来研究者借助各种技术手段, 如行为、脑成像及计算机建模等, 对视觉工作记忆机制进行了卓有成效的探讨：如容量(Alvarez & Cavanagh, 2004; Luck & Vogel, 1997; Ma, Husain, & Bays, 2014; 综述见Cowan, 2015; Oberauer, Farrell, Jarrold, & Lewandowsky, 2016; 单西娇, 李寿欣, 2010)、表征精度(Zhang & Luck, 2008; Bays & Husain, 2008; 刘志英, 库逸轩, 2017)、存储方式(Vogel, Woodman, & Luck, 2001; Wheeler & Treisman, 2002; 黎翠红, 何旭, 郭春彦, 2015; 综述见Christophel, Klink, Spitzer, Roelfsema, & Haynes, 2017)及工作记忆与其它系统的交互作用机制(Gao, Gao, Li, Sun, & Shen, 2011; Oberauer, Awh, & Sutterer, 2017)等。

诸多研究表明容量有限性是视觉工作记忆最为核心的特征, 其中仅能存储3~4个简单客体(Luck & Vogel, 1997)。对于独立的客体在视觉工作记忆中的加工, 前述的众多研究对其加工机制已经进行了深入探索。现实世界中客体间往往并非独立存在, 而是存在各种各样的联系。构型便是客体间建立联系的重要信息。构型是指多个客体在空间中的整体分布, 反映了多个客体在空间中的组织形态。构型信息在一定程度上不受其绝对位置和大小的影响, 如几何学上的相似三角形就可以认为是相同的构型。

构型对工作记忆绩效的影响已得到诸多研究的支持。如Chun和Jiang (1998)的研究中设置了重复出现的构型和重新随机生成的构型作为视觉场景, 要求被试在其中对目标刺激进行搜索, 结果发现重复出现的构型条件下的记忆绩效更高。进一步的研究表明, 观察者可以根据记忆项目的空间构型来存储项目间的关系信息(Gmeindl, Nelson, Wiggin, & Reuter-Lorenz, 2011; Jiang, Chun, & Olson, 2004; Jiang, Olson, & Chun, 2000; Olson & Marshuetz, 2005; Woodman, Vecera, & Luck, 2003)。在这些研究中, 研究者要求被试完成一系列变化觉察任务, 首先呈现具有空间构型信息的多个客体, 要求被试记忆客体的某个维度信息(如颜色), 随后的检测阶段让其报告其发生变化与否。当空间构型信息发生变化时, 即使构型与记忆任务无关(如仅要求被试记忆客体的颜色或者形状; 见Jiang et al., 2000), 被试的记忆绩效也显著下降。值得注意的是, 即使明确提示被试忽略记忆项目间的构型信息时, 构型对记忆绩效的影响依然存在, 这说明视觉系统对构型信息的加工可能具有强制性和自动化的特性(Jiang et al., 2000, Jiang et al., 2004)。来自发展领域的研究发现, 尽管已有研究发现老年人的工作记忆能力下降, 然而当构型信息存在时, 老年人的工作记忆绩效相比年轻人并不存在显著差异(Olson, Zhang, Mitchell, Johnson, Bloise, & Higgins, 2004)。这表明构型信息可以一定程度上弥补老龄化带来的工作记忆能力损伤。此外, 构型信息提升工作记忆绩效已得到了来自脑成像的证据支持, Xu和Chun (2007)发现即使构型信息与记忆任务无关, 被试亦可借助构型信息将记忆信息加以组织来提升工作记忆绩效, 具体表现为构型条件(3个客体可根据构型组织成为更高层级的客体)与非构型条件相比(3个独立客体)引发更低的顶内沟活动(inferior intraparietal sulcus, IPS)。

也有研究者在动态场景中研究了构型信息对视觉工作记忆的影响作用。例如Hollingworth和Rasmussen (2010)的研究表明, 即使客体身份对应关系在运动中发生了交换, 只要测验时的构型与预览阶段一致, 被试的记忆绩效就可以保持较高水平, 尺寸的缩放和位置的平移并不会影响这种效应。此外有一些研究在构型的动态变化中探索其作用机制, 如Sun等人(2015)发现如果若干客体在运动过程中保持射影性质的一致, 其构型信息就可以有效发挥作用。Zhao等人(2014)发现多客体追踪中人们同样倾向于将被追踪的客体按照构型进行整合以实现更高效的加工。

在以上这些研究中, 虽然任务类型有所不同, 但构型信息的存储和利用都能够提升视觉工作记忆的绩效。信息论的观点认为, 若需要编码的信息存在冗余性, 那么容量有限的认知系统必然存在压缩机制使得尽可能多的信息进入其中(Cover & Thomas, 1991)。从该理论出发, 笔者认为构型提升工作记忆绩效的本质在于能够有效地压缩所需编码的信息表征, 使得容量有限的工作记忆系统能够有效加工更多的信息。然而构型通过何种方式提高信息处理效率, 或者说构型提升记忆绩效的具体作用机制目前还没有清晰的理论解释。之前的研究中使用的动态构型的客体处在连续不断的运动中(Sun et al., 2015; Zhao et al., 2014), 这对于研究构型属性中与动态变化密切相关的部分非常有意义, 而对静态构型的研究可以针对不同构型形态设置更加精细的控制条件, 以揭示构型较为稳定的特性。之前的关于静态构型的研究主要控制了其他属性(绝对位置、尺寸大小等)的变化, 结果显示这些因素对于构型的作用都并非必须, 起到决定作用的是构型本身的组成方式, 而这种组成方式由构成构型的客体之间的空间关系决定(例如Hollingworth & Rasmussen, 2010)。

笔者认为构型包含的空间关系可以进一步细分为两方面(如图1所示)：(1)构型客体空间相对方位(相对方位), 即组成构型的每个客体相对于其他客体的位置, 如左上位、右下位。相对方位在客体发生局部位移时可以保持不变, 而在构型旋转时会发生变化, 比如一个客体本来位于其他客体的左上方, 那么在逆时针旋转90°后将位于左下方; (2)构型整体几何形态(几何形态), 即客体的位置组成的空间形状, 在客体发生位移后几何形态必然变化形成新形态, 然而构型旋转时几何形态却不会发生改变。上述两方面确定时, 就可以确定无疑地得到一个构型的具体形态, 如果能了解构型对工作记忆的影响中, 这两方面因素各自的作用情况如何, 就能够推断构型影响作用的方式和基础。

为了了解构型影响作用中不同因素的作用情况, 笔者在本研究中将构型中的相对方位与几何形状因素分离开来并加以操纵, 使得两者只有其中一种发生变化或者同时发生变化, 考察此时的工作记忆绩效。如果相对方位是构型的主要决定因素, 那么只要相对方位与预览时保持一致的话, 预览时存储的信息就可以得到有效利用, 记忆绩效就会更高; 如果几何形状起到主要作用, 那么在几何形状不变的情况下, 构型的信息就能够提升工作记忆的加工绩效。笔者通过以下3个实验来探讨上述问题。

图1 构型的客体空间相对方位与整体几何形态

注：a.原始构型; b.变化的构型, 上方为构型客体空间相对方位不变的情况, 下方为构型整体几何形态不变的情况; 图中字母为颜色标识, 实验中未实际呈现, 下同。彩图见电子版。

2 实验1：构型客体相对空间方位对视觉工作记忆的影响

实验1的目的在于考察方位信息在提升视觉工作记忆绩效中的作用。实验1采用变化觉察范式,要求被试报告测验阶段呈现的客体颜色与预览阶段相比是否发生变化。自变量有两个：(1)颜色客体的呈现方位变化与否; (2)客体构型的几何形态是否发生变化。

实验中一半的试次为颜色不变条件, 在测验阶段没有新颜色出现, 而另一半为新颜色条件, 测验阶段会出现一种未预览过的新颜色。由于新颜色在预览阶段没有出现, 与预览构型之间没有对应关系, 因而新颜色条件的数据对于揭示构型的作用机制并不适用, 因此笔者以颜色不变条件下的数据作为分析对象, 以辨别力(d’)和反应时作为因变量, 该分析方法与前人相关研究一致(Hollingworth & Rasmussen, 2010; Mitroff, Scholl, & Wynn, 2004)。

为了确保实验刺激的一致性, 实验使用的80种构型形态均按照特定的规则由计算机程序生成。生成规则如下：构型包括4个客体, 分别位于以屏幕中心为原点的第1、2、3、4象限; 每个构型的4个客体与原点连线的角度为定位角度, 水平向右为0°, 逆时针分别取45°、135°、225°、315°为基本角度, 定位角度在基本角度的基础上±15°以内随机选取, 这样可以保证生成构型中的4个客体分别位于4个象限; 客体中心距离原点的距离在2.5°~3.5°视角的范围内随机选取。为了保证不同构型之间的可区分性, 其中任意两组构型中位于各象限的客体的定位角度的平均差异均大于4°, 与原点的距离平均差异大于0.5°视角。构型设置如图2所示。

图2 客体构型例图

注：a.横竖两条虚线分开的4部分为客体所处的4个象限, 第1象限的斜45°虚线代表基本角度, 箭头表示第1象限客体的定位角度及其同原点间的距离; b.实验所使用的构型范例

2.1 被试

18名浙江大学的在校学生参加本实验, 男性11人, 女性7人, 年龄在18~24岁之间。所有被试均视力或矫正视力正常。实验前所有被试均签署知情同意书, 实验后获得学分或30元人民币作为报酬。

2.2 实验材料

实验使用大小为0.5°×0.5°视角的圆形作为记忆客体, 记忆颜色共有6种, 按颜色名称[RGB值]表示分别为红色[255 0 0]、黄色[255 255 0]、紫色[255 0 255]、绿色[0 255 0]、青色[0 255 255]、蓝色[0 0 255], 呈现时颜色占据圆形客体的中央部分, 圆形的边缘保持黑色。为抑制语音加工, 实验中的复述任务采用大小为1°×1°视角的黑色阿拉伯数字(从1到9中随机选取)。

2.3 实验设备

实验程序使用Matlab结合PsychToolbox工具包编制(Brainard, 1997), 并在一台32位Windows7系统的计算机上运行。实验刺激在一台19寸CRT显示器上呈现, 显示分辨率为1024×768, 刷新率100 Hz。实验环境为安静的隔音暗室。

2.4 实验流程与设计

实验流程如图3所示, 每个试次开始时, 在屏幕中央给被试呈现两个随机的数字, 持续500 ms, 要求被试在当前试次中对两个数字进行不断地默读复述, 以抑制被试记忆颜色时可能采用语音的编码方式(e.g., Vogel et al., 2001)。数字消失后屏幕中央呈现注视点1000 ms, 注视点消失的同时呈现一个4客体构型, 每个客体中心部分呈现一种颜色500 ms, 随后空屏1500 ms。

空屏结束后再次出现4个客体, 其构型根据实验条件可能与预览阶段一致(原形态), 或者为不同的构型形态(新形态), 此时每个客体中会再次出现一种颜色, 颜色的呈现象限可能与预览阶段一致(方位不变)或者不一致(方位变化), 形成4种条件(如图4所示)：a. 原形态–方位不变; b. 新形态–方位不变; c. 原形态–方位变化; d. 新形态–方位变化。方位变化条件下, 每种颜色都不会呈现在原来的位置上, 目的在于控制刺激物理性质的变化幅度。变化方式有如下两种, 呈现象限按顺时针或逆时针旋转90°, 即原1、2、3、4象限颜色会出现在2、3、4、1或者4、1、2、3象限, 或按对角线交换象限, 即原1、2、3、4象限颜色出现在3、4、1、2象限。预实验显示这两种变换方式绩效相当, 并且未导致被试采用策略完成实验任务。

探测刺激呈现后, 被试要在2000 ms内按键报告是否出现了一种新的颜色, 记录被试的反应正误和反应时。颜色任务报告完成后屏幕中央出现一个数字, 要求被试报告这个数字是否为本试次的复述数字, 随后在1000~1500 ms的间隔后进入下一个试次。两个任务均要求被试在正确的前提下尽快做出反应。

正式实验开始前要求被试进行练习以便熟悉实验流程。正式实验包含240个试次, 每种实验条件各60试次, 顺序随机安排。实验时长约为45分钟, 每完成40个试次会提示被试短暂休息。

2.5 实验结果与讨论

为了避免反应偏向的影响, 笔者首先根据信号检测论将正确率数据转化为辨别力’。分别对实验1的辨别力指数’和反应时数据进行了重复测量的两因素(方位因素和几何形态因素)方差分析, 统计结果如图5所示。

图3 实验1流程

图4 实验1条件设置示意图

图5 不同形态和方位条件下的辨别力(d¢)和反应时

注：*< 0.05; **< 0.01; ***< 0.001

方位因素在辨别力上的主效应达到显著水平, 方位不变的两种条件下的辨别力指数(1.99)显著高于方位变化条件下的辨别力指数(1.78),(1, 17) = 14.34,< 0.01, η= 0.46; 几何形态因素的主效应没有达到显著水平, 原形态两种条件下的辨别力指数(1.91)与新形态两种条件下的辨别力指数(1.87)之间差异未达到显著,(1, 17) = 1.16,= 0.30; 方位与几何形态的交互作用也没有达到显著水平,(1, 17) = 0.13,= 0.72。

方位因素在反应时上的主效应也达到显著水平,(1, 17) = 17.91,< 0.01, η= 0.51, 方位不变时的反应时(816 ms)显著短于方位变化的条件(882 ms); 几何形态因素的主效应没有达到显著水平,(1, 17) = 2.00,= 0.18, 原形态(843 ms)与新形态(855 ms)条件的反应时差异不显著; 方位与构型形态的交互作用也没有达到显著水平,(1, 17) = 0.03,= 0.86。

新形态–方位不变条件下, 构型几何形态发生了变化, 但测验时颜色呈现在与预览阶段相同的象限, 因而保持原有方位不变。结果表明, 该条件下的绩效与原形态–方位不变条件相当, 辨别力和反应时都没有显著差异, 同时两者的绩效都高于方位变化的两种条件。换言之, 如果客体在构型中的方位保持不变, 无论构型几何形态发生变化还是保持原样, 任务完成的效率可以维持在较高的水平。几何形态因素在辨别力和反应时上主效应都不显著, 而形态因素与方位因素的交互作用在辨别力与反应时上交互作用也都没有达到显著, 这提示形态变化与否并不是主要的影响因素。

在视觉客体与其属性的工作记忆加工中, 属性与客体的关联关系非常重要。如果从预览到测验的过程中属性与客体之间的关联关系能够有效保持的话, 工作记忆绩效就会更好, 速度、准确性都可以更高。例如有关客体档案理论的研究显示, 视觉属性与客体身份在短时间的运动过程中保持不变时, 其绩效就更高(Gordon, 2004; Gordon & Irwin, 1996; Mitroff, Scholl, & Noles, 2007; Mitroff et al., 2004)。而另外一些研究则提示视觉属性与其呈现时客体所处的空间位置之间的联系对工作记忆的绩效具有重要影响(Hollingworth & Rasmussen, 2010; Zelinsky & Loschky, 2005)。

从这个角度来说, 实验1中客体颜色属性与其相对方位之间的联系对任务绩效的提高起到重要作用。更重要的是, 这种相对方位并非精确对应的空间位置, 而是以客体所在构型为参照的大概位置, 在一定范围内可以有所偏移而方位保持不变。这种不变性是提升视觉工作记忆绩效更加基本的因素。

然而实验1并未设置视觉特征与几何形态保持一致而与相对方位不一致的条件, 无法直接比较相对方位因素与几何形态因素的作用, 因而需要进一步的实验来探索。

3 实验2：构型旋转条件下相对方位与几何形态的影响作用

实验1控制了颜色呈现方位的变化, 结果显示客体空间几何构型发生变化而颜色特征的出现方位与预览阶段一致时, 记忆绩效仍然保持较高水平, 这提示方位信息是提升视觉工作记忆绩效的有效因素。然而实验1中的新形态使用了与预览阶段不同的构型形态, 并没有设置几何形态不变而方位发生变化的条件, 因而无法考察仅有几何形态保持一致时的绩效。

考虑到旋转过程中构型几何形态保持不变, 因此可以通过旋转方式对构型加以操纵, 来考察几何形态的作用。根据这一思路, 实验2中设置3种条件：原形态–方位不变、构型旋转–方位不变和构型旋转–几何一致, 因变量的记录方式与实验1相同。构型旋转–几何一致条件下, 视觉特征出现的象限也将按照构型的旋转方向变化, 换言之视觉特征与几何形态保持了一致, 如果这种条件下的绩效仍然较低, 那么就提示几何形态的作用并不显著, 反之如果此时的绩效能够保持较高水平, 就表明几何形态同样是构型发挥作用的重要因素。

3.1 被试

18名浙江大学的在校学生参加本实验, 男性8人, 女性10人, 年龄在19~23岁之间, 所有被试均视力或矫正视力正常, 且均未参加过实验1。实验前所有被试均签署知情同意书, 实验后获得学分或30元人民币作为报酬。

3.2 实验材料与设备

实验2的材料和设备同实验1。

3.3 实验流程与设计

实验2的基本设计与实验1一致, 设置3种条件：原形态–方位不变、构型旋转–方位不变和构型旋转–几何一致, 如图6所示。实验2中不再设置实验1中的原形态–方位变化条件, 理由如下：原形态–方位变化条件已在实验1中考察, 并且此情况不是本研究主要关心点, 在实验2中保留原形态–方位不变条件作为基线条件即可, 无需重复设置构型–方位变化条件。

图6 实验2条件设置

构型旋转时, 测验阶段颜色可能按原象限呈现, 形成构型旋转–方位不变条件, 也可能与旋转后的几何形状保持一致, 形成构型旋转–几何一致的条件。构型旋转的方式为顺时针90°或者逆时针90°其中一种(图6所示为逆时针旋转90°), 从而使构型旋转后各客体仍分别处于4个象限, 也保证不同试次中构型的变化幅度一致。

3.4 实验结果与讨论

对实验2的数据进行重复测量的单因素方差分析, 具体结果如图7所示。

辨别力数据显示3种实验条件的差异达到显著水平,(2, 34) = 8.45,< 0.01, η= 0.33, 为确认何种条件下绩效与基线相比存在差异, 将构型旋转–方位不变(2.03)、构型旋转–几何一致(1.78)两种条件的辨别力与原形态–方位不变(2.12, 基线条件)进行比较, 前者的差异不显著,(1, 17) = 0.90,= 0.36, 而后者的差异达到显著水平,(1, 17) = 13.05,< 0.01, η= 0.43。

反应时的数据与辨别力相似, 3种条件间的主效应达到显著水平,(2, 34) = 3.81,< 0.05, η= 0.18, 同样将构型旋转–方位不变(867 ms)、构型旋转–几何一致(896 ms)条件的反应时与原形态–方位不变(856 ms)进行比较, 发现前者未达到显著,(1, 17) = 0.45,= 0.51, 而后者的差异达到显著水平,(1, 17) = 6.83,< 0.05, η= 0.29。

实验2的结果与实验1类似：方位不变条件下, 无论测验阶段的客体构型几何形态是否发生旋转, 被试的任务绩效都保持较高的水平, 构型旋转–几何一致条件下的绩效则较低。构型发生旋转时, 如果颜色出现的相对方位保持与预览时一致, 那么颜色出现位置与几何形态的一致性就必然遭到破坏, 而构型旋转–几何一致条件下, 颜色出现位置与几何形态的一致性得到了保持, 而相对方位则由于旋转而发生了变化。换言之, 这两种条件分别独立保持了相对方位与几何形态的前后一致性, 而相对方位一致下的绩效与基线保持同一水平, 而显著优于几何形态一致的情况, 这提示实验任务绩效主要依赖于相对方位的作用, 而非几何形态因素。

实验1的结果显示了构型中相对方位信息在视觉工作记忆任务中的重要作用, 而实验2的结果则进一步显示相对方位在构型的作用中是更加主要的因素, 而几何形态的作用并不显著。然而考虑到实验2使用了旋转后的视觉客体构型, 但旋转前后并没有中间过程, 而经典的心理旋转研究显示, 人们可以对视觉表象进行主观的旋转操作, 但常常以模拟的方式进行, 需要一个连续的过程(Cooper & Shepard, 1973; Metzler & Shepard, 1974; Shepard & Hurwitz, 1984; Shepard & Metzler, 1988)。如果为构型的旋转提供相应的线索, 使其过程具有连续性, 客体方位与几何形态的作用能否显示出同样的效应就尚未可知, 需要进一步的实验进行探索。

图7 实验二3种条件下的辨别力(d¢)和反应时

注：*< 0.05; **< 0.01; ***< 0.001

5 实验3：提供视觉旋转线索时客体方位与几何形态的作用

在实验2中构型在旋转中几何形态保持不变, 然而这种几何形态的一致性并没有像客体方位因素一样表现出显著的影响。实验2中视觉客体构型的旋转只提供了旋转前和结束后的两个不连续的状态, 然而人们对视觉表象的旋转操作却往往是一个连续的过程。实验3提供了旋转的视觉线索(如图8所示), 提示构型旋转变化的过程, 使之具有连续性。如果几何形态的破坏导致了构型作用的损害, 就提示几何形态因素也对工作记忆有重要的影响, 之前没有表现出作用的原因是缺少必要的连续过程; 反之如果单独保持客体相对方位一致即可实现之前的构型作用, 就说明视觉工作记忆的任务绩效不会受到几何因素的影响。

考虑上述情况, 实验3设置了3种条件, 分别是构型旋转–几何一致、新形态–方位旋转、新形态–方位随机变化(如图9所示)。其中新形态–方位旋转条件下, 测验阶段的构型从构型库中随机抽取, 而客体方位则与旋转线索一致, 新形态–方位随机变化条件下, 测验构型随机抽取, 各颜色的方位都与预览时不同, 但排除与旋转线索一致的情况, 这与实验1的新形态–方位变化条件有所不同。

从构型的客观特征上讲, 新形态–方位随机变化条件下的构型形态和客体方位都发生了变化, 而构型旋转–几何一致条件下, 构型几何形态和客体方位同时与旋转线索一致, 而新形态–方位旋转条件下只有客体方位与旋转线索一致。因此可以把新形态–方位随机变化条件作为基线条件来与其他条件对比。如果只有构型旋转–几何一致条件与基线相比表现出更高的绩效, 新形态–方位旋转条件没有表现出绩效优势, 那么就提示几何形态对于旋转条件下构型信息的利用是不可缺少的; 如果两者都表现出绩效优势且绩效相当, 就提示仅客体方位因素一致就足以帮助构型信息得到利用。

5.1 被试

18名浙江大学的在校学生参加本实验, 男性9人, 女性9人, 年龄在19~25岁之间, 所有被试均视力或矫正视力正常, 未参加过之前的实验。实验前所有被试均签署知情同意书, 实验后获得30元人民币作为报酬。

5.2 实验材料与设备

实验3的材料与设备和实验2中使用的一致。

5.3 实验设计

实验3的流程与实验2基本一致, 在其基础上提供了旋转线索(见图8)：预览阶段刺激呈现的同时在屏幕中央呈现线索方框, 预览阶段的刺激消失后方框不会消失, 并且在250 ms之后开始旋转, 在1000 ms内旋转90°, 旋转方向与检测阶段的构型方向一致, 随后静止并保持250 ms后进入检测阶段, 记忆保持的时间与实验2一致, 均为1500 ms。由于方框为正方形, 旋转前后的形态完全一致, 除旋转过程外, 并没有提供其它视觉线索。

实验3包括3种条件, (1)构型旋转–几何一致、(2)新形态–方位旋转、(3)新形态–方位随机变化, 如图9所示。构型旋转–几何一致条件与实验2中相同, 但实验3不再设置原形态–方位不变条件, 并且增加了新形态–方位旋转条件(客体方位与旋转线索一致)和新形态–方位随机变化条件, 两种新形态条件下测验构型按重新抽取的新形态呈现, 以新形态–方位随机变化条件作为基线。

5.4 实验结果与讨论

实验3的数据分析方法与前面的实验相同, 结果如图10所示。

辨别力()与反应时两个指标的主效应都达到显著水平,(2, 34) = 4.85,< 0.05, η= 0.22,(2, 34) = 8.16,< 0.01, η= 0.32。将两种主要条件的辨别力()与基线条件对比, 构型旋转–几何一致下的成绩更高, 达到显著水平,(1, 17) = 4.78,< 0.05, η= 0.22, 新形态–方位旋转的成绩也显著高于基线,(1, 17) = 13.05,< 0.01, η= 0.43; 反应时的数据与辨别力()一致, 构型旋转–几何一致和新形态–方位旋转的成绩都优于基线条件,(1, 17) = 8.31,< 0.05, η= 0.33,(1, 17) = 10.95,< 0.01, η= 0.39。而构型旋转–几何一致和新形态–方位旋转两种条件在辨别力()和反应时两方面都没有表现出显著差异。

图8 实验3旋转线索示例

图9 实验3条件设置

图10 实验3各实验条件下的辨别力(d¢)和反应时

注：*< 0.05; **< 0.01; ***< 0.001

与基线条件相比, 构型旋转–几何一致条件下, 测验构型是严格按线索提示对预览构型进行旋转后得到, 因此几何形状与客体方位两方面都与旋转过程保持一致, 此时绩效优势十分显著; 而新形态方位旋转条件下, 测验构型的几何形态系重新抽取, 与预览时没有关联, 只有客体方位与旋转线索的提示一致, 此时的绩效与构型旋转–几何一致条件相当, 也表现出相对于基线条件的优势。换言之, 要得到高于基线条件的绩效, 不需要几何形态与客体方位都与旋转完全一致, 只要测验时的客体方位是按旋转线索的提示变换所得, 即使此时构型几何形态与预览时不同也不会影响优势效应的产生。

实验3的结果显示, 即使在对构型进行了主观旋转的操作后, 客体方位的一致性仍然是构型对视觉工资记忆绩效影响作用的关键因素。由于旋转的线索仅提供了旋转的提示, 而没有直接呈现旋转后的构型形态, 那么被试在完成任务时主要依赖主观旋转后的表征。这意味着即使不是直接观察到的构型, 而是主观操作后形成的构型表征中, 对一个特定客体的定位也主要依赖于该客体的相对方位。

6 总讨论

诸多研究表明, 构型对于提升视觉工作记忆的绩效有着重要作用。前人研究中, 构型信息从预览阶段到测验阶段可能发生位移或者缩放, 而未对几何形态的变化加以操纵(eg. Jiang et al., 2000, Hollingworth & Rasmussen, 2010)。该控制方式的确帮助我们更加深入的了解构型的诸多加工特性, 比如构型信息不受位置、大小的影响(Jiang et al., 2000); 且构型信息在客体身份不一致时依然发挥作用(Hollingworth & Rasmussen, 2010)。然而笔者认为几何形态不变的情况下, 便无法对构型的具体作用机制进行深入的探索。

如前文所述, 构型是若干客体的空间分布形态。如果要了解这种形态的内在加工机制, 一种有效的方式便是通过控制影响条件, 考察构型从完全保持初始形态到彻底失去原有特征的过程。在这个过程中, 影响构型的不同因素就可以显现出其作用, 从而揭示构型提升工作记忆绩效的具体作用机制。近来研究者已经开始关注借助动态变化的构型来揭示构型的某些加工特征(Sun et al., 2015; Zhao et al., 2014), 然而现实场景中往往需要对一个特定的构型进行处理和利用, 这个过程中构型依赖哪些因素起作用需要通过操纵因素的变化进行探索。

基于上述思想, 本研究对构型所包含的相对方位与几何形状两种信息分别进行了操纵, 使其中的一种发生变化而另一种保持不变, 如果不同的信息具有不同的作用机制, 那么这种差异就会在不同的变化方式下显现出来。实验结果显示, 当客体相对方位保持不变时, 记忆绩效较高, 几何形状保持不变而相对方位变化时, 记忆绩效较低; 在对构型进行主观操作形成旋转后的表征时, 相对方位的一致性仍然起到主要的作用。

6.1 客体、视觉属性、空间位置的绑定关系

编码特异性理论认为, 如果提取信息时的背景条件与存储时接近, 提取操作就会更容易进行(Tulving & Thomson, 1973)。从这个角度来看, 构型可以视为是视觉特征的背景, 测验时的构型编码与预览时越接近, 就越有利于对与之相关联的视觉信息的提取。然而在后续研究中, 一些更加深入和细致的现象得到了揭示, 预览与测验间视觉特征的相似性并不仅仅存在于表面形态, 如果两者的内在属性存在特定的关联, 那么仍然可以观察到类似的利化效应, 例如客体身份的一致性、构型形状的一致性等(Hollingworth & Rasmussen, 2010; Kahneman, Treisman, & Gibbs, 1992)。

这些发现提示, 在视觉认知加工中, 客体与视觉属性、空间位置存在着紧密而复杂的绑定关系。关于视觉属性与客体之间的绑定联系已有许多研究, 一般认为集中于一个特定的客体之上的不同视觉属性可以集合形成一个独立的客体表征(Treisman, 1996, 1998; Wheeler et al., 2002)。关于客体与位置之间的绑定联系也有许多令人瞩目的发现, 比如客体在视觉工作记忆中主要与相对位置而非绝对位置进行绑定(Hollingworth, 2007)。

在已有研究的基础上, 本研究主要的拓展在于发现了客体与位置的绑定联系并不一定依赖于其在视觉上下文中的准确位置, 只要相对方位保持一致, 这种绑定联系就可以存在并发挥作用。客体与相对位置的绑定意味着客体与其视觉上下文在位移、缩放中保持精确对应的话, 视觉工作记忆的绩效就可以维持较高水平, 而客体与相对方位之间的联系则可以让客体在视觉上下文的位置发生一定的偏移时, 仍然保持较高的记忆绩效。这也体现了人的视觉认知系统在处理视觉任务时的灵活性, 一定程度上能够适应输入信息的变化。

不过另一方面, 客体的相对方位依赖于客体与其他参照物之间的关系。在构型中, 一个客体的相对方位参照物就是其他的客体, 如果这些客体偏移幅度较大, 就可能影响对相对方位的判断, 因此位置的偏移必须处在一定的范围之内才能保证相对方位的不变性。在本研究中为了控制偏移程度, 使用了按规则生成的4客体构型, 从而使不同的构型之间的位置差异不会过大, 目的就在于保持相对方位判断参照系的稳定, 而实验发现也是基于此种前提得到。本研究的关注点在于参照系没有破坏时, 位置偏移而相对方位不变时的工作记忆绩效, 那么一个值得关注的问题是, 客体位置的偏移达到何种程度时会影响相对方位的存在和作用, 这有待于未来的研究对此进行探索。

6.2 客体构型在工作记忆中的编码形式

视觉工作记忆的编码单元主要是视觉客体, 构型作为若干客体的集合在工作记忆中也表现出重要作用, Chun和Jiang的研究(1998)显示, 构型可以在完成实验任务时保持在记忆中并显示出作用, 其他一些研究也将其视为工作记忆中对客体位置的组织方式(Hollingworth, 2007; Olson et al., 2005), 但目前的研究对于构型在视觉工作记忆中如何进行编码的探索仍然十分不足。

如果将构型看做客体位置信息的组织方式, 考虑之前的研究中构型不受平移、大小变化影响的发现, 那么确定几何形状和朝向即可准确定义一个构型。然而在本研究中, 当颜色出现在相同方位的客体上时, 无论构型的几何形态是否发生变化, 工作记忆绩效都保持较高的水平; 但方位发生变化时, 实验任务仍可以顺利完成, 并不需要几何形状的精确符合, 而客体方位因朝向发生变化时绩效却会显著降低。据此可以推测, 观察者使用的记忆编码包括两方面, 一方面是整体性编码, 其基础是客体大致的相对方位而不是几何形状, 另一方面是颜色特征本身的编码。如果整体编码可以得到利用, 就能实现较高的反应速度和辨别力; 反之方位与编码阶段不一致无法进行整体加工, 就需要对存储的特征编码进行扫描操作, 搜寻是否有新的特征出现, 因此反应速度和辨别力都较低。

本研究的另一个发现是, 当提供旋转线索而对构型进行了主观旋转的操作时, 客体方位的变化如果与旋转一致, 任务绩效也可以达到较高水平, 这个过程中同样不需要几何形态保持一致。研究表明, 人们的认知系统能够对视觉表征进行主观旋转 (Cooper & Shepard, 1973; Metzler & Shepard, 1974; Shepard & Hurwitz, 1984; Shepard & Metzler, 1988), 而构型的表征也体现出这种性质, 具备主观旋转的能力, 并且在旋转后表现出与通过直接视觉输入编码的构型表现出类似的性质。然而另一方面, 这种能力也受到一定的限制, 应对旋转变化时需要线索才能对构型进行更新, 因此可以说构型信息在视觉工作记忆中的作用既有其灵活性与适应性的特点, 但也受到人的固有认知加工方式的制约。

6.3 工作记忆对构型信息的保持

同其他所有工作记忆保存的信息一样, 构型信息在工作记忆中的保持也会存在某种保持能力的限制。本研究发现, 存在线索时构型可以在工作记忆中进行主观旋转, 以旋转后的状态发挥作用, 但旋转前的原始状态却没有从工作记忆中消除。这提示心理旋转操作并不能使工作记忆中构型的存储完全更新, 即使旋转变化后新的方位信息可以得到利用, 原形态的方位信息仍然可以影响工作记忆任务的完成, 或者说, 此时的工作记忆中能够同时保持旋转前后的两种状态。

能够同时保存的信息越多, 就会越有利于记忆任务的完成效率, 不过许多关于工作记忆的研究表明, 存储信息的精度与数量之间存在权衡的关系(Alvarez & Cavanagh, 2004; Wilken & Ma, 2004), 而本研究中对构型初始状态和旋转完成状态的同时保持似乎并未导致其作用的降低。这一方面可能是由于同一构型的两种不同朝向并不会占用两倍的存储, 而可能有共享的信息编码, 另一方面可能是由于对构型的存储尚未超出其能力上限。

关于工作记忆对构型的保持能力, 以及构型发挥作用的加工阶段、可能影响构型作用的其他因素(注意资源、记忆负荷等), 还有待于未来的研究中进一步探索。

7 结论

本研究通过3个实验考察构型中不同信息因素对工作记忆绩效的影响作用, 得到如下结论：(1)构型客体的空间相对方位是构型影响视觉工作记忆绩效的主要因素; (2)构型整体几何形态对视觉工作记忆的影响不显著; (3)对构型进行主观旋转后, 影响构型作用的主要因素仍然是相对方位, 与无旋转情况一致。

Alvarez, G. A., & Cavanagh, P. (2004). The capacity of visual short-term memory is set both by visual information load and by number of objects.(2), 106–111.

Baddeley, A. (2012). Working memory: Theories, models, and controversies., 1–29.

Bays, P. M., & Husain, M. (2008). Dynamic shifts of limited working memory resources in human vision.(5890), 851-854.

Brainard, D. H. (1997). The psychophysics toolbox.,(4), 433–436.

Christophel, T. B., Klink, P. C., Spitzer, B., Roelfsema, P. R., & Haynes, J. D. (2017). The distributed nature of working memory.(2), 111–124.

Chun, M. M., & Jiang, Y. H. (1998). Contextual cueing: Implicit learning and memory of visual context guides spatial attention.(1), 28–71.

Cooper, L. A., & Shepard, R. N. (1973). Chronometric studies of the rotation of mental images. In: Chase, W.G. (Ed.),. Academic Press, New York

Cover, T. M., & Thomas, J. A. (1991).. New York: Wiley.

Cowan, N. (2015). George Miller’s magical number of immediate memory in retrospect: Observations on the faltering progression of science.(3), 536–541.

Gao, T., Gao, Z. F., Li, J. S., Sun, Z. Q., & Shen, M. W. (2011). The perceptual root of object-based storage: An interactive model of perception and visual working memory.,(6), 1803–1823.

Gmeindl, L., Nelson, J. K., Wiggin, T., & Reuter-Lorenz, P. A. (2011). Configural representations in spatial working memory: Modulation by perceptual segregation and voluntary attention.,(7), 2130–2142.

Gordon, R. D. (2004). Attentional allocation during the perception of scenes.,(4), 760–777.

Gordon, R. D., & Irwin, D. E. (1996). What’s in an object file? Evidence from priming studies.,(8), 1260–1277.

Hollingworth, A. (2007). Object-position binding in visual memory for natural scenes and object arrays.,(1), 31–47.

Hollingworth, A., Richard, A. M., & Luck, S. J. (2008). Understanding the function of visual short-term memory: Transsaccadic memory, object correspondence, and gaze correction.(1), 163–181.

Hollingworth, A., & Rasmussen, I. P. (2010). Binding objects to locations: The relationship between object files and visual working memory.(3), 543–564.

Jiang, Y. H., Chun, M. M., & Olson, I. R. (2004). Perceptual grouping in change detection.(3), 446–453.

Jiang, Y., Olson, I. R., & Chun, M. M. (2000). Organization of visual short-term memory.(3), 683–702.

Kahneman, D., Treisman, A., & Gibbs, B. J. (1992). The reviewing of object files: Object-specific integration of information.,(2), 175–219.

Li C. H., He X., & Guo C. Y. (2015). The storage mechanism of multi-feature objects in visual working memory.(6), 734–745.

[黎翠红, 何旭, 郭春彦. (2015). 多特征刺激在视觉工作记忆中的存储模式.(6), 734–745.]

Liu Z. Y., & Ku Y. X. (2017). Perceiving better, inhibiting better: Effects of perceptual precision on distractor-inhibition processes during working memory.(10), 1247–1255.

[刘志英, 库逸轩. (2017). 知觉表征精度对工作记忆中抑制干扰能力的影响.(10), 1247–1255.]

Luck, S. J., & Vogel, E. K. (1997). The capacity of visual working memory for features and conjunctions.,(6657), 279–281.

Luck, S. J., & Vogel, E. K. (2013). Visual working memory capacity: From psychophysics and neurobiology to individual differences.,(8), 391–400.

Ma, W. J., Husain, M., & Bays, P. M. (2014). Changing concepts of working memory.,(3), 347–356.

Metzler, J., & Shepard, R. N. (1974). Transformational studies of the internal representation of three-dimensional objects. In R. L. Solso (Ed.),. Oxford, England: Lawrence Erlbaum.

Mitroff, S. R., Scholl, B. J., & Noles, N. S. (2007). Object files can be purely episodic.,(12), 1730–1735.

Mitroff, S. R., Scholl, B. J., & Wynn, K. (2004). Divide and conquer how object files adapt when a persisting object splits into two.(6), 420–425.

Oberauer, K., Awh, E., & Sutterer, D. W. (2017). The role of long-term memory in a test of visual working memory: Proactive facilitation but no proactive interference.,(1), 1–22.

Oberauer, K., Farrell, S., Jarrold, C., & Lewandowsky, S. (2016). What limits working memory capacity?(7), 758-799.

Olson, I. R., & Marshuetz, C. (2005). Remembering “what” brings along “where” in visual working memory.,(2), 185–194.

Olson, I. R., Zhang, J. X., Mitchell, K. J., Johnson, M. K., Bloise, S. M., & Higgins, J. A. (2004). Preserved spatial memory over brief intervals in older adults., 19(2), 310–317.

Shan, X. J., & Li, S. X. (2010). The new development of mechanism of visual working memory capacity based on new models.(11), 1684–1691.

[单西娇, 李寿欣. (2010). 由两个模型看视觉工作记忆容量机制的研究.(11), 1684–1691.]

Shepard, R. N., & Hurwitz, S. (1984). Upward direction, mental rotation, and discrimination of left and right turns in maps.(1-3), 161–193.

Shepard, S., & Metzler, D. (1988). Mental rotation: Effects of dimensionality of objects and type of task.(1), 3–11.

Sun, Z. Q., Huang, Y., Yu, W. J., Zhang, M., Shui, R. D., & Gao, T. (2015). How to break the configuration of moving objects? Geometric invariance in visual working memory.(5), 1247–1259.

Treisman, A. (1996). The binding problem.,(2), 171–178.

Treisman, A. (1998). Feature binding, attention and object perception.,(1373), 1295–1306.

Tulving, E., & Thomson, D. M. (1973). Encoding specificity and retrieval processes in episodic memory.(5), 352–373.

Vogel, E. K., Woodman, G. F., & Luck, S. J. (2001). Storage of features, conjunctions, and objects in visual working memory.,(1), 92–114.

Wheeler, M. E., & Treisman, A. M. (2002). Binding in short-term visual memory.,(1), 48–64.

Wickelgren, I. (1997). Getting a grasp on working memory.(5306), 1580–1582.

Wilken, P., & Ma, W. J. (2004). A detection theory account of change detection.(12), 1–11.

Woodman, G. F., Vecera, S. P., & Luck, S. J. (2003). Perceptual organization influences visual working memory.,(1), 80–87.

Xu, Y. D., & Chun, M. M. (2007). Visual grouping in human parietal cortex.,(47), 18766–18771.

Zelinsky, G. J., & Loschky, L. C. (2005). Eye movements serialize memory for objects in scenes.,(4), 676–690.

Zhang, W. W., & Luck, S. J. (2008). Discrete fixed-resolution representations in visual working memory.(7192), 233–235.

Zhao, L., Gao, Q. Y., Ye, Y., Zhou, J. F., Shui, R. D., & Shen, M. (2014). The role of spatial configuration in multiple identity tracking.(4), e93835.

Effect of spatial position based configuration on visual working memory performance

HUANG Yushang; CAO Liren

(Department of Psychology and Behavioral Science, Zhejiang University, Hangzhou 310028, China)

It has been widely acknowledged that visual working memory (VWM) only maintains and manipulates a limited amount of visual information (e.g. 3~4 objects). Studies on how VWM stores and processes objects have been effective and have yielded useful results. Previous studies in this field are focused on the processing mechanisms of individual objects. However, the mechanisms for grouping and organization of visual objects have received an increasing amount of attention recently. Among numerous types of organizations, configuration, i.e. the spatial formation of visual objects, plays a vital role in understanding the flexibility of human VWM. Many studies have shown that configuration had significant influence on VWM performance. However, configuration was usually employed as an approach to explore the effect of other factors on the memory system. Only a few studies have directly addressed the mechanism of the configuration VWM. In this study, we attempt to determine the critical factor of the information contained in a given configuration that influences VWM. We then attempt to outline the underlying mechanism of the processing in memory system for a given configuration.

In experiments 1 and 2, we separately controlled the variation of two aspects for a given configuration: the spatial position (i.e. relative position of an object described in left, right, and up/down, will be changed when configuration rotates), and the geometric shape (i.e., shape of the polygon with the objects as its vertexes, irrelevant to rotation). These two factors might vary independently or simultaneously. If the spatial position is the dominant factor in the influence of configuration on VWM, the performance will improve when the spatial position is kept constant. Consequently, broken or rotated geometric shapes will not affect memory performance. If geometric shape is the critical factor, the effects would be in reverse, wherein the performance would improve if the geometric shape is kept constant. The results from our experiments indicate that spatial position is the dominant factor. There was no significant difference on VWM performance between same-position-different- shape conditions (geometric shape varied while spatial position preserved) and the baseline condition (configuration were completely identical). The memory performance declined significantly against the baseline level when spatial position changed, regardless of the geometric shape.

In experiment 3, we systematically considered the rotation of a given configuration. A rotation clue was provided such that mental rotation can be conducted on the previewed configuration. The paradigms were identical to experiments 1 and 2; however, the controlled factor of experiment 3 was the consistency between the rotation clue and the spatial position/geometric shape in test phase. When spatial position is consistent with the rotation clue, the memory performance was better. Once again, the geometric shape showed no significant effect.

These findings suggest the following: First, when a given configuration boost the efficiency of VWM, the primary factor is the spatial position of the object. Second, the overall geometric shape has no significant influence on VWM performance. Third, the role of these two factors maintains the same under mental rotation of a given configuration.

visual working memory; objects; configuration

2017-05-15

曹立人, E-mail: caoliren2000@163.com

10.3724/SP.J.1041.2018.01222

B842