物体颜色对情景记忆的影响*

周文洁 邓丽群 丁锦红

物体颜色对情景记忆的影响

周文洁邓丽群丁锦红

(首都师范大学心理学院, 北京市“学习与认知”重点实验室, 北京 100048) (新乡医学院心理学院, 河南 新乡 453003)

本研究采用ERP技术和学习−再认范式考察视觉输入的颜色和记忆中的物体颜色知识一致性对情景记忆编码和提取的影响。结果显示, 在对物体图片进行编码时颜色不一致图片诱发更大N400, 而提取阶段则对颜色一致图片有更多熟悉性加工(实验1); 物体名称能够更快激活典型颜色知识, 对颜色一致名称有更多细节回想(LPC更正) (实验2)。实验结果表明, 颜色一致促进知觉水平的记忆编码, 而阻碍语义水平编码。同时, 颜色一致促进物体图片提取(知觉水平)中的熟悉性和回想过程; 而对物体名称提取(概念水平)的促进作用仅表现在回想上。此外, 颜色与物体名称有着密切联系, 同样影响物体的语义表征, 支持激活−扩散模型理论。本研究从知觉和概念水平上为揭示物体颜色在联结记忆中的作用提供了证据。

颜色诊断性, 情景记忆, ERPs, 熟悉性, 回想

1 引言

情景记忆(episodic memory)是个体对特定时间和空间场景下发生的事件、经验的记忆; 其中的项目记忆(item memory)是对情景中单个项目的记忆, 而联结记忆(associative memory)则是对项目与项目之间、项目与背景之间联结关系的记忆(Cohen & Eichenbaum, 1993; Konkel & Cohen, 2009; 梁九清, 郭春彦, 2012)。在项目内的联结记忆中, 项目与其知觉特征形成捆绑, 如单词与单词颜色、物体与物体位置、物体的颜色与形状捆绑成的联结记忆(Mayes et al., 2007)。因此, 在物体识别和记忆中, 其不同特征的编码、表征、存贮以及提取是项目内联结记忆的重要内容。

颜色作为物体的一种基本属性, 可以促进物体识别(Lewis et al., 2013; Vernon & Lloyd-Jones, 2003)。物体识别的“形状+表面” (Shape+Surface)模型(Tanaka et al., 2001) (见图1)将颜色区分为物体表面颜色和颜色知识。物体表面颜色是知觉过程中的物体颜色(如红色草莓)。而颜色知识则是该物体的典型颜色信息(如草莓通常是红色的); 它从长期生活实践中获得, 以语义或视觉形式存储在长时记忆中。物体的颜色知识可以分别由视觉图像(知觉)和词汇标签(概念)激活; 但词汇标签比直接的视觉形象更容易激活物体的颜色知识(Huettig & Altmann, 2011; Naor et al., 2003)。

图1 “形状+表面”识别模型(修改自Tanaka, Weiskopf, & Williams, 2001)

物体的颜色知识提取与颜色代表性或颜色诊断性(color diagnosticity)有关。颜色诊断性是颜色与某一特定物体联系或象征某一物体的程度(Tanaka & Presnell, 1999), 如香蕉与黄色密切相连, 而梳子并没有特定的关联颜色。元分析研究(Bramão, Reis et al.,2011)表明, 颜色显著促进高颜色诊断性物体的识别。因为高颜色诊断性物体的心理表征既会受到自下而上的颜色知觉激活, 也有自上而下的颜色知识促进作用(Bramão et al., 2010; Bramão et al., 2016)。由此可见, 颜色与其他特征的绑定提高了颜色在物体中的诊断性, 从而促进物体在编码和表征过程中初级知觉水平和高级认知检索的加工(Spence et al., 2006; Teichmann et al., 2020)。

在视觉长时记忆中, 信息表征由基于特征和基于物体的两个独立子系统构成。前者以独立特征形式存储视觉经验, 而后者则以整个物体形式存储视觉信息; 两者可以根据当前任务要求, 灵活地存储输入信息(Spachtholz & Kuhbandner, 2017; 宋超等, 2016)。因此, 物体及其颜色等特征在记忆系统中的编码与表征影响着信息的存储和提取。这是由于颜色改善了神经网络的连接功能, 提高大脑信息加工效率(Chai et al., 2019); 增强注意唤醒, 使标定颜色的物体被优先加工(Lee et al., 2018); 同时, 它还强化记忆编码, 增加刺激被成功编码、储存和提取的机会, 从而提高记忆成绩(Dzulkifli & Mustafar, 2013)。

情景记忆中, 颜色及颜色知识不仅影响物体的心理表征与编码; 在提取信息时, 既包括刚刚形成的形状−颜色临时联结, 也有存储于长时记忆中较为牢固的形状−颜色联结, 两者相互作用, 共同阻碍或促进项目内联结记忆信息的提取(Yonelinas, 2002)。因此, 情景记忆中的物体信息不仅涉及颜色、形状等独立特征, 还涉及特征之间的关系(捆绑)等因素。根据“形状+表面”模型(Tanaka et al., 2001), 物体图像和文字标签均可以激活存储的颜色知识(视觉颜色知识、语义颜色知识); 它们分别代表低水平知觉加工和高水平语义(概念)加工两种层次, 即颜色具有抽象(语义)与形象(视觉)双重特性。例如, “看到红色苹果”和“知道苹果是红色的”是两种对颜色的不同认知操作。前者是颜色知觉, 而后者则是对物体颜色知识的提取; 两者相互作用。

根据记忆的双加工理论, 情景记忆的再认提取包含熟悉性和回想两个基本成分(Brainerd et al., 1995; Hintzman & Curran, 1994; Jacoby, 1991; Mandler, 1980; Yonelinas, 1994)。熟悉性是对信息强度(量)的提取(Evans & Wilding, 2012; Yonelinas, 2002); 受知觉和概念变量的双重调节(Boldini et al., 2008), 既有知觉水平加工, 也有概念水平加工(Bruett & Leynes, 2015; Yonelinas, 2002); 它对物体内在特征敏感, 不受背景信息影响(Ecker et al., 2007)。熟悉性主要表现在300~500 ms额区(FN400, Frontal Negativity)的ERP新旧效应(Curran, 2000; Rugg & Curran, 2007)。而回想则是对记忆信息性质(质)的提取(Evans & Wilding, 2012; Yonelinas, 2002), 更多指向概念水平加工(Bruett & Leynes, 2015; Yonelinas, 2002), 同时受到物体的固有(典型颜色、形状等)和临时(非典型颜色、背景)信息调节(Ecker et al., 2007); 它取决于编码过程、当前信息的特征以及记忆背景等之间的相互作用(Leynes & Crawford, 2018)。回想主要表现在400~800 ms左侧顶区的头皮ERP新旧效应(Curran, 2000; Rugg & Curran, 2007)。

综上所述, 颜色输入可以分别激活记忆系统中的知觉(视觉)和概念(语义)表征; 两种表征相互作用, 以促进物体信息的再认提取(Lu et al., 2010)。在再认提取过程中, 必然涉及熟悉性和回想两个基本成分。然而, 到目前为止, 人们对物体颜色信息的不同加工水平(知觉与概念)与情景记忆提取成分(熟悉性与回想)之间的关系还缺乏全面认识。一方面, 虽然多数行为和ERP研究表明, 颜色正确捆绑物体(黄色香蕉)的再认效果优于错误捆绑物体(紫色香蕉); 颜色变化干扰了情景记忆提取(Dzulkifli & Mustafar, 2013; Mayes et al., 2007; Vernon & Lloyd-Jones, 2003)。但也有研究(Ludajić & Zdravković, 2016; Tanaka et al., 2001)表明, 物体形状对识别更重要; 只有当形状模糊或缺失时, 颜色才起促进作用。而Cycowicz等(2008)用物体的自然和非自然颜色绘制的素描图作为刺激, 通过学习−再认范式进一步发现, 项目再认记忆任务中, 与自然颜色物体相比, 非自然颜色物体在500~600 ms时段诱发更正的ERP反应。Cycowicz等认为, 非自然颜色物体更为新奇, 编码过程中产生更多语义激活和背景线索以及更多回想, 从而促进了其再认提取。因此, 物体颜色的作用仍然存在争议。

另一方面, Nyhus和Curran (2009)通过词汇的语义和知觉特征匹配任务证明, 语义编码任务(概念)和词中特定信息的知觉匹配(知觉)通过影响熟悉性(FN400, 300~500 ms)和回想(500~800 ms, LPC, late positive component)过程而获得更好的再认记忆。但Nyhus等研究中并没有涉及颜色的作用。而Cui等(2016)采用非自然物体(人造形状)在知觉加工(判断物体颜色或形状)和概念加工(将刺激想象成有意义的物体)条件下探讨物体颜色变化对情景再认提取的影响。研究结果表明, 在两种任务中, 颜色一致项目的再认准确率高于不一致项目, 颜色变化显著影响再认准确性。尽管这两个任务都表现出明显的熟悉性(再认记忆成绩远高于机遇水平), 但FN400效应仅出现在概念加工任务中, 而不是知觉加工任务中。Cui等的研究使用的是非自然物体, 颜色与物体之间是暂时性联结, 无法反映高颜色诊断性(物体颜色知识)的作用。其次, 他们的实验中采用“想象”任务进行概念水平加工, 受个体差异等影响较大。由于对高颜色诊断性物体来说, 颜色信息激活了形状和典型颜色之间的联结, 自上而下参与到物体的心理表征和加工过程(Dzulkifli & Mustafar, 2013)。因此, 从自然物体(考虑颜色诊断性)角度进一步探讨物体颜色在不同加工方式(知觉和语义)与再认提取中的熟悉性和回想之间的关系中所起的作用可以帮助人们更好理解情景记忆提取的本质。

记忆系统中物体的形状和颜色等特征以协同方式编码、以相互独立的方式存贮、以相互作用的方式提取(Kuhbandner et al., 2015; Vurro et al., 2013)。处于知觉水平的视觉颜色与知觉加工所激活的长时记忆编码都具有知觉性质, 因此, 在知觉判断时, 视觉颜色具有促进作用; 而在再认提取时则容易产生干扰。相反, 在概念水平加工中, 视觉颜色与记忆中物体颜色语义知识之间差异较大, 对语义判断起到了阻碍和延缓作用; 而在再认提取时干扰程度较小。由于再认提取物体信息时, 知觉与语义概念的表征相互作用(Lu et al., 2010); 而熟悉性同时受知觉和概念变量的调节(Boldini et al., 2008), 因此, 不论在知觉水平还是概念水平上, 视觉颜色影响都比较大。在回想过程中更多激活了项目细节(名称颜色)的表征(Yonelinas, 2002), 而物体语义颜色知识(自然颜色)的激活相对较多, 因而受视觉颜色影响更大。我们据此假设, 颜色信息在知觉加工水平上可以促进记忆编码, 而在概念水平上则表现出抑制作用; 再认提取过程中, 颜色信息在知觉水平上对熟悉性和回想均产生较大影响, 而在概念水平上, 回想受影响更大, 熟悉性受影响较小。为了验证上述假设, 本研究采用ERP技术和学习−测验范式, 通过两个实验以高颜色诊断性物体的图片和名称为材料, 分别在知觉水平(物体图片判断)加工(实验1)和概念水平(物体名称判断)加工(实验2)条件下, 探讨视觉颜色输入和物体颜色知识之间的一致性对情景记忆中联结记忆编码和提取的影响。我们推测, 在编码阶段, 知觉水平条件下颜色一致项目比不一致项目的知觉判断成绩更好, 而概念水平下则相反; 知觉水平条件下可以观察到颜色一致项目与不一致项目诱发的ERP差异; 而概念水平加工中则没有这种差异。在提取阶段, 知觉加工条件下FN400和LPC新旧效应更加明显, 同时, 颜色一致项目比不一致项目诱发更大ERP反应; 而概念加工条件下仅有LPC新旧效应更大。

2 实验1：颜色对物体图片情景记忆的影响

2.1 方法

2.1.1 被试

在校大学生28名(13名男生, 15名女生), 年龄在22岁到25岁之间, 平均年龄23.59岁。1名被试因频繁头动影响数据质量, 数据未纳入后续分析。结合类似研究的效应量(Cycowicz et al., 2008), 计算得到目标效应量ω为0.64。根据GPower 3.1软件, 在统计检验力1 – β = 0.80, α = 0.05的前提下, 进行重复测量检验需要的被试量为21人。所有被试均为右利手, 视力或者矫正视力正常, 色觉正常, 无精神病史或者脑部疾病史。实验结束后付给被试一定报酬。

2.1.2 实验材料与仪器

选取日常生活中人们非常熟悉且具有典型颜色的物体图片, 如芹菜、香蕉、青蛙、松树等。图片大小约为2°×2°视角, 背景均为白色。招募40名大学生对物体的熟悉性进行5点等级评定(1为非常不熟悉, 5为非常熟悉), 筛选出熟悉性等级大于4.0的图片。使用绘图软件将每种物体图片设置为两种不同颜色, 即与物体实际典型颜色相符的颜色一致图片和颜色不符的颜色不一致图片。另外, 再请40名大学生对图片物体颜色与现实物体颜色的一致性进行5点等级评定(1为非常不一致, 5为非常一致), 将一致性等级大于4.0的定义为颜色一致图片, 一致性等级小于2.0的定义为颜色不一致图片, 每一种物体只有一种条件(颜色一致或颜色不一致)的图片进入实验材料库, 两种条件各128张, 共256张物体图片作为实验材料。

使用Neuroscan公司生产的64导脑电记录分析系统和Ag/AgCl电极帽, 连续记录每个任务序列的脑电信号(EEG)。电极位置采用10/20扩展电极系统。另外, 4个电极记录眼电, 包括左眼眶上、下侧2个电极记录垂直眼电以及双眼外侧的2个电极记录水平眼电。参考电极置于左右乳突, 接地点位于FPz和Fz连线中点处。A/D采样率为500 Hz。电极与头皮接触电阻均保持小于5 kΩ。刺激呈现在19英寸显示器上, 距离被试约80 cm。实验过程由E-Prime程序控制。

2.1.3 实验设计

实验采用2(颜色一致性：一致、不一致) × 2(图片新旧：新、旧)被试内设计和学习−测验范式。学习阶段(编码)的自变量为颜色一致性(一致、不一致); 提取阶段自变量为颜色一致性(一致、不一致)和图片新旧(新、旧)。

2.1.4 实验程序

实验流程见图2。在学习编码阶段, 屏幕中央首先呈现一个提示信号“+”, 持续时间随机400~600 ms。随后呈现一张物体图片, 持续500 ms。图片消失后空屏1000 ms。被试的任务是判断呈现图片颜色与物体自然颜色是否一致, 并尽快通过鼠标左右按键做出反应。然后, 依次学习下一张图片。学习完16张图片后(颜色一致与不一致各半), 屏幕中央呈现一个三位数字, 要求被试进行倒减3的运算并大声报告结果, 持续时间1分钟, 以防止被试对刚才出现的刺激进行复述。随后, 对32张图片进行再认测验(16张新图片、16张旧图片)。再认阶段的流程与学习阶段相似, 不同的是被试任务为判断图片是否学习过, 并通过按键做出反应。学习和再认新图片各有128张(一致与不一致各64张), 共分成8个学习−再认组块; 不同类型图片以随机顺序呈现。在实验过程中要求被试又快又准确的进行反应, 在刺激呈现时尽量减少眨眼, 对左右按键进行被试间平衡。在正式实验开始之前让被试进行一组练习。

2.1.5 脑电数据分析方法

离线分析脑电数据时, 以双侧乳突的平均电压值进行重新参考, 刺激呈现–100~0 ms作为基线进行校正; 以±75 μv标准排除伴有眨眼、肌电等伪迹数据和错误反应试次的脑波; 以0.01~40 Hz范围进行带通滤波。在学习阶段, 刺激呈现300~500 ms期间, 完成物体表征(Schendan & Kutas, 2002); 在词汇理解中这正是获得词义的N400所在时段(Balass et al., 2010)。参照Lu等(2010)的研究, 本研究选择375~475 ms时段作为N400观察时窗(物体识别早期阶段)。同时, 将500~700 ms (P600)作为物体晚期识别的指标(Schendan & Kutas, 2002, 2003)。在提取阶段, 则根据Curran (2000)及Rugg和Curran (2007)等研究分别选取刺激呈现300~500 ms和500~800 ms作为熟悉性和回想所对应的时窗。依照上述时窗, 分别选取12个代表性电极, 包括额区(F3、Fz、F4)、额中区(FC3、FCz、FC4)、中央顶区(CP3、CPz、CP4)和顶区(P3、Pz、P4); 并计算学习和再认阶段各时窗不同条件下平均波幅; 按颜色一致性(一致、不一致)、图片新旧(新、旧)和脑区位置(额区、额中区、中央顶区和顶区)等因素进行统计分析。对不满足球形假设的统计效应采用Greenhouse-Geissser法进行矫正。

2.2 实验结果

2.2.1 行为数据

在学习编码阶段(见图3), 被试对颜色一致图片判断的正确率(94.76%)显著高于颜色不一致图片(88.11%),(1, 26) = 30.73,< 0.001, η= 0.54; 对颜色一致图片的反应时(676.39 ms)显著快于颜色不一致图片(717.72 ms),(1, 26) = 41.28,< 0.001, η= 0.62。

图2 实验1流程图

图3 不同条件下物体图片的学习与再认成绩(注：***表示p < 0.001)

图4 学习阶段颜色一致与颜色不一致图片的ERP波形和差异波(颜色一致–颜色不一致)地形图分布

再认阶段的行为反应结果见图3。对再认正确率进行2(颜色一致性) × 2(新旧图片)重复测量方差分析结果显示, 颜色一致图片的再认正确率(91.10%)显著高于颜色不一致图片(84.60%),(1, 26) = 36.40,< 0.001, η= 0.58; 对新图片的再认正确率(90.30%)显著高于旧图片(85.40%),(1, 26) = 6.70,= 0.016, η= 0.21。颜色一致性与新旧图片存在显著的交互作用,(1, 26) = 47.30,< 0.001, η= 0.65。简单效应分析表明, 对旧图片而言, 颜色一致图片的再认正确率(94.35%)显著高于颜色不一致图片(76.46%),(1, 26) = 59.45,< 0.001, η= 0.70; 而颜色一致和不一致的新图片再认正确率之间无显著差异, 正确率分别为87.86%和92.80%。

再认反应时的颜色一致性和新旧图片之间交互作用显著,(1, 26) = 85.47,< 0.001, η= 0.77。简单效应分析表明, 图片为旧时, 颜色一致图片的反应时(649.95 ms)显著短于颜色不一致图片的反应时(743.29 ms),(1, 26) = 139.62,< 0.001, η= 0.84; 而新图片时, 颜色一致与不一致图片的反应时之间无显著差异, 分别为718.26 ms和720.41 ms。

2.2.2 学习阶段ERPs分析

我们分别对375~475 ms和500~700 ms两个时段进行了2(颜色一致性：一致、不一致) × 4(脑区：额区、额中区、中央顶区和顶区)两因素重复测量方差分析, 波形图和差异波地形图见图4。在375~475 ms时间窗口内, 方差分析表明, 颜色不一致图片比一致图片诱发更负波幅,(1, 26) = 4.77,= 0.039, η= 0.16。脑区主效应显著[(3, 78) = 48.21,< 0.001, η= 0.66], 额区和额中区的波幅显著负于中央顶区和顶区(s < 0.001)。颜色一致性和脑区位置的交互作用显著[(3, 78) = 3.32,= 0.024, η= 0.12], 在额区, 颜色不一致图片波幅显著更负[(1, 26) = 7.61,= 0.011, η= 0.23]。在500~700 ms 时间窗口内, 颜色一致性主效应不显著。脑区位置主效应显著[(3, 78) = 39.80,< 0.001, η= 0.62], 额区和额中区的波幅显著负于中央顶区和顶区(s < 0.001)。颜色一致性和脑区位置的交互作用不显著。因此, 375~475 ms时窗内, 颜色不一致图片在额区、额中区引发更大的负向波幅(N400), 即产生了明显的语义冲突。

2.2.3 再认阶段ERPs分析

再认阶段主要对300~500 ms、500~800 ms两个时段(见图5)进行2(颜色一致性：一致、不一致) × 2(新旧效应：新图片、旧图片) × 4(脑区：额区、额中区、中央顶区和顶区)三因素重复测量方差分析。波形图和差异波地形图见图5。

(1) FN400新旧效应分析(300~500 ms)

在300~500 ms时间窗口内, 颜色一致性主效应显著[(1, 26) = 9.20,= 0.006, η= 0.27], 颜色不一致图片波幅更负。图片新旧主效应显著[(1, 26) = 29.18,< 0.001, η= 0.54], 相较于新图片, 旧图片引起的波幅更正。不同脑区主效应显著[(3, 78) = 37.30,< 0.001, η= 0.60], 额区和额中区的波幅更负(s < 0.001)。图片新旧和脑区交互显著[(3, 78) = 7.65,< 0.001, η= 0.23], 简单效应分析表明在各个脑区, 均有显著的图片新旧差异[(1, 26) = 16.74,< 0.001, η= 0.40;(1, 26) = 20.01,< 0.001, η= 0.45;(1, 26) = 38.26,< 0.001, η= 0.61;(1, 26) = 37.32,< 0.001, η= 0.60], 旧图片均引发更正的波幅, 即表现为早期FN400新旧效应。颜色一致性和脑区交互显著[(3, 78) = 4.51,= 0.006, η= 0.15], 简单效应分析表明在额区、额中区和中央顶区, 颜色不一致图片的波幅更负[(1, 26) = 15.56,< 0.001, η= 0.38;(1, 26) = 10.19,= 0.004, η= 0.29;(1, 26) = 7.12,= 0.013, η= 0.22]。三因素交互不显著。上述结果表明, 300~500 ms时窗内, 在各脑区均产生FN400新旧效应, 即对于颜色一致和颜色不一致旧图片, 被试均自动化的产生了对项目的熟悉性。

(2) LPC新旧效应分析(500~800 ms)

在500~800 ms时间窗口内, 脑区主效应显著[(3, 78) = 30.34,< 0.001, η= 0.55], 额区和额中区的波幅更负(s < 0.001)。图片新旧和颜色一致性交互显著,(1, 26) = 4.71,= 0.04, η= 0.16; 简单效应分析表明, 颜色不一致图片时, 新旧图片波幅差异边缘显著[(1, 26) = 3.54,= 0.07, η= 0.12], 旧图片的波幅更正, 表现为LPC新旧效应。颜色一致图片时, 新旧图片波幅差异不显著。图片新旧和脑区交互显著,(3, 78) = 6.95,< 0.001, η= 0.22; 简单效应分析表明, 在中央顶区和顶区新旧差异显著, 旧图片的波幅更正[(1, 26) = 4.52,= 0.04, η= 0.15;(1, 26) = 5.10,= 0.03, η= 0.17]。其他交互作用不显著。该结果表明, 500~800 ms时窗, 颜色不一致条件引发LPC新旧效应, 主要体现在中央顶区、顶区; 这表明被试进行了更多的细节回想。

图5 再认阶段不同颜色一致性条件下的新旧效应及新旧效应(旧–新)地形图分布

2.3 讨论

在实验1的学习阶段, 相比于颜色不一致图片, 被试对颜色一致图片的颜色判断正确率更高, 反应时更快。这与Vernon和Lloyd-Jones (2003)的研究结果一致。当被试对高颜色诊断性物体图片进行编码时, 会激活该物体的心理表征和长时记忆中的物体颜色知识, 这些信息自上而上的影响识别过程(Bramão, Faísca et al., 2011)。当物体图片颜色与长时记忆中储存的该物体颜色与形状联结一致时, 判断更为准确、迅速。ERPs数据分析表明, 在375~475 ms时段(N400), 颜色不一致比一致图片有更负向的波幅变化。从N400的意义(Kutas & Hillyard, 1980)来看, 一方面, 由于实验中物体颜色与其本色冲突, 引发了更大N400; 另一方面, 可能说明在识别颜色不一致物体图片时需要更多语义加工。这与探讨颜色对物体识别影响的相关研究结果一致(Bramão, Reis et al., 2011; Bramão et al., 2012, 2016)。Schendanq和Kutas (2002, 2003)将物体识别划分为早期(N350或N400)和后期(P600)两个阶段。实验1的ERP结果说明, 在颜色物体识别中, 颜色语义概念表征主要发生在早期阶段。

再认成绩显示, 对颜色一致旧图片的再认正确率显著高于颜色不一致图片, 且反应时更快。而对新图片而言, 颜色一致和不一致图片的再认正确率、反应时无显著差异。即信息提取阶段, 长时记忆中的颜色知识可以促进对颜色一致图片的再认, 而阻碍或干扰颜色不一致图片的再认。再认提取过程中, FN400效应(300~500 ms)代表对项目的熟悉性, 但不包含更多的细节信息, 是一个快速自动化的过程(Stróżak et al., 2016)。在实验1中, 300~500 ms时段内旧图片比新图片诱发更正的ERP波幅, 表现为早期FN400新旧效应, 各个脑区均观测到; 而颜色一致和不一致条件下的新旧效应大小没有显著差异。这表明对颜色一致和不一致旧图片均自动产生了项目熟悉性。在500~800 ms时段, 颜色不一致条件下, 旧图片的波幅大于新图片, 表现为LPC新旧效应, 集中在中央顶区和顶区。颜色一致条件下, 未发现显著的新旧效应。LPC成分是相对缓慢并需要意志努力控制的加工过程, 反映对编码项目具体背景和细节信息的回想(Yonelinas, 2002)。结果显示被试在提取颜色不一致旧项目时进行了更多的细节回想, 颜色知识的激活参与了物体表征, 个体需要进行更多的细节回忆; 同时, 对颜色一致图片的回想则不需要太多的细节并且更快(潜伏期更短)。由此可见, 颜色信息促进了颜色一致图片的回想提取; 而延缓了颜色不一致图片的回想提取。

3 实验2：颜色对物体名称情景记忆的影响

在实验1中, 颜色知识对高颜色诊断性物体图片情景记忆编码和提取均产生影响。而在长时记忆中, 信息主要以语义编码方式储存, 对颜色一致和颜色不一致物体的记忆差异涉及颜色语义知识的激活。根据“形状+表面”模型, 物体图像和文字标签均可以激活存储的颜色知识(视觉颜色知识、语义颜色知识), 词汇标签比直接的视知觉更容易激活物体的颜色知识(Huettig & Altmann, 2011), 这也代表低水平视觉加工和高水平语义加工两种层次。因此, 实验2将探讨由名称标签引发的颜色知识对高颜色诊断性物体名称情景记忆编码和提取的影响。

3.1 研究方法

3.1.1 被试

选取在校大学生25名(10名男生、15名女生), 年龄从18岁到25岁(平均21.53岁)。所有被试均为右利手, 视力或者矫正视力正常, 无色盲色弱, 无精神病史或脑部疾病史。实验结束后付给被试一定报酬。

3.1.2 实验材料与仪器

以文字形式呈现高颜色诊断性物体的名称, 每个名称分别由不同颜色书写, 一种字体颜色与该物体典型颜色一致, 即颜色一致名称, 如用红色书写的“苹果”。另一种字体颜色与物体典型颜色不一致, 即颜色不一致名称, 如用蓝色书写的“菠萝”。字体为加粗宋体, 大小约为2°×2°视角。

实验仪器与实验1相同。

3.1.3 实验设计

实验设计同实验1。

3.1.4 实验程序

实验程序由E-prime软件编写, 流程见图6。实验过程与实验1相同, 只是实验材料由图片变成了物体名称词语。

现阶段在泰煤家园改造中居民参与有效性不高：主要表现为一是居民参与主体缺乏组织性；二是居民参与领域信息不对称；三是居民参与方式较为被动。

3.2 实验结果

3.2.1 行为结果

在编码阶段(见图7), 被试对颜色一致名称的辨别正确率(81.90%)显著低于颜色不一致名称(92.90%),(1, 24) = 57.23,< 0.001, η= 0.71。两者的反应时差异不显著, 分别为798.89 ms和788.97 ms。

再认阶段的行为结果见图7。对再认正确率进行2(颜色−名称一致性) × 2(新、旧名称)重复测量方差分析表明, 颜色−名称一致性与新旧项目之间交互显著,(1, 24) = 58.42,< 0.001, η= 0.71。简单效应分析表明, 颜色一致旧名称的正确率(92.31%)显著高于颜色不一致旧名称(72.39%),(1, 24) = 66.75,< 0.001, η= 0.74。对于新名称, 颜色一致名称的正确率(87.82%)显著低于颜色不一致名称(92.33%),(1, 24) = 7.12,= 0.013, η= 0.23。

在反应时方面, 颜色−名称一致性与新旧名称之间的交互作用显著,(1, 24) = 53.93,< 0.001, η= 0.69。简单效应分析表明, 对于旧名称, 颜色−名称一致的反应时(723.08 ms)显著小于不一致条件(797.50 ms),(1, 24) = 62.85,< 0.001, η= 0.72。对于新名称而言, 颜色−名称不一致的反应时(729.33 ms)显著快于颜色−名称一致条件(746.65 ms),(1, 24) = 12.83,= 0.002, η= 0.35。

3.2.2 学习阶段ERPs分析

学习阶段的脑电分析(见图8)选取375~475 ms和500~700 ms两个时段进行2(颜色−名称一致性：一致、不一致) × 4(脑区：额区、额中区、中央顶区和顶区)两因素重复测量方差分析。在375~475 ms时间窗口内, 未发现颜色−名称一致性主效应; 脑区位置主效应显著[(3, 72) = 17.38,< 0.001, η= 0.42], 额区、额中区波幅显著负于中央顶区和顶区(s < 0.05); 两因交互作用不显著。在500~700 ms时间窗口内, 未发现颜色−名称一致性主效应; 脑区位置主效应显著[(3, 72)13.60,< 0.001, η=0.36], 额区、额中区波幅显著负于中央顶区和顶区(s < 0.01); 两因素交互作用不显著。因此, 颜色在学习物体名称时并没有产生作用。

图6 实验2流程图

注：彩图见电子版

图7 不同条件下物体名称的学习与再认成绩(注：*表示p < 0.05, **表示p < 0.01, ***表示p < 0.001)

图8 学习阶段颜色一致与颜色不一致名称的ERP波形和差异波(颜色一致–颜色不一致)地形图分布

图9 再认阶段不同颜色一致性条件下的新旧效应及新旧效应(旧–新)地形图分布

3.2.3 再认阶段ERPs分析

(1) FN400新旧效应分析(300~500 ms)

在300~500 ms时间窗口内, 名称新旧主效应显著[(1, 24) = 25.57,< 0.001, η= 0.52], 旧名称比新名称诱发的波幅更正。颜色一致性主效应边缘显著[(1, 24) = 4.26,= 0.05, η= 0.15], 颜色不一致名称波幅更负。脑区位置主效应显著[(3, 72) = 24.39,< 0.001, η= 0.50], 额区、额中区波幅显著负于中央顶区和顶区(s < 0.01)。三因素交互作用显著,(3, 72) = 6.56,= 0.001, η= 0.22。进一步简单效应分析表明, 在额区名称新旧与颜色一致性交互显著[(1, 24) = 6.07,= 0.021, η= 0.22], 颜色一致条件下, 旧名称波幅显著大于新名称[(1, 24) = 25.62,< 0.001, η= 0.52], 表现为新旧效应; 颜色不一致条件下, 新旧名称波幅差异边缘显著[(1, 24) = 3.66,= 0.062, η= 0.13], 旧名称波幅更正。在额中区, 名称新旧与颜色一致性交互显著[(1, 24) = 7.51,= 0.011, η= 0.24], 颜色一致与不一致条件下, 旧名称波幅均大于新名称[(1, 24) = 24.03,< 0.001, η= 0.50;(1, 24) = 4.89,= 0.037, η= 0.17]。在中央顶区和顶区, 均发现名称新旧效应[(1, 24) = 24.29,< 0.001, η= 0.50;(1, 24) = 27.51,< 0.001, η= 0.53], 旧名称引发更正的波幅。其他效应均不显著。

颜色一致与不一致名称条件下, 均有显著的新旧效应, 因此将旧名称波幅减去新名称波幅, 得到不同条件下的新旧效应值作为因变量, 进行2(颜色−名称一致性：一致、不一致) × 4(脑区：额区、额中区、中央顶区和顶区)差异波分析。颜色一致性和脑区交互显著[(3, 72) = 6.56,= 0.001, η= 0.22], 简单效应分析表明在额区和额中区, 颜色一致名称的新旧效应显著大于颜色不一致名称[(1, 24) = 6.07,= 0.021, η= 0.20;(1, 24) = 7.51,= 0.011, η= 0.24]。该结果表明, 在额区、额中区, 颜色一致名称引发更大的FN400新旧效应, 被试有更多的项目熟悉性。

(2) LPC新旧效应分析(500~800 ms)

在500~800 ms时间窗口内, 名称新旧主效应显著[(1, 24) = 6.71,= 0.016, η= 0.22], 旧名称波幅更正。颜色一致性主效应显著[(1, 24) = 7.42,= 0.012, η= 0.24], 颜色不一致名称波幅更负。脑区主效应显著[(3, 72) = 15.95,< 0.001, η= 0.40], 额区和额中区波幅显著负于中央顶区和顶区(s < 0.01)。名称新旧和颜色一致性两因素交互显著,(1, 24) = 5.35,= 0.03, η= 0.18。简单效应分析表明, 对于颜色一致名称, 旧名称波幅更正,(1, 24) = 18.10,< 0.001, η= 0.438。对于颜色不一致名称, 新旧名称的波幅差异不显著。其他效应均不显著。进行差异波分析(旧名称–新名称), 颜色一致名称的新旧效应显著大于颜色不一致名称,(1, 24) = 5.35,= 0.030, η= 0.18。由此可见, 颜色一致名称引发更大的LPC新旧效应, 这表明有更多线索信息被激活, 被试产生更丰富的细节回想。

3.3 讨论

不同于实验1, 实验2的学习阶段颜色一致性判断任务中, 颜色不一致名称的颜色判断正确率更高。实验2中, 物体名称的颜色以视觉方式输入; 而物体名称则激活物体不同特征的语义表征(Collins & Loftus, 1975)。视觉输入所形成的颜色表征与物体名称所激活的自然颜色知识(语义表征)之间的比较过程需要更多转换(Kelter et al., 1984), 因而耗费更多资源。这反映在实验2学习阶段的反应时远大于实验1 (平均相差97 ms)上。此外, 由于记忆中物体颜色表征具有多重性(Vurro et al., 2013), 即同一物体可能有多种典型颜色, 如香蕉的典型颜色既有黄色, 也有绿色; 但不太可能是紫色。因此, 对紫色“香蕉”的否定判断要比对绿(或黄)色“香蕉”的肯定判断更加确定。此外, Lupyan (2015)认为, 当输入精度较高时, 表面颜色会由下至上更多的影响心理表征; 反之, 心理表征则更多受颜色知识影响。即实验1物体的心理表征更多的受表面颜色影响, 而实验2中物体的心理表征更多的受颜色知识影响。在判断准确性上表现出颜色不一致项目的辨认成绩优于一致项目。另一方面, 由于词语的加工可以更快的激活物体典型颜色语义知识和心理表征(Huettig & Altmann, 2011; Naor et al., 2003), 减弱了图片加工中因知觉颜色与长时记忆中颜色冲突带来的干扰, 表现出颜色一致与不一致名称的反应时之间没有显著差异。

再认阶段中, 一致旧名称的反应时和正确率均要好于不一致旧名称; 但颜色不一致新名称的反应时更快, 正确率更高。有研究(Brodeur et al., 2017)表明, 颜色一致物体会带来熟悉感, 个体倾向于判断“见过”该物体, 从而干扰记忆, 使得记忆准确性降低。由于典型颜色和物体名称存在密切联系, 被试在面对新的颜色一致名称时, 会觉得熟悉, 因而增加了判断难度, 使判断准确性降低。在300~500 ms内, 在各脑区均出现了传统的FN400新旧效应, 旧名称比新名称波幅更正; 但在额区和额中区, 颜色一致名称的新旧效应显著大于颜色不一致名称, 表明个体对颜色一致名称有更多的熟悉性。在500~ 800 ms内, 颜色一致名称的新旧效应显著大于颜色不一致名称, 即个体对颜色一致名称有更多细节回想, 促进了项目再认。

4 总讨论

4.1 颜色是物体识别的重要线索

实验1的学习阶段颜色判断任务结果显示, 颜色一致图片的反应时和正确率均优于颜色不一致图片, 与Vernon和Lloyd-Jones (2003)的研究结果一致。颜色作为物体的重要属性, 当前视觉输入的颜色与物体典型颜色一致时, 知觉输入信息和长时记忆中已经建立的形状−颜色表征相吻合, 因而有更快的反应和更高的准确率。相反, 当两者不一致时, 则会阻碍对物体的识别和颜色判断。这可能是由于当我们看到一个物体时, 它的颜色和形状以交互的方式并行处理, 两者结合起来形成统一表征(Bramão et al., 2012), 加工主要以视觉表征为主。根据记忆的激活−扩散理论(Collins & Loftus, 1975), 实验2中物体名称激活物体不同特征的语义表征, 而物体名称的颜色以视觉方式输入。由于两者编码方式的差异以及记忆中物体颜色表征具有多重性(Vurro et al., 2013), 造成对颜色一致物体名称的判断出现更多错误; 而在面对颜色不一致名称时, 颜色差异较大, 判断更加明确。

脑电结果进一步显示, 在学习阶段, 仅实验1中, N400表现出颜色一致性效应, 即颜色不一致图片比一致图片诱发更负向的ERP波幅。而实验1的P600以及实验2的N400、P600都没有明显的颜色一致性效应。物体图片识别(实验1)类似于图片场景效应对物体辨别的影响(300~500 ms) (Ganis & Kutas, 2003)以及非典型颜色物体识别(N350) (Bramão, Faísca et al., 2011)等; 反映了项目−场景不一致性调节了编码阶段的N400(Guillaume et al., 2020)。学习物体名称(实验2)则类似于汉语句子理解中实时对隐含的物体颜色信息进行心理模拟(李莹, 商玲玲, 2017), 物体名称激活长时记忆中物体特征表征并与当前视觉颜色进行匹配过程更加复杂(反应时延长), 视觉颜色的促进作用降低。总之, 根据Schendan和Kutas (2002, 2003)对物体识别早期(N350或N400)和晚期(P600)阶段的划分, 在物体图片识别中, 颜色语义概念表征主要发生在早期阶段(N400)。而物体名称判断中颜色语义表征则不受视觉颜色影响。

4.2 物体颜色与形状、语义表征的关联性

记忆系统中物体存储与表征方式灵活而复杂。在早期视觉加工阶段, 颜色信息与物体的其他表面特征(如形状、纹理等)被平行加工、捆绑, 共同影响物体的内部视觉表征(丁锦红, 林仲贤, 2000; 丁锦红等, 2004)。物体的这些特征在长时记忆中被分别存储, 同时存储的还有情景记忆中它们之间形成的联结(Brady et al., 2013; Brady et al., 2016; 丁锦红, 林仲贤, 2001)。回忆过程依赖于编码、信息特征和刺激背景之间的相互作用(Leynes & Crawford, 2018)。因此, 记忆的提取是对特征和联结信息的组合提取。就本研究而言, 颜色对物体再认的影响是通过颜色与形状以某种方式结合的表征而体现的。在一定程度上, 物体的表征系统能将任意不同的知觉信息捆绑到一起, 从而形成新的物体表征, 而不仅仅依赖于物体的外在特征。因为人的这种捆绑能力在8~10个月大就已具备(Oakes et al., 2017), 并且不会随年龄增加而减弱(Read et al., 2016)。存储在长时记忆中的颜色−形状联结和感知过程中临时输入的颜色−形状联结共同影响情景记忆提取。促进颜色一致旧图片再认的因素可能有两种, 一是依赖于长时记忆中已经存在的形状与颜色表征; 另一种是在学习阶段新形成的形状与颜色联结。而颜色不一致旧图片的再认则只有一种促进因素, 即在学习阶段新形成的形状与颜色联结, 同时还受到已有牢固联结的提取干扰。因此, 前者的反应要优于后者, 这与以往研究(Lloyd-Jones & Nakabayashi, 2009; Nagai & Yokosawa, 2003; Vernon & Lloyd-Jones, 2003)一致。

就颜色一致性而言, 颜色一致属于永久性捆绑, 而不一致则是暂时捆绑。对于物体图片和名称来说, 图片的加工更多基于视觉, 而名称则更多基于语义。在实验1与实验2中, 由于颜色知识与物体其他信息的捆绑强度并不相同; 此外, 物体不同特征之间的绑定需要消耗注意资源(Allen et al., 2012; Baddeley, 2002; Zokaei et al., 2014; 傅亚强, 2019)。因此, 在对物体图片和名称的颜色一致性进行表征时就会涉及不同类型加工。一种是自动处理特定知觉性的记忆表征(图片); 另一种则是处理抽象的、一般化的记忆表征(名称)。Küper和Zimmer (2018)认为这两种加工不仅可以调节回想, 也可以调节熟悉性; 更重要的是, 它们反映了情景记忆提取过程中优先处理的信息类型和相应的加工偏好。在本研究的编码阶段, 物体颜色促进图片识别, 而抑制物体名称判断。在提取阶段, 物体颜色对图片再认的促进作用表现在熟悉性(FN400)上; 而对名称的作用则反映在回想(LPC)上。这表明颜色对知觉和语义加工有着不同影响; 同时产生了不同的提取模式。尽管颜色在知觉加工和概念加工中都是以相同的视觉方式输入, 但它在两种加工中产生作用的方式不同。这种方式上的差异不仅影响了编码过程(学习阶段), 同时也对随后的提取(测验阶段)产生不同影响。对编码阶段而言, 是编码或表征转换(概念加工)与不转换(知觉加工)的差异。而在再认提取过程中, 知觉水平上的颜色知识比语义水平加工对熟悉性的影响更大; 相反, 回想受语义水平影响更明显。类似于Guillaume等(2020)研究中项目−场景一致性作用在早期编码和后期提取阶段的ERP新−旧效应上都有所表现, 本研究中的项目−颜色一致性作用也均对编码和提取产生了影响。

4.3 物体颜色促进再认提取

物体的高颜色诊断性不仅在知觉水平上影响物体的辨别, 也影响长时记忆中信息的提取。在本研究的再认任务中, 颜色一致的物体图片或名称的再认成绩均要优于颜色不一致图片或名称。存储在长时记忆中的形状−颜色联结促进了对颜色一致项目的信息提取, 而干扰了颜色不一致项目的提取。这进一步证明, 颜色变化对整体再认记忆成绩有显著影响, 一致项目的识别准确率高于不一致项目(Cui et al., 2016)。

两个实验再认阶段均出现了FN400新旧效应。这表明记忆系统对颜色一致和不一致项目均产生了熟悉性判断。由于物体识别过程中, 其内在固有特征是被非自主地加工, 从而影响熟悉性(Ecker et al., 2007); 熟悉性可以促进来源再认, 在来源信息被编码成为项目细节时尤其如此(Diana et al., 2011)。因此, 再认提取的早期加工(颜色)是一个更为自动化的过程。此外, Cycowicz等(2008)还发现, 颜色一致与不一致项目的再认差异也发生在晚期(500~ 600 ms)ERP成分上。而本研究再认阶段的物体图片和名称的提取LPC略有不同。实验1中没有颜色一致性效应, 并且LPC新旧效应仅出现在颜色不一致条件下; 而实验2中的颜色一致性效应和新旧效应都十分明显, 即再认时呈现出更大的LPC回想成分。这可能体现了两个实验不同的加工对象差异, 实验1是低水平图形加工, 实验2是高水平语义加工, 以语义形式存储在长时记忆中的颜色知识对其影响不同。在高水平加工中, 颜色作为语义表征的一部分被存储在物体的知识框架中, 当它被激活时便形成视觉表征, 从而促进对物体名称的记忆表征。正如激活−扩散模型(Collins & Loftus, 1975),在语义上联系紧密的概念之间激活强度更高, 其扩散的程度也越大。在本研究中一致颜色与物体名称之间的联系程度要高于不一致颜色, 其激活的强度更大, 这便促进了对颜色一致名称的记忆, 再认成绩要优于颜色不一致名称。

多重记忆系统理论(Schacter et al., 1992)将记忆分成结构描述系统和情景记忆系统。结构描述系统在视野中加工和表征物体的结构信息而不参与物体大小和颜色等视觉成分表征, 对内隐记忆任务产生影响; 情景记忆系统则对物体的语义和视觉信息进行编码和表征, 与外显记忆任务有关。这两个记忆系统经常彼此相互影响。在本研究中, 颜色对物体再认记忆的作用也包括低水平加工和高水平加工。在低水平加工中, 颜色有助于视觉系统快速而有效地辨别与再认物体, 类似于内隐记忆中的启动作用。而高水平加工中, 颜色作为语义表征的一部分被存储在物体的知识框架中, 当它被激活时就会像知觉信息一样表征在视觉系统中, 反过来又会促进记忆表征与提取。总之, 通过结构描述系统和情景记忆系统的相互影响, 颜色在低水平和高水平加工中都对再认提取产生促进作用, 具体表现为正确的颜色能加强场景的再认记忆, 而颜色错误的图片则没有记忆优势(Wichmann et al., 2002)。

5 结论

实验结果表明, 颜色对物体情景记忆编码与提取均产生影响, 具体表现为：(1)颜色在知觉和语义水平上对项目编码产生不同影响, 颜色一致有助于知觉水平的物体辨别, 而阻碍语义水平的辨别物体。(2)颜色一致促进物体图片提取中(知觉水平)的熟悉性和回想; 但只对物体名称提取(概念水平)的回想有更明显的促进作用。(3)物体名称再认过程中的一致性效应表明, 颜色与物体名称也有着密切联系, 同样影响物体的语义表征, 进一步支持激活−扩散模型。

Allen, R. J., Hitch, G. J., Mate, J., & Baddeley, A. D. (2012). Feature binding and attention in working memory: A resolution of previous contradictory findings.(12), 2369–2383.

Baddeley, A. D. (2002). Fractionating the central executive.(1-2), 6–6.

Balass, M., Nelson, J. R., & Perfetti, C. A. (2010). Word learning: An ERP investigation of word experience effects on recognition and word processing.(2), 126–140.

Boldini, A., Algarabel, S., Ibañez, A., & Bajo, M. T. (2008). Perceptual and semantic familiarity in recognition memory: An event-related potential study(3), 305–308.

Brady, T. F., Konkle, T., Alvarez, G. A., & Oliva, A. (2013). Real-world objects are not represented as bound units: Independent forgetting of different object details from visual memory.(3), 791–808.

Brady, T. F., Störmer, V. S., & Alvarez, G. A. (2016). Working memory is not fixed-capacity: More active storage capacity for real-world objects than for simple stimuli.(27), 7459–7464.

Brainerd, C. J., Reyna, V. F., & Kneer, R. (1995). False- recognition reversal: When similarity is distinctive.(2), 157–185.

Bramão, I., Faísca, L., Forkstam, C., Inácio, F., Araújo, S., Petersson, K. M., & Reis, A. (2011). The interaction between surface color and color knowledge: Behavioral and electrophysiological evidence.(1), 28–37.

Bramão, I., Faísca, L., Petersson, K. M., & Reis, A. (2010). The influence of surface color information and color knowledge information in object recognition.(4), 437–446.

Bramão, I., Francisco, A., Inácio, F., Faísca, L., Reis, A., & Petersson, K. M. (2012). Electrophysiological evidence for colour effects on the naming of colour diagnostic and noncolour diagnostic objects.(10), 1164–1185.

Bramão, I., Reis, A., Petersson, K. M., & Faísca, L. (2011). The role of color information on object recognition: A review and meta-analysis.(1), 244–253.

Bramão, I., Reis, A., Petersson, K. M., & Faísca, L. (2016). Knowing that strawberries are red and seeing red strawberries:The interaction between surface colour and colour knowledgeinformation.(6), 641–657.

Brodeur, M. B., O’Sullivan, M., & Crone, L. (2017). The impact of image format and normative variables on episodic memory.(1), 1–22.

Bruett, H., & Leynes, P. A. (2015). Event-related potentials indicate that fluency can be interpreted as familiarity.,, 41–50.

Chai, M. T., Amin, H. U., Izhar, L. I., Saad, M. N. M., Rahman, M. A., Malik, A. S., & Tang, T. B. (2019). Exploring EEG effective connectivity network in estimating influence of color on emotion and memory., 66.

Cohen, N. J. & Eichenbaum, H. (1993).. Cambridge, MA: MIT Press.

Collins, A. M., & Loftus, E. F. (1975). A spreading-activation theory of semantic processing.,(6), 407–428.

Cui, X., Gao, C., Zhou, J., & Guo, C. (2016). Can color changes alter the neural correlates of recognition memory? Manipulation of processing affects an electrophysiological indicator of conceptual implicit memory.(14), 1037–1045.

Curran, T. (2000). Brain potentials of recollection and familiarity.,(6), 923–938.

Cycowicz, Y. M., Nessler, D., Horton, C., & Friedman, D. (2008). Retrieving object color: The influence of color congruity and test format.(14), 1387–1390.

Diana, R. A., van den Boom, W., Yonelinas, A. P., & Ranganath, C. (2011). ERP correlates of source memory: Unitized source information increases familiarity-based retrieval., 278–286.

Ding, J. H., & Lin, Z. X. (2000). Research on representation features of color, shape and texture of pictures.(3), 253–257.

[丁锦红, 林仲贤. (2000). 图形颜色、形状及质地表征特性的研究.(3), 253–257.]

Ding, J. H., & Lin, Z. X. (2001). The retrieval of different features of pictures from memory.(3), 273–381.

[丁锦红, 林仲贤. (2001). 记忆系统中图形不同特征的提取.(3), 273–381.]

Ding, J. H., Wang, L. Y., & Guo, C. Y. (2004). Temporal- Spatial in integration during picture identification.(2), 477–479.

[丁锦红, 王丽燕, 郭春彦. (2004). 时-空整合影响图形识别的眼动研究.(2), 477–479.]

Dzulkifli, M. A., & Mustafar, M. F. (2013). The Influence of colour on memory performance: A review.(2), 3–9.

Ecker, U. K. H., Zimmer, H. D., & Groh-Bordin, C. (2007). Color and context: An ERP study on intrinsic and extrinsic feature binding in episodic memory.(6), 1483–1501.

Evans, L. H., & Wilding, E. L. (2012). Recollection and familiarity make independent contributions to memory judgments.(21), 7253–7257.

Fu, Y. Q. (2019). An event-related potentials study of maintenance of binding spatial object in working memory.(2), 127–132.

[傅亚强. (2019). 双特征空间客体捆绑关系的存储机制——来自ERP的证据.(2), 127–132.]

Ganis, G., & Kutas, M. (2003). An electrophysiological study of scene effects on object identification.(2), 123–144.

Guillaume, F., Baier, S., & Etienne, Y. (2020). An ERP investigation of item-scene incongruity at encoding on subsequent recognition.(5), 1–15.

Hintzman, D. L., & Curran, T. (1994). Retrieval dynamics of recognition and frequency judgments: Evidence for separate processes of familiarity and recall.(1), 1–18.

Huettig, F., & Altmann, G. T. M. (2011). Looking at anything that is green when hearing “frog”: How object surface colour and stored object colour knowledge influence language-mediated overt attention.(1), 122–145.

Jacoby, L. L. (1991). A process dissociation framework: Separating automatic from intentional uses of memory.(5), 513–541.

Kelter, S., Grötzbach, H., Freiheit, R., Höhle, B., Wutzig, S., & Diesch, E. (1984). Object identification: The mental representation of physical and conceptual attributes.(2), 123–133.

Konkel, A., & Cohen, N. J. (2009). Relational memory and the hippocampus: Representations and methods.(2), 166–174

Kuhbandner, C., Spitzer, B., Lichtenfeld, S., & Pekrun, R. (2015). Differential binding of colors to objects in memory: Red and yellow stick better than blue and green., 231.

Küper, K., & Zimmer, H. D. (2018). The impact of perceptual changes to studied items on ERP correlates of familiarity and recollection is subject to hemispheric asymmetries., 17–25.

Kutas, M., & Hillyard, S. A. (1980). Reading between the lines: Event-related brain potentials during natural sentence processing.(2), 354–373.

Lee, J., Leonard, C. J., Luck, S. J., & Geng, J. J. (2018). Dynamics of feature-based attentional selection during color-shape conjunction search.(12), 1773–1787.

Lewis, D. E., Pearson, J., & Khuu, S. K. (2013). The color “fruit”: Object memories defined by color.(5), e64960.

Leynes, P. A., & Crawford, C. J. (2018). Event-related potential (ERP) evidence that encoding focus alters recollected Features., 42–50.

Li, Y., & Shang, L. L. (2017). An ERPs study on the mental simulation of implied object color information during chinese sentence comprehension.(1), 29–36.

[李莹, 商玲玲. (2017). 汉语句子理解中物体隐含颜色心理模拟的ERPs研究.(1), 29–36.]

Liang, J. Q., & Guo, C. Y. (2012). Dissociating the neural correlates of item retrieval and relational retrieval in between-domain inter-item associative memory: An event-related potentials study.(5), 625–633.

[梁九清, 郭春彦. (2012).跨领域项目间联结记忆中项目提取和关系提取的分离: 一项事件相关电位研究.(5), 625–633.]

Lloyd-Jones, T. J., & Nakabayashi, K. (2009). Independent effects of colour on object identification and memory.(2), 310–322.

Lu, A., Xu, G., Jin, H., Mo, L., Zhang, J., & Zhang, J. X. (2010). Electrophysiological evidence for effects of color knowledge in object recognition.(3), 405–410.

Ludajić, T., & Zdravković, S. (2016). The role of shape and colour in recognition and classification of familiar visual objects.(3), 333–352.

Lupyan, G. (2015). Object knowledge changes visual appearance: Semantic effects on color afterimages., 117–130.

Mandler, G. (1980). Recognizing: The judgment of previous occurrence.(3), 252–271.

Mayes, A., Montaldi, D., & Migo, E. (2007). Associative memory and the medial temporal lobes.,(3), 126–135.

Nagai, J., & Yokosawa, K. (2003). What regulates the surface color effect in object recognition: Color diagnosticity or category?, 1–4.

Naor-Raz, G., Tarr, M. J., & Kersten, D. (2003). Is color an intrinsic property of object representation?(6), 667–680.

Nyhus, E., & Curran, T. (2009). Semantic and perceptual effects on recognition memory: Evidence from ERP, 102–114.

Oakes, L. M., Baumgartner, H. A., Kanjlia, S., & Luck, S. J. (2017). An eye tracking investigation of color-location bindingin infants' visual short-term memory.(5), 584–607.

Read, C. A., Rogers, J. M., & Wilson, P. H. (2016). Working memory binding of visual object features in older adults. Aging,(3), 263–281.

Rugg, M. D., & Curran, T. (2007). Event-related potentials and recognition memory.(6), 251–257.

Schacter, D. L., Cooper, L. A., & Valdiserri, M. (1992). Implicit and explicit memory for novel visual objects in older and younger adults.(2), 299–308.

Schendan, H. E., & Kutas, M. (2002). Neurophysiological evidence for two processing times for visual object identification.,(7), 931–945.

Schendan, H. E. & Kutas, M. (2003). Time course of processes and representations supporting visual object identification and memory.(1), 111–135.

Song, C., Liu, W. Y., Lu, X. Q., & Gu, Q. (2016). Building blocks of visual working memory: Objects, features, or hybrid?(2), 112–126.

[宋超, 刘婉祎, 鲁溪芊, 顾全. (2016). 表征在视觉工作记忆中的存储单位: 特征、客体或二者并存?(2), 112–126.]

Spachtholz, P., & Kuhbandner, C. (2017). Visual long-term memory is not unitary: Flexible storage of visual information as features or objects as a function of affect.(6), 1141–1150.

Spence, I., Wong, P., Rusan, M., & Rastegar, N. (2006). How color enhances visual memory for natural scenes.(1), 1–6.

Stróżak, P., Bird, C. W., Corby, K., Frishkoff, G., & Curran, T. (2016). FN400 and LPC memory effects for concrete and abstract words: FN400 and LPC for concrete and abstract words.(11), 1669–1678.

Tanaka, J., Weiskopf, D., & Williams, P. (2001). The role of color in high-level vision.(5), 211–215.

Tanaka, J. W., & Presnell, L. M. (1999). Color diagnosticity in object recognition.(6), 1140–1153.

Teichmann, L., Quek, G. L., Robinson, A. K., Grootswagers, T., Carlson, T. A., & Rich, A. N. (2020). The influence of object-color knowledge on emerging object representations in the brain.(35), 6779–6789.

Vernon, D., & Lloyd-Jones, T. J. (2003). The role of colour in implicit and explicit memory performance.(5), 779–802.

Vurro, M., Ling, Y., & Hurlbert, A. C. (2013). Memory color of natural familiar objects: Effects of surface texture and 3-D shape(7), 20.

Wichmann, F. A., Sharpe, L. T., & Gegenfurtner, K. R. (2002). The contributions of color to recognition memory for natural scenes.(3), 509–520.

Yonelinas, A. P. (1994). Receiver-operating characteristics in recognition memory: Evidence for a dual-process model.(6), 1341–1354.

Yonelinas, A. P. (2002). The nature of recollection and familiarity: A review of 30 years of research.(3), 441–517.

Zokaei, N., Heider, M., & Husain, M. (2014). Attention is required for maintenance of feature binding in visual working memory.(6), 1191–1213.

Neural mechanism underlying the effects of object color on episodic memory

ZHOU Wenjie, DENG Liqun, DING Jinhong

100048,)(Department of Psychology, Xinxiang Medical University, XinxiangChina

is the degree to which a color is associated with or symbolizes a particular object. Typical color is often associated with high color diagnostic objects and activates the visual (perceptual) or semantic (conceptual) knowledge in long-term memory. However, the relationship between different processing levels (perceptual and conceptual) of object color information and episodic memory retrieval components (familiarity and recollection) remains poorly understood. It is hypothesized that color information can facilitate memory encoding at the perceptual level but inhibit it at the conceptual level. In recognition retrieval, color has a greater impact on familiarity and recollection at the perceptual level, while at the conceptual level, recollection is more affected than familiarity.

In the present study, event-related potential (ERP) and a study-test paradigm were used to investigate the effects of color consistency (visual color input and object color knowledge) on episodic memory encoding and retrieval by using pictures and names of objects with high color diagnosticity. Twenty-seven college students participated in experiment 1. During the study phase, a picture of an object in its diagnostic color (such as a red apple) or non-diagnostic color (purple banana) was presented on a white background for 500ms. The participants were asked to determine whether the color of the object in each picture was consistent with its actual (diagnostic) color. During the test phase, participants provided old/new judgments about the objects that had appeared in the study phase and the equal number of new items. Twenty-five college students participated in the experiment. A similar procedure was used for experiment two, except that items were the names of the objects in their diagnostic or non-diagnostic color rather than pictures. During both experiments, the participants responded by pressing a mouse button. Their reaction time and EEG (electroencephalography) were recorded.

The results of experiment 1 showed that, during the encoding phase, color-inconsistent objects were identified less accurately and more slowly, and this triggered a larger N400 than the color-consistent ones. During the retrieval phase the color-consistent objects were recalled more quickly and accurately, and this triggered larger FN400 (frontal negativity) values than the color-inconsistent objects. However, the opposite effects were observed in experiment 2. Color-inconsistent object names were identified more quickly and accurately, and they elicited the same ERP wave as the color-consistent names. During the recognition stage, the color had an effect only during the period of late positive components (LPCs).

In conclusion, color was found to have different effects on encoding and retrieval of episodic memory at both perceptual and semantic levels. (1) Color had different effects on item coding at the perceptual and semantic levels. Color consistency was found to help the viewer identify objects at the perceptual level, but it hindered object identification at the semantic level. (2) Color congruence was here found to promote familiarity and recollection in object retrieval (perceptual level), but it only improved recollection of an object’s name (conceptual level). (3) The consistency effect in the processing of object name recognition showed that color is closely related to object name, and it also affects the semantic representation of objects, which further supports the spreading activation model.

color diagnosticity, episodic memory, ERPs, familiarity, recollection

2020-06-24

* 国家自然科学基金(61572076)、北京自然科学基金(4202011)、首都师范大学交叉学院引导研发基金(jckxyj2019018)资助。

丁锦红, E-mail: dingjh@cnu.edu.cn

B842