视觉表象生成系统及其影响因素*

林钰婷 张得龙 刘 鸣



视觉表象生成系统及其影响因素*

林钰婷 张得龙 刘 鸣

(华南师范大学心理学院, 广州 510631)

视觉表象是在记忆基础上产生的类似知觉的信息表征, 也是人们在日常生活中不可或缺的心理活动之一。本综述介绍了该领域中比较有影响力的表象计算理论模型, 并进一步归纳了视觉表象生成系统的成分及其对应的神经基础。分析结果强调了初级视觉皮层作为“视觉缓冲器”是生成表象的主要机能结构, 以“视觉缓冲器”为基础的表象生成系统的机能受多重因素影响。本综述有助于对视觉表象生成系统形成全面的认识, 促进视觉表象实质的进一步研究。

视觉表象; 生成系统; 视觉缓冲器; 计算理论; 神经机制

表象(mental imagery), 亦称为心象, 是指事物不在面前出现时, 人们在头脑中形成的关于事物的形象(Kosslyn, Ganis, & Thompson, 2001)。视觉表象以感知觉为基础, 又是感知觉的延伸, 它被认为是弱化的“知觉” (Pearson, Naselaris, Holmes, & Kosslyn, 2015)。20世纪60年代以来, 表象表征的格式问题受到广泛的关注, 以Pylyshyn为代表的一部分学者认为表象是命题表征(propositional representations) (Pylyshyn, 2002); 而以Kosslyn为代表的另一部分学者则认为表象是一种类似知觉的图画式信息表征(depictive representations) (Kosslyn, Behrmann, & Jeannerod, 1995), 两者之间的分歧被称为“表象之争(imagery debate)” (Bartolomeo, 2002)。随着科学技术的不断进步, PET、fMRI等脑成像技术的发展为探讨表象实质提供了客观指标, 也为解决“表象之争”提供了新的思路和方法。Naselaris, Olman, Stansbury, Ugurbil和Gallant (2015)构建了一个基于体素的Gabor编码模型, 证实视觉表象过程中初级视觉皮层(V1区)能够表征具体的底层视觉特征信息(如方向、空间频率等), 并且这些描绘性的视觉特征可以解码心理表象, 这一发现为表象的图画式表征提供了确凿的实验证据, 在很大程度上终结了“表象之争” (Pearson & Kosslyn, 2015)。目前, 表象研究已经进入了“后表象之争”时代, 研究者们不再争论表象表征格式的问题, 而是将注意力重新转移到表象的实质与功能上来。在这一背景下, 我们重新对视觉表象的生成及其神经机制问题进行归纳总结具有重要的意义。众所周知, 视觉表象的生成和操作是视觉表象加工过程的两个重要成分, 并且后者是建立在前者的基础之上。因此, 了解视觉表象生成的过程是探讨视觉表象实质的关键。鉴于此, 本文在系统梳理视觉表象相关研究文献的基础上, 描述视觉表象的生成系统并分析影响视觉表象生成系统的各种因素, 试图全面刻画表象生成这一基本的认知过程。

1 视觉表象生成系统的基本介绍

1.1 表象计算理论(computational theory)

Kosslyn (1980)的表象计算理论(computational theory)是最具有代表性的表象理论, 它通过建构计算机模拟模型, 对视觉表象的生成过程进行较为系统全面的阐述。

表象计算理论提出, 表象生成系统是以代码的形式来储存具体的客体和场景的信息, 强调的是不同表征形式转换的加工过程(类似计算机运算过程)。该理论认为表征形式分为表层表征(surface representation)和深层表征(deep representation)。表层表征又称为类图像表征(quasi-picture), 即信息以图画表征的形式保存在短时记忆中, 保留了与位置、方向信息有关的空间属性; 而深层表征与长时记忆相关, 又分为本义表征(literal representation)和命题表征(propositional representation)。本义表征所提供的是关于某一客体基本形状的框架, 它是以坐标表的形式存储在计算机模型中, 指明客体各点在视觉短时记忆中的位置。本义表征需放置在视觉缓冲器中, 重新模拟构建图像的空间信息。命题表征则是由抽象的命题表构成的, 它是描述性的信息, 可以用来描述物体的各种特征以及这些特征与它的基础框架之间的关系, 比如当个体在大脑中描述一辆车时, 包括了前后轮、方向盘、保险杆等具体特征和相对位置。

基于表象的两种表征形式, Kosslyn回顾并归纳了与表象生成相关的三类实证研究：(1)在一系列的实验中, 研究人员发现随着表征客体附加成分的增多, 生成表象的时间也成比例地增加, 这说明多个局部图像不能一次性被检索, 而是以独立的编码方式存储(Beech & Allport, 1978; Paivio, 1975a); (2)人们可以通过描绘的方式在头脑中引导局部图像的放置并构建表象; (3) Farah和Kosslyn (1981)和Hayes (1973)的研究都表明人们可以形成不同“主观尺寸”的表象, 但难易程度不同。对同一个物体, 个体将之想象成较小的尺寸比将之想象成较大的尺寸所花费的时间更少, 说明被试在大脑中形成较小尺寸的图像时, 由于资源限制, 删减了一些关于物体的细节。根据这些实证结果, Kosslyn认为在表象生成过程中存在着三个主要的加工模块或者过程(如图1所示)：“图示”处理模块(PICTURE processing module), 当被试表征由多个局部图像组成并且每个部分都是独立编码的图像的时候, 该模块可以对存储在长时记忆中的物体或者场景的抽象信息进行编码, 以此将深层表征转化为短时记忆中的表层表征, 因此表象生成时间会随着物体或者场景的复杂程度增加而增加; “放置”处理模块(PUT processing module), 考虑到人们可以使用描绘的方式将独立存储的编码信息整合为一个单一的成像场景, Kosslyn认为大脑中存在一个“放置”处理模块, 将客体的每个部分放置于正确的位置。该模块不是简单地摆放每个部分, 而是根据局部(比如, 汽车的轮子)与局部(比如, 汽车的车门)之间的相对位置或者距离进行摆放, 因此人们可以在大脑中对同一个物体进行不同的尺寸或距离的表征; “发现”处理模块(FIND processing module), 该模块是在短时记忆中搜索某个特定的客体或其部分的属性, 然后将该信息提供给“放置”处理模块进行整合。由此可知, 表象的生成是由各个加工模块根据不同的加工目的, 按一定原则组合进行表征完成的, 其中每个模块都可以看作是独立的加工单元并且负责一种计算过程。

图1 视觉表象的计算理论模型

注：“图示”处理模块负责激活储存在长时记忆中的视觉信息; “放置”处理模块负责解释局部图像是如何整合的; “发现”处理模块负责定位基础特征; 三者既可相互合作又可彼此独立地参与表象生成过程。

值得注意的是, 构建图像的数据是以深层表征的形式存储在长时记忆中, 但它无法直接在人们的意识中显示, 而是需要载体的支持, 即类似于保存在计算机图片程序中的文件, 需要在计算机的监视器屏幕上构建出可视化图像。视觉表象同样需要在一个叫做“视觉缓冲器(visual buffer)”的结构中才能得到显示。视觉缓冲器是一种空间载体, 载体不同于表征, 它只是一种支持表征的工作平台, 而表征才是那些需要传递的信息。视觉缓冲器类似于一个坐标空间, 上面是由许多点构成的一个列阵。如图2所示, 以 “车”作为例子, 个体在生成表象时, 大脑选择性激活矩形列阵(array)或矩阵中的单元格(cell), 使人产生相应的心理表征, 但这些矩阵并不是简单地激活或未激活, 它们包含着表示该点图像的特征符号, 并且具有不同的激活水平。因此, 我们认为视觉缓冲器是一个特殊的视觉短时记忆媒介, 能够加工从长时记忆中被提取出来的表征信息。它具有描述各种空间关系的能力, 可以以矩阵的方式模拟一个坐标空间, 使表象得以呈现。Pearson (2007)通过回顾文献也提出, 人们会有意识或无意识地直接从知觉信息中或长时记忆中提取出视觉心理图像, 然后在视觉缓冲器中重新构建图像。视觉缓冲器的特点是负责信息的传递, 其中心部分与最高分辨率联系相对应, 远离中心分辨率降低。

图2 “车”的表征信息在视觉缓冲器中以矩阵模型形式呈现

注：A、B与C代表不同的激活水平。

1.2 视觉表象生成与视知觉生成的区别与联系

在“表象之争”中许多研究者将视觉表象和视知觉联系在一起, 认为视觉表象和视知觉具有相似的功能结构。本文通过探讨二者之间的区别与联系, 表明：(1)视觉表象与视知觉是机能等价关系; (2)视觉表象生成机制是一个相对独立的成分。

Paivio (1975b)提出的双重编码理论(dual coding theory)认为表象是存在于记忆系统中的一种编码或者表征方式, 它能够对具体的客体或事件的信息进行编码、储存、转换和提取, 是一种类似知觉的信息表征。建构情境模拟理论(constructive episodic simulation hypothesis)则为视觉表象与视知觉生成过程共享相似的加工机制这一观点提供了理论依据(Kosslyn, Ganis, & Thompson, 2006)。该理论指出, 记忆痕迹由涉及对事件编码的皮质区的分布式神经网络组成, 这些神经网络在提取中被重新激活, 由于视觉表象和视知觉在神经网络分布上重叠程度较高, 因此导致了错误记忆的产生(Schacter, Gaesser, & Addis, 2013)。这意味着在生成视觉表象和视知觉的过程中, 具有相似的内部过程, 视觉表象的生成机制类似于视知觉。目前, 来自fMRI的研究也进一步证实了视觉表象是以图画式内在表征(pictorial representation)的方式存在, 与知觉表征方式联系密切, 并且二者共同激活的脑区存在较大重叠 (Pearson & Kosslyn, 2015)。

虽然视觉表象与视知觉在表征方式和加工机制上相似, 但视觉表象并不等同于视知觉。知觉是将接收到的外界信息编码为神经表征, 而表象则是在缺乏外界刺激的条件下, 自上而下地提取存储在记忆中的信息, 形成心理表征。Shepard和Metzler (1971)以二维、三维图形以及立体图像、字母或实物作为心理旋转研究的材料, 要求被试判断镜像材料的相似与差异, 为视觉表象和视知觉的关系提供了实验证据。他通过研究人们在大脑中操作表象的方式, 发现表象表征与外部客体的操作是平行的“二级同构”关系(second-order isomorphism), 即内部表征的功能联系类似于外部客体的结构联系。这种同构关系印证了表象的实质在于它是一种类比表征, 是对客观视知觉的内在心理映射。视觉表象和视知觉差异的研究最早可以追溯到Behrmann, Moscovitch和Winocur (1994)和Servos和Goodale (1995)的失认症病人表象的案例, 研究者们均发现表象和知觉能力存在分离, 病人虽然无法知觉物体, 但是在一系列测试中他能够产生完整的视觉表象。相反, Zeman等人(2010)也发现一个特殊案例, 在没有任何视觉问题的情况下, 病人失去了视觉表象能力。可见, 表象与知觉具有相似性又存在着差异性, 两者是机能等价关系, 但是视觉表象可以在视知觉缺失的条件下生成, 说明其生成机制在大脑的机能结构中是一个相对独立的成分。

最新的脑成像研究从神经机制的角度出发, 进一步验证了视觉表象与视知觉之间存在着相似与差异之处。Dijkstra, Bosch和van Gerven (2017)通过呈现面孔、字母和水果的图片, 要求被试根据线索进行回忆, 结果发现被试生成表象的清晰度与感知觉和表象机制的重叠有关, 这与前人的理论一致, 即工作记忆、视知觉和视觉表象在视觉区域中存在着共同的神经机制(Albers, Kok, Toni, Dijkerman, & de Lange, 2013; Bosch, Jehee, Fernández, & Doeller, 2014; Lee, Kravitz, & Baker, 2012), 并且这种重叠不仅仅只存在于视觉皮层区域, 还存在于顶叶(parietal area)、前运动区(premotor area)以及额叶区(frontal area); 然而, Dijkstra, Zeidman, Ondobaka, van Gerven和Friston (2017)通过检验有效连接(effective connectivity)的变化, 揭示了知觉和表象自下而上和自上而下的耦合连接存在的差异。研究者发现在产生感知觉的阶段, 自上而下和自下而上的耦合强度相对于基线水平都得到提高。相反, 在生成表象期间, 只有自上而下的耦合增强, 并且这种增强的程度远远大于感知觉过程的。对于感知觉来说, 自下而上和自上而下的耦合构成了对视觉经验的基础, 而对于表象来说, 虽然缺失自下而上的驱动, 但是自上而下的耦合会伴随着视觉经验增强。由此可见, 表象生成与感知觉生成的脑机制既有相似重叠之处, 也存在着差异。

2 视觉表象生成系统的神经基础

脑功能成像技术的运用为我们认识视觉表象生成的神经机制提供了途径, 同时也为我们探索视觉表象生成系统的神经基础提供了可能。

位于Brodmann 17区的V1区是接收视觉信号的第一个皮层区域, 也是与视觉表象的生成有着最密切联系的区域。因此, 关于表象生成的很多研究基本围绕V1区展开(Bridge, Harrold, Holmes, Stokes, & Kennard, 2012; Roelfsema & de Lange, 2016)。

当我们看到一个新的物体时, 大脑皮层对其的加工处理会经历不同的阶段。首先是将信息从丘脑的外侧膝状核(lateral geniculate nucleus)传递到V1区, 然后再传递到更高级的视觉区域(Pearson & Kosslyn, 2015)。那么在这期间, V1区到底起着怎样的作用呢？根据知觉预期理论(perceptual anticipation theory), 当人们强烈地预期自己能够感知一件事物或者一个场景时, 会在V1区中构建出关于这个刺激的图画式表征(Kosslyn & Thompson, 2003)。按照这一理论, 关于图像形状的视觉长时记忆以抽象代码的形式存储于下颞叶(inferior temporal lobe), 当V1区被激活的时候, 信息会被重新提出进行处理。Kosslyn认为, 表象生成不是简单的存贮信息的“闪回”, 而是一个重新构建的过程。因此, 要重建视觉表征, 首先要在V1区中重新组织建构图形, 这说明V1区可能存在一个神经机制, 负责表征物体或者场景的基本视觉特征, 才能将大脑中的信息重新整合成表象(Kosslyn & Thompson, 2003)。而Albers等人(2013)的研究进一步发现, V1区起到一个动态的“黑板(blackboard)”的作用, 用于处理自下而上的感知刺激和自上而下生成的心理表象。这系列的研究证实了V1区是随后一系列复杂信息加工的入口和表象生产的载体。

研究者发现表象生成过程中的加工差异会导致个体在表征内在视觉信息的时候, 其生动性、精确性、强度等方面存在差异。造成这种差异的关键, 可能是由于早期的视觉区域, 特别是V1区的作用, 因为正是这个区域编码了与这些心理表象特征相关的高分辨率细节, 即具体视觉特征的信息。近期的研究已经证实了这个假设, 研究者通过将视觉刺激转换为底层视觉特征(如位置、空间频率、朝向)进行描述, 并使用刺激特征模式来预测大脑的激活, 从而建立了视觉刺激内容和大脑响应模式之间的函数关系。这个基于底层视觉特征的编码模型可以根据被试生成表象时V1区的神经活动, 从上千张随意挑选的图片中选择出被试在大脑中想象的图片(Naselaris et al., 2015)。该结果直接证明了生成表象时, V1区表征了具体的底层视觉特征信息。另一方面, 研究尝试将表象过程中的个体差异和解剖学上的差异联系起来, 发现V1区面积越大, 空间定位能力越高、上下文诱发产生假象的能力越弱、敏感度越低(Schwarzkopf & Rees, 2013)。因而, V1区表面积越大, 视觉精准度越高。Bergmann, Genç, Kohler, Singer和Pearson (2016)首次借助fMRI视网膜皮层映射技术研究表象强度、精确性与V1区之间的关系。结果发现表象强度与V1区表面积大小呈负相关, 即V1区表面积越小就越可能产生强表象; 而表象精确性和V1区表面积大小呈正相关, 其中V1区的中心部分和精确性联系最为密切。V1区的功能与我们前面提及的表象计算理论中视觉缓冲器的特点相符合, 因此, 我们推测, 视觉缓冲器的神经机制最有可能存在于V1区。

当前表象领域的研究成果表明, V1区不仅仅只是表征具体的底层视觉特征信息(Kok, Failing, & de Lange, 2014), 它还参与了较高水平的认知加工。Naselaris等人(2015)的研究还证明了, 被试在提取长时记忆中的复杂场景生成表象的过程中, 底层视觉特征同样得到编码。而Roelfsema和de Lange (2016)通过回顾前人的研究, 则提出了V1区可作为复杂认知过程中“多尺度认知黑板(multiscale cognitive blackboard)”的观点。研究者通过文本分离、视觉检索和轮廓分组等实验, 证实了在视觉处理过程中, 较高级视觉皮层脑区的处理器可以通过V1区将中间计算过程写入较低级的脑区, 因而较高水平的信息可以在较低级的脑区中被读取出来进而进行后续的加工, 从而有效地交换信息。可见, V1区同样参与了较高水平的表象过程, 并且可以作为大脑不同层级结构之间信息转换的枢纽。

除V1区之外, 视觉表象生成还与许多脑皮层网络有关, 从前额叶区域到顶骨、颞叶甚至一些皮层下区。Ishai, Ungerleider和Haxby (2000)的实验要求被试在感知觉和表象两种情况下生成关于房屋、面孔和椅子的图像, 结果表明视觉表象的生成系统包括了外纹皮层区域(extrastriate cortex)以及顶叶皮层(parietal cortex)和额叶皮层(frontal cortex)。外纹皮质与物体类别(房屋、面孔或者椅子)相关, 但激活的区域仅限于感知觉过程中激活的一小部分区域; 而感知觉中没有被激活的顶叶和额叶皮层, 则在表象中被激活, 主要负责协调从长时记忆中提取面部和物体表征的过程, 但它们的激活与物体类别无关。后续的研究也表明了外纹皮层区域和额叶在视觉感知和表象的类别选择中起着重要作用。在视觉感知的过程中, 外纹皮层的类别选择模式是通过与早期视觉区域的顺向连接来调节的; 与此相反, 在视觉表象中, 类别选择的激活是由前额叶皮层逆向连接来调节的(Mechelli, Price, Friston, & Ishai, 2004)。2002年, Ishai, Haxby和Ungerleider设计了另一个实验, 通过要求被试回忆熟悉的名人面孔, 定位产生视觉感知时被激活的区域, 进一步比较长时记忆和短时记忆情况下产生视觉表象的差异。研究结果与之前的实验一致, 被试在感知名人面孔的时候, 枕下回(inferior occipital gyrus)、侧梭状回(lateral fusiform gyrus)、上颞沟(superior temporal sulcus)和杏仁体(amygdala)被激活, 而表象生成激活的区域则包含在这些区域内。除此之外, 被试形成关于名人面孔的表象时, 还激活了双侧距状裂(bilateral calcarine)、海马体(hippocampus)、楔前叶 (precuneus)、顶内沟(intraparietal sulcus)和额下回(inferior frontal gyrus), 其中楔前叶是表象生成过程中负责选择相关细节的重要区域, 因为细节经验的丰满程度有利于产生生动的表象(Ganis, Thompson, & Kosslyn, 2004)。由此可见, 这些不同的大脑区域在视觉表象生成中也发挥着重要的作用。

3 表象生成的影响因素

Kosslyn (1980)提出的表象计算理论认为表象生成过程涉及三个复杂的处理模块(图示、放置、发现)。不同的因素通过影响这三个模块的操作, 将会影响表象的生成。在探讨表象生成理论和神经机制的基础上, 我们讨论表象生成的影响因素有助于进一步深入了解表象生成的实质。

3.1 影响“图示”处理模块的因素

“图示”处理模块是将储存在长时记忆中的深层表征转化为短时工作记忆中的表层表征, 因此涉及到记忆信息的提取与操作。Albers等人(2013)发现V1区的神经活动模式可以同时解码工作记忆和表象过程。他使用多变量模式分析方法(multivariable analysis)直接比较工作记忆和心理表象中的神经表征方式, 观察到被试在维持视觉材料(工作记忆)的期间和内部生成视觉刺激(心理表象)的期间, 大脑产生类似的神经活动。另外, Albers等人的实验要求一部分被试在短时工作记忆任务中大脑始终保持定向光栅的图案, 直到探针刺激出现; 而另一些被试根据给定的提示, 在脑海中形成相同的光栅的视觉表象, 并且进行心理旋转操作。该研究发现, 基于短时工作记忆条件下V1区的活动模式构建的分类器也能够精确地解码视觉表象, 说明表象过程与工作记忆存在神经机制和功能机制的重叠, 产生于长时记忆信息之中的视觉表象也同样具有暂时性和直觉性。回顾前人对工作记忆和心理表象两者关系的研究, 研究者也从不同角度证实了工作记忆对表象生成结果的影响, 如Zvyagintsev等人(2013)提出表象清晰度取决于工作记忆系统, 破坏工作记忆中的视觉空间模板会明显破坏视觉表象清晰度。而Baddeley和Andrade (2000)阐述了工作记忆中的中央执行系统在表象中的调控作用, 以及任务负载对视觉表象的抑制作用。Gunter和Bodner (2008)提出生动回忆与中央执行系统资源有关, 中央执行系统负载越多, 表象受损越严重。可见, 短时工作记忆与视觉表象密切相关, 并且影响视觉表象的生成结果。

3.2 影响“放置”处理模块的因素

“放置”处理模块是将搜索出的信息进行重置, 使客体或者其部分元素处于表象中的正确位置上。1982年, Ungerleider首次提出大脑存在腹侧视觉通路(ventral visual pathway)和背侧视觉通路(dorsal visual pathway)两条视觉加工通路, 其中腹侧视觉通路主要负责客体的轮廓与辨别, 而背侧视觉通路则负责处理空间信息的加工。因而, 个体在放置客体视觉表征信息(物体的轮廓、尺寸、颜色、亮度等)和空间视觉表征信息(空间位置、运动方向等)的过程中存在差异。随着表象表征研究的深入, Kozhevnikov、Kosslyn和Shephard (2005)指出个体的表象风格可分为两种不同的类型, 即客体表象型(object imagery style)和空间表象型(spatial imagery style)。前者擅长建构客体图像的高分辨率细节, 他们在识别退化图形(degraded pictures)等客体视觉细节任务中表现较好, 但在空间表象任务(如心理旋转)中的成绩却低于平均水平; 后者擅于使用表象来表征空间关系, 在复杂的空间转换任务中表现优秀, 但在客体表象任务中的成绩却较差。Blazhenkova (2016)使用VOSI和VVIQ测量方法支持了这个结论, 他要求111名学生完成对9项客体和9项空间项目的表象清晰度的自我评估, 并且评价他们在艺术和科学能力水平上的高低。实验结果支持生成表象的清晰度受两个维度的影响：客体(颜色、纹理或形状)和空间(三维结构、位置和结构)。客体清晰度项目与艺术能力评级呈正相关, 而空间清晰度项目与科学能力评级呈正相关。

3.3 影响“发现”处理模块的因素

某个特定的客体或其部分元素在短时工作记忆中被搜索, 即“发现”处理模块。而注意则是参与搜索过程的一种自上而下的机制, 它允许个体有选择地检索客体或场景中的目标特征并且会对随后的任务执行造成影响。注意可以动态地调节工作记忆的内容, 以保证优先检索与当前任务相关的内在表征。过往的研究发现, 当人们处于情绪低落的状态时, 他们很难对未来或者过去的事件产生生动的正向表象, 这是由于消极情绪会损坏注意系统的控制能力, 从而影响注意力分配, 干扰了个体搜索表象的能力(Hirsch & Mathews, 2012)。对于该结论, 我们回顾了Hishitani, Miyazaki和Motoyama (2011)的假设, 他们认为个体生成正向的表象比生成负向的表象生动, 可能是由于在注意过程中, 大脑中存在一种可以调控视觉表象中信息量的反应机制, 在生成正向表象的时候它会分配较多的信息资源, 而这种机制会抑制负向表象的产生, 形成模糊的表象。Motoyama和Hishitani (2016)的研究进一步证实了大脑中确实存在这种抑制机制, 它位于左侧扣带后回区域(left posterior cingulate gyrus), 当个体产生负向表象时, 左侧扣带后回区域被激活, 激活水平与生成表象的主观清晰度呈反比, 该区域的发现与前人提到的研究结果一致, 即注意任务在楔前叶、前扣带回、左侧扣带后回等区域都得到激活(Tomasi, Ernst, Caparelli, & Chang, 2006), 可见大脑左侧扣带后回可能是注意抑制机制存在的区域。因此, 我们认为, 在表象的过程中, 注意会通过影响认知信息资源的分配, 促进或者抑制我们表象生成中的“发现”处理模块进而影响表象的结果。

3.4 影响表象生成过程的其他因素

除了上述认知加工过程会影响表象生成之外, 一些个体特质(如年龄、性别和生理激素等)也会使得表象生成存在差异。

Raz, Briggs, Marks和Acker (1999)发现年龄会影响表象生成和表象操作两种心理表象过程。Kemps和Newson (2005)的研究表明, 对于不同的心理表象, 其精确度也会随着年龄的增加而降低。然而, 在之前的研究中没有考虑到性别和年龄之间可能会存在交互作用, 比如曾经有研究者通过心理旋转实验, 发现男性存在明显优势(Verdeet al., 2013)。因此, Palermo, Piccardi, Nori, Giusberti和Guariglia (2016)提出性别差异可以解释前人研究结果的部分原因, 他将年龄和性别因素同时纳入到影响表象生成的因素中, 并使用CVMIB量表(complete visual mental imagery battery)来验证假设, 结果发现除了表象维持过程, 表象生成过程、检验过程、转换过程都受到年龄的影响, 这可能是由于背外侧前额皮质的体积随着年龄的增加而减小(Raz et al., 1999), 所以以上的加工过程也受到了影响。另外, 虽然在该表象旋转任务中, 男性的表现优于女性, 但研究并没有发现性别会影响表象生成的过程。

生理激素与性别有密切关联。Wassell, Rogers, Felmingam, Bryant和Pearson (2015)采用客观测量双眼竞争的方法和主观问卷调查来评估表象, 发现荷尔蒙的浓度可以用来预测视觉表象的强度和清晰度。荷尔蒙调节是自上而下的自发调节, 而黄体酮作为一种女性荷尔蒙直接影响女性生成表象的清晰度, 处于黄体期中期的女性比卵泡期后期的女性以及男性具有更强和更生动的心理表象。遭受到创伤性事件后, 处于黄体期的女性产生更强烈的侵入性表象(Ferree, Kamat, & Cahill, 2011), 而且比起处于其他阶段的月经周期的女性, 黄体期的女性对情感激烈事件的记忆更深刻 (Canli, Desmond, Zhao, & Gabrieli, 2002), 这是由于相比于其他阶段, 处于黄体期中期的女性注意力水平增高, 而注意力与内源性黄体酮水平有关(Solís-Ortiz & Corsi-Cabrera, 2008)。认知资源的集中可以促进有意识表象的生成和维持, 从而导致表象清晰度提高。激素浓度变化, 是造成视觉表象的个体动态差异的部分生理基础。

4 存在的问题与展望

本综述从理论依据和神经机制的角度阐述了视觉表象的生成系统及其影响因素。研究证实表象的生成不仅涉及V1区, 大脑其他区域的共同合作更是生成过程中不可或缺的环节。由此可以看出, 未来的研究需进一步深入探讨和补充相关内容：

4.1 视知觉和视觉表象的分离

尽管前人研究证实知觉和表象在功能上存在分离, 但两者在解剖结构上存在重叠。外界刺激影响知觉生成的同时是否会影响表象？如果有影响, 那影响程度如何？影响是相互促进的还是相互抑制的？目前, 大多数研究仍然很难将表象从知觉中完全抽离出来, 因此, 我们可以进一步研究知觉和表象的交互作用。

4.2 对其他感官表象的讨论

本综述重点关注表象的视觉品质, 强调视觉表象的生成机制, 并未对其他感官表象(如听觉表象、触觉表象等)进行讨论。我们在日常生活中离不开其他感官表象的作用, 如听觉表象能够帮助记忆, 触觉表象在脉诊实践中发挥重要作用等。因此, 后续研究应结合多种感官表象, 进一步探讨影响表象生成的机制。

Albers, A. M., Kok, P., Toni, I., Dijkerman, H. C., & de Lange, F. P. (2013). Shared representations for working memory and mental imagery in early visual cortex.(15), 1427−1431.

Baddeley, A. D., & Andrade, J. (2000). Working memory and the vividness of imagery.(1), 126−145.

Bartolomeo, P. (2002). The relationship between visual perception and visual mental imagery: A reappraisal of the neuropsychological evidence.(3), 357−378.

Beech, J. R., & Allport, D. A. (1978). Visualization of compound scenes.(2), 129−138.

Behrmann, M., Moscovitch, M., & Winocur, G. (1994). Intact visual imagery and impaired visual perception in a patient with visual agnosia.(5), 1068−1087.

Bergmann, J., Genç, E., Kohler, A., Singer, W., & Pearson, J. (2016). Neural anatomy of primary visual cortex limits visual working memory.(1), 43−50.

Blazhenkova, O. (2016). Vividness of object and spatial imagery.(2), 490−508.

Bosch, S. E., Jehee, J. F. M., Fernández, G., & Doeller, C. F. (2014). Reinstatement of associative memories in early visual cortex is signaled by the hippocampus.(22), 7493−7500.

Bridge, H., Harrold, S., Holmes, E. A., Stokes, M., & Kennard, C. (2012). Vivid visual mental imagery in the absence of the primary visual cortex.(6), 1062−1070.

Canli, T., Desmond, J. E., Zhao, Z., & Gabrieli, J. D. E. (2002). Sex differences in the neural basis of emotional memories.(16), 10789− 10794.

Dijkstra, N., Bosch, S., & van Gerven, M. A. J. (2017). Vividness of visual imagery depends on the neural overlap with perception in visual areas.3022−3016, doi: 10.1523/JNEUROSCI.3022-16.2016.

Dijkstra, N., Zeidman, P., Ondobaka, S., van Gerven, M. A. J., & Friston, K. (2017). Distinct top-down and bottom-up brain connectivity during visual perception and imagery., 5677.

Farah, M. J., & Kosslyn, S. M. (1981). Structure and strategy in image generation.(4), 371−383.

Ferree, N. K., Kamat, R., & Cahill, L. (2011). Influences of menstrual cycle position and sex hormone levels on spontaneous intrusive recollections following emotional stimuli.(4), 1154−1162.

Ganis, G., Thompson, W. L., & Kosslyn, S. M. (2004). Brain areas underlying visual mental imagery and visual perception: An fMRI study.(2), 226−241.

Gunter, R. W., & Bodner, G. E. (2008). How eye movements affect unpleasant memories: Support for a working- memory account.(8), 913−931.

Hayes, J. R. (1973). On the function of visual imagery in elementary mathematics. In: W. G. Chase (Ed.),(pp. 177–214). Amsterdam: Elsevier.

Hirsch, C. R., & Mathews, A. (2012). A cognitive model of pathological worry.(10), 636−646.

Hishitani, S., Miyazaki, T., & Motoyama, H. (2011). Some mechanisms responsible for the vividness of mental imagery: Suppressor, closer, and other functions.(1−2), 5−32.

Ishai, A., Ungerleider, L. G., & Haxby, J. V. (2000). Distributed neural systems for the generation of visual images.(3), 979−990.

Ishai, A., Haxby, J. V., & Ungerleider, L. G. (2002). Visual imagery of famous faces: Effects of memory and attention revealed by fMRI.(4), 1729−1741.

Kemps, E., & Newson, R. (2005). Patterns and predictors of adult age differences in mental imagery.(1), 99−128.

Kok, P., Failing, M. F., & de Lange, F. P. (2014). Prior expectations evoke stimulus templates in the primary visual cortex.(7), 1546−1554.

Kosslyn, S. M. (1980).. Cambridge, MA, USA: Harvard University.

Kosslyn, S. M., Behrmann, M., & Jeannerod, M. (1995). The cognitive neuroscience of mental imagery.(11), 1335−1344.

Kosslyn, S. M., Ganis, G., & Thompson, W. L. (2001). Neural foundations of imagery.(9), 635−642.

Kosslyn, S. M., Ganis, G., & Thompson, W. L. (2006). Mental imagery and the human brain. In: Q. Jing, M. R. Rosenzweig, G. D'Ydewalle, H. Zhang, H.-C. Chen, & K. Zhang (Eds.).(pp. 195−209). New York: Psychology Press.

Kosslyn, S. M., & Thompson, W. L. (2003). When is early visual cortex activated during visual mental imagery?(5), 723−746.

Kozhevnikov, M., Kosslyn, S., & Shephard, J. (2005). Spatial versus object visualizers: A new characterization of visual cognitive style.(4), 710−726.

Lee, S. H., Kravitz, D. J., & Baker, C. I. (2012). Disentangling visual imagery and perception of real-world objects.(4), 4064−4073.

Mechelli, A., Price, C. J., Friston, K. J., & Ishai, A. (2004). Where bottom-up meets top-down: Neuronal interactions during perception and imagery.(11), 1256−1265.

Motoyama, H., & Hishitani, S. (2016). The brain mechanism that reduces the vividness of negative imagery., 59−69.

Naselaris, T., Olman, C. A., Stansbury, D. E., Ugurbil, K., & Gallant, J. L. (2015). A voxel-wise encoding model for early visual areas decodes mental images of remembered scenes., 215−228.

Paivio, A. (1975a). Imagery and synchronic thinking.(3), 147−163.

Paivio, A. (1975b). Perceptual comparisons through the mind’s eye.(6), 635−647.

Palermo, L., Piccardi, L., Nori, R., Giusberti, F., & Guariglia, C. (2016). The impact of ageing and gender on visual mental imagery processes: A study of performance on tasks from the Complete Visual Mental Imagery Battery (CVMIB).(7), 752−763.

Pearson, D. G. (2007). Mental imagery and creative thought., 187−212.

Pearson, J., & Kosslyn, S. M. (2015). The heterogeneity of mental representation: Ending the imagery debate.(33), 10089−10092.

Pearson, J., Naselaris, T., Holmes, E. A., & Kosslyn, S. M. (2015). Mental imagery: Functional mechanisms and clinical applications.(10), 590−602.

Pylyshyn, Z. W. (2002). Mental imagery: In search of a theory.(2), 157−182.

Raz, N., Briggs, S. D., Marks, W., & Acker, J. D. (1999). Age-related deficits in generation and manipulation of mental images: II. The role of dorsolateral prefrontal cortex.(3), 436−444.

Roelfsema, P. R., & de Lange, F. P. (2016). Early visual cortex as a multiscale cognitive blackboard., 131−151.

Schacter, D. L., Gaesser, B., & Addis, D. R. (2013). Remembering the past and imagining the future in the elderly.(2), 143−151.

Schwarzkopf, D. S., & Rees, G. (2013). Subjective size perception depends on central visual cortical magnification in human V1.(3), e60550.

Servos, P., & Goodale, M. A. (1995). Preserved visual imagery in visual form agnosia.(11), 1383−1394.

Shepard, R. N., & Metzler, J. (1971). Mental rotation of three-dimensional objects.(3972), 701−703.

Solís-Ortiz, S., & Corsi-Cabrera, M. (2008). Sustained attention is favored by progesterone during early luteal phase and visuo-spatial memory by estrogens during ovulatory phase in young women.(7), 989−998.

Tomasi, D., Ernst, T., Caparelli, E. C., & Chang, L. D. (2006). Common deactivation patterns during working memory and visual attention tasks: an intra-subject fMRI study at 4 Tesla.(8), 694–705.

Ungerleider, L. G. (1982). Two cortical visual systems.(11), 549−586.

Verde, P., Piccardi, L., Bianchini, F., Trivelloni, P., Guariglia, C., & Tomao, E. (2013). Gender effects on mental rotation in pilots vs. nonpilots.(7), 726−729.

Wassell, J., Rogers, S. L., Felmingam, K. L., Bryant, R. A., & Pearson, J. (2015). Sex hormones predict the sensory strength and vividness of mental imagery., 61−68.

Zeman, A. Z. J., Sala, S. D., Torrens, L. A., Gountouna, V. E., McGonigle, D. J., & Logie, R. H. (2010). Loss of imagery phenomenology with intact visuo-spatial task performance: A case of ‘blind imagination’.(1), 145−155.

Zvyagintsev, M., Clemens, B., Chechko, N., Mathiak, K. A., Sack, A. T., & Mathiak, K. (2013). Brain networks underlying mental imagery of auditory and visual information.(9), 1421−1434.

The system of visual imagery generation and its effect factors

LIN Yuting; ZHANG Delong; LIU Ming

(School of Psychology, South China Normal University, Guangzhou 510631, China)

Visual mental imagery is defined as the representation of visual information in human brain without external sensory stimuli, which plays an essential role in most of human’s mental activities. In this paper, we reviewed a theoretical computational model of visual mental imagery and summarized the essential components of visual imagery generation system with its corresponding neural basis. This paper highlights that the great importance of primary visual cortex in visual imagery process as it works as a “visual buffer” for generating visual information mentally. Factors that affect the production of visual mental imagery were also outlined. By offering a comprehensive understanding model of the processing of visual mental imagery, this paper may facilitate the further researches on visual mental imagery.

visual imagery; generation system; visual buffer; computational theory; neural mechanisms

2017-04-18

刘鸣, E-mail: lium@scnu.edu.cn

B842

* 国家自然科学基金项目(31371049, 31600907), 广东省自然科学基金项目(2014A030310487)资助。