掩蔽刺激对目标识别加工的作用：来自fNIRS的证据*

杨海波 刘和珺 章 鹏 李 量

掩蔽刺激对目标识别加工的作用：来自fNIRS的证据

杨海波刘和珺章 鹏李 量

(教育部人文社会科学重点研究基地天津师范大学心理与行为研究院, 天津 30074) (天津师范大学心理学部, 天津 30387) (国民心理健康评估与促进协同创新中心, 天津 30074) (北京大学心理与认知科学学院, 北京 100080)

信息掩蔽刺激(如随机字母群)对字母视觉搜索的干扰大于能量掩蔽刺激(如将字母群像素随机化后的散点), 但相应的中枢机理还不清楚。本研究采用记录脑代谢激活模式的功能性近红外光学脑成像技术(fNIRS), 考察年轻成年被试分别在字母掩蔽、字母碎片掩蔽、像素掩蔽条件下判断上、下、左、右四个目标字母是否相同时的大脑皮层氧合血红蛋白浓度的变化。结果显示, 依字母、字母碎片、随机散点掩蔽条件顺序, 被试的搜索任务成绩显著递增, 而顶−枕皮层的激活范围与程度显著递减, 表明信息掩蔽较匹配的能量掩蔽对视觉搜索有更大的干扰作用, 并在初级和联合视觉皮层引发更大的激活。在字母碎片掩蔽条件下, 视觉初级皮层部分区域的激活水平与搜索行为绩效的相关显著, 而在字母掩蔽条件下, 视觉联合皮层部分区域的激活水平与搜索行为绩效的相关显著。这进一步说明信息掩蔽中的字母掩蔽和字母碎片掩蔽的掩蔽作用在大脑皮层上所造成的加工负载存在差异。

视觉掩蔽; 视觉搜索; 近红外脑功能成像; 顶枕叶

1 引言

日常生活中, 人们处于由众多静止和运动客体组合而成的环境之中, 视觉系统总是连续不断地接受外界大量信息, 大脑同时对视觉系统传导来的大量信息进行加工(Calvert & Thesen, 2004)。在这个过程中, 一些与目标无关的信息在时间上和空间上出现在目标信息位置, 就对目标相关信息的加工产生一定的干扰, 导致个体不能全部加工目标相关信息, 这种现象被称为掩蔽(Gao, Schneider, & Li, 2017; Fahrenfort, Scholte, & Lamme, 2007)。Mattys, Brooks和Cooke (2009)提出, 依据内在机制的不同, 刺激所引起的掩蔽作用分为能量掩蔽和信息掩蔽。视觉系统中, 能量掩蔽是指掩蔽刺激对目标的干扰发生在视网膜水平, 使得目标信息很难进入大脑皮层得到更高水平的加工; 而信息掩蔽则是发生在大脑皮层加工层面, 由于掩蔽刺激与目标在某个或多个特征维度上相似, 因此会在高级加工阶段出现竞争(陈明立等, 2012; Mattys et al., 2009; Wardle, Cass, Brooks, & Alais, 2010)。已有大量研究证明, 能量掩蔽与信息掩蔽带来的掩蔽效应及其掩蔽机制均存在差异(Rabaglia & Schneider, 2016; Gao et al., 2017)。

为了进一步探讨刺激类型对信息掩蔽的作用机制, 陈明立(2012)的研究设置了无掩蔽与随机散点条件、字母掩蔽与随机散点条件和字母掩蔽与字母碎片掩蔽三种条件, 结果发现, 被试在字母掩蔽与字母碎片掩蔽条件下的目标识别成绩没有显著差异, 因此他们推断, 字母掩蔽与字母碎片掩蔽的掩蔽作用均发生在早期的知觉特征整合阶段, 尚未到达更高级的语义加工阶段。与此研究类似, Rabaglia等人(2016)的研究对比了随机像素、随机相位、字母碎片和字母这四种掩蔽条件下被试的目标识别正确率, 结果发现, 当掩蔽刺激是完整字母或字母碎片时, 被试的目标识别成绩没有差异, 因此他们推断认为, 字母和字母碎片的掩蔽作用并没有发生在高级加工阶段。但是也有研究得出不同的结果, Gao等人(2017)的研究采用字母判断搜索任务, 通过设置相位掩蔽、随机像素掩蔽、字母碎片掩蔽、字母掩蔽四种掩蔽刺激(其中相位掩蔽和随机像素掩蔽是能量掩蔽, 字母碎片掩蔽和字母掩蔽是信息掩蔽), 考察被试在不同掩蔽刺激条件下对目标字母搜索的行为表现。结果证实了信息掩蔽效应显著大于能量掩蔽效应, 同时研究还发现, 信息掩蔽的机制随着刺激类型的改变而存在差异, 具体表现为字母掩蔽条件下的目标识别正确率显著低于字母碎片掩蔽条件, 表明字母掩蔽条件下的掩蔽效应更大。因此他们认为, 字母碎片掩蔽条件下仅仅保持了碎片的知觉信息, 而字母掩蔽条件下的掩蔽刺激得到更高级的识别, 其与目标刺激存在语义水平的相似性, 因而掩蔽字母激活了语义水平的加工, 此时的掩蔽可以发生在语义加工水平(Gao et al., 2017)。可以看出, 研究者均对信息掩蔽的类型进行了操作, 但是在不同研究中, 被试在不同类型信息掩蔽条件下的行为结果并不一致, 因此关于信息掩蔽的作用机制还需要借助更有效的方法来探讨。

基于上述争论, 一些研究使用脑成像技术探讨了掩蔽刺激产生掩蔽效应时的神经活动规律。这些研究结果表明, 掩蔽后的目标可见度与枕叶视觉皮层的响应变化呈显著相关(Breitmeyer, 2008; Cai et al., 2017; Tsubomi et al., 2009), 也就是说, 掩蔽刺激能够影响初级视觉皮层的激活响应。Fahrenfort等人(2007) 以有特定短线簇纹理特征的方块图形为目标刺激, 以随机任意方向的短线簇为掩蔽刺激, 探讨掩蔽刺激对目标刺激识别的掩蔽影响的机制。结果发现, 掩蔽所作用的脑区为在刺激呈现后109~141 ms被激活的枕叶区域, 由于掩蔽刺激信号干扰了额顶区对该枕叶皮层的再进入加工(reentrant processing)的反馈调节作用, 进而造成了对目标信号知觉的掩蔽。

但是也有研究的结果与之不一致。Durantin, Gagnon, Tremblay和Dehais (2014)发现, 随着掩蔽刺激所产生的掩蔽效应的增加, 被试的行为反应绩效下降, 视觉皮层的激活水平增高。这与Tse, Martinez-Conde, Schlegel和Macknik (2005)的研究结果不一致。对于这种现象, Durantin, Scannella, Gateau, Delorme和Dehais (2016)从认知加工负荷角度进行了分析和解释。他们认为, 随着掩蔽效应的增加, 识别目标所需的认知资源增加, 表现在大脑皮层激活上就是大脑皮层的激活水平显著提高。也就是说, 掩蔽效应越大, 大脑皮层的激活水平越高。同时, Herrmann, Neueder, Troeller和Schulz (2016)的研究采用近红外光学脑成像技术探讨上述不一致的原因, 他们的研究发现, 行为结果(目标识别正确率)和大脑皮层血氧变化(血氧浓度的相对变化)均与对掩蔽刺激的加工负荷存在相关, 其中目标识别正确率与加工负荷呈负相关; 而氧合血红蛋白的变化与认知负荷呈正相关。上述研究结果的不一致是由掩蔽刺激与目标刺激的差异导致, 对已有研究进行对比分析发现, 在掩蔽刺激选择方面, 没有很好地区分和操作能量掩蔽和信息掩蔽, 已有研究大多使用的是低信息量水平的材料, 比如隐形驻波(Tse et al., 2005)、随机短线簇(Fahrenfort et al., 2007)等, 只有较少的研究涉及高信息量水平的掩蔽材料(Durantin et al., 2016)。另外, 即使是信息掩蔽, 也没有很好地区分和操作掩蔽刺激信息含量的大小, 从而导致结果出现差异。

到目前为止, 在视觉搜索任务中, 不同掩蔽类型刺激的特异性神经机制还没有得到一致性结论。综合分析已有的行为研究与脑成像研究可以看出, 能量掩蔽与信息掩蔽的差异已经在行为研究中得到证实, 但是还不清楚这种外显行为差异与大脑视觉皮层激活之间的对应关系; 另一方面, 行为研究对不同类型刺激导致信息掩蔽的探讨存在争议, 尤其也没有得到大脑皮层激活机制的证据。基于此, 本研究使用功能性近红外光谱脑成像技术(fNIRS)来考察在不同类型掩蔽刺激条件下被试进行目标识别的行为反应与大脑视觉皮层激活的关系, 旨在对视觉搜索任务的行为反应进行考察的同时, 还考察不同掩蔽类型刺激大脑视觉皮层激活的神经机制, 以此探讨不同掩蔽类型刺激的大脑视觉皮层激活是否具有特异性。实验操纵了掩蔽刺激的类型, 分为像素掩蔽、字母碎片掩蔽和字母掩蔽, 其中像素掩蔽是指掩蔽刺激由随机像素组成, 没有任何语义信息, 因此被称为能量掩蔽。字母碎片掩蔽与字母掩蔽均为信息掩蔽, 根据Gao等人(2017)、杨志刚、张亭亭、宋耀武和李量(2014)等研究对信息掩蔽的分类, 字母碎片掩蔽条件下, 由于碎片与目标字母存在知觉层面的相似性, 因此被称为知觉掩蔽; 字母掩蔽条件下, 因字母包含清晰的语义信息, 具有自动加工的特性, 与目标竞争高级认知加工资源, 被称为认知掩蔽。这三种类型的掩蔽刺激, 既有纯粹的无语义的掩蔽, 也有知觉水平的掩蔽, 还有更高的认知掩蔽, 较为全面地囊括了当前掩蔽研究中的大部分掩蔽类型。通过这种设计, 以期探讨不同类型掩蔽刺激是否存在视觉皮层加工的分离和差异。在视觉注意研究中, 枕叶的视觉初级皮层和视觉联合皮层是需要重点关注的皮层(Breitmeyer, 2008), 因此本研究重点关注枕叶皮层的激活模式。

已有研究表明, fNIRS已被广泛用于探讨视觉加工时枕叶视觉皮层活动, 可以对被试在视觉搜索过程中大脑皮层的血氧代谢活动响应进行较好的监测(McIntosh, Shahani, Boulton, & McCulloch, 2010; Ward, Aitchison, Tawse, Simmers, & Shahani, 2015; Wijeakumar, Shahani, Simpson, & McCulloch, 2012; Wijeakumar, Shahani, McCulloch, & Simpson, 2012; Rowland, Hartley, & Wiggins, 2018)。另外与其他脑成像方法相比, 在fNIRS实验中, 被试可以以自然的姿势进行实验, 即可以在一个更自然和低限制的条件下记录大脑皮层的血氧代谢活动, 使得在采用fNIRS方法的研究具有更高的生态效度(刘宝根, 周兢, 李菲菲, 2011)。

根据认知负荷理论(Paas & Sweller, 2012), 从像素掩蔽、字母碎片掩蔽到字母掩蔽, 其需要的加工负荷依次增加, 在大脑皮层激活模式上, 表现为皮层激活范围扩大, 激活水平提高。Durantin等人(2014, 2016)、Herrmann等人(2016)认为, 行为指标与加工负荷呈负相关, 大脑皮层血氧变化与加工负荷存在正相关。结合Gao等人(2017)和Rabaglia等人(2016)研究的结果, 本研究提出以下三项研究假设：(1)从能量掩蔽到信息掩蔽的转变, 形成认知加工负载的提高, 进而造成被试对目标识别的正确率呈显著下降的趋势。这一假设符合Mattys等人(2009)的研究发现, 即能量掩蔽对目标的干扰发生在视网膜水平, 因此不需要太多的中枢加工负载, 而信息掩蔽发生在认知加工阶段, 需要占用中枢加工负载。(2)由于中枢加工负载的不同, 能量掩蔽条件下的视觉皮层激活模式与信息掩蔽条件下的视觉皮层激活模式存在显著差异。Gao等人(2017)认为, 字母碎片掩蔽条件下仅仅保持了碎片的知觉信息, 而字母掩蔽条件下的掩蔽刺激得到识别并激活了语义信息。(3)受到刺激类型与目标刺激关系的影响, 信息掩蔽又可以进一步分为知觉信息掩蔽(如字母碎片掩蔽)和认知信息掩蔽(如字母掩蔽), 而且在这两种掩蔽机制下的大脑激活模式存在显著差异。

2 方法

2.1 被试

随机招募23名在校大学生为被试, 其中女生17人, 男生6人。年龄在19~25岁之间(22.3 ± 1.69)。所有被试均为右利手, 视力或矫正视力正常, 无色盲、色弱等眼疾; 无脑损伤、精神病史。所有被试填写知情同意书。实验结束后有一定的报酬。

2.2 实验仪器

使用日本岛津公司生产的LABNIRS功能性近红外脑成像仪(LABNIRS/16, Shimadzu Corporation, Kyoto, Japan)。该成像仪采用三波长(780 nm、805 nm、830 nm)的近红外线半导体激光(安全等级为IED-60825-1标准下的1M级), 根据修订后的比尔−郎伯(吸收)定律(modified Beer-Lambert law, MBLL)得到探测区域下氧合血红蛋白浓度(HbO)、脱氧血红蛋白浓度(HbR)、总血红蛋白浓度(HbT)的变化, 本研究中仪器的采样率为11.11 Hz。

2.3 实验材料

目标刺激是位于菱形顶点对称呈现的四个英文字母(字体为Times New Roman, 字号为24 points), 见图1。左右呈现的字母所在的正方形边长为13.3度(10.5 cm), 沿着水平轴或垂直轴分布的两个字母距离4.0度。其中, 四个字母或者都相同, 或者有一个字母不同于其他三个。目标字母较掩蔽刺激的像素亮度低了10个单元。字母放置于统一的灰色背景下, 其像素亮度为127 (33 cd/m), 每个字母的像素亮度设置为77个像素值, 使得字母看起来比背景深。所有目标刺激是用噪音掩蔽的目标信号, 参照前人的研究(Gao et al., 2017), 实验中采用的掩蔽刺激分为三种：字母掩蔽, 字母碎片掩蔽和像素掩蔽(见图2)。同时, 对三种掩蔽材料的视觉物理特征进行了分析, 结果见图3。

图1 无掩蔽噪音的刺激样例(仅有目标刺激)

图2 不同类型掩蔽刺激样例

图3 不同类型掩蔽刺激的视觉物理特征分析

2.4 实验设计

实验为单因素三水平(掩蔽类型：字母掩蔽、字母碎片掩蔽、像素掩蔽)被试内设计。因变量为被试的目标识别正确率和氧合血红蛋白(HbO)浓度的相对变化量。已有研究发现, HbO指标对任务刺激的变化更加敏感(Hoshi, Kobayashi, & Tamura, 2001)。

2.5 实验程序

刺激呈现通过E-prime软件来控制, 屏幕的背景颜色为黑色(RGB值：0, 0, 0)。实验安排在具备隔音、匀光的近红外光学脑成像专用实验室中。正式实验共有3个处理水平, 每个处理水平包含5个组块, 每个组块包含8个试次, 每两个组块之间静息20秒。一个试次的完整流程见图4所示, 首先在平面中心呈现一个注视点, 此时被试需要把注意集中在注视点上, 500 ms后呈现刺激, 呈现时间为2000 ms, 被试在此期间进行按键反应。不同处理条件按照组块进行了随机。

实验中, 被试坐在屏幕前舒适的椅子上, 且下巴固定在下巴托上以此保证每个被试眼睛距屏幕中心的距离为45 cm。被试左手食指与右手食指分别放于F、J键上。被试的任务是判断所呈现的目标刺激中四个字母是否相同, 尽量又准又快地按键; 若含有不同字母则按F键, 若四个字母都相同则按J键。正式实验前进行了20个试次的练习, 以便熟悉流程。

图4 一个试次的呈现过程

2.6 探头布置

使用4×5的多通道探头板, 由10个发射器和10个探测器组成, 探头间距为3 cm, 构成31个通道。由于视觉搜索任务的主要激活脑区在枕叶视觉区, 因此参照前人(Cai et al., 2017; Tsubomi et al., 2009)研究的探头布局方法, 根据国际10-10脑电系统安置探头, 将帽子中线与CZ-OZ线重合, 并将最低端处于中间位置的探头与枕骨隆突重合, 覆盖顶枕联合区(见图5)。fNIRS记录结束后, 使用3D定位仪(FASTRAK, Polhemus, Colchester, VT, USA)确定Cz、Nz、AL、AR点及探头位置。通过概率配准方法把fNIRS通道位置与MNI空间坐标进行配准, 获得与布鲁德曼分区之间的对应关系。表1列出的通道定位区域为该通道覆盖概率最大的区域。

图5 fNIRS通道布局

表1 通道布局与布鲁德曼分区的对应关系

2.7 数据分析

使用SPSS 20.0统计软件对行为数据进行单因素三水平重复测量方差分析检验。近红外的脑血氧数据使用基于Matlab运行的NIRS_SPM软件(Ye, Tak, Jang, Jung, & Jang, 2009)处理功能性近红外脑成像的血氧变化信号。NIRS_SPM是Matlab的一个插件, 它主要是基于一般线性模型(General Linear Model, GLM)来分析fNIRS数据。

首先对数据进行预处理。根据血液动力学响应函数(Hemodynamic Response Functions, HRF)和Wavelet-MDL方法(Jang et al., 2009)排除掉噪声(头动、心跳、呼吸等)和漂移, 这两种方法已在相关研究中得到证明(Brigadoi et al., 2014), 被认为是去噪效果相对较好的方法。在近红外实验过程中, 由于被试的头动、血管运动、血压变化、生理变化或仪器不稳定等会存在全局漂移的问题, 造成低频偏差。此外, 全局漂移的幅度通常与大脑激活过程的信号幅度相当。为了消除全局趋势并提高信噪比, 本研究采用基于小波最小描述长度(Wavelet_MDL) (Jang et al., 2009)算法去趋势。具体来说, 利用小波变换将近红外测量数据分解为不同尺度下的全局趋势、血液动力学信号和不相关噪声分量。同时, 为了防止对全局趋势估计的过拟合或欠拟合, 采用了最小描述长度(MDL)原则。此外, 本研究选择Precoloring方法(Worsley & Friston, 1995), 其核函数可采用高斯滤波器或HRF (血液动力学响应函数)低通滤波器。本文使用的HRF滤波器是近红外光谱数据的首选滤波器, 因为HRF的传递函数是基于神经元信号建模的频率(Ye et al., 2009), 可去除由仪器产生的随机噪声以及心率、呼吸等引起的生理噪声。通过上述流程, 共有3名被试的数据由于伪迹过多而被剔除。

然后, 用一般线性模型整合任务效应, 用任务拟合参考波推断参数估计(GLM模型中beta值的权重)。最后分别对不同掩蔽类型下获得的beta值进行单样本检验、方差分析。使用FDR (false discovery rate)校正所有的值, 校正后< 0.05为显著(Noble, 2009)。

3 结果

3.1 目标识别正确率

对不同掩蔽类型下的识别正确率进行单因素三水平重复测量方差分析, 结果显示：掩蔽类型主效应显著,(2, 38) = 212.71,< 0.001, η= 0.92。进一步Bonferroni校正的事后检验表明, 像素掩蔽(0.85 ± 0.12)、字母碎片掩蔽(0.51 ± 0.16)和字母掩蔽(0.29 ± 0.11)的平均正确率依次降低, 且两两条件之间差异显著(< 0.001), 被试在像素掩蔽条件下的识别正确率显著大于字母碎片掩蔽条件和字母掩蔽条件下的识别正确率, 在字母碎片条件下的识别正确率显著大于字母掩蔽条件(如图6所示)。这个结果表明, 字母掩蔽条件下的掩蔽效应最大, 字母碎片掩蔽条件下的掩蔽效应次之, 像素掩蔽条件下的掩蔽效应最小。

图6 不同掩蔽条件下被试的目标识别正确率

注：***< 0.001。

3.2 fNIRS结果

对不同类型掩蔽下各通道的beta值进行单样本检验, 检验值为0。根据各通道的值, 绘制了热量图(如图7所示)。经FDR校正, 结果发现, 像素掩蔽条件下显著激活的通道有ch24、ch28 (< 0.05), 其余通道都未被显著激活(> 0.05), 见图7(a); 字母碎片掩蔽条件下, 显著激活的通道有ch4、ch15、ch16、ch17、ch20、ch21、ch22、ch24、ch25、ch26、ch27、ch31 (< 0.05), 其余通道都未被显著激活(> 0.05), 见图7(b); 字母掩蔽条件下, 显著激活的通道有ch10、ch15、ch16、ch17、ch20、ch21、ch22、ch24、ch25、ch26、ch27、ch28、ch31 (< 0.05), 其余通道未被显著激活(> 0.05), 见图7(c)。这个结果表明, 像素掩蔽条件下的激活模式与其它两种条件(字母碎片掩蔽和字母掩蔽)的激活模式存在很大差异, 而字母碎片掩蔽与字母掩蔽条件下的激活模式基本相同, 都激活了视觉初级皮层与视觉联合皮层。

以通道为单位, 对三种掩蔽条件(像素掩蔽、字母碎片掩蔽、字母掩蔽)下各通道的beta值进行单因素三水平的重复测量方差分析, 结果见表2(统计结果不显著的未列出)。经FDR校正, 结果发现, 掩蔽条件主效应显著的通道包括：ch11、ch15、ch17、ch20、ch22、ch25、ch27、ch31 (< 0.05), 其余通道不存在显著差异(> 0.05), 结果见图8。激活的脑区包括左侧枕上回、枕中回和右侧枕上回、枕中回、枕下回。Bonferroni校正的事后检验显示, 字母掩蔽条件下相关皮层的激活水平显著高于像素掩蔽条件(见图9a), 字母碎片掩蔽条件下相关皮层的激活水平也显著高于像素掩蔽条件(图9b); 而字母掩蔽与字母碎片掩蔽下相关皮层的总体激活程度虽然存在一定差异, 但未达到显著水平(> 0.05), 热量图表明, 大脑左半球的激活水平高于右半球(见图9c)。通道分析发现, 在通道2、6、10、24、28、29上, 字母掩蔽条件下的激活水平高于字母碎片掩蔽条件, 主要脑区是左半球的枕上回、枕中回和枕下回。

图7 不同掩蔽条件下大脑皮层各通道激活t值热量图

表2 不同掩蔽类型条件下重复测量方差分析检验结果

注：*< 0.05, **< 0.01

图8 掩蔽类型对视觉搜索影响的主效应热量图

3.3 fNIRS结果与识别正确率的相关

根据表2中各通道与其对应的布鲁德曼分区结果, 将位于视觉初级皮层的5个通道(ch15、17、20、22、25)以及位于视觉联合皮层的3个通道(ch11、27、31)分别作为兴趣区纳入进一步的统计分析。然后, 对不同掩蔽类型下8个显著激活的通道按照不同兴趣区, 对beta值求平均值。最后, 将平均后的beta值与各掩蔽条件下被试视觉搜索的目标识别正确率进行皮尔逊相关分析, 结果见表3。

从表3可以看出, 像素掩蔽条件下, 无论是视觉初级皮层还是视觉联合皮层, 目标识别正确率与fNIRS结果之间的相关系数均不显著; 字母碎片掩蔽条件下, 位于视觉初级皮层区域的通道22上的目标识别正确率与fNIRS结果之间的相关系数显著,= 0.473, 其他通道二者的相关系数不显著; 字母掩蔽条件下, 视觉联合皮层的通道31上的目标识别正确率与fNIRS结果之间的相关系数显著,= −0.478, 其他通道二者的相关系数不显著。

4 讨论

本研究采用近红外光学脑成像技术考察了不同掩蔽条件下被试进行目标搜索时的行为反应与大脑视觉皮层血氧浓度变化模式。目标识别正确率表明, 像素掩蔽条件下的目标识别正确率显著高于字母掩蔽与字母碎片掩蔽条件, 这与前人研究结果一致(Gao et al., 2017; Mattys et al., 2009; Rabaglia et al., 2016), 再次证明像素掩蔽的掩蔽效应显著小于字母掩蔽与字母碎片掩蔽的掩蔽效应。同时血氧浓度指标表明, 皮层激活强度反映出不同类型掩蔽刺激影响目标识别过程, 具体表现为从像素掩蔽到字母碎片掩蔽、再到字母掩蔽, 随着目标与掩蔽刺激在物理、知觉、认知水平上相似性的增大, 视觉皮层的激活水平随之升高、激活范围也随之扩大。其中, 字母掩蔽条件下的视觉初级皮层和视觉联合皮层的激活水平显著高于像素掩蔽条件下对应脑区的激活水平。结合目标识别正确率结果与血氧浓度变化情况可以推断出, 不同类型掩蔽刺激对被试的目标搜索过程产生不同的掩蔽效应。

图9 视觉搜索任务下不同类型掩蔽刺激的两两对比热量图

表3 被试识别正确率与fNIRS数据的相关(n = 20)

注：*< 0.05

对血氧浓度进一步分析发现, 字母掩蔽和字母碎片掩蔽条件下视觉初级皮层和视觉联合皮层的大部分区域都显著激活, 而在像素掩蔽条件下, 只有少部分的视觉初级皮层和视觉联合皮层显著激活。对比分析发现, 与像素掩蔽条件相比, 字母掩蔽和字母碎片掩蔽条件下, 被试的左侧枕上回、枕中回和右侧枕上回、枕中回、枕下回都表现出显著的激活, 这与已有类似研究的结果一致(Mattys et al., 2009), 表明能量掩蔽与信息掩蔽的脑激活模式存在很大差异。进一步对比字母掩蔽、字母碎片掩蔽两种条件下的激活区域可以发现, 二者的激活区域存在较大范围的重叠, 这说明两种类型掩蔽刺激的引起的皮层激活模式高度相似。进一步的二者之间对比发现, 字母掩蔽条件下的皮层激活范围和水平高于字母碎片掩蔽条件, 虽未达到显著性水平, 但依然有一定借鉴意义, 关于这种差异的解释, 存在两种不同的观点。一种观点认为, 字母掩蔽与字母碎片掩蔽均属于信息掩蔽, 因此二者的掩蔽效果应该无差异; 如果结果存在差异, 那么可能是二者在特征整合阶段的加工差异导致的(Chubb, Olzak, & Derrington, 2001; Pelli, Palomares, & Majaj, 2004)。另一种观点认为, 字母掩蔽与字母碎片掩蔽虽然都属于信息掩蔽, 但相比于字母碎片掩蔽, 字母掩蔽的基本构成单位是完整字母, 具有完整的信息, 可能会诱发语义层面的加工, 因此造成二者的掩蔽效果存在显著差异(Gao et al., 2017)。

Gao等人(2017)认为, 字母掩蔽对目标的影响发生在更高级的认知加工阶段, 而字母碎片掩蔽对目标的影响发生在特征整合阶段。本研究中, 视觉皮层的血氧浓度变化模式表明, 字母掩蔽与字母碎片掩蔽对目标加工影响的大脑皮层激活模式在存在很大相似性的同时, 仍可以看出字母掩蔽条件下的皮层激活水平存在大于字母碎片掩蔽条件的趋势, 这种差异在一定程度上与行为结果相呼应, 说明字母掩蔽与字母碎片掩蔽作为信息掩蔽, 既存在共性的加工机制也存在刺激特异性的机制。进一步对比字母掩蔽与字母碎片掩蔽条件下的皮层血氧变化发现, 字母掩蔽条件下, 大脑左半球的部分视觉联合皮层区域的脑激活水平更高。已有研究证明, 枕叶皮层与语义、词汇加工存在一定的相关(Simons, Koutstaal, Prince, Wagner, & Schacter, 2003)。另外, 本研究的被试均为右利手, 其语言加工存在左半球优势效应(Lane et al., 2017)。因此, 字母掩蔽条件下表现出的左半球偏侧化高度激活可能反映了在视觉搜索加工过程中, 字母掩蔽出现了语义水平的加工, 这说明字母掩蔽与字母碎片掩蔽的掩蔽效应的机制不同, 其产生阶段也存在差异。

对字母掩蔽与字母碎片掩蔽之间差异的另一种可能解释是, 相比于字母碎片掩蔽, 字母掩蔽条件下被试还需对字母进行知觉(意义)层面上的整合, 并表征为整体, 这种完形加工倾向可能需要消耗更多的资源对掩蔽刺激进行加工, 因此视觉系统对目标的识别会受到个体对掩蔽字母知觉整合的影响, 这种整合的结果表现为认知负荷的增高(Lavie, Hirst, de Fockert, & Viding, 2004; Durantin, et al., 2014)。在字母碎片掩蔽条件下, 被试无需对掩蔽刺激进行知觉整合, 因而对认知资源的需求也比较少, 表现为字母碎片掩蔽条件下被试的大脑皮层激活的范围小、激活水平低。

视觉皮层的血氧变化情况与目标识别正确率之间的相关分析进一步证实了字母碎片掩蔽与字母掩蔽的脑激活模式差异。已有研究表明, 虽然视觉初级皮层和视觉联合皮层都涉及到对视觉信息的加工, 但它们与不同的认知功能有关, 例如, 视觉信息的知觉整合加工更多地与视觉初级皮层有关(Kok, de Lange, & Floris, 2014), 视觉信息的语义加工更多地与视觉联合皮层有关(Bonner et al., 2009)。本研究发现, 在字母碎片掩蔽条件下, 视觉初级皮层部分区域的激活水平与行为成绩的相关显著, 而视觉联合皮层与行为成绩的相关不显著, 说明字母碎片掩蔽条件下的掩蔽效果更多地与视觉初级皮层的激活有关, 主要对字母碎片进行特征分析, 因而激活了与知觉特征分析加工相关的视觉初级皮层。字母掩蔽条件下, 视觉联合皮层部分区域的激活水平与行为成绩的相关显著, 而视觉初级皮层与行为成绩的相关不显著, 说明字母掩蔽条件下的掩蔽效果更多地与视觉联合皮层的整合加工的激活有关。目标刺激与掩蔽刺激均为携带语义信息的字母, 为此被试在对目标进行加工判断时也受到同为字母的掩蔽刺激的语义加工的影响, 因而激活了与语义加工相关的视觉联合皮层。因此, 这进一步说明信息掩蔽中的字母掩蔽和字母碎片掩蔽的掩蔽作用的大脑皮层中枢存在差异。

对于字母掩蔽和字母碎片掩蔽两种条件下的部分视觉皮层激活水平差异不显著, 可能原因是字母掩蔽与字母碎片掩蔽的信息量差异对于汉语母语的被试来说达不到差异。已有研究表明, 汉字与汉字碎片携带的信息对被试的认知资源的需求存在着较大差异(Yan et al., 2012), 因此, 对于汉语为母语的被试来说, 他们对汉字或汉字碎片更为敏感, 而对英文字母和字母碎片的敏感性较低, 从而导致视觉皮层激活差异不显著。随后的研究应丰富信息掩蔽的类型(比如汉字碎片), 进一步探讨掩蔽对视觉搜索的影响。

5 结论

本研究使用fNIRS技术探讨不同类型掩蔽对目标识别影响的大脑皮层激活模式, 研究表明：与相同条件下的能量掩蔽相比, 信息掩蔽对视觉搜索有更大的干扰作用, 并在初级和二级视觉皮层引发更大的加工负载。并且, 不同类型信息掩蔽的掩蔽效果差异也体现在初级视觉皮层和视觉联合皮层的激活模式上, 即字母掩蔽和字母碎片掩蔽的掩蔽作用在大脑皮层上所造成的加工负载存在差异。

Breitmeyer, B. G. (2008). Visual masking: Past accomplishments, present status, future developments.(1-2), 9–20. doi:10. 2478/v10053-008-0010-7

Brigadoi, S., Ceccherini, L., Cutini, S., Scarpa, F., Scatturin, P., Selb, J., … Cooper, R. J. (2014). Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data.(1), 181–191. doi:10.1016/j.neuroimage. 2013.04.082

Bonner, M. F., Vesely, L., Price, C., Anderson, C., Richmond, L., Farag, C., ... Grossman, M. (2009). Reversal of the concreteness effect in semantic dementia.(6), 568–579. doi: 10.1080/ 02643290903512305

Cai, T. T., Zhu, H. L., Xu, J., Wu, S. J., Li, X. G., & He, S. L. (2017). Human cortical neural correlates of visual fatigue during binocular depth perception: An fNIRS study.(2)1–16. doi: 10.1371/journal.pone.0172426

Calvert, G. A., & Thesen, T. (2004). Multisensory integration: methodological approaches and emerging principles in the human brain.(1-3), 191–205. doi: 10.1016/j.jphysparis.2004.03.018

Chen, M. L. (2012).(Unpublished master's thesis). Peking University.

[陈明立. (2012).(硕士学位论文). 北京大学.]

Chen, M. L., Zhang, C. X., Yang, S. J., Mao, L. H., Tian, Y. H., Huang, T. J., … Li, L. (2012). Stereopsis-based binocular unmasking.(9), 1355–1363.

[陈明立, 张畅芯, 杨少娟, 毛利华, 田永鸿, 黄铁军, …李量. (2012). 基于双眼视差的立体视觉去掩蔽效应.,(9), 1355–1363.]

Chubb, C., Olzak, L., & Derrington, A. (2001). Second-order processes in vision: Introduction.(9)2175–2178. doi:10.1364/josaa. 18.002175

Durantin, G., Gagnon, J. -F., Tremblay, S., & Dehais, F. (2014). Using near infrared spectroscopy and heart rate variability to detect mental overload., 16–23. doi:10.1016/j.bbr.2013.10.042

Durantin, G., Scannella, S., Gateau, T., Delorme, A., & Dehais, F. (2016). Processing functional near infrared spectroscopy signal with a Kalman filter to assess working memory during simulated flight.707. doi:10.3389/fnhum.2015.00707

Fahrenfort, J. J., Scholte, H. S., & Lamme, V. A. F. (2007). Masking disrupts reentrant processing in human visual cortex.(9)1488–1497. doi:10.1162/jocn.2007.19.9.1488

Gao, Y. Y., Schneider, B., & Li, L. (2017). The effects of the binocular disparity differences between targets and maskers on visual search.(2), 459–472. doi:10.3758/s13414-016-1252-y

Herrmann, M. J., Neueder, D., Troeller, A. K., & Schulz, S. M. (2016). Simultaneous recording of EEG and fNIRS during visuo-spatial and facial expression processing in a dual task paradigm., 21–28. doi:10.1016/j.ijpsycho.2016.09.013

Hoshi, Y., Kobayashi, N., & Tamura, M. (2001). Interpretation of near-infrared spectroscopy signals: A study with a newly developed perfused rat brain model.(5), 1657–1662. doi:10.1152/jappl.2001. 90.5.1657

Jang, K. E., Tak, S., Jung, J., Jang, J., Yong, J., & Ye, J. C. (2009). Wavelet minimum description length detrending for near-infrared spectroscopy.(3), 1–13. doi: 10.1117/1.3127204

Kok, P., & de Lange, Floris P. (2014). Shape perception simultaneously up- and downregulates neural activity in the primary visual cortex.(13), 1531–1535. doi:https://doi.org/10.1016/j.cub.2014.05.042

Lane, C., Kanjlia, S., Richardson, H., Fulton, A., Omaki, A., & Bedny, M. (2017). Reduced left lateralization of language in congenitally blind individuals.(1), 65–78. doi:10.1162/jocn_a_01045

Lavie, N., Hirst, A., de Fockert, J. W., & Viding, E. (2004). Load theory of selective attention and cognitive control.(3), 339-354. doi: 10.1037/0096-3445.133.3.339

Liu, B. G., Zhou, J., & Li, F. F. (2011). Functional near-infrared spectroscopy: An emerging functional neuroimaging technology.(4), 943–949.

[刘宝根, 周兢, 李菲菲. (2011). 脑功能成像的新方法——功能性近红外光谱技术(fNIRS).(4), 943–949.]

Mattys, S. L., Brooks, J., & Cooke, M. (2009). Recognizing speech under a processing load: Dissociating energetic from informational factors.(3), 203–243. doi:10.1016/j.cogpsych.2009.04.001

McIntosh, M. A., Shahani, U., Boulton, R. G., & McCulloch, D. L. (2010). Absolute quantification of oxygenated hemoglobin within the visual cortex with functional near infrared spectroscopy (fNIRS).4856–4860. doi:10.1167/iovs.09-4940

Noble, W. S. (2009). How does multiple testing correction work?, 1135-1137. doi:10.1038/ nbt1209-1135

Paas, F., & Sweller, J. (2012). An evolutionary upgrade of cognitive load theory: Using the human motor system and collaboration to support the learning of complex cognitive tasks.(1)27–45. doi:10.1007/s10648-011-9179-2

Pelli, D. G., Palomares, M., & Majaj, N. J. (2004). Crowding is unlike ordinary masking: Distinguishing feature integration from detection.(12)1136–1169. doi:10.1167/4.12.12

Rabaglia, C. D., & Schneider, B. A. (2016). Age-related inhibitory deficit, or lack of familiarity benefit? Evidence from letter identification among visual distractors.(2), 542–565. doi:10.3758/s13414-015-1009-z

Rowland, S. C., Hartley, D. E. H., & Wiggins, I. M. (2018). Listening in naturalistic scenes: What can functional near-infrared spectroscopy and intersubject correlation analysis tell us about the underlying brain activity?. doi:10.1177/2331216518804116

Simons, J. S., Koutstaal, W., Prince, S., Wagner, A. D., & Schacter, D. L. (2003). Neural mechanisms of visual object priming: Evidence for perceptual and semantic distinctions in fusiform cortex.(3), 613–626. doi:10. 1016/s1053-8119(03)00096-x

Tse, P. U., Martinez-Conde, S., Schlegel, A. A., & Macknik, S. L. (2005). Visibility, visual awareness, and visual masking of simple unattended targets are confined to areas in the occipital cortex beyond human V1/V2.(47), 17178–17183. doi:10.1073/pnas. 0508010102

Tsubomi, H., Ikeda, T., Hanakawa, T., Hirose, N., Fukuyama, H., & Osaka, N. (2009). Connectivity and signal intensity in the parieto-occipital cortex predicts top-down attentional effect in visual masking: An fMRI study based on individual differences.(2), 587–597. doi:https://doi.org/10.1016/j.neuroimage.2008.11.028

Ward, L. M., Aitchison, R. T., Tawse, M., Simmers, A. J., & Shahani, U. (2015). Reduced haemodynamic response in the ageing visual cortex measured by absolute fNIRS.1–16. doi:10.1371/journal.pone.0125012

Wardle, S. G., Cass, J., Brooks, K. R., & Alais, D. (2010). Breaking camouflage: Binocular disparity reduces contrast masking in natural images.(14), 1–12. doi:10.1167/10.14.38

Wijeakumar, S., Shahani, U., McCulloch, D. L., & Simpson, W. A. (2012). Neural and vascular responses to fused binocular stimuli: A VEP and fNIRS study.(9), 5881–5889. doi:10.1167/iovs.12-10399

Wijeakumar, S., Shahani, U., Simpson, W. A., & McCulloch, D. L. (2012). Localization of hemodynamic responses to simple visual stimulation: An fNIRS study.(4)2266–2273. doi:10.1167/iovs.11-8680

Worsley, K. J., Friston, K. J. (1995). Analysis of fMRI time-series revisited - Again.(3), 173–181. doi:10.1006/nimg.1995.1023

Yan, G. L., Bai, X. J., Zang, C. L., Bian, Q., Cui, L., Wei, Q., … Liversedge, S. P. (2012). Using stroke removal to investigate Chinese character identification during reading: Evidence from eye movemwnts.(5), 951–979. doi:10.1007/s11145-011-9295-x

Yang, Z. G., Zhang, T. T., Song, Y. W., & Li, L. (2014). The subcomponents of informational masking: Evidence from behavioral and neural imaging studies.(3), 400–408.

[杨志刚, 张亭亭, 宋耀武, 李量. (2014). 听觉信息掩蔽的亚成分：基于行为和脑成像研究的证明.(3), 400–408.]

Ye, J. C., Tak, S., Jang, K. E., Jung, J., & Jang, J. (2009). NIRS-SPM: Statistical parametric mapping for near-infrared spectroscopy.(2), 428–447. doi:10.1016/j.neuroimage.2008.08.036

The role of masking stimulation in target recognition processing: Evidence from fNIRS

YANG Haibo; LIU Hejun; ZHANG Peng; LI Liang

(Key Research Base of Humanities and Social Sciences of the Ministry of Education, Academy of Psychology and Behavior, Tianjin Normal University, Tianjin 300074, China) (Faculty of Psychology, Tianjin Normal University, Tianjin 300387, China) (Center of Collaborative Innovation for Assessment and Promotion of Mental Health, Tianjin 300074, China) (School of Psychological and Cognitive Sciences, Peking University, Beijing 100080, China)

When our visual system processes target signals, it usually receives large amounts of irrelevant information from the target, leading to a reduction in the visibility of the target. A wealth of research has shown that visual search for target letters against a masking background is largely determined by the masker type. Informational maskers, such as either randomly positioned and oriented letters or randomly distributed letter fragments, induce stronger masking effects on recognition of target letters than the energetic maskers do, such as the random-phase masker (same spectral amplitude composition as the letter masker but with the phase spectrum randomized) or the random-pixel masker (the locations of the letter maskers’ pixel amplitudes being randomized). However, the mechanisms under informational masking and those under energetic masking are still unknown.

The current study examined both cortical activities and behavioral performances in the visual search task, which is determined by whether one of four letters presented at four symmetrically-located positions differs from the others under three masking conditions (random pixels, letter fragments, and random letters). Both the oxygenated hemoglobin concentration (HbO) responses in the primary visual cortex (V1) and secondary visual cortex (V2) with a functional near infrared spectroscopy (fNIRS) were recorded. Twenty (4 males, 16 females) healthy adults (mean age: 22.5 ± 1.67 years) participated in the experiment. Each masking condition contained 5 blocks, and each block contained 8 trails. There was a resting phase of 20 seconds between the two blocks. Spatial registration methods were applied to localize the cortical regions underneath each channel and to define two regions of interest (ROIs), which are the primary visual cortex (V1) and secondary visual cortex (V2).

The behavioral results showed that the performance of recognizing target letters improved when the masker type shifted from random letters to letter fragments and to random pixels, suggesting that the letter masker interfered the most with performance than the letter fragment and random-pixel maskers. The random-pixel masker caused the least masking effect. The fNIRS results showed that both letter masker and letter-fragment masker produced an increase in cortical oxygen level. Many regions of interest (ROIs), particularly the visual cortex (including V1 and V2), were more activated under the letter or the letter-fragment masking condition compared to the random-pixel masking condition. Moreover, the differences in cortical activation between the masking conditions further suggested that the V1 and V2 are the critical brain regions involved in visual letter search and informational masking of letter recognition.

To summarize, this study used fNIRS to explore the cortex activation patterns of different types of masking on target recognition. The results showed that information masking had much more interference on visual search and caused greater processing loads in primary and secondary visual cortex, compared with energy masking under the same conditions. Furthermore, the differences between letter fragments masking and letters masking are reflected in the activation mode of V1 and V2 regions.

visual masking; visual research; functional near infrared spectroscopy (fNIRS); parietal-occipital cortices

2018-10-08

* 全国教育科学规划教育部重点课题“创伤后应激障碍中学生注意偏向的心理机制研究” (DBA150235)。

李量, E-mail: liangli@pku.edu.cn

B842

10.3724/SP.J.1041.2019.01187