外源性注意与多感觉整合的交互关系*

彭 姓 常若松,2 任桂琴 王爱君 唐晓雨,2



外源性注意与多感觉整合的交互关系*

彭 姓1常若松1,2任桂琴1王爱君3唐晓雨1,2

(1辽宁师范大学心理学院;2辽宁省儿童青少年健康人格评定与培养协同创新中心, 大连 116029) (3苏州大学教育学院心理学系, 苏州 215000)

外源性注意与多感觉整合的交互关系是一个复杂且具有争议的研究领域, 一直以来备受研究者们关注。为了解释两者间的交互作用机制, 本文基于已有研究成果从两方面综述了外源性注意与多感觉整合的交互关系：(1)外源性注意可以通过自下而上的方式调节多感觉整合, 包括空间不确定性、感知觉敏感度和感觉通道间信号强度差异三种理论假说; (2)多感觉整合可以调节外源性注意。一方面, 来自多感觉通道的刺激能够以自下而上的方式自动整合, 整合后的多感觉通道刺激比单通道刺激具有更大的凸显性从而有效地吸引注意。另一方面, 整合后的多感觉通道刺激能够作为多感觉信号模板存储于大脑之中, 从而在任务中实现自上而下地调节注意捕获。

多感觉整合; 外源性注意; 自上而下; 自下而上; 内源性注意

1 引言

个体将来自不同感觉通道(视觉、听觉、触觉等)的信息相互作用并整合为统一的、连贯的和有意义的知觉过程被称为多感觉整合(multisensory integration, MSI; Tang, Wu, & Shen, 2016)。多感觉整合主要有几种表现形式：其一为多感觉错觉效应(multisensory illusion effects), 例如McGurk效应(Tiippana, 2014)和腹语术效应(the ventriloquist effect; Callan, Callan, & Ando, 2015)等; 其二为多感觉促进效应(multisensory performance improvement effects), 例如冗余信号效应(redundant signals effect, RSE), 即相比单通道(视觉或听觉)刺激, 个体对同时呈现的多感觉通道刺激的反应更快速更准确(Mishler & Neider, 2016)。也有研究显示, 在两个位置或在单个位置监控多感觉通道刺激的反应时相比监控单通道刺激反应时更慢(Santangelo, Fagioli, & Macaluso, 2010), 即, 在某些特定条件下, 存在多感觉抑制效应(Meredith, Nemitz, & Stein, 1987) 。由于目前关于外源性注意与多感觉整合的研究大多还是集中在多感觉促进效应上, 因此本文主要基于多感觉促进效应的相关研究进行综述。

Posner等(1980)将注意分为内源性注意(endogenous attention)和外源性注意(exogenous attention)。其中, 外源性注意又被称为非自主性或刺激驱动注意, 是指在没有个体意图控制的情况下, 由个体以外的信息引起的无意识注意。例如, 在安静的自习室内, 一声巨大的关门声会不自觉吸引大家的注意。

注意与多感觉整合之间的关系已经引起研究者们的高度关注并一直处于探讨之中。虽然有一些研究者认为多感觉整合的发生独立于注意过程(Soto-Faraco, Navarra, & Alsius, 2004; Vroomen, Bertelson, & De Gelder, 2001), 但大多数研究者认为注意与多感觉整合之间存在密切的关系并从不同的研究视角出发提出了不同的关系理论框架(Koelewijn, Bronkhorst, & Theeuwes, 2010; Macaluso et al., 2016; Talsma, Senkowski, Soto- Faraco, & Woldorff, 2010; Tang, Wu, & Shen, 2016)。其中, 大部分侧重于探讨内源性注意与多感觉整合的关系, 仅有少部分涉及到外源性注意与多感觉整合的关系。因此, 本文基于已有研究成果, 从两方面综述了外源性注意与多感觉整合的关系：一方面, 外源性注意对多感觉整合的调节作用; 另一方面, 多感觉整合对外源性注意的调节作用。

2 外源性注意对多感觉整合的调节作用

我们的大脑无时无刻不在接受外在世界大量的信息输入, 多感觉整合可以将来自不同感觉通道的信息组合以减少感知系统内的干扰信息, 从而促进多感觉通道刺激的检测、识别和定位(Stein & Stanford, 2008)。外源性注意同样能够促进刺激的检测、识别和定位。例如, 外源性线索能够增强同一位置相对应的同一感觉通道或不同感觉通道的感知觉处理, 加快个体对刺激的反应速度(Spence, 2010)。鉴于多感觉整合与外源性注意都能促进刺激的加工, 帮助我们更好地感知外部世界, 研究者们开始探讨两者间的关系, 考察外源性注意对多感觉整合的调节作用。

外源性线索−靶子范式(cue-target paradigm)是研究外源性注意的经典范式(Posner & Cohen, 1984)。该范式主要以凸显特征(如方框变亮或变粗)作为线索呈现在左或右侧外周位置, 要求被试在经过一段时间间隔(stimulus onset asynchronies, SOA)后, 对呈现在与线索相同(即有效线索, valid cue)或不同(即无效线索, invalid cue)位置上的目标刺激进行反应。结果发现, 当线索−靶子间隔时间(即SOA)在300 ms以内时, 有效线索位置上的反应时显著快于无效线索位置, 被称为“易化效应(facilitation effect)”。然而当SOA大于300 ms时, 有效线索位置上的反应时却显著慢于无效线索位置, 被称为“返回抑制(inhibition of return, IOR)效应” (Posner & Cohen, 1984)。Van der Stoep等(2015)基于该范式考察了外源性听觉线索在短SOA (200~250 ms)条件下对多感觉整合的调节作用。实验通过声音诱发外源性注意, 要求被试对呈现在左或右侧的视觉(visual, V)、听觉(auditory, A)和视听觉(audiovisual, AV)通道目标刺激进行反应, 呈现在中间的目标不反应。研究结果显示, 外源性听觉线索能够加快对有效线索位置上目标刺激的反应, 即产生空间线索化易化效应。更重要的是, 相比无效线索位置, 有效线索位置上的多感觉整合效应减小。在后续研究中, Van der Stoep等(2016)基于相同的实验范式, 考察了外源性视觉线索在长SOA (350~450 ms)条件下诱发的IOR效应对多感觉整合的调节作用。结果发现, 虽然在反应时结果上发生反转(目标刺激通道为视觉时产生IOR效应), 但有效线索位置上的多感觉整合效应仍然小于无效线索位置。可见, 已有结果均显示, 外源性注意可以调节(减少)多感觉整合至少是视听觉整合效应(Van der Stoep, Van der Stigchel, & Nijboer, 2015; Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)。

2.1 外源性注意调节多感觉整合的三种理论假说

基于已有研究结果, 研究者们提出了三种理论假说来解释外源性注意对多感觉整合的调节机制, 即空间不确定性、感知觉敏感度和感觉通道间信号强度差异假说。

2.1.1 空间不确定性假说

由于外源性线索−靶子范式中的线索不能预测随后呈现目标的位置以至于产生更高的目标位置不确定性, 使得被试对目标的反应要更多依赖于线索诱发的空间定向。当线索诱发的空间定向重要性提高时, 多感觉目标本身引起的空间定向重要性则会降低(Van der Stoep, Spence, Nijboer, & Van der Stigchel, 2015; Van der Stoep, Van der Stigchel, & Nijboer, 2015)。由于在有效线索位置上, 外源性线索与多感觉目标本身引起的空间定向信息是冗余的, 因此降低了有效线索位置上多感觉目标整合的重要性, 最终得到有效线索位置上多感觉整合效应减少的结果。

另外, 有研究结果表明, 大脑对不同感觉通道信息的整合符合统计最优化原则, 即大脑能够根据不同感觉通道信息的可靠性(reliability-based)来决定对其的利用权重(Fetsch, Pouget, Deangelis, & Angelaki, 2011; Li, Yang, Sun, & Wu, 2015; Li, Yu, Wu, & Gao, 2016)。而在整合过程中, 对于通道估计本身是否可靠的先验知识也是确定该通道整合权重的一个重要因素(刘强等, 2010)。由于外源性线索不能预测随后呈现目标的位置, 大脑便形成线索对目标刺激提供的空间信息是不可靠的先验知识, 从而降低在有效线索位置上各感觉通道信息的利用权重, 最终影响多感觉整合效应。

2.1.2 感知觉敏感度假说

外源性空间线索能够提高其出现位置的感知觉敏感度, 同时相对增强紧接着呈现在该位置上目标的感知强度(Carrasco, 2011)。研究表明多感觉整合加工遵循反比效应原则(The principle of inverse effectiveness), 即高强度刺激引起的多感觉整合效应更小, 反之亦然(Senkowski, Saint- Amour, Höfle, & Foxe, 2011)。以外源性听觉线索调节多感觉整合的研究(Van der Stoep, Van der Stigchel, & Nijboer, 2015)为例, 在短SOA条件下, 相比无效线索位置, 有效线索位置上的感知觉敏感度更强, 因此呈现在该位置上的目标刺激强度也相应更强, 基于反比效应原则, 最终得到有效线索位置上多感觉整合效应减小的结果。

2.1.3 感觉通道间信号强度差异假说

前人研究发现当不同感觉通道之间的信号强度差异过大时, 多感觉整合效应更小, 而当不同感觉通道之间的信号强度相近时, 多感觉整合效应更大(Otto, Dassy, & Mamassian, 2013)。以外源性视觉线索调节多感觉整合的研究(Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)为例, 在长SOA条件下, 视觉线索只引起同样为视觉通道目标的IOR效应, 并没有引起听觉通道目标的IOR效应, 当有效线索位置上视觉目标的加工时间由于返回抑制变得更慢, 而听觉目标并没有更慢时, 视、听感觉通道间加工速度差异的增大会导致信号强度差异也随之增大, 最终得到有效线索位置上视听觉整合效应减小的结果。

由于以上三种理论假说是研究者们基于不同研究背景(不同SOA条件)提出的, 因此本文将时间加工信息作为一个重要的影响因素, 把三种理论假说分别置于不同SOA条件下进行探讨(见图1)。

首先, 目前在不同SOA条件下的研究结果都支持空间不确定性假说。因为不论在短还是长SOA条件下, 目标刺激呈现位置的空间不确定性一直存在, 因此多感觉整合效应在有效线索位置上均有所减小。未来研究可以通过调控外源性线索的有效性比例来进一步验证此假说(见图1假说1)。

其次, 目前只有在短SOA条件下的研究结果支持感知觉敏感度假说(见图1假说2短SOA)。由于在长SOA条件下, 有效线索位置上与目标早期感知觉加工密切相关的视觉P1成分振幅更小(Slagter, Prinssen, Reteig, & Mazaheri, 2016), 即长SOA条件下有效线索位置上的感知觉敏感度下降,其位置上呈现的目标刺激强度也相应减弱, 因此基于反比效应原则, 我们假定多感觉整合效应会更大(见图1假说2长SOA)。未来研究可以通过ERP (Event-related Potential)技术观察在不同时间进程中ERP成分的变化来验证此假说。

图1 外源性注意调节多感觉整合的三种理论假说

注：图中分别表示三种理论假说(空间不确定性假说, 感知觉敏感度假说, 感觉通道间信号强度差异假说)在不同SOA条件下(短SOA vs长 SOA)的结果。其中, 加粗红色字体代表基于已有研究数据得到的结果, 黑色字体代表假定结果。假说3结果分别引自Van der Stoep等(2015实验1, 2016)。

最后, 目前只有在长SOA条件下的研究结果支持感觉通道间信号强度差异假说(见图1假说3长SOA)。由于在短SOA条件下, 视、听觉目标产生的易化效应使得不同线索类型(有效线索、无效线索)下感觉通道间(视、听觉)的加工速度差异相近, 那么信号强度差异也相近, 因此我们假定在短SOA条件下, 不同线索类型下的多感觉整合效应无显著差异(见图1假说3短SOA)。未来研究可以通过诱发其它感觉通道上的返回抑制效应来观察感觉通道间信号强度变化对多感觉整合效应的调节结果, 从而验证此假说。

综上所述, 在不同SOA条件下, 外源性注意对多感觉整合的调节作用基于三种理论假说有不同的解释。但由于目前缺乏操控SOA变量的研究, 因此无法排除外源性注意本身存在的两阶段特性(短SOA下的易化效应vs. 长SOA下的抑制效应) (Martín-Arévalo, Chica, & Lupiáñez, 2015)对多感觉整合调节机制不一致的可能, 这需要研究者们在未来进一步的考察。

2.2 外源性注意与内源性注意对多感觉整合调节的异同

在以往关于内源性注意调节多感觉整合的研究中。一方面, 内源性注意可以基于空间因素调节多感觉整合, 不管是基于低水平刺激(Gao et al., 2014; Li, Yang, Sun, & Wu, 2015; Senkowski, Saint-Amour, Gruber, & Foxe, 2008; Talsma & Woldorff, 2005), 还是高水平刺激(Fairhall & Macaluso, 2009); 另一方面, 内源性注意还可以基于感觉通道因素调节多感觉整合(Degerman, Rinne, Salmi, Salonen, & Alho, 2006; Talsma, Doty, & Woldorff, 2007)。虽然也有研究得到相反的结果, 例如在通道选择性注意条件下多感觉整合的行为表现被减弱甚至消除(Mozolic, Hugenschmidt, Peiffer, & Laurienti, 2008; Wu et al., 2012)。但这些结果都显示内源性注意能够对多感觉整合效应产生调节作用。

对比内源性注意与外源性注意调节多感觉整合的研究, 发现两者都能对多感觉整合产生调节作用, 且都在注意位置(有效线索位置)上观察到多感觉促进效应。但由于外源性注意与内源性注意本身存在较大的差异：第一, 内源性注意的空间定向效应随着任务的需求而变化, 而外源性注意空间定向效应不易受任务影响(Chica, Bartolomeo, & Lupiáñez, 2013); 第二, 外源性线索比内源性线索能够更快地诱发注意效应, 也更快消失(Busse, Katzner, & Treue, 2008)。第三, 外源性注意在SOA大于300 ms时能够产生IOR效应(Martín-Arévalo, Chica, & Lupiáñez, 2015), 而内源性注意只有在引发眼球运动系统作出自发的眼跳时才会产生IOR效应(Henderickx, Maetens, & Soetens, 2012)。因此, 两者对多感觉整合的调节存在着差异：

一方面, 两者对多感觉整合的调节方式有所差异。内源性注意作为目标驱动注意, 是个体根据自己的目的或意图主动分配心理活动或意识, 因此内源性注意是通过自上而下的方式来调节多感觉整合。而外源性注意本身作为一种刺激驱动注意, 则是通过自下而上的方式来调节多感觉整合(Van der Stoep, Van der Stigchel, & Nijboer, 2015; Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)。可见, 两者对多感觉整合效应的调节方式不同。

另一方面, 两者对多感觉整合的调节结果有所差异。在内源性注意调节多感觉整合的研究中, 内源性注意能够通过调节机制降低感觉通道内的干扰信息从而增强视听觉信息输入的可靠性(Macaluso et al., 2016)。因此, 相比非注意位置, 注意位置上多感觉通道刺激的行为反应结果更快更准确, 神经反应更强烈, 多感觉整合效应更大。以Talsma等(2005)研究为例, 如图2所示, 要求被试注意右侧位置出现的刺激, 对相应目标刺激进行反应。结果发现, 刺激出现后100~140 ms时, 额叶和中央区电极, 注意位置上AV与(A+V)间差异①比非注意位置大, 即内源性注意位置上的多感觉整合效应更大, 刺激出现后160~200 ms和320~420 ms, 在中央内侧核区电极发现相同的注意效应。然而, 在外源性注意调节多感觉整合的研究中, 以Van der Stoep等(2015)研究中实验1结果为例, 有效线索位置(相当于注意位置)上的多感觉整合效应反而小于无效线索位置(相当于非注意位置)。可见, 两者对多感觉整合效应的调节结果不同。

图2 Talsma等(2005)研究的实验流程与结果图

注：内源性注意调节多感觉整合的实验流程及其结果。实验中要求被试注意屏幕中的一侧(左/右侧), 并对该空间位置上的所有目标刺激(视觉、听觉和视听觉)进行检测反应(左图)。结果显示, 内源性注意位置上的多感觉整合效应更大(右图)。

此外, 根据前人研究结果我们假设两者对多感觉整合调节的时程机制也有所差异, 基于外源性注意与内源性注意调节刺激加工的时程研究结果, 在短SOA条件下, 外源性注意(易化效应)诱发的P1成分大于内源性注意(Hopfinger & West, 2006)。在长SOA条件下, 外源性注意(IOR效应)分别影响早期P1和晚期P3成分(Chica & Lupiáñez, 2009), 然而内源性注意只影响晚期P3成分(Chica et al., 2013), 因此两者调节多感觉整合的时程机制可能也有所差异。

本小节首先回顾了外源性注意对多感觉整合的调节作用。然后分别讨论了空间不确定性、感知觉敏感度和感觉通道间信号强度差异三种理论假说并提出了各假说未来的验证方向。最后对比了外源性注意与内源性注意对多感觉整合调节的异同点。总的来说, 在线索−靶子范式下, 已有研究结果暂且支持空间不确定性假说。但由于目前缺少神经机制的实验数据支持, 且在其它范式下(视觉搜索范式)发现对双通道刺激的反应反而慢于单通道刺激, 并没有发生多感觉促进效应, 有效线索位置上单、双通道的反应时差异也小于无效线索位置(Matusz & Eimer, 2013)。因此, 还需研究者们的进一步验证。

3 多感觉整合对外源性注意的调节作用

研究者们发现多感觉整合对外源性注意也存在调节作用, 不仅通过自下而上还能通过自上而下的方式。

3.1 多感觉整合自下而上地调节外源性注意

有证据表明在不需要注意资源的情况下可以发生早期的多感觉整合(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a), 刺激在早期阶段基于空间原则②或时间原则③自动整合起来, 整合后的多感觉通道刺激对外源性注意产生自下而上的调节作用。

3.1.1 线索−靶子范式中多感觉整合对外源性注意的调节作用

基于调控线索通道类型的线索−靶子范式, 实验中会先呈现不同通道类型的线索(例如视觉、听觉或视听觉线索), 再呈现目标刺激, 要求被试完成空间辨别任务, 最后比较由不同线索类型引起的空间线索化效应是否有所差异。早期研究者并没有发现多感觉通道线索与单通道线索(听觉、视觉)引起的空间线索化效应有显著差异, 因此并不认为多感觉通道刺激能够促进空间注意指向(Mahoney, Verghese, Dumas, Wang, & Holtzer, 2012; Santangelo, Van der Lubbe, Belardinelli, & Postma, 2006, 2008)。然而在Santangelo等(2008) ERP研究中显示, 外源性视听线索相比单独的视觉和听觉线索诱发了更强的神经活动。具体来看, 由双通道线索(视听觉)诱发的对侧顶枕区P1成分显著大于单一视、听觉线索诱发的成分之和, 由此证明多感觉通道线索在空间注意定向中发挥了重要的作用。后期研究者发现, 当操纵了被试的注意负荷变量后, 只有多感觉通道线索能够引起空间线索化效应(Barrett & Katrin, 2012; Matusz & Eimer, 2011; Santangelo & Spence, 2007)。也就是说, 当被试在高注意负荷条件下, 即在同一时间内既需要完成实验主任务又需要完成如快速序列视觉呈现(rapid serial visual presentation, RSVP)或时序判断(temporal order judgment, TOJ)等次任务的条件下, 多感觉通道线索相比单通道线索具备更大的提示效果。同样, 类似的结果在听触觉研究中也被发现(Ho, Santangelo, & Spence, 2009)。

基于感知负荷理论, 个体的注意资源有限, 当前任务对注意资源的占用程度决定了与任务无关的刺激得到多少加工(Lavie, 2005)。因此, 被试在高注意负荷条件下, 较少的注意资源可用于加工与任务无关的线索刺激, 只有整合后的多感觉通道线索刺激才具备更大的凸显性, 能更加集中地以刺激驱动的方式捕获个体的空间注意(Krause, Schneider, Engel, & Senkowski, 2012), 从而促进注意指向。

3.1.2 视觉搜索范式中多感觉整合对外源性注意的调节作用

Van der Burg等(2008 a,b)研究中采用视觉搜索任务范式, 要求被试在众多连续变化颜色和方向的倾斜干扰线段中搜索水平或垂直的目标刺激线段。其中, 目标刺激在颜色变化的同时伴随或不伴随听觉刺激, 听觉刺激并不提供关于目标刺激的任何信息, 对视觉目标不具有预测性。结果发现, 相比不伴随听觉刺激的视觉目标, 同步呈现听觉刺激的视觉目标其检测速度更快, 这种由听觉驱动的视觉搜索优势被称为“pip and pop”效应(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008b; Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a)。Van der Burg等(2011)在其后续研究中再次证实了听觉刺激能够加快同时呈现视觉目标的搜索时间, 并且发现代表视听觉整合的早期P50成分与行为学结果中的检测准确率高度相关。重要的是, 在刺激呈现后210~250 ms出现与自下而上注意分配关联的N2pc成分(Luck & Hillyard, 1994), 代表多感觉整合确实能够捕获注意, 促进视觉搜索效率。这种通过多感觉通道刺激捕获的外源性注意被证明可以通过被试的空间注意分布状况来调节(Van Der Burg, Olivers, & Theeuwes, 2012)。有研究者解释, 同时呈现的听觉刺激与视觉目标发生整合, 从而增强了对视觉目标位置的指向, 并抑制了视觉干扰项的位置指向(Pluta, Rowland, Stanford, & Stein, 2011), 最终促进多个刺激之间的竞争, 使视觉目标从复杂环境中凸显出来(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a; Van der Burg, Talsma, Olivers, Hickey, & Theeuwes, 2011)。然而, 也有另一种解释, 行为学效率的提高不是由于多感觉整合的作用, 而是由于与目标同时呈现的线索导致目标在干扰项中被感知为“古怪(oddball)”的刺激, 从而捕获被试注意并促进视觉目标的识别(Ngo & Spence, 2012)。总之, 多感觉整合在视觉搜索中调节外源性注意的基本机制还需研究者们的进一步探索。值得注意的是, 虽然影响视觉搜索中选择性注意的因素既包括目标驱动(自上而下)又包括刺激驱动(自下而上) (Atchley, Jones, & Hoffman, 2003), 但本文在此关注的是同时呈现的听觉刺激与视觉目标自动整合所吸引的注意是刺激驱动的。

“pip and pop”效应还被证实可以由其它感觉通道例如触觉(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2009)、嗅觉(Chen, Zhou, Chen, He, & Zhou, 2013)等诱发, 同样能够提高同时呈现的视觉目标的显著性, 使其从复杂的视觉环境中凸显出来。总之, 当视觉目标与其它感觉通道的信号同步呈现时, 能在知觉上被整合, 捕获注意, 最终帮助个体更快地识别、检测目标刺激, 加快视觉搜索速度(Chamberland, Hodgetts, Vallières, Vachon, & Tremblay, 2016)。

3.2 多感觉整合自上而下地调节外源性注意

大脑可以基于当前任务的相关特征建立自上而下的信号模板(注意控制定势, Attentional Control Setting), 只有符合当前信号模板的刺激才有可能自动捕获被试的空间注意(Folk & Remington, 1998), 而是否符合当前的信号模板则取决于线索刺激是否共享目标的特征。这些线索属性不仅包括较低水平的特征属性(颜色、大小、明度、凸显性、运动等) (Ansorge & Becker, 2013; Goller & Ansorge, 2015), 还包括较高水平的语义概念(Folk, Berenato, & Wyble, 2014; Goodhew, Kendall, Ferber, & Pratt, 2014; 王慧媛,隋洁,张明,2016; 王慧媛,张明,隋洁,2014)。这种受调节的注意分配现象被称为关联性注意捕获, 强调被试基于任务要求的信号模板对注意分配的调节作用(Lamy & Árni, 2013)。

以往研究中, 主要针对单通道任务中的关联性注意捕获进行了探讨, 然而在日常生活中, 我们很少只对一种感觉通道的信息进行处理, 通常会对来自不同感觉通道的信息同时处理, 以提高行为效率。因此, 研究者们开始对跨通道任务中的关联性注意捕获进行探讨。Matusz和Eimer (2013)基于视觉搜索范式, 考察个体是否可以创建与目标刺激相关联的来自不同感觉通道(视觉和听觉)的多感觉信号模板。实验中要求被试在搜索阵列中检测包含由视觉特征(如红色矩形)或视听觉特征组合定义的目标刺激(如伴有高音调的红色矩形), 在此之前, 呈现与其中视觉目标特征相匹配但不提供空间信息的视觉线索。结果发现相比单独的视觉搜索任务, 视觉线索的空间线索化效应在视听觉搜索任务中减少, 且N2pc成分诱发了更小的振幅, 也就是说单通道视觉线索的注意捕获能力在视听觉搜索任务中减弱。研究者认为在视听觉搜索任务期间, 视听觉目标被整合为多感觉通道刺激并作为双通道信号模板自上而下地控制注意。

Mast等(2015) 采用非空间反应启动范式考察了自上而下的多感觉信号模板是否可以包含来自其它感觉通道如触觉的特征(见图3)。实验中的启动项(类似于线索−靶子范式中的线索)与目标刺激在相同位置被连续呈现, 以避免线索化范式中的超通道空间特征(避免启动项提供目标的空间位置信息)。目标和启动项都包括双通道与单通道条件。视觉目标与启动项颜色特征是否一致作为反应相容性条件, 当视觉目标与视觉启动项的反应颜色一致时为相容条件, 视觉目标与视觉启动项的反应颜色不一致时为不相容条件(如图3a所示)。结果发现, 仅对于双通道(视触觉)目标条件, 双通道(视触觉)启动项比单通道(视觉)启动项具有更大的相容性效应(不相容条件反应时减去相容条件反应时) (如图3b所示)。也就是说, 在双通道目标条件下, 由于视觉目标和触觉刺激的同时呈现使得触觉特征并入到被试自上而下的多感觉信号模板中, 而视触觉启动项符合当前信号模板, 从而引起更大的注意捕获效应。基于相同的实验范式, Mast等(2017)通过改变视觉或听觉通道是否作为反应相关维度对跨通道关联性注意捕获效应再次进行验证。结果发现, 当启动项与目标的主要和次要通道特征都匹配时, 产生更大的相容性效应, 即启动项和自上而下多感觉信号模板之间特征重叠的情况决定了注意捕获的强度。

上述研究表明, 跨通道关联性注意捕获不仅可以包含来自视觉和触觉通道的特征(Mast, Frings, & Spence, 2015; Matusz & Eimer, 2013)还可以包含来自视觉与听觉通道的特征(Mast, Frings, & Spence, 2017)。另外, 跨通道关联性注意捕获既适用于与空间信息相关联的视觉搜索任务(Matusz & Eimer, 2013)又适用于与空间信息不相关的任务(Mast, Frings, & Spence, 2015; Mast, Frings, & Spence, 2017)。虽然有研究者认为跨通道关联性注意捕获并不是以纯粹自上而下的方式进行 (Matusz & Eimer, 2011), 这可能是由于视听启动项引起了大脑早期的多感觉加工(刺激后100 ms以内)和低级皮质中强烈的自下而上的影响(Murray et al., 2016)。但已有研究结果至少证明大脑可以将来自不同感觉通道(视觉、触觉、听觉)的刺激整合成多感觉信号模板进行储存, 从而自上而下地引导个体的外源性注意以优化对目标的选择。

图3 Mast等(2015, 实验1b)研究的实验流程与结果图

注：(a)任务和实验流程。图中分别表示在双通道目标(左图)和单通道目标条件(右图)下的实验流程。双通道目标由视觉刺激(红色圆形)与触觉振动刺激(图上用波浪线表示)组合而成。单通道目标只有视觉目标(绿色圆形), 从不伴随触觉振动刺激。同样, 启动项也分为双通道与单通道条件。实验中要求被试忽略启动项颜色特征, 既快又准地对目标刺激的颜色特征进行反应。(b)行为学结果。纵坐标代表相容性效应, 结果显示只有在双通道目标条件下发现双通道启动项比单通道启动项有更大的相容性效应。(引并改自Mast等(2015), copyright (2015)The Psychonomic Society.)

4 小结与展望

外源性注意和多感觉整合都有助于控制信息处理, 且都是复杂的、多阶段的过程, 因此两者之间的交互关系同样也是复杂的。为了解释两者间的交互作用机制, 本文主要从两大方面综述了外源性注意与多感觉整合的交互关系。具体来看：(1)外源性注意可以通过自下而上的方式调节多感觉整合, 包括空间不确定性、感知觉敏感度和感觉通道间信号强度差异三种理论假说。外源性注意与内源性注意都能对多感觉整合产生调节作用, 但两者在调节方式和调节结果上有所差异。(2)多感觉整合也可以调节外源性注意。一方面, 多感觉整合自下而上地调节外源性注意。具体来看, 在线索−靶子范式中, 刺激之间能够以自下而上的方式自动整合, 整合后的多感觉通道线索相比单通道线索具有更大的注意捕获效应, 诱发更大的空间注意定向效应; 在视觉搜索任务中, 整合后的多感觉通道刺激同样能引起更大的注意捕获效应, 使得目标从复杂环境中凸显出来, 从而提高视觉搜索效率。另一方面, 整合后的多感觉通道刺激能够作为多感觉信号模板存储于大脑之中, 从而在任务中自上而下地调节注意捕获。

在未来研究中, 本文提出以下几点展望：

(1)外源性注意调节多感觉整合的认知神经科学机制有待进一步解决。目前, 关于内源性注意对多感觉整合的调节机制取得了丰富的成果。然而外源性注意调节多感觉整合的成果只在行为学层面上有所探讨, 具体机制尚不清楚, 外源性注意如何影响多感觉整合以及何时开始影响多感觉整合的问题都未得到解决, 因此需要研究者们进一步探索。

(2)外源性注意与多感觉整合交互作用的具体时程机制。并行整合框架指出, 多感觉整合能够基于刺激的时间、空间和内容发生在感觉处理的“早期”和“晚期”阶段(Calvert & Thesen, 2004)。虽然已有研究证明, 内源性注意可以调节多感觉整合的多个阶段(Talsma, Senkowski, Soto-Faraco, & Woldorff, 2010), 但目前关于外源性注意与多感觉整合交互作用的具体加工阶段还未进行过考察。

(3)其它因素如何影响外源性注意与多感觉整合的交互关系。已有研究证实, 任务要求与目标(Donohue, Green, & Woldorff, 2015), 注意负荷(Barrett & Katrin, 2012)以及个体期望(Kok, Jehee, & de Lange, 2012)都能影响内源性注意对多感觉整合的调节效应。同样, 在外源性注意调节多感觉整合的研究中也发现任务类型会影响其调节效应的大小(Van der Stoep, Spence, Nijboer, & Van der Stigchel, 2015)。因此, 未来研究除了揭示外源性注意与多感觉整合交互作用的基本原理之外, 还需要关注两者的交互关系是否受到其它因素的影响。

刘强, 胡中华, 赵光, 陶维东, 张庆林, 孙弘进. (2010). 通道估计可靠性先验知识在早期的知觉加工阶段影响多感觉信息整合.(2), 227−234.

王慧媛, 隋洁, 张明. (2016). 线索靶子关联和搜索策略对注意捕获的作用——来自意义线索的证据.(7), 783−793.

王慧媛, 张明, 隋洁. (2014). 线索靶子关联和搜索策略对注意捕获的作用.(2), 185−195.

Ansorge, U., & Becker, S. I. (2013). Contingent capture in cueing: The role of color search templates and cue-target color relations.(2), 209−221.

Atchley, P., Jones, S. E., & Hoffman, L. (2003). Visual marking: A convergence of goal- and stimulus-driven processes during visual search.(5), 667−677.

Barrett, D. J. K., & Katrin, K. (2012). Evidence for multisensory integration in the elicitation of prior entry by bimodal cues.(1−2), 11−20.

Busse, L., Katzner, S., & Treue, S. (2008). Temporal dynamics of neuronal modulation during exogenous and endogenous shifts of visual attention in macaque area MT.(42), 16380−16385.

Callan, A., Callan, D., & Ando, H. (2015). An fMRI study of the ventriloquism effect.(11), 4248− 4258.

Calvert, G. A., & Thesen, T. (2004). Multisensory integration: Methodological approaches and emerging principles in the human brain.(1−3), 191− 205.

Carrasco, M. (2011). Visual attention: The past 25 years.(13), 1484−1525.

Chamberland, C., Hodgetts, H. M., Vallières, B. R., Vachon, F., & Tremblay, S. (2016). Pip and pop: When auditory alarms facilitate visual change detection in dynamic settings.,(1), 284−288.

Chen, K., Zhou, B., Chen, S., He, S., & Zhou, W. (2013). Olfaction spontaneously highlights visual saliency map.(1768), 20131729.

Chica, A. B., Bartolomeo, P., & Lupiáñez, J. (2013). Two cognitive and neural systems for endogenous and exogenous spatial attention.(1), 107−123.

Chica, A. B., & Lupiáñez, J. (2009). Effects of endogenous and exogenous attention on visual processing: An inhibition of return study., 75−85.

De Meo, R., Murray, M. M., Clarke, S., & Matusz, P. J. (2015). Top-down control and early multisensory processes: Chicken vs. egg.(17).

Degerman, A., Rinne, T., Salmi, J., Salonen, O., & Alho, K. (2006). Selective attention to sound location or pitch studied with fMRI.(1), 123−134.

Donohue, S. E., Green, J. J., & Woldorff, M. G. (2015). The effects of attention on the temporal integration of multisensory stimuli., 32.

Fairhall, & Macaluso. (2009). Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites.(6), 1247− 1257.

Fetsch, C. R., Pouget, A., Deangelis, G. C., & Angelaki, D. E. (2011). Neural correlates of reliability-based cue weighting during multisensory integration.(1), 146−154.

Folk, C., Berenato, A., & Wyble, B. (2014). Semantic priming produces contingent attentional capture by conceptual content.(10), 318.

Folk, C. L., & Remington, R. (1998). Selectivity in distraction by irrelevant featural singletons: Evidence for two forms of attentional capture.(3), 847−858.

Gao, Y. L., Li, Q., Yang, W. P., Yang, J. J., Tang, X. Y., & Wu, J. L. (2014). Effects of ipsilateral and bilateral auditory stimuli on audiovisual integration: A behavioral and event-related potential study.(9),668−675.

Giard, M., & Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study.(5), 473−490.

Goller, F., & Ansorge, U. (2015). There is more to trial history than priming in attentional capture experiments.(5), 1574−1584.

Goodhew, S. C., Kendall, W., Ferber, S., & Pratt, J. (2014). Setting semantics: Conceptual set can determine the physical properties that capture attention.(6), 1577−1589.

Henderickx, D., Maetens, K., & Soetens, E. (2012). The involvement of bottom-up saliency processing in endogenous inhibition of return.(2), 285−299.

Ho, C., Santangelo, V., & Spence, C. (2009). Multisensory warning signals: When spatial correspondence matters.(2), 261−272.

Hopfinger, J. B., & West, V. M. (2006). Interactions between endogenous and exogenous attention on cortical visual processing.(2), 774−789.

Koelewijn, T., Bronkhorst, A., & Theeuwes, J. (2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies.(3), 372−384.

Kok, P., Jehee, J. F. M., & de Lange, F. P. (2012). Less is more: Expectation sharpens representations in the primary visual cortex.(2), 265−270.

Krause, H., Schneider, T. R., Engel, A. K., & Senkowski, D. (2012). Capture of visual attention interferes with multisensory speech processing.67.

Lamy, D. F., & Árni, K. (2013). Is goal-directed attentional guidance just intertrial priming? A review.(3), 14−14.

Lavie, N. (2005). Distracted and confused? Selective attention under load.(2), 75−82.

Li, Q., Wu, J., & Touge, T. (2010). Audiovisual interaction enhances auditory detection in late stage: An event-related potential study.(3), 173−178.

Li, Q., Yang, H., Sun, F., & Wu, J. (2015). Spatiotemporal relationships among audiovisual stimuli modulate auditory facilitation of visual target discrimination.(3), 232−242.

Li, Q., Yu, H., Wu, Y., & Gao, N. (2016). The spatial reliability of task-irrelevant sounds modulates bimodal audiovisual integration: An event-related potential study., 149−154.

Luck, S. J., & Hillyard, S. A. (1994). Spatial filtering during visual search: Evidence from human electrophysiology.(5), 1000−1014.

Macaluso, E., Noppeney, U., Talsma, D., Vercillo, T., Hartcher-O’Brien, J., & Adam, R. (2016). The curious incident of attention in multisensory integration: Bottom- up vs. top-down.(6), 557−583.

Mahoney, J. R., Verghese, J., Dumas, K., Wang, C., & Holtzer, R. (2012). The effect of multisensory cues on attention in aging., 63−73.

Martín-Arévalo, E., Chica, A. B., & Lupiáñez, J. (2015). No single electrophysiological marker for facilitation and inhibition of return: A review., 1−10.

Mast, F., Frings, C., & Spence, C. (2015). Multisensory top-down sets: Evidence for contingent crossmodal capture.(6), 1970−1985.

Mast, F., Frings, C., & Spence, C. (2017). Crossmodal attentional control sets between vision and audition., 41−47.

Matusz, P. J., & Eimer, M. (2011). Multisensory enhancement of attentional capture in visual search.,(5), 904−909.

Matusz, P. J., & Eimer, M. (2013). Top-down control of audiovisual search by bimodal search templates.(10), 996–1009.

Meredith, M. A., Nemitz, J. W., & Stein, B. E. (1987). Determinants of multisensory integration in superior colliculus neurons. I. Temporal factors.(10), 3215–3229.

Miller, J. (2016). Statistical facilitation and the redundant signals effect: What are race and coactivation models?(2), 516−519. Mishler, A., & Neider, M. (2016). Evidence for the redundant signals effect in detection of categorical targets.(12), 1024.

Mozolic, J. L., Hugenschmidt, C. E., Peiffer, A. M., & Laurienti, P. J. (2008). Modality-specific selective attention attenuates multisensory integration.(1), 39−52.

Murray, M. M., Thelen, A., Thut, G., Romei, V., Martuzzi, R., & Matusz, P. J. (2016). The multisensory function of the human primary visual cortex., 161−169.

Ngo, M. K., & Spence, C. (2012). Facilitating masked visual target identification with auditory oddball stimuli.(2), 129−136.

Otto, T. U., Dassy, B., & Mamassian, P. (2013). Principles of multisensory behavior.(17), 7463−7474.

Pluta, S. R., Rowland, B. A., Stanford, T. R., & Stein, B. E. (2011). Alterations to multisensory and unisensory integration by stimulus competition.(6), 3091−3101.

Posner, M. I., & Cohen, Y. (1984). Components of visual orienting., 531−556.

Santangelo, V., Fagioli, S., & Macaluso, E. (2010). The costs of monitoring simultaneously two sensory modalities decrease when dividing attention in space.(3), 2717−2727.

Santangelo, V., & Spence, C. (2007). Multisensory cues capture spatial attention regardless of perceptual load.(6), 1311−1321.

Santangelo, V., Van der Lubbe, R. H., Belardinelli, M. O., & Postma, A. (2006). Spatial attention triggered by unimodal, crossmodal, and bimodal exogenous cues: A comparison of reflexive orienting mechanisms.(1), 40−48.

Santangelo, V., Van der Lubbe, R. H., Belardinelli, M. O., & Postma, A. (2008). Multisensory integration affects ERP components elicited by exogenous cues.(2), 269−277.

Senkowski, D., Saint-Amour, D., Gruber, T., & Foxe, J. J. (2008). Look who's talking: The deployment of visuo- spatial attention during multisensory speech processing under noisy environmental conditions.(2), 379−387.

Senkowski, D., Saint-Amour, D., Höfle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.(4), 2200−2208.

Slagter, H. A., Prinssen, S., Reteig, L. C., & Mazaheri, A. (2016). Facilitation and inhibition in attention: Functional dissociation of pre-stimulus alpha activity, P1, and N1 components.(6), 25−35.

Soto-Faraco, S., Navarra, J., & Alsius, A. (2004). Assessing automaticity in audiovisual speech integration: Evidence from the speeded classification task.(3), B13−B23.

Spence, C. (2010). Crossmodal spatial attention.(1), 182−200.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.(1), 31−49.

Spence, C., & Santangelo, V. (2009). Capturing spatial attention with multisensory cues: A review.(1-2), 134−142.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.(4), 255− 266.

Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R., & Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.(1), 121−137.

Talsma, D., Doty, T. J., & Woldorff, M. G. (2007). Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?(3), 679−690.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.(9), 400−410.

Talsma, D., & Woldorff, M. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.(7), 1098−1114.

Tang, X. Y., Wu, J. L., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention., 208−224.

Tiippana, K. (2014). What is the McGurk effect?(4), 725.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008b). Audiovisual events capture attention: Evidence from temporal order judgments.(5), 1−10.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008a). Pip and pop: Nonspatial auditory signals improve spatial visual search.(5), 1053−1065.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2009). Poke and pop: Tactile-visual synchrony increases visual saliency.(1), 60−64.

Van Der Burg, E., Olivers, C. N. L., & Theeuwes, J. (2012). The attentional window modulates capture by audiovisual events.(7), e39137.

Van der Burg, E., Talsma, D., Olivers, C. N. L., Hickey, C., & Theeuwes, J. (2011). Early multisensory interactions affect the competition among multiple visual objects.(3), 1208−1218.

Van der Stoep, N., Spence, C., Nijboer, T. C. W., & Van der Stigchel, S. (2015). On the relative contributions of multisensory integration and crossmodal exogenous spatial attention to multisensory response enhancement., 20−28.

Van der Stoep, N., Van der Stigchel, S., & Nijboer, T. C. W. (2015). Erratum to: Exogenous spatial attention decreases audiovisual integration.(2), 464−482.

Van der Stoep, N., Van der Stigchel, S., Nijboer, T. C., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual Information.(1), 6−17.

Vroomen, J., Bertelson, P., & De Gelder, B. (2001). The ventriloquist effect does not depend on the direction of automatic visual attention.(4), 651−659.

Wu, J. L., Li, Q., Bai, O., & Touge, T. (2009). Multisensory interactions elicited by audiovisual stimuli presented peripherally in a visual attention task: A behavioral and event-related potential study in humans.(6), 407−413.

Wu, J. L., Yang, J. J., Yu, Y. H., Li, Q., Nakamura, N., Shen, Y., ... Abe, K. (2012). Delayed audiovisual integration of patients with mild cognitive impairment and Alzheimer's disease compared with normal aged controls.(2), 317−328.

The interaction between exogenous attention and multisensory integration

PENG Xing1; CHANG Ruosong1,2; REN Guiqin1; WANG Aijun3; TANG Xiaoyu1,2

(1School of Psychology, Liaoning Normal University, Dalian 116029, China) (2Liaoning Collaborative Innovation, Dalian 116029, China) (3Department of Psychology, Soochow University, Suzhou 215000, China)

The interaction between exogenous attention and multisensory integration is a complex and controversial topic, which has been debated for a long time. In order to explain the interaction mechanism between them, here we summarized two parts based on previous researches. First, exogenous attention can modulate multisensory integration in a bottom-up manner, including three hypotheses as spatial uncertainty, sensory sensitivity and the differences in unimodal signal strength. Second, multisensory integration can also modulate exogenous attention. On one hand, stimuli from multiple sense modalities can be automatically integrated in a bottom-up manner. The integrated multisensory events can capture attention more efficiently compared to unimodal events, even under quite complex circumstances. On the other hand, integrated multisensory events exert top-down control on attentional capture via multisensory signal templates that are stored in the brain.

multisensory integration; exogenous attention; top-down; bottom-up; endogenous attention

① AV与(A+V)间差异：通过比较视听觉刺激(AV)诱发的ERP 与相对应的单通道听觉(A)和视觉(V)刺激分别诱发的ERP 成分总和来反应多感觉整合加工(De Meo, Murray, Clarke, & Matusz, 2015; Giard & Peronnet, 1999)。

② 空间原则(the special rule)：当来自不同感觉通道的信息由大致相同的位置呈现时, 多感觉整合效应最佳(Spence, 2013)。

③时间原则(the temporal rule)：当来自不同感觉通道的信息由大致相近的时间呈现时, 多感觉整合效应最佳(Stevenson, Fister, Barnett, Nidiffer, & Wallace, 2012)。

2017-10-26

* 国家自然科学基金项目(31600882; 31700939; 31471075), 中国博士后基金面上项目(2017M611888)赞助。

唐晓雨, E-mail: tangyu-2006@163.com; 王爱君, E-mail: ajwang@suda.edu.cn

B842

10.3724/SP.J.1042.2018.02129