内外源性空间注意对多感觉整合的影响*

唐晓雨 佟佳庚 于 宏 王爱君

内外源性空间注意对多感觉整合的影响

唐晓雨佟佳庚于 宏王爱君

(辽宁师范大学心理学院; 辽宁省儿童青少年健康人格评定与培养协同创新中心, 大连 116029) (苏州大学 心理学系, 心理与行为科学研究中心, 苏州 215123)

本文采用内−外源性空间线索靶子范式, 操控内源性线索有效性(有效线索、无效线索)、外源性线索有效性(有效线索、无效线索)、目标刺激类型(视觉刺激、听觉刺激、视听觉刺激)三个自变量。通过两个不同任务难度的实验(实验1: 简单定位任务; 实验2: 复杂辨别任务)来考察内外源性空间注意对多感觉整合的影响。两个实验结果均发现外源性空间注意显著减弱了多感觉整合效应, 内源性空间注意没有显著增强多感觉整合效应; 实验2中还发现了内源性空间注意会对外源性空间注意减弱多感觉整合效应产生影响。结果表明, 与内源性空间注意不同, 外源性空间注意对多感觉整合的影响不易受任务难度的调控; 当任务较难时内源性空间注意会影响外源性空间注意减弱多感觉整合效应的过程。由此推测, 内外源性空间注意对多感觉整合的调节并非彼此独立、而是相互影响的。

内源性空间注意, 外源性空间注意, 多感觉整合, 内−外源性空间线索靶子范式, 任务难度

1 前言

在日常生活中, 我们每天都会接收大量来自视觉、听觉、触觉等不同感觉通道的刺激, 这些刺激彼此之间会相互影响。多感觉整合(Multisensory Integration, MSI)的过程就是将来自不同通道的刺激信息整合为一个统一的、连贯的和有意义的感知觉刺激(Talsma et al., 2010; Tang et al., 2016)。研究发现多感觉通道刺激比单通道刺激更容易吸引注意(Lunn et al., 2019)。注意是过滤掉无关信息, 使得与任务有关的信息优先进入到高级处理的选择机制(Meyer et al., 2018)。Posner (1980)将空间注意分为内源性空间注意(endogenous spatial attention)和外源性空间注意(exogenous spatial attention)。其中, 内源性空间注意通常利用指向性线索为即将出现的目标提供空间位置信息, 是自上而下、由目标驱动、受主观意愿控制的注意。而外源性空间注意通常是由短暂并且明显的线索引起的, 是一种自下而上、由刺激驱动、可以自动捕获注意(Hopfinger & West, 2006; Peelen et al., 2004)。

前人就内源性空间注意对多感觉整合的影响进行了研究。其中一类研究是利用指导语, 引导被试将注意集中在一个或者多个空间位置, 即要求被试仅对注意位置的靶刺激进行反应, 而对非注意位置的靶刺激不反应。以Talsma等(2005)研究为例, 他们发现在中央区电极上, 注意位置的多感觉整合效应要显著大于非注意位置。另一类研究采用内源性线索−靶子范式(cue-target paradigm), 唐晓雨和吴英楠等(2020)利用箭头作为内源性线索, 该线索对随后出现在注视点两侧目标刺激的空间位置有80%的预测作用, 例如当内源性线索的箭头指向左侧时, 随后出现的目标刺激有80%的可能性出现在左侧; 被试对有效线索(valid cue:目标出现的位置与线索指向的位置一致)和无效线索(invalid cue:目标出现的位置与线索指向的位置不一致)两个位置的刺激均进行按键反应。结果发现, 有效线索位置的多感觉整合效应显著大于无效线索位置的多感觉整合效应(唐晓雨, 吴英楠等, 2020)。尽管上述两类研究采用了不同的空间注意诱导方式, 但得到的结果一致：内源性空间注意会增强注意位置的多感觉整合效应。

然而, 关于外源性空间注意对多感觉整合影响的研究却发现：外源性空间注意会减弱多感觉整合效应(van der Stoep et al., 2015; van der Stoep et al., 2016)。van der Stoep等(2015)首次采用经典的外源性线索−靶子范式, 把CTOA (cue target onset asynchronies)即线索与目标之间的时间间隔设定为200～250 ms, 来研究外源性空间注意对多感觉整合的影响。结果发现有效线索条件下的多感觉整合效应要小于无效线索条件, 说明外源性空间注意减弱了线索位置的多感觉整合效应。在他们随后的研究中(van der Stoep et al., 2016), 把听觉线索调整为视觉线索的同时将CTOA延长至350～450 ms之间, 仍然发现有效线索条件下的多感觉整合显著小于无效线索条件。说明在两种不同的CTOA情况下, 外源性空间注意均减弱了注意位置的多感觉整合效应。

以往研究分别探讨了内源性空间注意和外源性空间注意对多感觉整合的影响, 发现内源性空间注意会增强多感觉整合(Senkowski et al., 2005; Fairhall & Macaluso, 2010; Talsma et al., 2007; Talsma & Woldorff, 2005); 而外源性空间注意会减弱多感觉整合(van der Stoep et al., 2015; van der Stoep et al., 2016)。那么采用内−外源性空间线索靶子范式, 相继呈现内外源性线索在同一范式中同时诱发内外源性空间注意时, 是否仍然能够得到内源性(外源性)空间注意增强(减弱)多感觉整合效应的结果呢？可能的结果有两类：

(1)在内源性线索后引入的外源性线索诱发外源性空间注意减弱多感觉整合效应, 但外源性空间注意并不会影响内源性空间注意增强多感觉整合效应, 内源性空间注意增强多感觉整合效应的结果仍然与前人一致没有任何改变。即, 内源性空间注意和外源性空间注意影响多感觉整合的过程是彼此独立的。这与先前研究提出的两种空间注意在性质是存在很大差异的结果是相符合的(Ana et al., 2013; Kosslyn et al., 2001), 比如：内源性空间注意比外源性空间注意更容易受到干扰刺激的影响(Yantis & Jonides, 1990); 外源性空间注意的线索化效应维持的时间要短于内源性空间注意(Busse et al., 2008)等。(2)外源性线索诱发的外源性空间注意减弱多感觉整合效应, 会影响内源性空间注意增强多感觉整合效应, 使内源性空间注意增强多感觉整合效应的程度会减弱甚至消失, 反之则亦然。也就是说, 内源性空间注意和外源性空间注意影响多感觉整合的过程是彼此联系的。从两种空间注意的关系来看也是支持空间注意是相互联系的(Grubb et al., 2015; Peelen et al., 2004)。Posner (1980)提出内外源性空间注意是属于同一个注意系统的两种不同方式; fMRI (functional magnetic resonance imaging)的研究也发现内外源性空间注意均会激活额−顶网络(fronto-parietal network) (Peelen et al., 2004)。然而, Berger等(2005)提出内外源性空间注意的相互联系也受实验任务难度的制约。在简单任务条件中, 例如：辨别P和*两个刺激中目标P的空间位置, 外源性空间注意的线索化效应没有对内源性空间注意的线索化效应产生影响; 而在复杂任务中, 例如：辨别Q和O两个刺激中目标Q的空间位置, 外源性空间注意的线索化效应对内源性空间注意的线索化效应产生影响。基于上述研究推测内源性空间注意和外源性空间注意调节多感觉整合效应的过程并非独立而是相互影响的, 但可能受到任务难度的影响。

本文通过把内外源线索整合到同一个空间线索化范式来验证内外源性空间注意如何调节多感觉整合的两种假设。在Berger等(2005)的线索化范式的基础上, 操控内源性线索有效性(有效线索、无效线索)、外源性线索有效性(有效线索、无效线索)和目标刺激类型(视觉刺激、听觉刺激、视听觉刺激)三个自变量, 通过两个实验来考察内外源性空间注意对多感觉整合的影响。其中, 实验1为简单定位任务, 而实验2为复杂的辨别任务, 以考察内外源性空间注意对多感觉整合的影响。

2 实验1：简单定位任务

2.1 研究方法

2.1.1 被试

一方面, 基于先前关于内外源性空间注意研究中所用到的样本量(Berger et al., 2005; Hopfinger & West, 2006); 另一方面, 采用软件GPower_3.1.7对实验计划样本量进行估算, 基于相关研究中报告的效果量以及期望的功效值(0.8)计算样本量。最终实验的计划样本量为16～36人, 37名辽宁师范大学在校学生(7名男生, 30名女生)参与到实验1中, 年龄为18～26岁, 平均年龄为21.3 ± 2.4岁。所有被试均为右利手, 听力正常, 视力或矫正视力正常, 没有严重疾病历史记录。在实验结束后, 会给予被试一定的报酬。

2.1.2 实验仪器和材料

实验程序由软件E-Prime 1.1编制, 在AOC液晶显示器呈现视觉刺激, 显示器型号为G2770PF (270LM00009), 显示器的分辨率为1024×768, 背景颜色为黑色, 刷新率60 Hz, 被试端坐在距离显示器屏幕中心位置60 cm处。注视屏：注视点是由白色(RGB: 255, 255, 255) “+”号组成的(视角0.05° × 0.05°), 呈现时间为600～800 ms; 在中央注视点左/右两个水平方向出现白色正方形方框(4°×4°, 距离中央注视点12°)。刺激屏：包括视觉刺激、听觉刺激、视听觉刺激三种。其中, 视觉刺激是随机出现在水平方向的白色正方形框内的五角星号(2°×2°, 距离中央注视点12°), 呈现时间为100 ms; 使用SoundEngine Free软件制作听觉刺激(频率为1600 Hz的纯音, 响度为65 dB, 时间为100 ms)。视听觉刺激是由两个单通道的视觉和听觉刺激同时呈现在屏幕的左/右侧, 呈现时间为100 ms (于宏, 2019)。

2.1.3 实验设计与实验程序

实验中使用2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索) × 3 (目标刺激类型：视觉刺激、听觉刺激、视听觉刺激)的被试内设计。包括练习和正式实验, 练习实验包括24个试次。正式实验包括10组, 每组120个试次。整个实验1200个试次, 大约进行45分钟左右。

实验1的试次流程如图1(b)所示：首先, 注视点“+”会出现在屏幕中间, 呈现时间为600～800 ms。与此同时, 两个白色正方形方框会出现在屏幕的左右两侧。随后在屏幕的中间位置会出现内源性空间线索“<<”或“>>”, 呈现时间为200 ms, 线索对接下来目标刺激位置的预测性是80%, 即接下来的目标刺激是有80%的可能出现在内源空间线索指向的位置。在300 ms的空屏之后, 加粗加亮的外源性空间线索出现在左/右两个水平方向的方框的外围并且对目标刺激的位置没有预测作用, 呈现时间为200 ms。在间隔150 ms之后, 呈现目标刺激屏, 目标呈现时间为100 ms。被试的实验任务就是既快又准地判断目标刺激的空间位置。当以上三种类型的目标刺激出现在屏幕左侧时, 按键盘的“F”键; 当三种类型的目标刺激出现在屏幕右侧时, 按键盘的“J”键, 被试在1000 ms内做出按键反应。如果被试在1000 ms内没有做出反应, 则会进入下一个试次。120个试次之后, 反馈本组实验结果, 即会显示这一组中正确的个数。在适当的休息之后, 被试按“B”键进行下一组实验(于宏, 2019)。

2.1.4 数据分析

用于剔除数据的标准：(1)在不同的实验条件下被试的正确率均要高于80%。此阶段剔除1名被试。(2)没有在规定时间内做出按键反应、错误反应和反应时间小于100 ms或者大于1000 ms的数据剔除。最终删除的数据量占总数据的2.44%。接下来对数据做进一步分析。首先, 每种条件下反应时的分析使用的是该条件的中位数(median)。其次, 比较每种条件下的相对多感觉反应增强量(relative amount of multisensory response enhancement, rMRE), 如公式(a)所见, rMRE反映的是多感觉通道刺激(视听觉刺激)与单通道目标刺激中(视觉刺激、听觉刺激)反应较快的刺激相比, 多感觉通道刺激反应时的增加量和减少量, 表明多感觉反应增强效应(彭姓等, 2019)。

图1 实验1流程示意图

注: 图1(a)为目标刺激呈现位置的示意图, 图1(b)为单个试次的流程图。右图中内源性空间线索对接下来的目标刺激的空间位置有80%的预测性, 而外源性空间线索对目标刺激位置没有预测性。目标刺激(V/A/AV)分别表示视觉刺激, 听觉刺激和视听觉刺激。

另一种测量多感觉整合的统计指标为对竞争模型的违反(race model inequality, RMI)。这种计算方法是Miller (1982)提出的。其原理是多感觉通道刺激(视听觉刺激)的反应时要快于任一单通道刺激(视觉刺激、听觉刺激)反应时, 可能的原因是被试对多感觉通道刺激(视听觉刺激)中先达到感觉阈限的单通道刺激(视觉刺激、听觉刺激)进行反应。这种现象就被称为“统计促进(statistical facilitation)”。以多感觉通道刺激(视听觉刺激)中反应较快的单通道刺激(视觉刺激、听觉刺激)形成的概率累计分布函数(Cumulative distribution function, CDF)曲线为“race model”。当多感觉通道刺激形成的概率累计分布函数显著大于“race model”这条理论曲线, 说明多感觉通道刺激发生了整合现象(Meyer et al., 2018; Miller, 1982)。而多感觉通道刺激形成的概率累计分布函数显著小于“race model”的理论曲线, 则说明在该时间段发生了多感觉抑制过程。其计算方法如公式(b)所示(van der Stoep et al., 2015)。

其中,(RT<)代表的是听觉刺激在给定的时间范围内做出反应的概率; 同理,(<)代表的是视觉刺激在给定的时间范围内反应的概率。通过公式(b)计算出race model的概率累计分布函数曲线。在给定的时间范围内, 与实际的多感觉通道的概率累计分布函数曲线进行比较。当实际多感觉通道的概率累计分布曲线显著地大于race model的累计曲线, 就可以说明发生了多感觉整合现象。

2.2 实验结果与分析

2.2.1 正确率

对正确率进行2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索) × 3 (目标刺激类型：视觉刺激、听觉刺激、视听觉刺激)的重复测量方差分析。正确率的结果如表1所示。目标刺激类型的主效应显著,(2, 70) = 46.21,˂ 0.001, η= 0.569。视听觉刺激的正确率(98.6%)高于视觉刺激的正确率(97.5%)和听觉刺激的正确率(95.8%)。内源性线索有效性主效应显著,(1, 35) = 17.53,0.001, η= 0.334, 有效线索位置目标反应的正确率(97.8%)比无效线索位置目标反应的正确率(96.8%)高。外源性线索有效性主效应显著,(1, 35) = 86.88,˂ 0.001, η= 0.713, 有效线索位置目标反应的正确率(98.8%)比无效线索位置目标反应的正确率(95.8%)高。三因素的交互作用显著,(2, 70) = 3.80,= 0.027, η= 0.098。简单效应分析表明, 在内源性线索和外源性线索有效的条件下, 视听觉目标的正确率(99.36%)显著高于视觉目标的正确率(98.75%,= 0.013), 视听觉目标的正确率(99.36%)与听觉目标的正确率差异不显著(98.97%,= 0.086), 视觉目标的正确率(98.75%)与听觉目标的正确率差异也不显著(98.97%,= 0.900)。在内源性线索有效而外源性线索无效的条件下, 视听觉目标的正确率(98.27%)显著高于听觉目标的正确率(97.19%,= 0.006), 听觉目标的正确率(97.19%)显著高于视觉目标的正确率(94.33%,= 0.006)。在内源性线索无效而外源性线索有效的条件下, 视听觉目标的正确率(99.41%)显著高于听觉目标的正确率(98.53%,= 0.003), 听觉目标的正确率(98.53%)显著高于视觉目标的正确率(98.02%,= 0.004)。在内源性线索和外源性线索无效的条件下, 视听觉目标的正确率(97.33%)显著高于视觉目标的正确率(96.17%,= 0.006), 视觉目标的正确率(96.17%)显著高于听觉目标的正确率(91.28%,= 0.007)。

表1 实验1不同条件下的反应时(RT/ms)和正确率(ACC/%) (M ± SD)

注：ACC代表正确率(Accuracy, %), RT代表反应时(Reaction time, ms)。

2.2.2 反应时

对反应时进行2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索) × 3 (目标刺激类型：视觉刺激、听觉刺激、视听觉刺激)的重复测量方差分析。

结果如表1所示。内源性线索的主效应显著,(1, 35) = 20.27,< 0.001, η= 0.376, 即内源有效线索的反应时(380.11 ms) 要显著快于无效线索的反应时(391.35 ms), 说明内源性线索加快了目标刺激的反应; 外源性线索的主效应显著,(1, 35) = 77.30,< 0.001, η= 0.688, 即外源性有效线索的反应时(366.63 ms)要显著快于无效线索的反应时(404.84 ms), 说明外源性线索加快了目标刺激的反应; 目标刺激通道的主效应显著,(2, 59) = 60.26,< 0.001, η= 0.633, 视听觉目标的反应时(349.08 ms)显著快于视觉目标反应时(404.15 ms)和听觉目标反应时(403.97 ms), 出现双通道加工优势。内外源性线索交互作用不显著,(1, 35) = 0.25,= 0.621, 说明内外源性线索对反应时的影响是相互独立的。三因素的交互作用不显著,(2, 70) = 1.58,= 0.214。

2.2.3 相对多感觉反应增强(rMRE)

如图2(a)所示, 当反应时为中位数时, 不同线索条件下rMRE的结果。首先对不同条件下的rMRE进行单样本检验(与0进行比较), 结果显示在内源性线索有效和外源性线索有效条件下的rMRE显著大于0,(35) = 13.64,< 0.001; 内源性线索有效而外源性线索无效条件下的rMRE显著大于0,(35) = 12.57,< 0.001; 内源性线索无效而外源性线索有效条件下的rMRE显著大于0,(35) = 13.88,< 0.001; 内源性和外源性两种线索均为无效条件下的rMRE显著大于0,(35) = 12.96,< 0.001。随后对rMRE的结果进行2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索)的重复测量方差分析。其中, 内源性线索的主效应不显著,(1, 35) = 0.73,= 0.400。外源性线索的主效应显著,(1, 35) = 5.16,= 0.029, η= 0.119, 外源无效线索的rMRE (= 10.21%,= 4.8%)显著大于外源有效线索的rMRE (= 7.28%,= 3.2%,< 0.01), 说明外源性空间注意减弱了多感觉整合效应。内源性线索和外源性线索的交互作用边缘显著,(1, 35) = 3.00,= 0.094, η= 0.078, 说明内外源性线索对多感觉整合的影响是存在相互作用的可能性。

如图2(b)所示, 当反应时为平均数时, 不同线索条件下rMRE的结果。首先对不同条件下的rMRE进行单样本检验(与0进行比较), 结果显示在内源性线索有效和外源性线索有效条件下的rMRE显著大于0,(35) = 12.53,< 0.001; 内源性线索有效而外源性线索无效条件下的rMRE显著大于0,(35) = 12.84,< 0.001; 内源性线索无效而外源性线索有效条件下的rMRE显著大于0,(35) =10.46,< 0.001; 内源性和外源性两种线索均为无效条件下的rMRE显著大于0,(35) = 11.83,< 0.001。随后对rMRE的结果进行2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索)的重复测量方差分析。其中, 内源性线索的主效应不显著,(1, 35) = 0.02,= 0.881。外源性线索的主效应显著,(1, 35) = 6.76,= 0.014, η= 0.162, 在有效内源性条件, 外源无效线索的rMRE (= 11.19%,= 5.2%)显著大于外源有效线索的rMRE (= 8.04%,= 3.8%,< 0.01), 说明外源性空间注意减弱了多感觉整合效应。内源性线索和外源性线索的交互作用不显著,(1, 35) = 2.25,= 0.142。

图2 (a)是反应时为中位数时, 不同线索条件下rMRE结果; (b)是反应时为平均数时, 不同线索条件下rMRE的结果。

注：rMRE (相对多感觉反应增强; relative amount of multisensory response enhancement); **< 0.01。

2.2.4 竞争模型分析(race model)

首先, 在0～1000 ms的反应时间范围内, 计算出以10 ms周期不同线索条件下的概率值：视觉(RT< t)、听觉(RT< t)、视听觉(RT< t)。实验1中内源性线索实际AV累计概率(CP)和竞争模型累计分布概率(CP)如图3(a)所示。其次, 将不同内源性线索条件下实际AV的累计概率(CP)与竞争模型累计分布概率(CP)的累计差异概率值相减, 在每10 ms上进行单样本检验(与0进行比较)。结果如图3(a)所示, 在内源性有效线索上显著违反竞争模型(显著大于0)的时间窗口为270～380 ms,s (38) > 2.12,s ≤ 0.041, 峰值在330 ms, 为4.8%; 而内源性无效线索上显著违反竞争模型的时间窗口为280～410 ms,s (38) > 2.18,s ≤ 0.035, 峰值在360 ms, 为5.7%。即内源性线索在有效和无效两种条件下的整合窗口, 发生的时间和峰值相似。说明内源性空间注意在有效线索和无效线索两种条件下的多感觉整合没有差异。

实验1中外源性线索实际AV累计概率(CP)和竞争模型累计分布概率(CP)如图4(a)所示。如图4(b)所示, 在外源性有效线索位置上并没有显著违反竞争模型的时间窗口; 而在外源性无效线索位置上, 显著违反竞争模型的时间窗240～510 ms,s (38) > 2.06,s ≤ 0.047, 峰值在370 ms, 为8.7%。即与外源性有效线索位置相比, 外源性无效线索位置的整合窗口要更大, 发生的时间更早且峰值要更高, 说明外源无效线索条件下的多感觉整合效应要强于外源有效线索条件下的多感觉整合。

2.3 讨论

实验1目的是考察在简单任务下, 内外源性空间注意对多感觉整合的影响。结果发现对有效线索的目标反应时要快于无效线索, 说明内源性和外源性两种线索均产生了显著的“易化效应” (Chica et al., 2014)。具有预测性的内源性线索和凸显性的外源性线索均加快了对目标刺激的反应, 表明实验设置的线索成功诱发了内源性和外源性空间注意。其次, 视听觉刺激的反应时显著快于视觉刺激和听觉刺激的反应时, 并且在4种线索条件下rMRE的值都显著大于0, 即产生了多感觉整合效应(Lunn et al., 2019)。

图3 (a)是实验1内源性线索的累计概率分布; (b)是实验1内源性线索race model结果

注：粗线表示视听觉刺激发生显著整合的时间窗口。虚线表示有效线索, 实线表示无效线索。*代表峰值(最大概率值)出现的时间。

图4 (a)是实验1外源性线索的累计概率分布; (b)是实验1外源性线索race model结果

注：粗线表示视听觉刺激发生显著整合的时间窗口。虚线表示有效线索, 实线表示无效线索。*代表峰值(最大概率值)出现的时间。

同时, 实验1结果发现(图3b), 外源有效线索条件下的多感觉整合效应明显要比外源无效线索条件下的多感觉整合效应小, 即外源性空间注意减弱了多感觉整合效应。一方面, 可以使用“空间不确定假说”进行解释, 即由于外源性线索对目标刺激的位置没有预测性, 所以被试会更多的依赖外源性线索的空间定位。外源有效线索和视听觉目标共同引起的空间定向是冗余的, 所以在有效线索位置上的视听觉目标所引起的多感觉整合程度下降。因此也就减弱了有效线索位置多感觉整合效应(van der Stoep et al., 2015; van der Stoep et al., 2016; 彭姓等, 2019)。另一方面, 也可以使用“感知觉敏感度假说”进行解释。根据多感觉整合的反比效应(inverse effectiveness), 即当多感觉刺激的强度越强时, 对多感觉刺激的整合效果越弱(Senkowski et al., 2011)。由于外源性线索可以自动吸引被试的注意, 所以在有效线索上的多感觉刺激的感知性要强于无效线索。根据反比效应, 有效线索的多感觉整合效应越弱(彭姓等, 2019; 唐晓雨, 孙佳影, 彭姓, 2020)。

然而, 实验1没有发现内源性空间注意增强多感觉整合效应(图3a), 这与以往研究的结果是不一致的(Talsma & Woldorff, 2005; 唐晓雨, 吴英楠等, 2020)。原因可能有以下两点：一是实验范式的原因。唐晓雨和吴英楠等(2020)通过使用内源性线索−靶子范式, 发现了内源性空间注意会显著增强多感觉整合效应。而本研究使用的是内−外源性空间线索靶子范式, 即在内源性线索出现后又出现了200 ms的外源性线索。由此线索引起的外源性空间注意会减弱多感觉整合效应, 以至于将内源性空间注意增强多感觉整合效应的过程消失, 因此外源性空间注意对内源性空间注意调节多感觉整合加工的过程产生影响, 导致实验结果没有发现内源性空间注意显著增强多感觉整合效应, 说明内外源性空间注意对多感觉整合的影响并不是独立的。二是内源性线索的预测性不足。一方面, 根据Yantis等(1990)的研究结果, 只有内源性线索的预测性在100%的条件下, 被试的注意才不会被外源性线索的吸引, 成功捕获目标。而在内源性线索的预测有效性在其它条件下(预测有效性为75%和25%), 外源性线索均会干扰内源性空间注意捕获目标刺激(Yantis & Jonides, 1990)。另一方面, 以往内源性空间注意增强多感觉整合的研究中, 主试多利用指导语, 要求被试对注意位置出现的目标刺激做反应, 而非注意位置的刺激不做反应(Senkowski et al., 2005; Talsma & Woldorff, 2005)。这类实验任务中由指导语诱发的内源性空间注意对出现在注意位置的目标刺激预测性为100%。上述两方面研究中, 内源性线索的预测性是高于本研究内源性线索的预测性, 这可能是导致本研究内源性空间注意没有显著增加多感觉整合的原因之一。在唐晓雨和吴英楠等(2020)的研究发现当内源性线索的预测性为80%, 也发现了内源性空间注意会增强多感觉整合效应。说明只要内源性线索的预测性维持在较高水平上, 在没有插入外源性线索的情况下, 内源性空间注意是可以增强多感觉整合的。综上所述, 的确内源性线索的预测性的降低会在一定程度上削弱内源性空间注意对多感觉整合的影响, 但更关键的是突然出现的外源性线索, 该线索诱发的外源性空间注意减弱多感觉整合的加工过程, 才是在本研究中没有发现内源性空间注意增强多感觉整合的更主要原因。

总体来说, 在实验1中仅发现了外源性空间注意减弱多感觉整合, 而内源性空间注意没有显著增强多感觉整合效应是因为受到了外源性空间注意减弱多感觉整合的影响, 导致内源性空间注意没有参与到多感觉整合的过程中, 所以内外源性空间注意对多感觉整合的交互作用不显著。那么, 当实验任务难度的提高时, 所需要的注意资源增加时, 被试会将更多的注意资源参与到实验中(Grundy et al., 2019; Washburn & Putney, 2001), 内源性空间注意是否参与到多感觉整合效应中并且两种空间注意对多感觉整合的影响是否会发生变化？

3 实验2：复杂辨别任务

3.1 研究方法

3.1.1 被试

46名辽宁师范大学在校学生(11名男生, 35名女生)参与到实验2中, 年龄为18～25岁, 平均年龄为21.1 ± 1.9岁。所有被试均为右利手, 听力正常, 视力或矫正视力正常, 没有严重疾病历史记录。在实验结束后, 会给予被试一定的报酬。

3.1.2 实验仪器和材料

实验2与实验1的差异主要就是在目标刺激屏。目标刺激屏包括视觉刺激、听觉刺激、视听觉刺激三种。其中, 视觉刺激是随机出现在水平方向的白色正方框内的正方形棋盘格(3.2°×3.2°, 距离中央注视点12°, 棋盘格中央的方框分为黑色(RGB: 0, 0, 0)和灰色(RGB: 147, 149, 152), 呈现时间为200 ms; 听觉刺激是采用SoundEngine Free软件制作(高频声音为1400 Hz; 低频声音为714 Hz, 65 dB, 200 ms)。视听觉刺激是由单通道视觉和听觉刺激同时呈现200 ms, 并同时呈现在屏幕的左/右侧。

3.1.3 实验设计与实验程序

在实验2中, 除了实验试次和实验任务与实验1不同, 其它流程与实验1大致相同。包括练习和正式实验, 练习实验包括48个试次。正式实验包括20组, 每组120个试次。整个实验2400个试次, 大约进行120分钟左右。整个实验告知被试要又快又准确的反应。

除目标刺激屏幕之外, 实验2单个试次的流程与实验1相同。但是实验2的目标刺激包括4种类型(图5)。视觉刺激包括两种：包括靶刺激和非靶刺激。其中, 靶刺激是要求被试判断空间位置的目标刺激; 非靶刺激并不需要被试进行反应的干扰刺激。听觉刺激也包括两种：靶刺激和非靶刺激。视觉靶刺激和听觉靶刺激两两结合组合成了4种视听觉靶刺激。在视听觉靶刺激中, 组合的两种通道靶刺激的呈现时间和呈现位置保持一致, 每种视听觉靶刺激会在被试间进行平衡。实验2的任务是判断靶刺激的空间位置, 当靶刺激出现在左侧屏幕时, 按键盘的“F”键; 当靶刺激出现在右侧屏幕时, 按键盘的“J”键, 以上靶刺激均为go试次; 并不需要对非靶刺激做按键反应, 所以非靶刺激均为no-go试次。以图4(a)为例, 视觉靶刺激为中央正方形为灰色的棋盘格; 听觉靶刺激为高频声音刺激; 视听觉靶刺激为中央正方形为灰色的棋盘格和高频声音同时出现, 并且出现在屏幕的同一侧。当三种通道的靶刺激出现在屏幕左侧时, 按键盘的“F”键; 当三种通道的靶刺激出现在屏幕右侧时, 按键盘的“J”键, 以上试次均为go试次。而对中央正方形为黑色的棋盘格、低频的声音刺激或以上两种单通道非靶刺激组合成的多感觉非靶刺激均不做按键反应, 以上试次均为no-go试次。实验包括20组, 每组120个试次。每组结束之后会提示该组正确反应数目。在适当的休息之后, 被试按“B”键进行下一组实验。

3.1.4 数据分析

与实验1的数据分析过程大致相同。(1)由于任务难度的提高, 被试在每种实验条件下的正确率均要高于70%。在此阶段剔除10名被试。(2)没有在规定时间内做出按键反应、错误反应和反应时间小于100 ms或者大于1000 ms的数据剔除。最终删除的数据量占总数据的4.31%。

3.2 实验结果与分析

3.2.1 正确率

对正确率进行2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索) × 3 (目标刺激类型：视觉刺激、听觉刺激、视听觉刺激)的重复测量方差分析。结果发现目标刺激通道的主效应显著,(2, 56) = 88.26,< 0.001, η= 0.716。视听觉刺激正确率(97.0%)与高于听觉刺激的正确率(95.3%)高于视觉刺激的正确率(90.6%)。内源性空间注意的主效应显著,(1, 35) = 111.92,< 0.001, η= 0.716。有效线索位置目标反应的正确率(96.7%)比无效线索位置目标反应的正确率(91.9%)高; 外源性空间注意的主效应显著,(1, 35) = 67.34,< 0.001, η= 0.658。有效线索位置目标反应的正确率(95.9%)比无效线索位置目标反应的正确率(92.7%)高。三因素的交互作用不显著,(2, 70) = 2.78,= 0.069。

图5 实验2目标刺激类型

注：图5为实验2四个种类的目标刺激。实验2的任务是判断目标靶刺激的空间位置, 并且不对非靶刺激反应。

3.2.2 反应时

对反应时进行2 (内源性线索有效性：有效线索、无效线索) × 2 (外源性线索有效性：有效线索、无效线索) × 3 (目标刺激类型：视觉刺激、听觉刺激、视听觉刺激)的重复测量方差分析。

结果如表2所示。内源性线索的主效应显著,(1, 35) = 48.37,< 0.001, η= 0.580, 即内源有效线索有效的反应时(485.91 ms)要显著快于无效线索的反应时(531.48 ms), 说明内源性线索加快了目标刺激的反应; 外源性线索的主效应显著,(1, 35) = 180.71,< 0.001, η= 0.838, 即外源性线索有效的反应时(485.87 ms)要显著快于无效的反应时(531.52 ms), 说明外源性线索加快了目标刺激的反应; 目标刺激通道的主效应显著,(2, 47) = 40.80,< 0.001, η= 0.538, 视听觉目标的反应时(477.45 ms)显著快于视觉目标反应时(518.03 ms)和听觉目标反应时(530.61 ms), 出现双通道加工优势。内外源线索交互作用显著,(1, 35) = 8.96,= 0.005, η= 0.204, 说明内外源性线索对反应时的影响是相互作用的。三因素的交互作用不显著,(2, 70) = 1.98,= 0.146。

表2 实验2在不同条件下的反应时(RT/ms)和正确率(ACC/%) (M± SD)

注：ACC代表正确率(Accuracy, %), RT代表反应时(Reaction time, ms)。

3.2.3 相对多感觉反应增强(rMRE)

如图6(a), 当反应时为中位数时, 不同线索条件下rMRE的结果。首先对不同条件下的rMRE进行单样本检验(与0进行比较), 结果显示在内源性线索有效和外源性线索有效条件下的rMRE显著大于0,(35) = 4.93,< 0.001; 内源性线索有效而外源性线索无效条件下的rMRE显著大于0,(35) = 5.62,< 0.001; 内源性线索无效而外源性线索有效条件下的rMRE不显著大于0,(35) = 1.53,0.137; 内源性和外源性两种线索均为无效条件下的rMRE显著大于0,(35) = 5.63,< 0.001。对rMRE的结果进行2 (内源性线索有效性的变化：有效线索、无效线索) × 2 (外源性线索有效性的变化：有效线索、无效线索)的重复测量方差分析。结果如图6(a)所示, 发现内外源线索交互作用显著,(1, 35) = 5.01,= 0.034, η= 0.122。表明在多感觉整合过程中, 内源性线索和外源性线索之间的影响是相互的。简单效应分析表明, 在内源有效线索条件下, 外源无效线索rMRE的值(5.3%)要显著大于外源有效线索rMRE的值(3.8%,= 0.023)。同时, 在内源无效线索条件下, 外源无效线索rMRE的值(6.3%)要显著大于外源有效线索rMRE的值(1.7%,= 0.001)。但是, 在内源性线索的有效性发生变化时, 外源性无效线索和外源性有效线索rMRE差异的变化是显著的,(35) = 2.21,= 0.034,= 0.49。

如图6(b), 当反应时为平均数时, 不同线索条件下rMRE的结果。首先对不同条件下的rMRE进行单样本检验(与0进行比较), 结果显示在内源性线索有效和外源性线索有效条件下的rMRE显著大于0,(35) = 4.89,< 0.001; 内源性索有效而外源性线索无效条件下的rMRE显著大于0,(35) = 5.69,< 0.001; 内源性线索无效而外源性线索有效条件下的rMRE不显著大于0,(35) = 0.90,= 0.373; 内源性和外源性两种线索均为无效条件下的rMRE显著大于0,(35) = 4.10,< 0.001。对rMRE的结果进行2(内源性线索有效性的变化：有效线索、无效线索) × 2(外源性线索有效性的变化：有效线索、无效线索)的重复测量方差分析。发现内外源线索交互作用显著,(1, 35) = 3.93,= 0.05, η= 0.101, 表明在多感觉整合过程中, 内源性线索和外源性线索之间的影响是相互的。简单效应分析表明, 在内源无效条件下, 外源无效线索rMRE的值(4.7%)要显著大于外源有效线索rMRE的值(0.8%,= 0.005)。

3.2.4 竞争模型分析(race model)

首先, 在0～1000 ms的反应时间范围内, 计算出以10 ms周期不同线索条件下的概率值：视觉(RT< t)、听觉(RT< t)、视听觉(RT< t)。实验2中内源性线索实际AV累计概率(CP)和竞争模型累计分布概率(CP)如图7(a)所示。其次, 将不同线索条件下实际AV的累计概率(CP)与竞争模型累计分布概率(CP)的累计差异概率值相减, 在每10 ms进行单样本检验(与0进行比较)。结果如图7(b)所示, 在内源性有效线索上显著违反竞争模型(显著大于0)的时间窗口为270～400 ms,s (34) > 2.05,s ≤ 0.048, 峰值在370 ms, 为3.9%; 在内源性无效线索位置上并没有显著违反竞争模型的时间窗口。即有效条件的内源性线索相比与无效条件下的外源性线索的整合窗口要更大, 发生的时间更早且峰值要更大。即相比与内源性无效线索位置, 内源性有效线索位置的整合窗口要更大, 发生的时间更早且峰值要更高。

图6 (a)是反应时为中位数时, 不同线索条件下rMRE结果; (b)是反应时为平均数时, 不同线索条件下rMRE的结果

注：rMRE (相对多感觉反应增强; relative amount of multisensory response enhancement); *< 0.05, **< 0.01。

图7 (a)是实验2内源性线索的累计概率分布; (b)是实验2内源性线索race model结果

注: 粗线表示视听觉刺激发生显著整合的时间窗口。虚线表示有效线索, 实线表示无效线索。*代表峰值(最大概率值)出现的时间。

实验2中外源性线索实际AV累计概率(CP)和竞争模型累计分布概率(CP)如图8(a)所示。如图8(b)所示, 在外源性有效线索位置上, 显著违反竞争模型的时间窗为310～410 ms,s (34) > 3.14,s ≤ 0.003, 峰值在360 ms, 为2.7%; 而在外源性无效线索位置上, 显著违反竞争模型的时间窗为290～450 ms,s (34) > 2.03,s ≤ 0.05, 峰值在380 ms, 为4.4%。即相比与外源性有效线索位置, 外源性无效线索位置的整合窗口要更大, 发生的时间更早且峰值要更高, 说明外源性空间注意在无效线索的多感觉整合要强于有效线索条件下的多感觉整合。

图8 (a)是实验2外源性线索的累计概率分布; (b)是实验2外源性线索race model结果

注: 粗线表示视听觉刺激发生显著整合的时间窗口。虚线表示有效线索, 实线表示无效线索。*代表峰值(最大概率值)出现的时间。

3.3 讨论

实验2目的是考察复杂辨别任务中内外源性空间注意对多感觉整合的影响。与实验1类似, 实验2成功诱发了内源性和外源性空间注意以及多感觉整合效应; 还发现了外源性空间注意减弱多感觉整合效应。但与实验1不同的是, 实验2发现内源性有效线索的违反竞争模型的时间窗口比内源性无效线索的时间窗口长, 峰值更高(图7a), 即内源性空间注意也参与到多感觉整合效应中, 这与前人的研究结果一致(Talsma & Woldorff, 2005; 唐晓雨, 吴英楠等, 2020)。此外, 实验2还发现了外源性线索有效性的变化会影响内源性空间注意增强多感觉整合的过程, 并且内源性线索有效性的变化也会影响外源性空间注意减弱多感觉整合的过程。

与实验1相比, 在实验2中发现在不同的内源性线索条件下, 外源性空间注意减弱多感觉整合效应的过程发生了显著的变化。即在内源有效线索条件下, 外源性空间注意减弱多感觉整合效应的程度要显著的小于内源无效线索条件下, 外源性空间注意减弱多感觉效应程度, 说明内源性空间注意也参与到多感觉整合的过程中。根据Lavie (1995)提出的“通路理论”可知, 在低知觉通路任务中(简单定位任务：仅要求被试捕获目标刺激), 注意资源在处理与任务相关的信息后会有部分注意资源“溢出”来处理与任务无关的其它刺激; 但是在高知觉通路任务中(复杂辨别任务：要求被试不仅要完成对目标刺激的捕获, 也要抑制对干扰刺激做出反应), 所有的注意资源都会参与到与任务相关的任务中, 并不会有注意资源“溢出”处理与任务无关的刺激(Lavie, 1995; Lavie, 2010); 并且因为在本实验中内源性线索对目标位置的预测性为80%, 对目标出现的位置具有高预测性, 所以被试会将更多依靠内源性线索, 将更多的注意资源集中在有效线索位置。对出现在内源有效线索位置的视听觉刺激, 被试在加工时间和程度要比内源无效线索位置更深(Odegaard et al., 2016; Talsma & Woldorff, 2005), 所以内源性线索改变了外源性空间注意减弱多感觉整合效应程度。

4 总讨论

本研究采用内−外源性空间线索靶子范式, 将出现在屏幕中间的箭头为内源性线索, 注视点两侧的白色正方形为外源性线索。通过改变实验任务难度, 来考察内外源性空间注意对多感觉整合的影响。研究结果发现, 在两个实验中, 外源性空间注意都显著减弱了多感觉整合效应。而只有当任务是复杂的辨别任务时(实验2), 内源性空间注意才参与到多感觉整合过程, 即内源性线索有效性的变化影响了外源性空间注意减弱多感觉整合效应的过程。具体来说在内源无效线索条件下外源无效与有效线索间多感觉整合效应的差异, 要显著大于在内源有效条件下外源无效与有效线索间多感觉整合效应的差异, 即内外源性空间注意对多感觉整合影响的交互作用显著。结果验证了前言提到的可能性(2), 即在一定任务难度的条件下, 外源性空间注意会影响内源性空间注意增强多感觉整合效应的过程, 反之亦然。

综合两个实验内外源性空间注意对多感觉整合的结果发现：在两个实验中, 外源性空间注意都显著减弱了多感觉整合效应, 这是符合外源性空间线索具有较高的凸显性, 会自下而上地自动吸引被试的注意, 并不占用被试的注意资源(Busse et al., 2008), 所以外源性空间注意减弱多感觉整合效应可能不受任务难度的影响或者说影响较小。而内源性空间注意仅在复杂任务难度条件下才会参与到多感觉整合效应, 符合内源性空间注意自上而下, 会受到被试注意资源的影响(Mayer et al., 2004; Rohenkohl et al., 2011), 所以内源性空间注意增强多感觉整合效应会受到任务难度的影响。正因为内外源性空间注意随任务难度变化本身不同, 二者的交互作用情况也不同。参考以往单感觉通道的研究, 在简单定位任务中, 内外源性空间注意的交互作用不显著, 两种空间注意彼此独立, 互不影响; 而复杂辨别任务中内外源性空间注意的交互作用显著, 两种空间注意相互作用(Berger et al., 2005)。

本研究发现不同任务难度下多感觉整合的变化情况与单感觉通道的结果类似, 在简单定位任务中, 内外源性空间注意对多感觉整合影响的交互作用边缘显著; 而在复杂辨别任务中, 内外源性空间注意对多感觉整合影响的交互作用显著。当实验由简单定位任务调整为复杂辨别任务, 实验2中干扰刺激的出现需要被试更深层次的认知加工(Johnston & Heinz, 1979), 所以需要更多的认知资源参与到实验任务中。但是人的认知资源是有限的(Granholm et al., 1996), 被试为了更好地完成任务会更加充分地利用具有较高预测性的内源性线索(Pauszek & Gibson, 2016), 内源性空间注意会更多地参与到实验任务中, 使内源性空间注意对外源性空间注意减弱多感觉整合效应产生影响, 在内源性线索有效/无效的条件下, 外源性空间注意减弱多感觉整合的程度是不同的, 即在内源无效线索条件下, 外源性空间注意减弱多感觉整合的程度要显著大于内源有效线索条件下, 外源性空间注意减弱多感觉整合的程度。同时, 外源性空间注意也对内源性空间注意增强多感觉整合效应产生影响, 在外源性线索有效/无效的条件下, 内源性空间注意增强多感觉整合的程度是不同的, 即在外源有效线索条件下, 内源性空间注意增强多感觉整合的程度要显著大于外源无效线索条件下, 内源性空间注意增强多感觉整合的程度。也就是说, 内外源性空间注意二者调节多感觉整合加工的过程是相互影响的。这与前人提出的内外源性空间注意两者之间的关系中支持两者空间注意的存在密切联系的观点是一致的。一方面, 在心理旋转和图像扫视的相关研究中发现, 两种空间注意在眼球运动上是遵循相同的规则, 随后眼动的结果发现两种空间注意存在显著的交互作用(Gowen et al., 2007; Otten et al., 2016; Posner, 1980)。另一方面, 两种空间注意在脑区的激活部位也是大致相同的, 主要包括前运动皮质, 后顶叶皮质, 额叶内侧皮质和右下额叶皮层等相关的额−顶网络(Mayer et al., 2004; Peelen et al., 2004)。所以内外源性空间注意会共享同一个机制。结合前人与本文的研究结果可以推论内外源性空间注意二者对单感觉通道刺激加工和多感觉加工的调节作用均不是彼此独立而是互相影响的。

进一步分析两个实验中rMRE的结果, 发现在实验1中, 内源性空间注意有效性的变化会在一定程度上影响外源性空间注意对多感觉整合效应。说明即使在简单定位任务中, 内外源性空间注意对多感觉整合影响的也是存在一定程度的联系。这与两种空间注意对反应时影响的结果是有差异的。因为注意与多感觉整合的关系更加紧密, 两者脑区的激活范围是有部分重叠的(Sugihara et al., 2006; Talsma et al., 2010)。其次, 比较两个实验的rMRE, 实验结果为任务难度会影响内外源性空间注意对多感觉整合的关系。深层次的原因是在两种不同难度的任务中, 内源性空间注意增强多感觉整合效应的过程是稳定存在的(唐晓雨, 吴英楠等, 2020), 而只是在复杂辨别任务中该过程得到了体现, 对外源性空间注意减弱多感觉整合的过程产生了影响。所以仅在实验2中发现内外源性空间注意对多感觉整合影响的交互作用显著。综上所述, 内外源性空间注意对多感觉整合的影响是存在密切联系的, 两种空间注意会分享同一个“注意资源池”。并且在复杂辨别任务中, 内外源性空间注意会以相互作用的方式对多感觉整合产生影响。

结合内外源性空间注意对多感觉整合影响的结果, 本研究提出内外源性空间注意对多感觉整合产生影响的动态过程：内外源性空间注意对多感觉整合的影响是存在密切联系的。首先, 是外源性空间注意会自下而上地对多感觉刺激进行捕获(Burg et al., 2008)。随后, 在简单定位任务难度中, 内源性空间注意也会对多感觉刺激进行自上而下的分析, 存在增强多感觉整合过程(唐晓雨, 吴英楠等, 2020)。但是由于外源性线索的出现, 再加上实验任务难度不大, 内源性空间注意增强多感觉整合的程度较弱(Lunn et al., 2019)。但是随着任务难度的提高, 当在外源性空间注意捕获多感觉目标后, 为了更好地完成实验任务, 注意资源的唤醒程度提高, 对内源性线索的利用程度也随之提高, 内源性空间注意会增强多感觉整合效应的程度更加显著, 对外源性空间注意捕获到的多感觉刺激进行分析, 将两个不同通道的刺激整合为多感觉刺激, 同时会根据刺激的性质(颜色, 形状, 大小), 空间位置等特征在头脑中形成一个自上而下的多感觉信号模板储存在大脑中(Atchley et al., 2003; Folk & Remington, 1998; 彭姓等, 2018)。最后, 形成的信号模板就会自上而下地引导被试, 对符合信号模板的多感觉刺激进行自下而上的捕获, 以完成复杂的实验任务(Talsma et al., 2010)。

在以往内、外源性空间注意对多感觉整合影响的研究中, 前者内源性线索对目标出现位置的预测性为100%或80%, 后者外源性线索的预测性则为50%, 线索预测性的比例的确不同, 表明不同预测比例的线索诱发的空间注意对多感觉整合的影响可能是不同的, 是符合“空间不确定假说”, 具体假说内容见实验1讨论。然而值得注意的是在唐晓雨和吴英楠等(2020)的研究中发现, 当内源性线索的预测性为50%时, 内源性空间注意没有增强多感觉整合效应。也就是说当内外源两种线索的预测性均为50%的条件下, 两种空间注意对多感觉整合的影响是不同的。这说明可能不单单只是比例的作用, 不同类型线索所诱发的空间注意类型不同, 以箭头形式呈现的内源性线索具有指向性提示, 是自上而下的过程, 且主要激活背侧的额−顶网络。以亮框形式呈现的外源性线索会更快地吸引被试的注意, 是自下而上的过程, 且主要激活腹侧的额−顶网络(Corbetta & Shulman, 2002; Meyer et al., 2018)。所以, 两种不同作用方式的空间注意对多感觉整合产生不同影响的原因是多元的。此外, 有实验采用外−内源性空间线索靶子范式, 来研究内源性线索对外源性线索返回抑制的影响。结果发现内源有效线索条件下外源性空间注意的返回抑制量要显著小于内源无效线索条件下的返回抑制量, 内源性线索有效性的变化对外源性空间注意的返回抑制产生了影响(Berger & Henik, 2000), 说明在外−内源性空间线索靶子范式中, 内外源性空间注意也是存在交互作用的。因此, 为确认内外源性空间注意如何对多感觉整合产生影响, 本团队也在用外−内源性空间线索靶子范式, 研究两种空间注意对多感觉整合加工过程的影响, 以验证内外源性空间注意对多感觉整合的调节作用, 究竟是彼此独立、还是相互影响的。

5 结论

本研究结果发现在两种不同任务难度下, 外源性空间注意减弱了多感觉整合效应, 内源性空间注意没有显著增强多感觉整合效应; 且复杂辨别任务中, 内源无效线索条件下, 外源性空间注意减弱多感觉整合的程度要显著大于内源有效线索条件下外源性空间注意减弱多感觉整合的程度。研究结果表明, 外源性空间注意会影响内源性空间注意对多感觉整合的调节作用, 在一定任务难度条件下, 内源性空间注意会影响外源性空间注意减弱多感觉整合效应的过程。因此, 内外源性空间注意对多感觉整合的调节并非彼此独立、而是相互影响的。

Atchley, P., Jones, S. E., & Hoffman, L. (2003). Visual marking: A convergence of goal-and stimulus-driven processes during visual search.,(5), 667.

Berger, A., & Henik, A. (2000). The endogenous modulation of IOR is nasal-temporal asymmetric.,(3), 421−428.

Berger, A., Henik, A., & Rafal, R. (2005). Competition between endogenous and exogenous orienting of visual attention.,(2), 207−221.

Botta, F., Lupiáñez, J., & Chica, A. B. (2014). When endogenous spatial attention improves conscious perception: Effects of alerting and bottom-up activation.,, 63−73.

Burg, E. V. D., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008). Pip and pop: Non-spatial auditory signals improve spatial visual search.,(5), 1053−1065.

Busse, L., Katzner, S., & Treue, S. (2008). Temporal dynamics of neuronal modulation during exogenous and endogenous shifts of visual attention in macaque area MT.,(42), 16380−16385.

Chica, A. B., Bartolomeo, P., & Lupiáñez, J. (2013). Two cognitive and neural systems for endogenous and exogenous spatial attention.,, 107−123.

Corbetta, M., & Shulman, G. L. (2002). Control of goal-directed and stimulus-driven attention in the brain.,(3), 201.

Fairhall, S. L., & Macaluso, E. (2009). Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites.,(6), 1247−1257.

Folk, C. L., & Remington, R. (1998). Selectivity in distraction by irrelevant featural singletons: Evidence for two forms of attentional capture.,(3), 847.

Gowen, E., Abadi, R. V., Poliakoff, E., Hansen, P. C., & Miall, R. C. (2007). Modulation of saccadic intrusion by exogenous and endogenous attention.,(1), 154− 167.

Granholm, E., Asarnow, R. F., Sarkin, A. J., & Dykes, K. L. (1996). Pupillary responses index cognitive resource limitations., 33(4), 457−461.

Grubb, M. A., White, A. L., Heeger, D. J., & Carrasco, M. (2015). Interactions between voluntary and involuntary attention modulate the quality and temporal dynamics of visual processing.,(2), 437−444.

Grundy, J. G., Barker, R. M., Anderson, J. A. E., & Shedden, J. M. (2019). The relation between brain signal complexity and task difficulty on an executive function task.,, 104−113.

Gustavo, R., Coull, J. T., Nobre, A. C., & Sam, G. (2011). Behavioural dissociation between exogenous and endogenous temporal orienting of attention.,(1), e14620.

Hopfinger, J. B., & West, V. M. (2006). Interactions between endogenous and exogenous attention on cortical visual processing.,(2), 774−789.

Johnston, W. A., & Heinz, S. P. (1979). Depth of nontarget processing in an attention task.&,(1), 168.

Julia, F. C., Daniel, C., Beer, A. L., & Daphne, B. (2018). Neural bases of enhanced attentional control: Lessons from action video game players.,(7), e01019.

Kosslyn, S. M., Thompson, W. L., Wraga, M., & Alpert, N. M. (2001). Imagining rotation by endogenous versus exogenous forces: Distinct neural mechanisms.,(11), 2519−2525.

Lavie, N. (1995). Perceptual load as a necessary condition for selective attention.,(3), 451−468.

Lavie, & N. (2010). Attention, distraction, and cognitive control under load.,(3), 143−148.

Lunn, J., Sjoblom, A., Ward, J., Soto-Faraco, S., & Forster, S. (2019). Multisensory enhancement of attention depends on whether you are already paying attention.,, 38−49.

Lupiáñez, J., Botta, F., Martín-Arévalo, E., Chica, A. B. (2014). The spatial orienting paradigm: How to design and interpret spatial attention experiments.,, 35−51.

Mayer, A. R., Dorflinger, J. M., Rao, S. M., & Seidenberg, M. (2004). Neural networks underlying endogenous and exogenous visual-spatial orienting.,(2), 534−541.

Meyer, K. N., Du, F., Parks, E., & Hopfinger, J. B. (2018). Exogenous vs. endogenous attention: Shifting the balance of fronto-parietal activity.,, 307−316.

Miller, J. (1982). Divided attention: Evidence for coactivation with redundant signals.,(2), 247− 279.

Odegaard, B., Wozny, D. R., & Shams, L. (2016). The effects of selective and divided attention on sensory precision and integration.,(9), 24−28.

Otten, M., Schreij, D., & Los, S. A. (2016). The interplay of goal-driven and stimulus-driven influences on spatial orienting.,(6), 1642−1654.

Pauszek, J. R., & Gibson, B. S. (2016). High spatial validity is not sufficient to elicit voluntary shifts of attention.,(7), 2110−2123.

Peelen, M. V., Heslenfeld, D. J., & Theeuwes, J. (2004). Endogenous and exogenous attention shifts are mediated by the same large-scale neural network.,(2), 822−830.

Peng, X., Chang, R, S., Li, Q., Wang, A, J., & Tang, X, Y. (2019).Visually induced inhibition of return affects the audiovisual integration under different SOA conditions.,(7), 759−771.

[彭姓, 常若松, 李奇, 王爱君, 唐晓雨. (2019). 不同SOA下视觉返回抑制对视听觉整合的调节作用.(7), 759−771.]

Peng, X., Chang, R, S., Ren, G, Q., Wang, A, J., & Tang, X, Y. (2018). The interaction between exogenous attention and multisensory integration.,(12), 43−54.

[彭姓, 常若松, 任桂琴, 王爱君, 唐晓雨. (2018). 外源性注意与多感觉整合的交互关系.(12), 43− 54.]

Posner, M. I. (1980). Orienting of attention.,(1), 3−25.

Senkowski, D., Saint-Amour, D., Hofle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.,(4), 2200−2208.

Senkowski, D., Talsma, D., Herrmann, C. S., & Woldorff, M. G. (2005). Multisensory processing and oscillatory gamma responses: Effects of spatial selective attention.,(3−4), 411−426.

Sugihara, T., Diltz, M. D., Averbeck, B. B., & Romanski, L. M. (2006). Integration of auditory and visual communication information in the primate ventrolateral prefrontal cortex.,(43), 11138−11147.

Talsma, D., Doty, T. J., & Woldorff, M. G. (2007). Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?,(3), 679−690.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.,(9), 400−410.

Talsma, D., & Woldorff, M. G. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.,(7), 1098−1114.

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention.,, 208−224.

Tang, X, Y., Sun, J, Y., & Peng, X. (2020). The effect of bimodal divided attention on inhibition of return with audiovisual targets.,(3), 257− 268.

[唐晓雨, 孙佳影, 彭姓. (2020). 双通道分配性注意对视听觉返回抑制的影响.(3), 257−268.]

Tang, X, Y., Wu, Y, N., Peng, X., Wang, A, J., & Li, Q. (2020). The influence of endogenous spatial cue validity on audiovisual integration.,(7), 835−846.

[唐晓雨, 吴英楠, 彭姓, 王爱君, 李奇. (2020). 内源性空间线索有效性对视听觉整合的影响.(7), 835− 846.]

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. W. (2015). Exogenous spatial attention decreases audiovisual integration.,(2), 464−482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual information.,(1), 6−17.

Washburn, D. A., & Putney, R. T. (2001). Attention and task difficulty: When is performance facilitated?.,(1), 36−47.

Yantis, S., & Jonides, J. (1990). Abrupt visual onsets and selective attention: Voluntary versus automatic allocation.,(1), 121−134.

Yu, H. (2019).(Unpublished master’s thesis). Liaoning Normal University, Dalian, China.

[于宏. (2019).(硕士学位论文). 辽宁师范大学, 大连. ]

Effects of endogenous spatial attention and exogenous spatial attention on multisensory integration

TANG Xiaoyu, TONG Jiageng, YU Hong, WANG Aijun

(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China) (Department of Psychology, Research Center for Psychology and Behavioral Sciences, Soochow University, Suzhou 215123, China)

Attention effect has been greatly explored in multisensory integration. Previous studies found that endogenous spatial attention enhanced multisensory integration, while exogenous spatial attention decreased multisensory integration. However, there is no research integrates two kinds of spatial attention into the multisensory integration. In present study, we used endogenous-exogenous spatial cue target paradigm to investigate the effect of endogenous spatial attention and exogenous spatial attention on multisensory integration.

The present study consisted of 2 experiments. In these experiments, we mainly manipulated the endogenous cue validities (including cued, uncued), exogenous cue validities (including cued, uncued) and target modalities (including visual, auditory, and audiovisual modalities). Thirty-six students in Liaoning Normal University were recruited in Exp. 1. The visual (V) target was a white pentagonal asterisk block (2°×2°). The auditory (A) target was a 1 600 Hz sinusoidal tone presented by speakers. The audiovisual (AV) target was composed by the simultaneous presentation of both the visual and the auditory stimuli. At the beginning of each trial, the fixation stimulus was presented for 600～800 ms in the center of the monitor. Following the fixation stimulus, the endogenous cue was presented for 200 ms, which could predict (80%) the location of the target. Then a visual white square served as a exogenous cue was presented for 200 ms at the left or right location randomly. Before the target that appeared for 100 ms, the inter stimulus interval (ISI) lasted for 150 ms. The target (A, V, or AV) randomly appeared for 100 ms in the left or right locations. At last, the fixation stimuli appeared for 1000 ms to wait for the correspondence responses to targets. During the experiment, the participants were asked to locate targets by pressing buttons (F/J) as quickly and accurately as possible. Thirty-six college students were recruited in Exp. 2. In Exp. 2, visual stimuli included checkerboard squares (3.2°×3.2°) with gray (RGB: 147, 149, 152) in the middle and black (RGB: 0, 0, 0) in the middle; auditory stimuli included high-frequency sinusoidal tone (1400) and low-frequency sinusoidal tone (714). The visual target was one of the above two visual stimuli, and the auditory target was one of the above two auditory stimuli. The pairings of two single channel stimuli constituted audiovisual target. The Exp. 2 consisted of four audiovisual targets. Each set of audiovisual targets were balanced among the subjects.

The results showed that the responses to AV targets were faster than V or A targets, indicating the appearance of the bimodal advancement effect in both experiments. In addition, we found exogenous spatial attention’s race model (probability difference) showed significant smaller at cued compared to uncued condition in both experiments, while the endogenous spatial attention reduced the extent to which the exogenous spatial attention weakened the effect of multisensory integration in Exp.2, but not in Exp. 1. From the results of the relative amount of multisensory response enhancement (rMRE), In Exp. 1, the effects of endogenous spatial attention and exogenous spatial attention on multisensory integration were marginal significant. In Exp. 2, the two kinds of spatial attention had significant interaction with multisensory integration.

In summary, exogenous spatial attention decreased multisensory integration in both experiments. Endogenous spatial attention is involved in multisensory integration and has an impact on exogenous spatial attention in Exp. 2. The effects of endogenous spatial attention and exogenous spatial attention on multisensory integration in an interactive manner.

endogenous spatial attention, exogenous spatial attention, multisensory integration, endogenous- exogenous spatial cue target paradigm, task difficulty

2021-01-08

* 辽宁师范大学2020年高端科研成果培育资助计划项目(GD20L002), 辽宁省教育厅2021年度科学研究经费面上项目(LJKZ0987)资助。

唐晓雨, E-mail: tangyu-2006@163.com; 王爱君, E-mail: ajwang@suda.edu.cn

B842