视听时、空一致性对Pip-and-Pop效应的影响*

唐晓雨 崔鑫忠 高 敏 袁梦莹

视听时、空一致性对Pip-and-Pop效应的影响*

唐晓雨 崔鑫忠 高 敏 袁梦莹

(辽宁师范大学心理学院; 辽宁省儿童青少年健康人格评定与培养协同创新中心, 大连 116029)

多感觉整合遵循空间原则和时间原则, 有研究表明Pip-and-Pop效应产生的原因是多感觉整合, 那么Pip-and-Pop效应是否同样遵循空间原则和时间原则呢？本研究采用动态视觉搜索范式, 通过两个眼动实验考察空间一致性(实验1)和时间一致性(实验2)对Pip-and-Pop效应的影响。结果发现：(1)当视觉目标颜色变化伴随一个同侧的听觉刺激时所产生的Pip-and-Pop效应最大, 对侧条件没有发现Pip-and-Pop效应。(2)视听刺激同时呈现所产生的Pip-and-Pop效应最大, 随视听刺激呈现时间间隔的增加Pip-and-Pop效应逐渐减弱直至消失。结果表明, 视听时、空一致性对Pip-and-Pop效应具有调节作用, 这为多感觉整合在产生Pip-and-Pop效应中的作用提供了证据。

Pip-and-Pop效应, 视听空间一致性, 视听时间一致性, 动态视觉搜索范式, 眼动技术

1 前言

日常生活中, 我们每时每刻都在接收大量来自不同感觉通道的信息。在复杂多变的环境中寻找物体是一个非常耗时的过程。例如, 在旅游景点和朋友们走散时, 从人群中寻找朋友会消耗一定时间。如果朋友一边挥手一边大喊你的名字, 那么找到朋友的时间会大幅缩减, 寻找朋友这一过程实际上是一种伴随听觉刺激的动态视觉搜索过程。van der Burg等人(2008)使用动态视觉搜索范式, 要求被试在多个不同倾斜角度的干扰线段中搜索垂直或水平的目标线段, 搜索过程中线段颜色不断进行红绿变化。结果发现, 在目标线段颜色变化的同时呈现一个纯音听觉刺激, 会提高目标线段的搜索效率, 这种现象被称为Pip-and-Pop效应(van der Burg et al., 2008)。

有研究认为Pip-and-Pop效应产生的原因是多感觉整合(Chamberland et al., 2016; van der Burg et al., 2008; van der Burg et al., 2011)。多感觉整合(multisensory integration, MSI)是指来自不同感觉通道的信息相互作用, 并整合为统一、连贯且有意义的知觉过程(Talsma et al., 2010; Tang et al., 2016; van der Stoep et al., 2017)。van der Burg团队的研究发现, 同步呈现的听觉刺激与视觉目标颜色变化后50 ms在顶枕区发生了早期的多感觉整合, 并且这一早期多感觉整合与行为学上的Pip-and-Pop效应显著相关, 即早期多感觉整合越大, 搜索效率的提高越大。van der Burg等人认为, 通过早期整合将听觉与视觉目标绑定, 使得视觉目标在众多不断变化的刺激中凸显出来, 更好地捕获注意, 与只有视觉目标条件相比搜索效率显著提高, 所以多感觉整合在Pip-and-Pop效应中有着关键作用(van der Burg et al., 2008;van der Burg et al., 2011)。

然而, 研究发现, 当视觉目标不存在时听觉刺激也能提高搜索效率, 所以研究者认为视听整合并不能充分地解释Pip-and-Pop效应。因此提出了另一种解释：即oddball刺激(奇异性刺激)吸引注意导致了Pip-and-Pop效应(Ngo & Spence, 2012; Tsai & Yeh, 2013;Zou et al., 2012)。Oddball刺激指在其他高概率刺激中出现的低概率刺激(Pariyadath & Eagleman, 2007; Tsai & Yeh, 2013), 视觉搜索中突然出现的听觉刺激就是一个oddball刺激, oddball刺激可以更有效地吸引注意(Chastain & Cheal, 1999; Escera et al., 1998; Escera et al., 2002)。研究发现当视觉目标与听觉oddball刺激同时呈现时, 被试的主观知觉时间会延长, 即被试主观上感知目标刺激的时间变长了, 研究者把这种现象称为“冰冻效应” (freezing effect) (Vroomen & de Gelder, 2000; Tse et al., 2004), 无论是哪种通道的oddball刺激都可能导致这种效应(Ngo & Spence, 2010b; Ngo & Spence, 2012)。

Pip-and-Pop效应产生的原因是多感觉整合还是oddball刺激吸引注意仍然存在争议。以往研究表明多感觉整合遵循两个原则——空间原则(the spatial rule)和时间原则(the temporal rule), 即当来自不同感觉通道的信息在大致相近的空间位置呈现时, 多感觉整合效应最大(Spence, 2013; van der Stoep et al., 2017); 当来自不同感觉通道的信息在大致接近的时间呈现时, 多感觉整合效应最大(Fister et al., 2016; Stevenson et al., 2012)。所以有研究通过调控空间一致性与时间一致性来探究Pip-and-Pop效应产生的原因是否是多感觉整合(van der Burg et al., 2008; Ngo & Spence, 2010a; Zou et al., 2012)。如果Pip-and-Pop效应遵循空间和时间原则, 那么Pip-and-Pop效应产生的原因存在多感觉整合的作用; 如果Pip-and-Pop效应不遵循空间和时间原则, 那么Pip-and-Pop效应产生的原因可能是oddball刺激吸引注意, 即突然出现的听觉刺激影响了视觉搜索效率。

一方面, 前人有关视听刺激空间一致性对Pip-and-Pop效应影响的研究结果并不一致。Ngo和Spence (2010a)研究发现与无效空间信息线索相比, 具有空间信息的听觉刺激会提高视觉搜索的效率, 即视听刺激空间一致性影响了Pip-and-Pop效应。因此, Ngo和Spence认为Pip-and-Pop效应是视听刺激整合引起的, 空间位置越一致, 视听刺激越容易进行整合, Pip-and-Pop效应越大(Ngo & Spence, 2010a)。但Fleming等人(2020)研究表明, 行为与脑电结果均显示视听刺激空间位置一致与否对Pip-and-Pop效应的影响差异不显著, 他们由此提出空间一致性并不是Pip-and-Pop效应产生的必要条件, 视听刺激整合并没有起到重要作用(Fleming et al., 2020)。上述两个研究结果不一致的原因可能与刺激在空间排列上的差异有关。Ngo和Spence (2010a)将刺激随机排列在10×10的隐形网格中, 按照搜索集大小在该隐形网格上的随机位置呈现视觉刺激(Ngo & Spence, 2010a)。Fleming等人(2020)虽然也如此在随机位置上呈现视觉刺激, 但他们缩小了搜索区域且增加了干扰线段的方向, 同时还增加了人机距离, 降低了视觉上的空间关联性。所以本研究为了更好地建立空间关联性, 将视觉搜索区域分为左右两侧(与中心点有明显距离), 线段整齐地排列在网格中(以搜索集36为例, 左右分别为3×6的网格), 以此更明确地操纵空间一致性从而探究视听空间一致性如何影响Pip-and-Pop效应。

另一方面, 以往有关视听刺激时间一致性对Pip-and-Pop效应影响的研究结果也是不一致的。van der Burg等人(2008)使用动态视觉搜索范式, 在研究中设置了8种声音目标间隔(Tone-Target- Interval, TTI)条件, 结果发现TTI为−100 ms、−50 ms、−25 ms、0 ms、25 ms、100 ms时(0 ms为同时呈现, 负数为听觉刺激提前呈现, 正数为滞后呈现), 听觉刺激才会促进对视觉目标的搜索, 视听刺激同时呈现时的促进作用最大, 且声音目标间隔与反应时之间呈U型函数关系, 即视听刺激呈现的时间一致性越高, 搜索越快。van der Burg等人认为, 同时呈现的听觉刺激以及在整合时间窗内(−100～100 ms)呈现的听觉刺激引发的搜索效率提高是由于跨通道整合增强了视觉目标的凸显性(van der Burg et al., 2008)。但也有研究发现视听刺激时间一致性并不会影响Pip-and-Pop效应, Zou等人(2012)比较了0 ms、−100 ms以及听觉刺激随机时间呈现三种时间条件, 发现这三种条件都会促进视觉目标的搜索效率, 但它们之间没有显著差异, 因此Zou等人(2012)认为Pip-and-Pop效应是无空间信息的听觉刺激引发的“冰冻效应”所致, 即oddball刺激吸引注意的作用, 无论听觉刺激何时呈现都会促进视觉搜索, 而不是视听刺激整合作用的结果(Zou et al., 2012)。

上述研究使用的搜索集大小不同, 在搜索集为48和60的研究中发现了视听时间一致性对Pip- and-Pop效应的影响(van der Burg et al., 2008; Kösem & van Wassenhove, 2012), 在搜索集36的研究中没有发现视听时间一致性对Pip-and-Pop效应的影响(Zou et al., 2012)。所以搜索集大小可能在视听时间一致性影响Pip-and-Pop效应的过程中起着调节作用。此外, 在视听空间一致性影响Pip-and- Pop效应的研究中, 搜索集大小在其中的调节作用也是不一致的(Ngo & Spence, 2010a; Fleming et al., 2020)。可能的原因是在搜索集较小的条件下知觉负荷较低, 只要听觉刺激存在, 无论其是否与视觉目标空间或时间上一致都可以提高视觉搜索效率。为了进一步确定这个问题, 本研究引入搜索集大小这一变量, 通过行为与眼动两方面数据探究在不同知觉负荷下视听刺激时间一致性和空间一致性对Pip-and-Pop效应的影响。

基于上述视听刺激空间、时间一致性对Pip-and-Pop效应的影响研究结论并不一致, 视觉搜索任务中的行为反应时只能反映听觉刺激是否提高了搜索效率, 而眼动数据可以根据眼跳和扫视等反映搜索中的实时信息处理过程。具体来说, 通过平均注视次数反映知觉负荷大小, 平均眼跳幅度反映在眼跳前被试获取的信息量, 从而揭示听觉刺激具体如何提高搜索效率。此外, 平均注视时间可以衡量是否有冰冻效应产生, 从而说明Pip-and- Pop效应的产生是否有oddball刺激吸引注意的作用, 进而可以探究Pip-and-Pop效应的产生机制。所以本研究将眼动技术运用到动态视觉搜索范式中, 通过两个实验考察以下两个问题：(1)调控搜索集大小和听觉刺激呈现位置, 探究视听刺激空间一致性如何影响Pip-and-Pop效应。(2)调控搜索集大小和听觉刺激与视觉目标的间隔时间, 探究视听刺激时间一致性如何影响Pip-and-Pop效应。如果Pip-and-Pop效应产生的原因是多感觉整合, 那么Pip-and-Pop效应遵循空间一致性和时间一致性原则, 即视听刺激呈现的空间位置越一致, 产生的Pip-and-Pop效应越大; 视听刺激呈现的时间越一致, 产生的Pip-and-Pop效应越大。如果Pip-and-Pop效应产生的原因是oddball刺激吸引注意, 那么无论空间和时间一致与否, 突然出现的听觉刺激都应影响视觉搜索效率。

2 实验1：视听空间一致性对Pip-and-Pop效应的影响

2.1 方法

2.1.1 被试

采用G*Power toolbox 3.1.9.2计算实验所需最小样本量(Erdfelder et al., 2009; Faul et al., 2007)。根据听觉刺激对视觉搜索影响的研究(Ngo & Spence, 2012), 重复测量方差分析时视听空间一致性的效应量ηp2= 0.43, 设置参数I类错误的概率α error prob为0.05, 检验效能Power (1 − β err prob)为0.9, 计算得到最小样本量为24。为避免眼动数据缺失导致样本量不足, 在大学生中招募被试32名, 其中8名被试在实验中有过多眨眼导致数据缺失被剔除, 实际样本量为24人(男生5名, 女生19名), 年龄19至28岁, 平均年龄22.5岁(= 2.3)。所有被试均为右利手, 听力、视力或矫正视力正常, 无色盲色弱。在实验完成后被试会获得相应的报酬。

2.1.2 实验仪器和材料

实验采用Eyelink 1000 Plus红外反射系统眼动记录仪(SR Research, Canada), 记录被试右眼眼动数据, 采样频率为1000 Hz。视觉刺激呈现在Dell液晶显示器上, 型号为P1914SF, 屏幕可视尺寸为19英寸, 屏幕分辨率为1024×768像素, 刷新率为75 Hz。被试距离电脑屏幕75 cm。实验程序使用Matlab2016a软件和Psychtoolbox、Eyelink Toolbox编制。

实验1视觉刺激如图1所示, 由多个干扰线段(倾斜方向分别为22.5°, 45°, 67.5°, 112.5°, 135°, 157.5°)和1个目标线段(水平或者垂直, 目标方向在试次中平衡)组成。所有线段一半为红色(13.9 cd/m²), 另一半为绿色(46.4 cd/m²), 呈现在黑色(0.4 cd/m²)背景的屏幕上, 每个线段大小为0.57°×0.17°。实验中有3个搜索集, 分别为36, 48, 60 (图1以36为例)。视觉刺激分成相等的两个矩阵, 呈现在屏幕左右两侧(搜索集为36时：每侧3.4°×8.5°; 搜索集为48时：每侧5.1°×8.5°; 搜索集为60时：每侧6.8°×8.5°), 两侧刺激到中央注视点水平距离为3.74°。实验过程中, 线段不断进行红绿颜色变化, 每次变化的线段数量不同(搜索集为36时, 每次1、3或5个线段颜色随机变化; 搜索集为48时, 每次1、4或7个线段颜色随机变化; 搜索集为60时, 每次1、5或9个线段颜色随机变化)。变化间隔为50、100或者150 ms, 三种变化间隔随机出现, 共有9个变化间隔(一个变化周期), 以此避免视觉刺激在进行连续变化时有很高的规律性。目标线段颜色变化遵循以下3种规则：(1)目标线段颜色单独变化, 并且每个周期只能改变一次, 目标线段颜色变化的平均频率为1.11 Hz (即每900 ms变化一次); (2)目标颜色变化之前是150 ms的变化间隔, 目标颜色变化之后是100 ms的变化间隔。由于视听整合的时间窗大约为±100 ms, 在目标变化前后的时间间隔如此设置以确保明确的视听整合; (3)每个周期的前三个间隔目标线段颜色不会变化。

听觉刺激为1000 Hz的纯音(65 dB, 60 ms, 包括5 ms淡入和5 ms淡出的时间), 通过位于屏幕后左右两侧的扬声器呈现。听觉刺激的呈现分4种情况(见图1)：(1)无声音条件：不呈现听觉刺激; (2)同侧条件(提供有效空间信息条件)：听觉刺激与视觉目标同侧呈现, 即视觉目标在右侧, 听觉刺激从右声道发出; 视觉目标在左侧, 听觉刺激从左声道发出; (3)对侧条件(提供无效空间信息条件)：听觉刺激与视觉目标对侧呈现, 即视觉目标在右侧, 听觉刺激从左声道发出; 视觉目标在左侧, 听觉刺激从右声道发出; (4)双侧条件(不提供空间信息条件)：无论视觉刺激在左侧还是右侧, 听觉刺激都从双声道发出, 形成一个在中间位置的听觉刺激。

2.1.3 实验设计和程序

实验1采用3 (搜索集大小：36, 48, 60) × 4 (视听空间一致性：无声音, 同侧, 对侧, 双侧)两因素被试内实验设计。在正式实验之前先进行听觉定位测试, 让被试辨别听觉刺激的方向, 正确区分来自不同空间位置的声音后继续进行实验。为了减少头动以获取更准确的眼动数据, 实验开始前, 指导被试前额抵住前额靠, 下巴放在下巴托上, 进行九点校准。校准完成后, 开始实验。

具体实验流程如图1所示, 每个试次呈现之前, 屏幕中央会呈现一个漂移校准点, 校准成功后校准点消失, 然后呈现中央注视点, 1000 ms后出现搜索屏, 要求被试既快又准的找到目标线段, 并通过按键(Z键或M键)反应判断目标线段是垂直还是水平, 按键在被试之间平衡。如果9个间隔呈现完之后被试没有按键反应, 则再次循环呈现实验刺激, 直到被试做出反应再进入下一个试次。实验要求被试忽略听觉刺激。

正式实验包括6组, 每种搜索集2组, 每组有96个试次, 4种视听空间一致性条件在每组中随机呈现, 共576个试次。每组之前都有一个练习实验, 包括20个试次。组之间允许被试休息, 每组开始之前都要进行九点校准。整个实验大约持续90分钟。

2.1.4 数据分析

正确率(Accuracy)指被试正确完成试次的概率。反应时(Reaction time)指搜索屏呈现到被试做出反应之间的时间间隔。搜索效率指在正确反应的基础上, 反应的快慢。反应时越长, 说明被试找到目标的速度越慢, 搜索效率越低; 反应时越短, 说明被试找到目标的速度越快, 搜索效率越高。

反应时和正确率只能说明听觉刺激能否提高搜索效率, 为了进一步探究听觉刺激具体如何影响搜索效率, 根据以往研究选择了3个眼动指标(Zou et al., 2012)：(1)平均注视次数(Mean fixation number)指落入当前兴趣区注视点的次数。该指标可以有效地反映知觉负荷大小, 知觉负荷越大, 平均注视次数越多, 搜索效率越低; (2)平均眼跳幅度(Mean saccade amplitude)指从当前注视到下一次注视之间的距离。眼跳幅度越大, 说明被试在眼跳前获取的信息越多, 搜索效率越高; (3)平均注视时间(Mean fixation duration)指落入当前兴趣区所有注视点的注视时间的平均。该指标反应整体的加工过程, Zou等(2012)用该指标衡量冰冻效应, 探究呈现的听觉刺激是否拓展了平均注视时间。

图1 实验1流程图和视听刺激呈现条件图

注：图1a为实验1流程图, 首先进行漂移校准, 校准后呈现中央注视点, 1000 ms后呈现搜索屏。搜索屏以视听刺激条件中的无声音条件为例, 视觉刺激以搜索集36为例, 包括35个干扰线段, 1个目标线段。图1b分别为视听刺激条件中的同侧条件、对侧条件、双侧条件(详情阅读方法部分)。

为了考察视听空间一致性和搜索集对Pip-and- Pop效应的影响, 对所有指标都进行了3 (搜索集大小：36, 48, 60) × 4 (视听空间一致性：无声音, 同侧, 对侧, 双侧)的重复测量方差分析。

2.2 结果与分析

剔除反应错误以及反应过快和过慢的试次, 反应过快指目标首次变化前被试就已经做出反应的试次, 反应过慢指被试在目标变化了10次及以上依旧没有做出反应的试次(van der Burg et al., 2008)。最终剔除试次占总试次的5.5%。

2.2.1 正确率

所有被试的正确率均达到98%以上, 正确率方差分析结果发现搜索集大小主效应不显著,(2, 46) = 0.74,= 0.48; 视听刺激空间一致性主效应不显著,(3, 69) = 0.25,= 0.86; 二者交互作用不显著,(6, 138) = 0.66,= 0.68。各个实验条件下的正确率均较高。

2.2.2 反应时

反应时方差分析结果发现搜索集大小主效应显著,(2, 46) = 5.34,= 0.008, ηp2= 0.19, 进一步分析表明, 搜索集为60条件的反应时(3.5 s)显著长于搜索集为48条件(3.3 s,= 0.03)和搜索集为36条件的反应时(3.2 s,= 0.004), 后两者之间无显著差异(= 0.47)。视听刺激空间一致性主效应显著,(3, 69) = 11.86,< 0.001, ηp2= 0.34, 进一步分析表明, 同侧条件的反应时(3.07 s)最短, 并且显著短于双侧条件(3.27 s,= 0.006)、对侧条件(3.50 s,< 0.001)以及无声音条件(3.43 s,< 0.001)的反应时。双侧条件的反应时也显著短于对侧条件(= 0.005)和无声音条件(= 0.038)的反应时。对侧条件的反应时最长, 并且和无声音条件无显著差异(= 0.35)。搜索集大小和视听空间一致性的交互作用不显著,(6, 138) = 0.46,= 0.84 (见图2a)。

图2 实验1结果图

注：图a、b、c、d分别为不同条件下的反应时(s)、平均注视次数(次)、平均眼跳幅度(度)、平均注视时间(ms)的结果。

2.2.3 眼动数据

(1)平均注视次数

平均注视次数方差分析结果发现搜索集大小主效应显著,(2, 46) = 3.44,= 0.04, ηp2= 0.13, 进一步分析表明, 搜索集为60条件的注视次数(14.20次)显著多于搜索集为36条件(13.11次,= 0.01)的注视次数。搜索集为48条件(13.57次)的注视次数与搜索集为60条件(0.183)和搜索集为36条件(0.261)的注视次数都无显著差异。视听刺激空间一致性主效应显著,(3, 69) = 7.45,< 0.001, ηp2= 0.25, 进一步分析表明, 同侧条件的注视次数(12.77次)最少, 并且显著少于双侧条件(13.45次,= 0.02)、对侧条件(14.16次,= 0.002)以及无声音条件(14.12次,= 0.003)的注视次数。双侧条件的注视次数显著少于对侧条件(0.036)以及无声音条件(0.048)的注视次数。对侧注视次数最多, 并且和无声音条件无显著差异(= 0.90)。搜索集大小和视听空间一致性的交互作用不显著,(6, 138) = 0.92,= 0.48(见图2b)。

(2)平均眼跳幅度

平均眼跳幅度方差分析结果发现搜索集大小主效应显著,(2, 46) = 63.31,< 0.001, ηp2= 0.73, 进一步分析表明, 搜索集为60条件的眼跳幅度(4.96°)显著大于搜索集为48条件(4.50°,< 0.001)和搜索集为36条件(4.21°,< 0.001)的眼跳幅度, 搜索集为48条件的眼跳幅度显著大于搜索集为36条件(< 0.001)的眼跳幅度。视听空间一致性主效应显著,(3, 69) = 5.63,= 0.002, ηp2= 0.20, 进一步分析表明, 同侧条件的眼跳幅度(4.64°)最大, 且显著大于双侧条件(4.55°,= 0.017), 对侧条件(4.54°,= 0.028)以及无声音条件(4.49°,< 0.001)的眼跳幅度, 双侧条件与对侧条件(= 0.875)和无声音条件(= 0.154)无显著差异, 对侧条件与无声音条件也无显著差异(= 0.156)。

搜索集大小和视听空间一致性的交互作用显著,(6, 138) = 5.61,< 0.001, ηp2= 0.20。简单效应分析发现, 只有在搜索集为60条件下, 不同视听刺激空间一致性条件有显著差异,(3, 21) = 13.05,< 0.001, ηp2= 0.65。同侧条件的眼跳幅度(5.14°)最大, 并且显著大于对侧条件(4.87°,< 0.001)以及无声音条件(4.80°,= 0.001)的眼跳幅度, 与双侧条件(5.03°,= 0.34)的眼跳幅度无显著差异。双侧条件的眼跳幅度也显著大于无声音条件(= 0.004)和对侧条件(= 0.018)的眼跳幅度。无声音条件的眼跳幅度最小, 和对侧条件无显著差异(= 0.42)。在搜索集为48和搜索集为36条件下, 不同视听刺激空间一致性条件无显著差异,(3, 21) = 2.37,= 0.099;(3, 21) = 1.24,= 0.32 (见图2c)。

(3)平均注视时间

平均注视时间方差分析结果发现搜索集大小主效应不显著,(2, 46) = 0.51,= 0.60; 视听刺激空间一致性主效应不显著,(3, 69) = 1.52,= 0.22; 二者交互作用不显著,(6, 138) = 0.87,= 0.52 (见图2d)。

本实验进一步分析了4种条件下(视觉目标出现在同一位置上)的眼动轨迹和热点图(以搜索集60为例, 见图3)。与无声音的基线条件相比, 同侧条件下的搜索效率最高, 注视次数最少, 双侧条件次之。虽然对侧条件的注视次数比无声音的注视次数少一些, 但相比于其他两个条件, 注视次数明显增多, 搜索效率明显降低。

2.3 讨论

实验1通过操纵搜索集大小与听觉刺激呈现位置, 考察视听空间一致性对Pip-and-Pop效应的影响。结果发现, 与无声音的基线条件相比, 同侧条件下的反应时最短, 搜索过程中的平均注视次数最少, 平均眼跳幅度最大, 表明同侧条件下的搜索效率最高, 即同侧条件所产生的Pip-and-Pop效应最大; 其次双侧条件也产生了Pip-and-Pop效应, 但产生的效应比同侧条件弱; 而对侧条件在上述指标中与无声音条件无显著差异, 即对侧条件下没有发现Pip-and-Pop效应。实验结果表明, 视听刺激空间一致性对Pip-and-Pop效应产生了影响, 视听刺激在空间位置上越一致, 所产生的Pip-and-Pop效应越大。

同侧条件下, 当听觉刺激从目标侧声道发出, 在听觉刺激的有效空间信息的作用下, 被试可以直接定位到目标侧进行搜索, 在目标侧通过少量注视, 大幅度眼跳快速地搜索到目标线段, 搜索时间短, 效率高, 所以产生的Pip-and-Pop效应最大。这说明听觉刺激可能被当作提示线索, 从而导致搜索效率的提高。但听觉刺激引导被试到同侧后并没有立即定位到目标位置, 在接下来的搜索过程中, 听觉刺激仍然起到增强视觉目标变化凸显性的作用, 因为在双侧条件下, 即使没有提示线索的作用, 也发现了Pip-and-Pop效应。所以可能是听觉刺激的提示及其与视觉目标整合的共同作用导致搜索效率的提高, 产生Pip-and-Pop效应。而对侧条件下, 当听觉刺激从非目标侧声道发出, 在听觉刺激的无效空间信息作用下, 被试先在非目标侧进行大量搜索后再回到目标侧搜索, 在非目标侧进行多次注视, 眼跳幅度不断缩小进行细致搜索, 没有发现目标线段后再回到目标侧进行搜索, 相比于同侧条件, 对侧条件在非目标侧的无效搜索产生了搜索成本, 通过两个条件的注视次数差异热点图也可以明显地发现对侧条件在非目标侧上的搜索成本(见图 3), 所以同侧条件的搜索效率显著高于对侧条件。以往研究发现与不提供空间信息的听觉刺激相比, 提供空间信息的听觉刺激能够减少被试辨别和检测目标的潜伏期(Perrott et al., 1990)。因此, 听觉线索和视觉目标在空间位置上一致可以有效的将被试的空间注意指向视觉目标, 更加利于被试搜索到视觉目标。此外, 也有研究发现来自不同通道的刺激位置接近时, 产生的多感觉相互作用最强; 不同通道的刺激之间空间距离增加时多感觉相互作用减弱(Lewald et al., 2001; Slutsky & Recanzone, 2001; Soto-Faraco et al., 2003; Stein & Stanford, 2008)。综上, 本实验中的同侧条件可能是听觉刺激的提示作用和视、听刺激方位一致产生了较强的多感觉相互作用, 二者共同促进了搜索效率, 所以产生的Pip-and-Pop效应最大; 而对侧条件可能是听觉刺激的无效提示作用和两个通道刺激方位不一致, 距离增大, 多感觉相互作用减弱, 所以不足以产生Pip-and-Pop效应。

图3 实验1眼动轨迹和热点图

注：图3a分别为4种声音条件的眼动轨迹图, 其中黄色线路代表眼动轨迹, 小圆圈代表注视次数。图3b为各个条件之间对比的差异热点图, 其中每个热点图中vs左侧条件为蓝色, 右侧条件为红色。

实验中的双侧条件也产生了Pip-and-Pop效应, 因为当听觉刺激从双声道发出, 形成了无空间信息的听觉刺激, 无空间信息的听觉刺激和视觉目标同步呈现时, 听觉刺激促进了视觉目标的识别(Giard & Peronnet, 1999; Ngo & Spence, 2012; Yang et al., 2014)。研究中对目标识别的促进可能是多感觉整合的促进效应(multisensory performance improvement effects), 类似于以往研究中的冗余信号效应(redundant signals effect, RSE) (Mishler & Neider, 2016; Mishler & Neider, 2018), 即个体对多通道刺激的反应比单通道刺激反应更加快速和准确(van den Brink et al., 2014; van der Stoep et al., 2015)。以往研究也发现多感觉整合后的刺激比单通道刺激更容易吸引注意(Lunn et al., 2019)。此外, Zou等(2012)研究发现, 当同步呈现听觉刺激时, 与非目标侧相比, 目标侧的注视次数更多, 说明被试更可能拒绝没有视觉目标的一侧, 并且快速的将眼跳指向目标所在的一侧(Zou et al., 2012)。虽然双侧条件下的听觉刺激没有提供有效空间信息, 但双通道的整合促进作用和双通道刺激吸引更多注意使搜索效率提高, 无空间信息的听觉刺激对于眼动的调节也可以使搜索效率提高, 从而产生Pip-and-Pop效应。

综上所述, Pip-and-Pop效应是通过减少注视次数, 增加眼跳幅度, 进而缩短搜索时间产生的。实验1无论是反应时结果还是眼动指标结果都表明, 视听刺激空间一致性对Pip-and-Pop效应产生了影响, 视听刺激在空间位置上越一致, 所产生的Pip-and-Pop效应越大。

3 实验2：视听时间一致性对Pip-and-Pop效应的影响

实验2的目的是考察Pip-and-Pop效应是否遵循时间原则, 即时间一致性对Pip-and-Pop效应是否具有调节作用。

3.1 方法

3.1.1 被试

采用G*Power toolbox 3.1.9.2计算实验所需最小样本量(Erdfelder et al., 2009; Faul et al., 2007)。根据听觉刺激对视觉搜索影响的研究(van der Burg et al., 2008), 重复测量方差分析时视听时间一致性的效应量ηp2= 0.53, 设置参数I类错误的概率α error prob为0.05, 检验效能Power (1 − β err prob)为 0.9, 计算得到最小样本量为24。为避免眼动数据缺失导致样本量不足, 在大学生中招募被试35名, 其中8名被试在实验中有过多眨眼导致数据缺失被剔除, 实际样本量为27人(男生5名, 女生22名), 年龄18至25岁, 平均年龄20.7岁(= 2.4)。所有被试均为右利手, 听力、视力或矫正视力正常, 无色盲色弱。在实验完成后被试会获得相应的报酬。

3.1.2 实验仪器和材料

实验仪器同实验1。视觉刺激材料有两点不同于实验1：第一, 本实验中搜索集大小为36和60, 由于实验1中只在平均眼跳幅度这个指标上发现了搜索集48与36和60有显著差异, 而反应时、平均注视次数以及平均注视时间上均无显著差异, 所以取消了搜索集为48的条件。第二, 在听觉刺激与视觉目标变化不一致呈现条件下, 为了使听觉刺激与视觉干扰刺激的变化同步呈现, 将本实验中的线段变化间隔由实验1中的50 ms、100 ms、150 ms三种改为100 ms一种变化间隔。

听觉刺激材料同实验1。听觉刺激与视觉目标颜色变化之间的时间间隔(TTI：tone–target interval)有6种：(1)无声音条件：不呈现听觉刺激; (2) TTI = −200 ms条件：听觉刺激先于视觉目标颜色变化200 ms呈现; (3) TTI = −100 ms条件：听觉刺激先于视觉目标颜色变化100 ms呈现; (4) TTI = 0 ms条件：听觉刺激与视觉目标颜色变化同步呈现; (5) TTI = 100 ms条件：听觉刺激晚于视觉目标颜色变化100 ms呈现; (6) TTI = 200 ms条件：听觉刺激晚于视觉目标颜色变化200 ms呈现。

3.1.3 实验设计和程序

实验采用2 (搜索集大小：36, 60) × 6 (视听时间一致性：无声音条件, −200 ms, −100 ms, 0 ms, 100 ms, 200 ms)两因素被试内实验设计。实验具体流程如图4a所示, 与实验1的实验流程完全一致。正式实验包括12组, 每种搜索集大小和视听刺激时间一致性条件分别在不同组中呈现, 每组有48个试次, 共576个试次。每组之前都有12个练习试次。组间允许被试休息, 整个实验大约持续90分钟。

图4 实验2流程和视听刺激条件图

注：图4a为实验2流程图, 首先进行漂移校准, 校准后呈现中央注视点, 1000 ms后呈现搜索屏。搜索屏以视听刺激条件中的无声音条件为例, 视觉刺激以搜索集36为例, 包括35个干扰线段, 1个目标线段。图4b是6种TTI (听觉刺激与视觉刺激之间的时间间隔：tone-target-interval)条件, 其中黑色线段是指目标线段颜色变化; 灰色线段是指干扰线段颜色变化; 小喇叭是指发出听觉刺激(详情阅读方法部分)。

3.1.4 数据分析

选取指标同实验1。为了考察视听时间一致性和搜索集大小对Pip-and-Pop效应的影响, 对所有指标都进行了2 (搜索集大小：36, 60) × 6 (TTI：无声音, −200 ms, −100 ms, 0 ms, 100 ms, 200 ms)的重复测量方差分析。

3.2 结果与分析

数据剔除标准同实验1。最终剔除试次占总试次的2%。

3.2.1 正确率

所有被试正确率均达到 98%以上, 正确率方差分析结果发现搜索集大小主效应不显著,(1, 26) = 0.49,= 0.49; TTI主效应不显著,(5, 130) = 0.89,= 0.49; 二者交互作用不显著,(5, 130) = 1.64,= 0.15。各个实验条件下的正确率均较高。

3.2.2 反应时

反应时方差分析结果发现搜索集大小主效应显著,(1, 26) = 102.81,< 0.001, ηp2= 0.80, 进一步分析表明, 搜索集为60条件的反应时(4.61 s)显著长于搜索集为36条件(2.82 s)的反应时; TTI主效应显著,(5, 130) = 8.91,< 0.001, ηp2= 0.26, 进一步分析表明, TTI为0 ms (2.73 s)时, 反应时最短, 并显著短于其他5种TTI条件(s < 0.001)。其次是−100 ms条件(3.26 s,0.001)和100 ms条件(3.44 s,0.021)的反应时都显著短于无声音条件(4.40 s)的反应时; −200 ms条件(3.85 s,= 0.174)和200 ms条件的反应时(4.60 s,= 0.744)与无声音条件的反应时无显著差异; −200 ms条件的反应时显著长于−100 ms条件(= 0.001)的反应时, 200 ms条件的反应时显著长于100 ms条件(0.001)的反应时。

搜索集大小与TTI的交互作用显著,(5, 130) = 3.96,= 0.002, ηp2= 0.13, 简单效应分析发现, 两种搜索集条件下TTI主效应显著：在搜索集为60条件下,(5, 22) = 17.26,< 0.001, ηp2= 0.80, TTI为0 ms (3.35 s)时, 反应时最短, 并显著短于其他5种TTI条件(s < 0.001)。其次是−100 ms条件(3.96 s,= 0.002)和100 ms条件(4.22 s,= 0.02)的反应时都显著短于无声音条件(5.65s)的反应时; −200 ms条件(4.77 s,= 0.15)和200 ms条件(5.74 s,=0.921)的反应时与无声音条件的反应时无显著差异。−200 ms条件的反应时显著长于−100 ms条件(= 0.001)的反应时, 200 ms条件的反应时显著长于100 ms条件(< 0.001)的反应时。在搜索集为36条件下,(5, 22) = 8.30,< 0.001, ηp2= 0.65, 0 ms条件的反应时(2.11 s)也最短, 并显著短于其他5种TTI条件(s < 0.001)。其次是−100 ms条件(2.57 s)的反应时显著短于无声音条件(3.15 s,= 0.01), 100 ms条件(2.67 s)的反应时与无声音条件无显著差异(= 0.092); −200 ms条件(2.93 s,= 0.372)和200 ms条件(3.47 s,= 0.489)的反应时与无声音条件的反应时无显著差异。−200 ms条件的反应时与−100 ms条件的反应时差异显著(= 0.018), 200 ms条件的反应时与100 ms条件的反应时差异显著(= 0.013) (见图5a)。

3.2.3 眼动数据

(1)平均注视次数

平均注视次数方差分析结果发现搜索集大小主效应显著,(1, 26) = 113.85,< 0.001, ηp2= 0.81, 进一步分析表明, 搜索集为60条件的注视次数(16.88次)显著多于搜索集为36条件(10.31次)的注视次数。TTI主效应显著,(5, 130) = 11.47,< 0.001, ηp2= 0.31, 进一步分析表明, TTI为0 ms (9.85次)时, 注视次数最少, 并显著少于其他5种TTI条件(s < 0.001)。其次是−100 ms条件(11.93次,< 0.001)和100 ms条件(12.65次,= 0.006)的注视次数显著少于无声音条件(16.46次)的注视次数。−200 ms条件(14.03次,= 0.082)和200 ms条件(16.64次,= 0.926)的注视次数与无声音条件的注视次数无显著差异; −200 ms条件的注视次数显著多于−100 ms条件的注视次数(0.001), 200 ms条件的注视次数显著多于100 ms条件的注视次数(0.001)。

搜索集大小与TTI的交互作用显著,(5, 130) = 5.11,< 0.001, ηp2= 0.16, 简单效应分析发现, 两种搜索集条件下TTI主效应显著：在搜索集为60条件下,(5, 22) = 19.33,< 0.001, ηp2= 0.82, TTI为0 ms (12.02次)时, 注视次数最少, 并显著少于其他5种TTI条件(s < 0.001)。其次是−100 ms条件(14.43次,= 0.001)和100 ms条件(15.56次,= 0.01)的注视次数显著少于无声音条件(20.90次)的注视次数; −200 ms条件(17.27次,= 0.079)和200 ms条件(20.10次,= 0.943)的注视次数与无声音条件的注视次数无显著差异; −200 ms条件的注视次数显著多于−100 ms条件的注视次数(< 0.001), 200 ms条件的注视次数显著多于100 ms条件的注视次数(< 0.001)。在搜索集为36条件下,(5, 22) = 10.19,< 0.001, ηp2= 0.70, 0 ms条件的注视次数(7.68次)也最少, 并显著少于其他5种TTI条件(s< 0.001)。其次是−100 ms条件(9.44次,0.002)和100 ms条件(9.75次,0.019)的注视次数显著少于无声音条件(12.02次)的注视次数; −200 ms条件(10.79次,0.18)和200 ms条件(12.19次,0.902)的注视次数与无声音条件的注视次数无显著差异。−200 ms条件的注视次数显著多于−100 ms条件的注视次数(= 0.018), 200 ms条件的注视次数显著多于100 ms条件的注视次数(0.006) (见图5b)。

图5 实验2结果图

注：图a、b、c、d分别为不同条件下的反应时(s)、平均注视次数(次)、平均眼跳幅度(度)、平均注视时间(ms)的结果。

(2)平均眼跳幅度

平均眼跳幅度方差分析结果发现搜索集大小主效应显著,(1, 26) = 9.01,= 0.006, ηp2= 0.26, 进一步分析表明, 搜索集为60条件的眼跳幅度(4.59°)显著大于搜索集为36条件(4.37°)的眼跳幅度。TTI主效应显著,(5, 130) = 4.67,= 0.001, ηp2= 0.15, 进一步分析表明, TTI为0 ms (4.78°)时, 眼跳幅度最大, 并显著大于其他5种TTI条件(< 0.021)。其次是−100 ms条件(4.49°,0.032)和100 ms条件(4.50°,0.003)显著大于无声音条件(4.25°)的眼跳幅度; −200 ms条件(4.43°,0.055)和200 ms (4.45°,0.151)的眼跳幅度与无声音条件的眼跳幅度无显著差异; −200 ms条件的眼跳幅度与−100 ms条件的眼跳幅度无显著差异(0.545), 200 ms条件的眼跳幅度与100 ms条件的眼跳幅度无显著差异(0.727)。搜索集大小与TTI的交互作用不显著,(5, 130) = 2.13,= 0.066 (见图5c)。

(3)平均注视时间

平均注视时间方差分析结果发现TTI的主效应显著,(5, 130) = 4.39,= 0.001, ηp2= 0.14, 进一步分析表明, TTI为0 ms (245.04 ms)时, 注视时间最长, 并显著长于其他5种TTI条件(s < 0.026)。100 ms条件(237.03 ms,= 0.031)和−100 ms条件(236.11 ms,= 0.036)的注视时间显著长于无声音条件(228.14 ms)的注视时间; 200 ms条件(237.25 ms,0.061)和−200 ms条件(234.59 ms,0.187)的注视时间与无声音条件的注视时间无显著差异; 200 ms与100 ms的注视时间无显著差异(0.909), −200 ms与−100 ms的注视时间无显著差异(0.691)。搜索集大小主效应不显著,(1, 26) = 1.42,= 0.25; 搜索集大小与TTI的交互作用不显著,(5, 130) = 1.26,= 0.29 (见图5d)。

3.3 讨论

实验2通过操纵搜索集大小和听觉刺激与视觉目标的间隔时间, 考察视听刺激时间一致性对Pip-and-Pop效应的影响。结果发现, 与无声音的基线条件相比, 听觉刺激与视觉目标颜色变化之间的时间间隔(TTI)在0 ms, −100 ms, 100 ms条件下, 搜索反应时都显著变短, 搜索过程中的注视次数减少,平均眼跳幅度增加, 平均注视时间变长; 当TTI为−200 ms和200 ms时, 与无声音条件无显著差异。这说明TTI在−100 ms到100 ms产生了Pip-and-Pop效应, 其中TTI为0 ms时Pip-and-Pop效应最大, −200 ms和200 ms两种条件没有产生Pip-and-Pop效应。实验结果表明视听刺激时间越一致, Pip-and-Pop效应越大。

研究结果表明, 反应时与TTI之间的关系呈U型曲线：TTI的绝对值越小, 反应时越短。TTI在−100 ms到100 ms产生了Pip-and-Pop 效应, 这与视听整合的时间窗口一致(Lewald et al., 2001; Lewald & Guski, 2003)。并且在早期研究中发现, 与视觉目标时间上同步的听觉刺激会增加视觉刺激的感知强度(Stein et al., 1996), 所以0 ms条件下同步的听觉刺激可能会增强对视觉目标的感知, 产生的Pip-and-Pop效应最大。而−200 ms和200 ms条件不在视听整合的时间窗范围内, 即使听觉刺激存在, 但不能有效的与视觉目标进行整合, 所以没有产生Pip-and-Pop效应。

在平均注视次数眼动指标中发现了与反应时相同的结果, 平均注视次数与TTI之间的关系呈U型曲线：TTI的绝对值越小, 平均注视次数越少; 平均眼跳幅度与平均注视时间结果也表明只有TTI在0 ms, −100 ms, 100 ms条件下, 才会优化搜索的眼动行为。这种在眼动行为上的优化在以往研究中被认为是冰冻效应(freezing effect)所致, Zou等(2012)使用平均注视时间来量化冰冻效应。即无空间信息的听觉刺激“冰冻”了眼动, 突然出现的听觉刺激抑制了眼跳, 使眼跳延迟, 从而搜索过程中的平均注视时间变长, 那么被试就可以在更长的时间和更广阔的空间内通过增大眼跳幅度、减少注视次数对视觉目标进行搜索, 从而更精确地引导接下来的注视指向目标, 加快对目标的定位。此外, 由这种“冰冻”所引起的时间变长不仅可以提高目标在当前区域的搜索效率, 也可以快速拒绝目标不在的区域, 从而提高整体的搜索效率(Zou et al., 2012)。与以往研究结果不同的是, 本研究发现0 ms条件时的平均注视时间最长, 这说明听觉刺激对视觉搜索的促进作用并不全是冰冻效应引起的。综上表明Pip-and-Pop效应遵循时间一致性原则, 视听刺激呈现时间越一致, 产生的Pip-and-Pop效应越大。

4 总讨论

本研究采用动态视觉搜索范式, 通过两个实验考察视听刺激空间一致性、时间一致性对Pip- and-Pop效应的影响。实验1发现同侧条件所产生的Pip-and-Pop效应最大, 双侧条件也产生了Pip- and-Pop效应, 对侧条件没有产生Pip-and-Pop效应;实验2发现视听刺激同时呈现所产生的Pip-and- Pop效应最大, 随视听刺激呈现时间间隔的增加Pip-and-Pop效应减弱。研究表明, 视听刺激在空间、时间上越一致, 对Pip-and-Pop效应越大。

4.1 知觉负荷在视听时、空一致性对Pip-and- Pop效应影响中的调节作用

本研究的两个实验都发现了搜索集大小对Pip-and-Pop效应的影响, 实验1在平均眼跳幅度指标中发现了搜索集大小和视听空间一致性存在交互作用; 实验2在反应时和注视次数两个指标中发现了搜索集大小和视听时间一致性存在交互作用。前人研究表明, 在识别单个目标时增加干扰刺激数量, 意味着存在更大的认知负担(Pluta et al., 2011), 那么研究中增大搜索集也就意味着增大了知觉负荷, 两个实验结果都表明搜索集大的条件所产生的知觉负荷和Pip-and-Pop效应大。

实验1发现只有在搜索集为60条件下, 视听空间一致性才会增加平均眼跳幅度。根据知觉负荷理论, 与无负荷或低负荷条件相比, 在高知觉负荷条件下被试需要集中所有注意资源参与到任务中(Lavie, 2005), 本研究中相比于其他两个搜索集条件, 搜索集为60条件下被试投入了更多的注意资源, 所以产生的Pip-and-Pop效应最大。

实验2发现在搜索集为36条件下反应时和注视次数两个指标的听觉刺激作用均有减小。在反应时和注视次数这两个指标上, 搜索集为36条件下仅发现视听刺激间隔在0 ms条件和−100 ms条件时对搜索有促进作用, 100 ms条件对搜索不再有促进作用。此外, 在Zou等(2012)使用搜索集为36的研究中表明, 反应时与眼动结果都发现无论视听刺激呈现时间是否一致, 对搜索都有促进作用, 但时间条件之间没有显著差异(Zou et al., 2012)。其原因可能是所使用的搜索集较小, 相应的知觉负荷也小。已有研究表明知觉负荷影响听觉刺激对视觉搜索的促进作用, 在搜索复杂而非简单的视觉刺激时, 声音的促进效果更强(Knoeferle et al., 2016), 那么在搜索集为36条件下, 视觉搜索任务简单, 仅根据视觉目标的颜色变化也能快速搜索到视觉目标, 而在搜索集为60条件中, 只有同步的听觉刺激与视觉目标整合吸引更多的注意, 才能更快的搜索到视觉目标。综上两个实验结果都说明知觉负荷在视听空间一致性和视听时间一致性影响Pip-and-Pop效应中起到了调节作用。

4.2 Pip-and-Pop效应的产生原因

本研究表明视听刺激空间一致性和时间一致性影响Pip-and-Pop效应, 这说明Pip-and-Pop效应遵循多感觉整合的两个重要原则, 即实验1研究结果符合多感觉整合的空间原则; 实验2研究结果符合多感觉整合的时间原则。基于以往研究和本研究的结果可以推测Pip-and-Pop效应产生的原因至少有一部分是由多感觉整合所引起的。以往研究中对Pip-and-Pop效应的解释除了多感觉整合以外, 也有研究者认为是oddball刺激吸引注意产生了Pip-and-Pop效应。Ngo等(2010b)研究发现, 呈现视觉线索时对视觉目标的促进作用与呈现听觉线索时对视觉目标的促进作用没有显著差异, 这表明无论刺激是单通道还是双通道, 只要与视觉目标同时呈现的线索使视觉目标变成一个oddball刺激, 这种促进效应就能出现(Ngo & Spence, 2010b)。

那么本研究中所发现的Pip-and-Pop效应是否也可以用oddball刺激吸引注意来解释呢？第一, 本研究中除了基线的无声音条件外, 两个实验所有的条件都是通过视听双通道刺激呈现的, 所以即使本研究中与视觉目标同时呈现的听觉线索使视觉目标变成oddball刺激吸引注意可以产生Pip-and- Pop效应, 但也无法排除视听整合在其中的作用。第二, 本研究中的听觉线索包含了有空间信息和无空间信息听觉线索两种, 以往发现oddball刺激吸引注意的视觉搜索研究中只有无空间信息听觉线索, 二者情况并不一致。第三, 本研究中所使用的动态视觉搜索范式与以往发现oddball刺激吸引注意的视觉搜索范式不同。例如, 本研究中被试在动态和杂乱的干扰物中搜索视觉目标, 同步的听觉线索可以让视觉目标比干扰物更显著, 也就是说, 让视觉目标从周围的干扰物刺激中“pop-out”, 从而提高搜索效率。而发现oddball刺激吸引注意的研究使用的是序列呈现的视觉搜索范式, 视觉目标的呈现时间非常短暂, 同步的线索以一种冰冻的方式, 允许被试在短时间内对视觉目标进行搜索, 从而提高搜索效率(Ngo & Spence, 2012)。第四, 以往研究表明, 相比于多感觉整合, oddball刺激吸引注意能更好的解释冰冻效应, 当注意力被oddball刺激吸引时, 会引起主观时间变长(Tse et al., 2004)。本研究中只有实验2发现了突然出现的声音冰冻了眼跳, 从而通过平均注视时间变长来调节眼动。实验1中并没有发现平均注视时间变长, 原因可能是受到有空间信息的听觉线索的影响, 被试可以通过空间信息来调节眼动, 并不需要“冰冻”来搜索视觉目标。

综上四点原因, 我们推测Pip-and-Pop效应的产生原因有一部分是由多感觉整合所引起的, 但也不能完全排除或确定oddball吸引注意在其中的作用, 所以Pip-and-Pop效应的具体产生原因还有待实验进一步探究。

5 结论

视听刺激空间一致性、时间一致性对Pip-and- Pop效应具有调节作用。视听刺激空间位置越一致, Pip-and-Pop效应越大; 视听刺激呈现时间越一致, Pip-and-Pop效应越大。当前研究结果为Pip-and- Pop效应产生的原因是多感觉整合提供了证据。此外, 在未来的研究中应基于动态视觉搜索范式, 设置明确的视听整合条件与oddball刺激吸引注意条件进行对比, 进一步实验探究Pip-and-Pop效应的产生机制。

Chamberland, C., Hodgetts, H. M., Vallières, B. R., Vachon, F., & Tremblay, S. (2016). Pip and Pop: When auditory alarms facilitate visual change detection in dynamic settings.(1), 284−288.

Chastain, G., & Cheal, M. (1999). Time course of attention effects with abrupt-onset and offset single- and multiple- element precues.,(3), 411−436.

Erdfelder, E., Auer, T.-S., Hilbig, B. E., Aßfalg, A., Moshagen, M., & Nadarevic, L. (2009). Multinomial processing tree models:.(3), 108−124.

Escera, C., Alho, K., Winkler, I., & Näätänen, R. (1998). Neural mechanisms of involuntary attention to acoustic novelty and change.,(5), 590−604.

Escera, C., Corral, M. J., & Yago, E. (2002). An electrophysiological and behavioral investigation of involuntary attention towards auditory frequency, duration and intensity changes.,(3), 325−332.

Faul, F., Erdfelder, E., Lang, A .-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences.,(2), 175−191.

Fister, J. K., Stevenson, R. A., Nidiffer, A. R., Barnett, Z. P., & Wallace, M. T. (2016). Stimulus intensity modulates multisensory temporal processing.,, 92−100.

Fleming, J. T., Noyce, A. L., & Shinn-Cunningham, B. G. (2020). Audio-visual spatial alignment improves integration in the presence of a competing audio-visual stimulus.,, 107530.

Giard, M. H., & Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study.,(5), 473−490.

Knoeferle, K. M., Knoeferle, P., Velasco, C., & Spence, C. (2016). Multisensory brand search: How the meaning of sounds guides consumers' visual attention.,(2), 196−210.

Kösem, A., & van Wassenhove, V. (2012). Temporal structure in audiovisual sensory selection.,(7), e40936.

Lavie, N. (2005). Distracted and confused?: Selective attention under load.,(2), 75−82.

Lewald, J., Ehrenstein, W. H., & Guski, R. (2001). Spatio- temporal constraints for auditory-visual integration.,(1-2), 69−79.

Lewald, J., & Guski, R. (2003). Cross-modal perceptual integration of spatially and temporally disparate auditory and visual stimuli.,(3), 468− 478.

Lunn, J., Sjoblom, A., Ward, J., Soto-Faraco, S., & Forster, S. (2019). Multisensory enhancement of attention depends on whether you are already paying attention.,, 38−49.

Mishler, A. D., & Neider, M. B. (2018). Redundancy gain for categorical targets depends on display configuration and duration.,(6), 393−404.

Mishler, A., & Neider, M. (2016). Evidence for the redundant signals effect in detection of categorical targets.,(12), 1024.

Ngo, M. K., & Spence, C. (2010a). Auditory, tactile, and multisensory cues facilitate search for dynamic visual stimuli.,(6), 1654− 1665.

Ngo, M. K., & Spence, C. (2010b). Crossmodal facilitation of masked visual target identification.,(7), 1938−1947.

Ngo, M. K., & Spence, C. (2012). Facilitating masked visual target identification with auditory oddball stimuli.,(2), 129−136.

Pariyadath, V., & Eagleman, D. (2007). The effect of predictability on subjective duration.,(11), e1264.

Perrott, D. R., Saberi, K., Brown, K., & Strybel, T. Z. (1990). Auditory psychomotor coordination and visual search performance.,(3), 214−226.

Pluta, S. R., Rowland, B. A., Stanford, T. R., & Stein, B. E. (2011). Alterations to multisensory and unisensory integration by stimulus competition.,(6), 3091−3101.

Slutsky, D. A., & Recanzone, G. H. (2001). Temporal and spatial dependency of the ventriloquism effect.,(1), 7−10.

Soto-Faraco, S., Kingstone, A., & Spence, C. (2003). Multisensory contributions to the perception of motion.,(13), 1847−1862.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.,, 31−49.

Stein, B. E., London, N., Wilkinson, L. K., & Price, D. D. (1996). Enhancement of perceived visual intensity by auditory stimuli: A psychophysical analysis.,(6), 497−506.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.,(4), 255−266.

Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R., & Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.,(1), 121−137.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.ences,(9), 400−410.

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention.,, 208− 224.

Tsai, Y .-Y., & Yeh, S .-L. (2013). Freezing effect in tactile perception: Sound facilitates tactile identification by enhancing intensity but not duration.,(4), 925−932.

Tse, P. U., Intriligator, J., Rivest, J., & Cavanagh, P. (2004). Attention and the subjective expansion of time.,(7), 1171−1189.

van den Brink, R. L., Cohen, M. X., van der Burg, E., Talsma, D., Vissers, M. E., & Slagter, H. A. (2014). Subcortical, modality-specific pathways contribute to multisensory processing in humans.,(8), 2169−2177.

van der Burg, E., Olivers, C. N., Bronkhorst, A. W., & Theeuwes, J. (2008). Pip and pop: Nonspatial auditory signals improve spatial visual search.,(5), 1053−1065.

van der Burg, E., Talsma, D., Olivers, C. N., Hickey, C., & Theeuwes, J. (2011). Early multisensory interactions affect the competition among multiple visual objects.,(3), 1208−1218.

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. (2015). Exogenous spatial attention decreases audiovisual integration.,(2), 464−482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2017). Visually Induced Inhibition of Return Affects the Integration of Auditory and Visual Information.,(1), 6−17.

Vroomen, J., & de Gelder, B. (2000). Sound enhances visual perception: Cross-modal effects of auditory organization on vision.,(5), 1583−1590.

Yang, W., Chu, B., Yang, J., Yu, Y., Wu, J., & Yu, S. (2014). Elevated audiovisual temporal interaction in patients with migraine without aura.,(1), 44.

Zou, H., Müller, H. J., & Shi, Z. (2012). Non-spatial sounds regulate eye movements and enhance visual search.,(5), 123−129.

The impact of temporal and spatial consistency of audiovisual stimuli on Pip-and-Pop effect

TANG Xiaoyu, CUI Xinzhong, GAO Min, YUAN Mengying

(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China)

Previous studies usually used the dynamic visual search paradigm to explore the Pip-and-Pop effect, which suggests that the Pip-and-Pop effect is influenced by multiple factors. But the impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect is still controversial. In the present study, we applied the eye movement technology to the dynamic visual search paradigm to systematically investigate the impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect. Based on the results of previous studies, we expected that the spatial and temporal consistency of audiovisual modulated the Pip-and-Pop effect. The more consistent the spatial location of audiovisual stimuli are, the greater the Pip-and-Pop effect will be. The more consistent the temporal audiovisual stimuli are, the greater the Pip-and-Pop effect will be.

Experiment 1 was a 3 (set sizes: 36, 48, 60) × 4 (spatial consistency conditions: ipsilateral, contralateral, bilateral, no sound) within-subjects design, recruited 24 participants (5 males; age range: 19～28 years; mean age: 22.5 ± 2.3 years). The visual search displays consisted of 24, 36, or 48 red (13.9 cd/m2) or green (46.4 cd/m2) line segments (0.57°×0.17°) on a black (0.4 cd/m2) background. The auditory stimulus was 1000 Hz pure tone (65 dB, 60 ms, including 5 ms fade-in and 5 ms fade-out time), presented through speakers on the left and right sides behind the screen. Each trial started with a drift calibration point. The drift calibration point would not disappear until the participant gazed upon this point. This was followed by a central fixation point of 1000ms, and finally a search screen. The participants were required to find the target line segment and judge whether the target line segment was vertical or horizontal by pressing the key (Z key or M key) as quickly and accurately as possible. Experiment 2 was a 2 (set sizes: 36, 60) × 6 (temporal consistency conditions: −200 ms, −100 ms, 0 ms, 100 ms, 200 ms, no sound) within-subjects design, recruited 27 participants (5 males; age range: 18～25 years; mean age: 20.7 ± 2.4 years). These temporal consistency conditions represent the tone sounded before (−200, −100 ms), simultaneous with (0 ms), or after (100, 200 ms) the visual target event. The tone could also be absent (no sound). The experimental materials and procedures of Experiment 2 were identical to those in Experiment1.

Regarding the results in Experiment 1, compared with the baseline condition (no sound), the search response time was the shortest under the condition of ipsilateral, the mean fixation number was the least, and the mean saccade amplitude was the smallest, indicating that the search efficiency was the highest in the ipsilateral condition, the Pip-and-Pop effect was the largest in the ipsilateral condition. The bilateral condition was the second. The contralateral condition showed no significant difference in the above indicators compared with the no sound condition, indicating that no Pip-and-Pop effect was found in the contralateral condition. The results showed that the more consistent the spatial location of audiovisual stimuli were, the greater the Pip-and-Pop effect was. In Experiment 2, compared with the no sound condition, we found that the response time of the search was significantly shorter, the mean fixation number in search decreased, the mean saccade amplitude increased, and the mean fixation duration became longer under the conditions of 0 ms, −100 ms and 100 ms. Compared with the no sound condition, conditions −200 ms and 200 ms showed no significant difference in the above indicators. This indicated that the conditions of 0 ms, −100 ms and 100 ms produced the Pip-and-Pop effect, and the Pip-and-Pop effect was the largest under the condition of 0ms, while the Pip-and-Pop effect did not find under the condition of −200 ms and 200 ms. The results showed that the more consistent the temporal audiovisual stimuli were, the greater the Pip-and-Pop effect was.

In summary, the results showed that the more consistent the audiovisual stimuli were in space and time, the larger the Pip-and-Pop effect was. Therefore, the findings in the present study suggest that the temporal and spatial consistency of audiovisual stimuli modulates the Pip-and-Pop effect. The results provide evidence that the reason for the Pip-and-Pop effect is multisensory integration.

Pip-and-Pop effect, audiovisual spatial consistency, audiovisual temporal consistency, dynamic visual search, eye movement technique

2021-09-03

* 辽宁省教育厅高等学校自然科学类基本科研(面上)项目(LJKZ0987)资助。

唐晓雨和崔鑫忠同为第一作者。

高敏, E-mail: minmin19910420@163.com

B842