通道选择性注意与通道分配性注意对视听整合的影响

高玉林 刘思宇

摘要：视听整合是将视觉与听觉的信息融合成连贯、统一的知觉过程。前人的研究表明，选择性注意力和分配性注意会对视听整合效应产生较大的影响，其中将注意导向听觉通道或者视觉通道被称为选择性注意，在一些任务中，选择注意条件下视听整合效应不明显，但是在另一些较为简单的任务中，视听刺激同时出现会增强对被选择通道的感知。同时注意视觉和听觉刺激被称为分配性注意，在分配性注意对视听整合效应的促进作用要优于选择注意。

关键词：选择性注意 分配性注意 视听整合

1.引言

将视觉和听觉通道获得的感觉信息有效的合并为综合､连贯､强健的知觉过程，被称为视觉和听觉信息的知觉整合，简称为视听整合。先前研究发现，人类对同时提示的视听觉刺激的反应时间要显著快于对单独提示的视觉或听觉刺激的反应时间，并且准确率也有显著的提高，这种现象被称为冗余效应，这是由于视觉和听觉的协同作用增加了检测和識别环境中事件和对象的可能性。然而，视听整合对于事件检测的益处并不是稳定发生的，它取决于多种多样的因素，在视听觉的刺激中，由于人类认知资源的有限性，大脑只能选择一部分信息进行高级认知加工，而注意在其中起着关键性的作用｡知觉过程和注意过程并不是独立的工作的，之研究者们着手研究这两者之间是如何相互作用的，这有助于我们了解知觉与注意过程在大脑中是如何工作的。

有研究表明，将单通道视觉刺激、单通道听觉刺激和双通道视听刺激随机呈现在两个横向空间位置（左或者右）上，引导被试只注意其中一个位置（即选择性空间注意），在这种条件下研究结果发现，被注意位置的视听整合效应更大。Talsma等人（2005）使用ERP对这一现象进行了深入研究，结果表明被注意位置的双通道刺激引起的ERP波形比单通道视觉刺激和单通道听觉刺激引起的波形之和更大，而未被注意的位置两者差异较小。这证明了选择性空间注意对视听整合的影响（D Talsma，&Woldorff， M. G.，2005;Senkowski， D，Talsma， D，Herrmann， C. S，& Woldorff， M.G，2005）。

然而，后续的发现通道选择性注意对视对视听整合听整合的影响与空间选择性注意有所不同，通道选择性注意只关注被注意的通道而忽略不被注意的通道，通常被注意的通道信息加工会变强，而不被注意的通道信息加工会变弱（Beck&Kastner，2009）。日常生活中我们有这样的经验，比如在阅读一本书时，常常会忽略听到的声音，在看电视剧时会同时注意听到的和看到的刺激，这就是通道选择或分配注意。一些关于选择性注意的研究表明，当同时注意双通道时，视听刺激会比单感觉刺激反应时更短，准确性更高。但是在单通道选择性刺激条件下，视觉刺激与听觉刺激同时出现反而可能会产生抑制作用（Talsma等人，2007）。这一发现引起了研究者们的强烈兴趣，本文将根据已有的研究尝试对通道选择性注意对视听整合的影响进行综述。首先阐述视觉选择性注意对视听整合的影响和听觉选择性注意对视听整合的影响，其次阐述同时注意视听觉刺激即分配性注意条件度视听整合的影响，最后阐述此方向在认知障碍障碍方面的应用，并对研究未来进行展望。

2.通道选择性注意对视听整合的影响

2.1听觉选择性注意对视听整合的影响

注意可以被导向听觉特征。Talsma等人（2007）使用事件相关电位技术探究通道选择性注意对视听整合的影响，他们将目标刺激呈现在屏幕中央，设计了四种实验条件，分别是只注意视觉刺激、只注意听觉刺激、同时注意视觉刺激和听觉刺激与同时不注意视觉刺激与听觉刺激。实验结果发现四种条件中，只有在同时注意视觉刺激和听觉刺激的条件下才会发生视听整合效应，尤其是早期的视听整合，而在只注意听觉的条件下未发生视听整合效应。此外还有研究者使用多感觉辨别范式对通道选择的性注意对视听整合的影响进行研究，要求被试选择红色或者蓝色的刺激（Laurienti等人，2004）。刺激可能以单听觉或单视觉形式出现，或者同时以听觉和视觉双通道形式出现。听觉刺激是对“红色”和“蓝色”这两个词的描述。视觉刺激是红色和蓝色的圆圈形图片，在刺激出现前会呈现耳朵或者眼睛的图案来提示被试注意哪种通道。结果证明了只有同时注意视觉通道和听觉通道的情况下显著的视听整合效应才可能发生。选择性注意单听觉通道或者单视觉通道时，视听刺激同时出现的条件下被试的反应没有出现显著的增强。这种现象的产生也许与多感觉抑制有关，即出现在不同位置的多感觉信息被整合到一个多感觉信息中的可能性会被降低。而通道选择性注意可能是多感觉抑制效应的影响因素之一，由于只注意一种通道，被试会更加倾向于将不被注意的通道信息进行过滤而不是将注意和不注意通道的信息整合在一起，这种倾向增加了对双通道刺激信息处理的成本。另外当只注意一个感觉通道时，不被注意的感觉皮层活动会受到抑制，导致较少的信息被用于整合，这可能是造成此现象的生理机制（Mozolic，J.L.，Hugenschmidt，C.E，Peiffer，A.M&Laurienti，P.J.，2008;Talsma等人，2007）。

然而，Li等人（2010）采用更简单的GO/NO GO范式研究通道选择性注意对视听整合的影响，要求被试只对目标刺激做出反应，对标准刺激不做反应，结果表明在听觉选择性注意条件下，视听刺激同时出现会增强对听觉刺激的检测，即出现了视听整合冗余效应，并且ERP活动的潜伏期比以往其他的非通道选择性注意研究发现的要晚，研究者认为通道选择性注意可能导致了视听整合效应的延迟，在听觉选择注意条件下，视听整合发生在感觉加工后期阶段（Talsma2007;Li Q ， Wu J，Touge T，2010;Frassinetti，F，Bolognini，N&E Làdavas，2002;Hugenschmidt， C. E，Mozolic， J. L，&Laurienti，P.J，2009）。与之前研究结果相似的是，在POS后200ms内即早期未发现视听整合效应。Li Q等人（2009）使用ERP技术对听觉选择注意对视听整合的影响进行探究，结果发现在POS后200ms内即感觉加工的早期阶段未发现显著的视听整合效应，即听觉和任务无关的视觉信息在感觉加工的早期没有相互作用，但是在POS200ms后产生了显著的视听整合效应，这表明在听觉注意任务中视听刺激的跨通道交互作用发生在后期的认知过程阶段。使用FMRI在生理学上对这一现象进行研究，结果发现对一种通道的刺激的选择性注意可能会扩展到另一种通道中同步呈现的刺激，这可能时反映了通道选择性注意条件下产生视听整合的原因（Degerman， A. ， Rinne， T. ， Pekkola， J. ， Autti， T. ， Iiro P. Jääskeläinen， & Sams， M等人，2007）。

2.2视觉选择性注意对视听整合的影响

注意也可以被导向一些特定的视觉特征。越来越多的研究证实了在选择性注意的条件下，视听整合效应主要发生在后期，即只有在分配注意条件下视听整合效应才会在早期发生（Fort. A，Delpuech.C，Pernier.J& Giard.M. H，2002;Talsma 等人，2007）Talsma等人在2007年的研究中将刺激呈现在屏幕中央，要求被试只注意视觉刺激而忽略听觉刺激，行为结果发现在视觉选择性注意条件下视听觉刺激同时出现时被试的反应时反而增加，准确率也不如视觉刺激单独出现时的，然而对ERP结果进行分析却发现，视觉选择性注意的条件下在视听刺激同时出现时，诱发了晚期的听觉加工负波，即当注意力仅指向视觉时，对听觉刺激也存在后期增强的加工，听觉刺激和视觉刺激在后期会相互关联。研究者认为这种关联可能是由于视听刺激在时间和空间上的一致性。

研究者对视觉刺激呈现在外周时的视觉选择性注意对视听整合的影响进行了研究，使用d’（击中率和误报率的标准分数之差）作为行为指标，结果发现在视觉选择性注意条件下，与任务无关的听觉信息的出现会增强对呈现在外周的视觉信息检测的可能性，如Wu等人（2009）的研究要求被试只注意屏幕左边或者右边的视觉信息，对所有听觉信息进行忽略，结果发现在感觉认知加工后期与任务相关的视觉刺激和与任务无关的听觉刺激发生了相互作用，听觉刺激的出现促进了对视觉信息的检测。有研究者使用与视觉刺激同侧或者双侧同时出现的听觉信息来探究视觉选择注意条件对视听整合的影响，结果发现同侧和双侧的听觉刺激出现时，被试的反应时均快于视觉刺激单独出现，也就是说同侧和双侧的听觉刺激都会增强视觉信息的检测，然而使用ERP进行研究后发现同侧和双侧的听觉刺激对视觉信息检测的生理机制是不同的，同侧听觉刺激增强视觉信号检测来源于早期感觉加工和后期认知加工，而双侧的只来源于后期的认知加工。

越来越多的研究证明了，当听觉刺激和视觉刺激在空间与时间上一致时，在只对一种通道选择注意的条件下，也会产生对另一种通道的无意识加工（Driver和Spence， 2000;Wu， J.，Li， Q.，Bai， O.，&Touge， T，2009）.Buss等人（2005）的研究表明在視觉选择性注意的条件下，与任务无关的听觉刺激也会引起模式特异性皮质中的注意相关调节，这种调节被认为是反映了视听整合。

3.分配性注意对视听整合的影响

在考察选择性注意对视听整合的影响的研究中，研究者通常会在实验中增加分配注意作为对比条件，分配注意就是要求被试同时注意视觉刺激和听觉刺激，而在同时注意双通道视听刺激条件下被试的视听整合效应优于选择性注意条件这一结果也被研究者们反复证实。 Barutchu等人（2013）选择1000Hz的纯音与闪烁红光的图片分别作为听觉目标刺激（AT）与视觉目标刺激（VT），并选用500Hz的纯音和闪烁绿光的图片作为不反应的听觉干扰刺激（VI）与视觉干扰刺激（VI），这样实验条件就有三种干扰刺激组合（AI、VI、AIVI）和五种目标刺激组合（ATVI、ATVT、AIVT、AT、VT），可以各种注意条件下的视听整合效应进行对比。实验结果表明当同时以视觉刺激和听觉刺激为目标即分配性注意时，视听整合的效应是最佳的。

在视觉和听觉选择性注意条件下，视听整合对于视觉或听觉事件检测的促进作用总是发生在后期，无论是行为结果还是认知神经学的结果都未发现选择性注意条件下产生早期的视听整合效应。然而大部分研究的结果都表明将注意同时分配到视觉刺激和听觉刺激时视听整合效应发生的更早（Talsma 等人，2007）。

越来越多的研究者使用ERP、fMRI等技术探究同时注意视听觉刺激的分配行注意与视觉或者听觉选择性注意对视听整合影响存在差异的生理机制。例如研究者选择用ERP方法通过测量电极FCz、Cz和Pz的P50振幅来探究注意和视听整合之间是如何相互作用的，结果发现同时注意视觉刺激和听觉刺激的条件下P50的潜伏期显著的小于视觉或者听觉选择性注意条件，并且视听觉诱发的P50振幅显著大于视觉刺激和听觉刺激诱发的P50之和的现象也只在同时注意视听觉的条件下存在（Talsma等人，2007）。也有研究者使用fMRI探究视觉选择性注意、听觉选择性注意、视听分配性注意对视听整合的影响有何不同，结果发现在同时注意视听觉刺激时，左右颞上叶皮层的注意相关调节作用强于视觉或者听觉选择性注意（Degerman等人，2007）。

这部分我们对比了视觉或者听觉选择性注意与分配性注意对视听整合的影响的研究，对于视觉或听觉选择性注意，虽然存在争议，但是综合行为以及ERP等神经生理结果，我们可以支持这样的假设：即当视觉和听觉刺激在同样的空间和时间出现时，对一种通道的注意会引起对另一种与任务无关的通道的注意，使得与任务无关刺激和与任务相关刺激产生相互作用，促进视听整合效应，并且这个过程一般发生在认知过程的晚期。对于分配性注意即同时对视觉和听觉刺激进行注意的条件，大部分的研究结果支持了只有将注意分配到视听刺激上，视听整合效应才能在更早的阶段发生这一结论，并且比起选择性注意，分配性注意条件下的视听整合效应更为显著，更能促进被试的行为表现，在ERP和fMRI等结果中相关振幅峰值也更高。综上所述，选择性注意和分配性注意两种注意模式都可以对视听整合加工进行调节，而其中分配性注意对早期的视听整合效应更有益，选择性注意对视听整合效应的调节通常发生在晚期。

4.应用与展望

目前，关于选择性注意和分配性注意对视听整合影响的研究方法已经被研究者应用到对ASD自闭症（Autism Spectrum Disorder）、AD阿尔茨海默症（Alzheimer’s disease）等的诊断研究中，Jinglong Wu等人（2012）的研究发现，阿尔茨海默症病人的视听整合开始和最大获益时间都比正常人晚。Magneé等人（2011）使用分散注意和选择性注意的多感觉情绪任务对ASD的视听整合效应进行研究，结果发现对照组在选择和分配注意条件下都产生了视听整合效应而ASD只在选择性注意条件下产生了视听整合效应，研究者认为这可能是由于ASD患者与正常人的注意机制不同，并且认为在ASD患者的感觉统合治疗中加入注意的控制，可能比传统训练更有益。

另外虽然前人研究对选择性注意和分配性注意对视听整合影响进行了很深入的探讨，但是在目前的文献中仍然存在着有冲突和矛盾的结果，比如根据偏向竞争模型，被选择通道的神经反应会加强，而被忽略通道的神经反应会被抑制，这可能会导致选择性注意条件下不能产生视听整合（Mishra. J&Gazzaley.A，2012），然而很多研究表明与任务无关的一种通道的信息会增强对另一种任务相关的信息的检测，即产生了视听整合冗余效应。目前的研究中关于产生这两种不同结果的原因的探讨较少，未来的研究可以从使用范式、行为结果结合认知神经结果去进行探究。

吉林省教育厅科学技术研究项目（JJKH20211101KJ）;

中央高校基本科研业务费专项资金资助（高低线索有效性条件下时间注意对视听觉整合的影响机制研究，451210321096）;

奕阳教育研究院青年学者研究资助项目（371192001401）。