视听通道双任务对多目标追踪的影响：干扰还是促进?*

2014-01-31魏柳青张学民李永娜

心理学报 2014年6期

关键词：眼动正确率身份

魏柳青张学民李永娜马玉

(1北京师范大学心理学院, 应用实验心理北京市重点实验室, 北京 100875)

(2河南省体育科学研究所, 郑州 450044)

(3认知神经科学与学习国家重点实验室, 北京 100875)

(4中国人民大学心理学系, 北京 100872)

(5宁夏工商职业技术学院思想政治教学部, 银川750021)

1 引言

多目标追踪(Multiple Object Tracking, MOT)范式最早由Pylyshyn和Storm (1988)提出, 被广泛用于视觉认知的研究, 主要集中在动态和并行信息的注意加工机制的探讨上。在多目标追踪的基础上,研究者提出了多身份追踪(Multiple Identity Tracking, MIT, Oksama & Hyönä, 2004, 2008)范式,主要考察多目标追踪过程中身份识别的认知加工机制。

1.1 双任务实验范式下多目标追踪的注意加工机制

多目标追踪任务是否占用注意资源？占用什么类型的注意资源？这是自多目标追踪范式提出以来, 研究者广泛关注的问题。以往研究者多采用双任务实验范式来考察多目标追踪的注意加工机制(Pylyshyn, 2006; Pylyshyn, Haladjian, King, &Reilly, 2008; Tombu & Seiffert, 2008; 张学民, 刘冰,鲁学明, 2009; Drew, McCollough, Horowitz, &Vogel, 2009), 研究者通过比较多目标追踪与同时进行的视觉或听觉任务间干扰程度的问题, 来分析多目标追踪过程是否需要占用注意资源或占用的资源类型(Alvarez, Horowitz, Arsenio, DiMase, &Wolfe, 2005; Allen, McGeorge, Pearson, & Milne,2004; Fougnie & Marois, 2006)。且主要以两种理论—— 中央或单一容量理论(The Central or Single Capacity Theory)和多重资源理论(Multiple Resources Theory)来对研究结果进行解释。

Alvarez等(2005)采用注意操作特征方法(Attentional Operating Characteristic Method, AOC)考察多目标追踪和视觉搜索任务是否持续地占用同一注意资源, 即两项任务是否是相互排斥的。结果发现被试可以同时完成多目标追踪和视觉搜索任务, 尽管两项任务存在一定程度的相互干扰, 但并不是完全排斥的。并且多目标追踪与视觉搜索相结合的双任务的注意操作特征曲线和多目标追踪与听觉监测任务相结合的双任务的情况是类似的。这一结果可用注意切换(Attention Switching)假设来解释：两项任务占用单一的注意资源, 该注意资源在两项任务间持续切换, 以确保两项任务的完成。注意切换假设以中央或单一容量理论为基础。Tombu和Seiffert (2008)采用多目标追踪与音调判断任务相结合的双任务实验范式探讨了多目标追踪任务中的注意需求(Attentional Demands)问题。研究者通过变化对象运动过程中的空间接近性和运动速度以控制追踪难度。发现当音调呈现与追踪难度的提高同时进行时, 被试在两项任务上的表现均较差。而当音调呈现早于追踪难度的提高时, 两项任务间的干扰则较小。说明多个目标的时时追踪是需要注意资源参与的, 并且多目标追踪所需要的注意资源与听觉通道(Auditory Modality)任务所需要的注意资源是共通的。也有研究者发现, 尽管多目标追踪与听觉通道任务并不共享视觉注意资源, 但两者共享更加中央的注意资源(如执行功能,Alvarez et al., 2005; Baddeley & Hitch, 1974)。Allen等(2004)比较了专家(专业雷达操作员)与新手(大学生)在多目标追踪表现上的差异, 发现专家在单一的多目标追踪任务以及与需要持续注意的视觉数字分类任务同时进行的多目标追踪任务上的表现均显著高于新手, 且当数字分类任务在目标的获取阶段(线索阶段)呈现时, 该任务对新手在多目标追踪表现上的干扰程度要大于对专家的干扰程度。

综合以上研究发现：多目标追踪任务与以视觉方式呈现的任务占用相同的视觉注意资源, 两项任务在同时进行时会相互干扰(Alvarez et al., 2005;Fougnie & Marois, 2006; Allen et al., 2004); 而与多目标追踪任务同时进行的听觉任务并不占用视觉注意资源, 但两者共享更加中央的注意资源, 因此也会相互干扰(如执行功能, Alvarez et al., 2005;Tombu & Seiffert, 2008)。根据注意分配的多重资源模型(Wickens, 1984a, 1984b), 视觉注意资源指的是编码阶段的视觉编码方式所占用的资源; 而中央注意资源指的是中央加工阶段所占用的资源。视觉与听觉任务对同时进行的多目标追踪的干扰程度是否相同？虽然之前研究者分别考察了视觉任务(视觉搜索、数字分类任务等)对多目标追踪的影响和听觉任务(音调判断、听觉监测任务等)对多目标追踪的影响, 但并没有在相同条件下同时比较其对多目标追踪干扰程度的差异。本研究将通过严格控制两项任务的类型、反应方式等, 仅改变其呈现方式—— 视觉或听觉形式, 考察其对多目标追踪任务干扰程度的差异, 以更深入地探讨多目标追踪的注意加工机制(如所占用注意资源的类型和注意资源的分配方式等)。并且在以往关于多目标追踪的研究中, 研究者多要求被试在追踪目标过程中, 将眼睛保持在屏幕中央的十字形或方形注视点上, 但并没有用眼动仪进行监测(Pylyshyn, 2006;Pylyshyn et al., 2008; Allen et al., 2004), 本研究将采用眼动仪对被试的眼动进行实时监测, 以保证被试始终将注视点良好地保持在屏幕中央, 比较在控制眼动与不控制眼动条件下视觉与听觉任务对追踪表现的影响差异。

1.2 多身份追踪任务中的影响因素

视觉任务和听觉任务都会对同时进行的多目标追踪任务产生干扰。根据注意操作特征, 同时进行的两项任务会相互干扰, 存在并行成本(Concurrent Cost); 但一项任务的表现也可能会被同时进行的第二项任务所促进, 即存在并行效益(Concurrent Benefit; Leclercq, 2002)。什么情况下视觉或听觉任务会对同时进行的多目标追踪任务产生促进作用？以往关于多身份追踪的研究发现, 对象的身份特征会对追踪表现和身份识别产生影响(Oksama &Hyönä, 2004, 2008; Makovski & Jiang, 2009a, 2009b;Ren, Chen, Liu, & Fu, 2009; Pinto, Howe, Cohen, &Horowitz, 2010, 魏柳青, 张学民, 鲁学明, 刘冰,李迎娣, 2010)。与新异物体相比, 熟悉物体作为目标对象的身份特征可以促进身份识别(Oksama &Hyönä, 2004, 2008); 目标身份特征的特异性也会影响追踪表现, 具体是促进还是干扰与身份特征的认知负荷有关。当对象身份特征为颜色、数字、形状等简单物理特征时, 目标身份特征的特异性(目标与非目标的身份特征两两不同, 且身份特征为两个或多个特征维度的组合时, 目标与非目标不共享任何一个特征维度)可以促进追踪表现(Makovski &Jiang, 2009a, 2009b); 但当对象身份特征为面孔等复杂社会性信息时, 与对象身份特征完全相同条件(目标和非目标为同一张面孔)相比, 对象身份特征的特异性(目标与非目标的面孔两两不同)反而会干扰追踪表现(Ren et al., 2009)。多身份追踪中, 重复区组(Repeated block, 目标和非目标的独特身份特征在一个区组的各个试次间保持不变)也会促进追踪表现和身份识别(Pinto et al., 2010)。以上对象身份特征对追踪表现的促进作用或是由于熟悉物体从长时记忆中的提取速度较快(Oksama & Hyönä,2004, 2008); 或是由于对象身份特征被保存在视觉工作记忆中, 在目标丢失的情况下可以利用储存在视觉工作记忆中的信息重新找回目标(Makovski &Jiang, 2009a, 2009b); 或是由于目标身份特征的重复性促进了目标身份的再认和保持, 或促进了追踪过程中身份—— 方位的绑定(Pinto et al., 2010)。

以上研究都是在单任务条件下, 通过改变对象的身份特征来探讨其对追踪表现的影响及其加工机制。在双任务条件下, 同时进行的第二项任务在什么情况下会对多目标追踪产生促进作用或是降低两任务间的干扰程度？Green和Bavelier (2003)采用视觉搜索的外侧分心物相容性效应范式(Flanker Compatibility Effect Paradigm)研究发现,外侧呈现的与目标形状相同的分心物会促进被试的反应, 而与目标形状不同的刺激会使被试的反应速度变慢。尽管该范式并非双任务实验范式, 但由此可以看出, 在注意加工过程中, 某些刺激或信息的一致性也即相容性会促进任务表现。那么当视觉和听觉任务中的某些信息与多目标追踪尤其是多身份追踪中的身份或特征信息存在一致时, 这种一致性或相容性是否会对追踪表现产生促进作用或降低两任务间的干扰程度？本研究也将对这一问题进行探讨。

本研究采用双任务实验范式, 通过比较视觉与听觉任务对多目标追踪干扰程度的差异(实验1)和探讨可能降低视听觉任务对追踪任务干扰程度的因素(实验2), 试图理清多目标(身份)追踪的注意加工机制, 如追踪过程中消耗的注意资源类型和注意资源的分配方式等。本研究包括2个实验, 其中实验1A和B分别在控制眼动和不控制眼动的情况下比较了视觉与听觉任务对追踪表现的影响。实验1中, 多目标追踪与视、听任务是相对独立的两项任务; 实验2在实验1的基础上, 对视听任务与多目标追踪是否具有信息加工上的一致性也即两任务的相容性进行操作, 以探讨这一因素对追踪表现的影响, 预期两任务相容条件的追踪正确率要显著大于不相容条件。

2 实验1 视觉和听觉任务对多目标追踪任务影响程度的差异研究

实验1主要探讨视觉和听觉任务对多目标追踪干扰程度的差异, 进一步分析多目标追踪的注意加工机制。视觉和听觉任务均为数字整除判断任务,不同之处在于呈现通道(视觉或听觉)的差异。

其中实验1A对被试的眼动进行控制, 以排除视觉和听觉任务间眼动模式的差异可能对实验结果造成的影响。实验1B不控制被试的眼动, 以更接近真实情境和增加生态化效度, 考察两者干扰程度的差异。

2.1 实验1A

实验1A对被试的眼动进行控制, 使其始终保持在屏幕中央的注视点上。因为在视觉任务中, 需要判断的数字在屏幕中央呈现, 被试要完成数字判断与多目标追踪的双任务, 其注视点要在屏幕中央和追踪对象间频繁转换或移动; 而在听觉任务中,数字以听觉形式呈现, 被试不需要时时注视屏幕中央。为了排除这一眼动模式的差异可能对实验结果造成的影响, 在视觉和听觉任务中, 均要求被试将注视点保持在屏幕中央, 仅用边缘视觉追踪目标,并用眼动仪实时监测被试的眼动情况。正式实验前,对被试进行眼动控制训练, 直至被试能够做到在实验过程中将其注视点较好地保持在屏幕中央注视点位置。

2.1.1 被试

被试为北京地区在校大学生14名, 其中男生10名, 女生4名, 年龄范围为19～29岁(平均年龄22.6 ± 2.5岁)。所有被试视力或矫正视力正常, 听力正常, 眼动控制良好。

2.1.2 实验设计

单因素2水平被试内设计, 自变量为数字整除判断任务的输入通道(视觉通道和听觉通道)。因变量为追踪正确率、数字判断正确率和判断反应时,其中追踪正确率为主要指标。追踪正确率的计算方法如下：每试次追踪正确率为被试正确选择目标数占目标总数的比率(目标总数固定为4个, 若被试正确选择了3个目标, 则追踪正确率为75%; 选中4个目标则为100%), 总追踪正确率即为各试次追踪正确率的平均值。数字判断正确率为被试做出正确判断的次数占全部判断次数的比率。判断反应时为从数字呈现到被试做出按键反应的时间。

2.1.3 实验仪器与材料

实验仪器为Lenovo 2.8台式计算机, 分别连接一台显示器和一台Tobii T120眼动仪。被试在眼动仪显示屏上完成任务。显示屏为17英寸纯平CRT监视器。屏幕分辨率设定为1024×768 pixel (每pixel约为0.032 cm), 垂直刷新频率为85 Hz。被试眼睛距离屏幕约57 cm。使用Tobii Studio软件的Live Viewer功能, 主试可以在电脑显示器上实时监测被试在完成任务过程中的眼动轨迹, 并保证被试在对象运动过程中始终把注视点保持在屏幕中央的白色正方形上。

刺激呈现区域为屏幕中央800×600 pixel (水平视角85°, 垂直视角66°)的白线方框(宽度2 pixel,约0.2°), 背景为黑色。一个白色实心正方形呈现在屏幕中央作为注视点, 大小为40×40 pixel (约3.75°)。运动对象为8个白色实心圆形, 直径为40 pixel (约3.75°)。所有运动对象的初始呈现方位随机化, 两两之间的圆心距离均大于80 pixel, 且与注视点互不遮挡。所有运动对象的初始位置距离追踪区域边框也不小于80 pixel。对象运动过程中与中央白色实心正方形互不遮挡, 碰撞弹开。

视觉数字判断任务中的数字大小为19.78 pixel(约1.85°, 字高), 颜色为红色RGB (255, 0, 0), 呈现在白色实心正方形的中央。听觉数字判断任务中的数字读音为女声, 音量大小调节至被试觉得合适的程度。

2.1.4 实验过程

多目标追踪任务：被试按空格键开始每个试次。8个白色圆形以随机方位呈现在屏幕上, 彼此之间互不遮挡, 其中4个圆形闪烁数次被标记为要追踪的目标, 闪烁持续时间为1 s, 闪烁频率为3次/s。闪烁消失后, 所有圆形仍静止呈现1 s。之后, 所有圆形开始做随机、独立的运动, 要求被试追踪刚才以闪烁形式标记出来的目标。运动持续时间为6.5 s。运动停止后, 要求被试用鼠标点出刚才所追踪的目标。给被试的反应时间为20 s。注视点在整个任务过程中始终呈现。

视觉数字整除判断任务：数字呈现在注视点中央区域, 呈现的数字从1～9中随机选取, 要求被试判断该数字是否能被3整除。每试次中, 被试一共要进行3次数字判断任务, 3次任务在多目标追踪的运动阶段进行平均分配。第一个数字出现在运动阶段开始后1 s, 呈现时间为0.5 s, 如果数字能被3整除, 则被试要快速按“←”进行反应, 如不能被3整除, 则按“→”键。给被试的反应时间为1 s。之后另一个数字呈现, 计算机自动记录被试的判断正确率和判断反应时。

听觉数字整除判断任务：听觉任务是以听觉形式呈现的, 被试在实验过程中要戴上耳机, 并对听到的数字进行整除判断, 数字呈现时间、反应间隔和反应方式均与视觉任务相同。

多目标追踪任务与数字整除判断任务同时进行(多目标追踪与视觉数字整除判断结合的双任务简称“视觉任务”; 多目标追踪与听觉数字整除判断结合的双任务简称“听觉任务”)。被试在追踪目标过程中要对看到或听到的数字进行反应, 且数字整除判断任务为优先任务, 要求被试既准确又快速的优先完成。同时, 在对象运动过程中, 要求被试始终把注视点保持在屏幕中央的白色正方形上, 并用Tobii T120眼动仪进行实时监测。实验过程见图1和图2。

图1 多目标追踪与视觉任务实验过程示例

图2 多目标追踪与听觉任务实验过程示例

视觉任务与听觉任务分区组进行, 区组顺序在被试间进行平衡。每个区组包括40试次。在正式实验前, 被试先进行练习实验, 直到熟悉实验任务并能较好地控制眼动, 即在对象运动过程中及在对数字进行反应时, 被试能够始终把注视点保持在屏幕中央。完成一个区组后要求被试休息两分钟, 整个实验共持续约40 min。

2.1.5 实验结果

统计数据时, 首先删除被试对数字进行提前反应、多次反应或反应次数不到3次的试次, 以此标准删除的试次数占总试次数的1.61%, 以余下的试次数计算追踪正确率、数字判断正确率。单个试次被试数字判断反应时的计算方法为3次正确判断反应时的平均数, 因此, 计算数字反应时需要删掉3次数字反应不完全正确的试次, 删除的试次数占第一轮筛选后剩下试次数(1102)的15.88%, 以此试次数计算数字判断反应时, 因数字判断反应时仅为参考指标, 所以尽管此处删除试次数较多, 但不会对主要指标产生影响。为了在控制两任务权衡的基础上进一步考察视觉和听觉任务追踪表现的差异, 同时也计算数字判断完全正确时的追踪正确率, 后续实验的数据采用了同样的剔除标准。

(1)眼动的注视点

采用Clearview软件的分析功能, 分别提取被试在视觉与听觉任务上对象运动过程中的注视点数据, 计算被试注视点中心纵横坐标值, 并与屏幕中心的中央注视点纵横坐标值进行差异比较。并根据被试注视点中心到屏幕中央的距离, 计算被试注视点的视角, 如表1所示。

分别将视觉与听觉任务被试的注视点中心坐标值与中央注视点中心坐标值进行单样本

检验发现, 视觉任务X轴与中央注视点X轴差异显著,

(13) = -2.85,

= 0.014; Y轴与中央注视点Y轴差异不显著,

(13) = 1.85,

= 0.087。听觉任务X轴与中央注视点X轴差异显著,

(13) = -2.53,

= 0.025;Y轴与中央注视点Y轴差异不显著,

(13) = 1.92,

= 0.077。虽然视觉与听觉任务中注视点中心X轴坐标值与中央注视点中心X轴坐标值差异显著, 但因实验里中央注视点大小设置为40×40 pixel, 所以被试的注视点中心基本保持在中央注视点范围内, 表明本实验中眼动控制是有效的。从视角来看, 被试注视点中心偏离屏幕中央的视角为1°左右, 因眼动仪的空间精确参数为0.5°, 这说明被试的注视点基本保持在屏幕中央, 眼动控制良好。

(2)追踪正确率

追踪正确率见表2。对视觉与听觉任务的追踪正确率进行配对样本

检验, 发现视觉任务追踪正确率显著大于听觉任务,

(13) = 3.22,

= 0.007。

(3)数字判断正确率和反应时

对视觉与听觉任务的数字判断正确率和反应时进行配对样本

检验, 结果显示视觉任务数字判断正确率显著大于听觉任务,

(13) = 3.00,

= 0.01;视觉任务反应时也显著快于听觉任务,

(13) =-48.21,

＜ 0.001。

(4)数字判断完全正确时的追踪正确率

对视觉和听觉任务数字判断完全正确时的追踪正确率进行配对样本

检验, 发现视觉任务也显著大于听觉任务,

(13) = 2.45,

= 0.029。.

2.1.6 小结

在本实验的视觉和听觉任务中, 在客体对象运动和数字判断过程中, 被试的注视点始终保持在屏幕中央, 仅用边缘视觉来完成多目标追踪。Oksama和Hyönä (2008)在多身份追踪模型中提出多个运动对象的方位信息是由边缘视觉(Peripheral Vision)来执行加工的。本实验结果表明：被试在执行一项需耗费注意资源任务的同时, 仅用边缘视觉追踪4个目标, 仍可以达到75%以上的正确率。

听觉任务的追踪正确率显著小于视觉任务, 说明听觉任务对多目标追踪的干扰程度显著大于视觉任务。出现这一结果的原因可能有两种：一是由于当数字判断任务以听觉形式呈现时, 被试完成该任务需要耗费更多的中央注意资源, 与多目标追踪任务所耗费的中央注意资源产生竞争, 由此对追踪表现产生更大程度的干扰(Alvarez et al., 2005)。二是由于在完成听觉任务时, 要求被试把注视点保持在屏幕中央相当于给被试增加了另外一项视觉注意任务, 占用了额外的视觉注意资源, 导致用于追踪的视觉注意资源减少。而视觉任务在执行过程中,本来就需要被试时时注意中央注视点, 眼动的控制与听觉任务相比要相对简单。

表1 视觉与听觉任务被试的注视点中心坐标值与中央注视点坐标值比较

表2 视觉和听觉任务的追踪正确率、数字判断完全正确时的追踪正确率、数字判断正确率和反应时

从视觉数字判断正确率显著大于听觉数字判断正确率以及视觉数字判断反应时显著小于听觉数字判断反应时可以看出, 在视觉数字判断任务与多目标追踪任务之间、听觉数字判断任务与多目标追踪任务之间并不存在追踪正确率与数字判断正确率或判断反应时的权衡。并且在视觉和听觉任务的数字判断完全正确条件下, 视觉任务的追踪正确率仍显著大于听觉任务, 说明被试在追踪任务上的表现是稳定、可靠的, 不受第二任务表现的影响。

2.2 实验1B

实验1A对被试的眼动进行控制, 虽然排除了视觉和听觉任务眼动模式的差异可能对实验结果造成的混淆, 但在听觉任务中, 被试可能需要占用额外的视觉注意资源来把注视点保持在屏幕中央,同时还要占用中央注意资源来完成听觉任务; 而被试在完成视觉任务的过程中需要时时注视屏幕中央, 无需再付出额外的视觉注意资源或仅需很少的视觉注意资源来保持眼动。与生态化情境相比, 控制眼动相当于为听觉任务增加了一项额外的视觉注意任务。这一实验操作可能是导致听觉任务对多目标追踪干扰程度大于视觉任务的原因。因此, 在实验1B中, 不再控制被试的眼动, 以更接近真实情境, 进一步考察视觉和听觉任务对多目标追踪干扰程度的差异。

2.2.1 被试

被试为北京地区在校大学生13名, 其中男生4名, 女生9名, 年龄范围为23～28岁(平均年龄24.7 ±1.6岁)。所有被试视力或矫正视力正常, 听力正常。

2.2.2 实验设计、实验仪器与材料、实验过程

与实验1A基本相同, 不同之处在于, 实验1B不控制被试的眼动, 被试的注视点可在屏幕上随意转移。

2.2.3 实验结果

数据剔除标准与实验1A相同。首先删除被试对数字进行提前反应、多次反应或反应次数不到3次的试次, 删除的试次数占总试次数的5.87%。删掉3次反应不完全正确的试次数占第一轮筛选后剩下试次数(979)的20.12%。各个条件下追踪正确率、数字判断完全正确时的追踪正确率、数字判断正确率和判断反应时见表3。

(1)追踪正确率

对视觉与听觉任务的追踪正确率进行配对样本

检验, 发现视觉任务追踪正确率显著小于听觉任务,

(12) = -2.15,

= 0.053。

(2)数字判断正确率和反应时

对视觉与听觉任务的数字判断正确率和反应时进行配对样本

检验, 结果显示视觉任务数字判断正确率显著大于听觉任务,

(12) = 2.76,

= 0.017;视觉任务反应时也显著快于听觉任务,

(12) =-32.38,

＜ 0.001。

表3 视觉和听觉任务的追踪正确率、数字判断完全正确时的追踪正确率、数字判断正确率和反应时

(3)数字判断完全正确时的追踪正确率

对视觉和听觉任务数字判断完全正确时的追踪正确率进行配对样本

检验, 发现视觉任务显著小于听觉任务,

(12) = -2.31,

= 0.040。

2.2.4 小结

在不控制眼动的情况下, 听觉任务对多目标追踪的干扰程度小于视觉任务。这与上文推测的第二种原因相一致：即在不控制眼动的情况下, 被试在完成听觉任务时, 不需要再耗费额外的视觉注意资源来保持眼动, 而只需要占用中央注意资源, 所以与视觉任务相比, 听觉任务对多目标追踪的干扰程度减小。

在该实验中, 视觉任务的追踪正确率显著小于听觉任务, 但视觉任务的数字判断正确率显著大于听觉任务, 且视觉数字反应时也显著小于听觉任务。需要说明的是, 以上并不是由于出现了多目标追踪与数字判断任务间的权衡, 而很可能是由数字判断任务的呈现方式决定的。因为在数字判断完全正确条件下, 也即视觉和听觉数字判断正确率均为100%的情况下, 听觉任务的追踪正确率仍显著大于视觉任务。

2.3 讨论

实验1A和B发现, 视觉任务和听觉任务对多目标追踪的干扰程度存在差异, 且该差异与是否控制眼动有关。被试在完成双任务过程中始终把注视点保持在屏幕中央, 仅用边缘视觉追踪目标时, 听觉任务的追踪正确率显著小于视觉任务, 听觉任务对多目标追踪的干扰程度大于视觉任务; 当不控制被试的眼动也即被试的眼动可在屏幕上任意转移时, 听觉任务的追踪正确率显著大于视觉任务, 听觉任务对多目标追踪的干扰程度小于视觉任务。

以上结果排除了被试在完成双任务过程中单个注意焦点或单一注意资源在两项任务间连续切换的可能性。有研究者(Alvarez et al., 2005; Tombu& Seiffert, 2008)认为被试能同时完成多目标追踪和第二项任务的原因之一可能是注意资源在两项任务间的连续切换。在实验1A和B中, 听觉数字判断反应时均显著大于视觉数字判断反应时。从时间进程来看, 听觉任务占用注意资源的时间较长,用于追踪的间歇期较短, 如果在完成双任务过程中单一注意资源是在两任务间连续不断切换的话, 那么视觉任务的切换速度和频率要大于听觉任务, 无论是否控制眼动, 视觉任务的追踪表现应该好于听觉任务。而实验结果则表明, 视觉和听觉任务对多目标追踪的干扰程度随是否控制眼动而变化：控制眼动时, 听觉任务对多目标追踪的干扰程度大于视觉任务; 而不控制眼动时, 听觉任务对多目标追踪的干扰程度小于视觉任务, 从而不支持单一注意资源转移假设, 而倾向于支持注意资源的分配理论(Kahneman, 1973; Norman & Bobrow, 1975; Leclercq,2002)。在综合讨论中将对其注意分配机制进行详细分析。

3 实验2 视觉或听觉任务的信息相容性对多身份追踪的影响

实验1A和B探讨了视听任务对多目标追踪干扰程度的差异, 着重的是双任务实验范式下两任务如占用相同的认知资源会产生并行成本的问题。实验2则尝试探讨在什么情况下一项任务的表现可能会被同时进行的第二项任务所促进也即产生并行效益的问题。实验1中, 多目标追踪与同时进行的视、听任务是相对独立的两项任务, 而实验2对视听任务与多目标追踪是否具有信息加工上的一致性也即两项任务的相容性进行操作, 以探讨这一因素对追踪表现的影响。实验2采用多身份追踪范式,每个运动对象都带有独特的数字身份特征, 视觉和听觉任务仍为数字整除判断任务。

3.1 被试

被试为北京地区在校大学生14名, 其中男生6名, 女生8名, 年龄范围为20～24岁(平均年龄21.6 ±1.3岁)。所有被试视力或矫正视力正常, 听力正常。

3.2 实验设计

2×2被试内设计, 自变量为数字判断任务的输入通道(视觉通道和听觉通道)和多身份追踪与数字判断任务的相容性(相容与不相容)。相容是指数字判断任务中的数字与追踪目标的身份相一致, 不相容是指数字判断任务中的数字与非目标的身份相一致, 而与目标的身份完全不一致。因变量为追踪正确率和数字判断正确率、反应时。

3.3 实验仪器与材料

与实验1基本相同。不同之处在于：在该实验的多身份追踪任务中, 目标和非目标即全部白色实心圆形在运动开始的同时内部均填充黑色数字, 数字位于圆形中央, 大小为19.78 pixel (约1.85°, 字高)。数字从1～9中随机选取。

3.4 实验过程

与实验1基本一致。不同之处在于：在多身份追踪任务中, 8个白色实心圆形以随机方位呈现在屏幕上, 互不遮挡, 其中4个圆形闪烁数次被标记为要追踪的目标, 闪烁持续时间为1 s。闪烁消失后,所有圆形仍静止呈现1 s。之后, 所有圆形开始做随机、独立的运动, 与此同时, 有相应的黑色数字出现在圆形内部, 数字从1～9中随机选取, 每个圆形内仅填充一个数字。圆形内部填充数字在运动过程中一直呈现。运动持续时间为8 s。具体实验过程见图3、图4。

数字整除判断任务与实验1的不同之处是：在该实验中, 共有4个数字呈现。数字呈现(视觉呈现与听觉呈现)时间仍为0.5 s, 给被试的反应时间为1 s。

多身份追踪任务与数字整除判断任务是否相容主要表现在：在相容条件下, 数字判断任务所呈现的4个数字与多身份追踪中目标圆形内填充的数字完全相同; 在不相容条件下, 数字判断任务所呈现的4个数字与目标圆形内填充的数字完全不同,而与非目标圆形内填充的数字相同。

每种实验条件包括40个试次, 共有160个试次,其中视觉和听觉任务分区组进行。是否相容在视觉和听觉任务中以随机顺序呈现。在正式实验前, 均让被试练习10个试次; 正式实验中, 被试完成40个试次后休息两分钟。整个实验持续约70 min。

3.5 实验结果

数据剔除标准与实验1相同。首先删除被试对数字进行提前反应、多次反应或反应次数不到4次的试次, 以此标准删除的试次数占总试次数的5.09%。删掉4次反应不完全正确的试次数占第一轮筛选后剩下试次数(2126)的22.25%。各个条件下追踪正确率、完全正确追踪正确率、数字判断正确率和反应时见表4。

3.5.1 追踪正确率

对追踪正确率进行2(视觉与听觉任务)×2(相容与不相容)重复测量方差分析发现：数字判断任务的输入通道(视觉和听觉通道)主效应显著,

(1, 13)= 16.89,

= 0.001,

= 0.565; 多身份追踪与数字判断任务的相容性(相容与不相容)主效应显著,

(1,13) = 44.03,

＜ 0.001,

= 0.772; 两因素交互作用不显著,

(1, 13) = 0.071,

= 0.793。

图3 多身份追踪与视觉任务实验过程示例

对相容条件下视觉和听觉任务的追踪正确率进行配对样本

检验发现, 视觉任务的追踪正确率显著小于听觉任务,

(13) = -3.33,

= 0.005; 不相容条件下视觉任务的追踪正确率也显著小于听觉任务,

(13) = -3.10,

= 0.008。

3.5.2 数字判断正确率

对数字判断正确率进行2(视觉与听觉任务)×2(相容与不相容)重复测量方差分析发现：输入通道主效应显著,

(1, 13) = 10.57,

= 0.006,

=0.448; 相容性主效应显著,

(1, 13) = 9.44,

=0.009,

= 0.421; 两因素交互作用不显著,

(1, 13)= 1.70,

= 0.215。

3.5.3 数字判断反应时

对数字判断反应时进行2(视觉与听觉任务)×2(相容与不相容)重复测量方差分析发现：输入通道主效应显著,

(1, 13) = 372.67,

＜ 0.001,

=0.966; 相容性主效应显著,

(1, 13) = 20.23,

=0.001,

= 0.609; 两因素交互作用显著,

(1, 13) =9.67,

= 0.008,

= 0.426。

图4 多身份追踪与听觉任务实验过程示例

表4 各个条件下的追踪正确率、完全正确追踪正确率、数字判断正确率和反应时

图5 各个条件下的追踪正确率、数字判断完全正确时的追踪正确率

对两者的交互作用进一步分析发现：视觉任务中相容条件的数字判断反应时显著小于不相容条件,

(13) = -3.03,

= 0.01; 听觉任务中相容的数字反应时也显著小于不相容,

(13) = -4.43,

= 0.001。相容条件下视觉任务的数字反应时显著小于听觉任务,

(13) = -18.11,

＜ 0.001; 不相容条件下视觉任务的数字反应时也显著小于听觉任务,

(13) =-19.28,

＜ 0.001。

3.5.4 数字判断完全正确时的追踪正确率

对数字判断完全正确时的追踪正确率进行2(视觉与听觉任务) × 2(相容与不相容)重复测量方差分析发现：输入通道主效应显著,

(1, 13) = 18.60,

= 0.001,

= 0.589; 相容性主效应显著,

(1, 13)= 36.35,

＜ 0.001,

= 0.737; 两因素交互作用不显著,

(1, 13) = 0.215,

= 0.651。

3.6 讨论

实验2发现当多身份追踪的目标身份特征与数字判断任务的数字相一致时, 其追踪正确率显著大于多身份追踪的非目标身份特征与数字判断任务的数字相一致的情况, 也即多身份追踪与数字判断任务相容条件下的追踪正确率显著大于两者不相容的情况。并且在数字判断任务中, 相容条件下的数字判断正确率显著大于不相容条件, 相容条件下的数字判断反应时显著小于不相容条件。该结果表明多身份追踪与同时进行的第二项任务的相容性不仅促进了追踪表现, 而且促进了第二项任务的表现, 对两项任务均产生了易化作用, 降低了两项任务间的干扰程度。

实验2的结果也验证了实验1B的发现, 即在不控制眼动的情况下, 听觉任务的追踪正确率显著大于视觉任务, 听觉任务对视觉追踪的干扰程度小于视觉任务。即使在数字判断完全正确条件下即排除了多身份追踪与数字判断任务相互权衡时也是如此。值得注意的是, 在实验1A、B和实验2中, 听觉数字判断正确率均显著小于视觉数字判断正确率, 且听觉数字判断反应时均显著大于视觉数字判断反应时, 该结果的一致性表明其并不是由数字判断任务与视觉追踪任务间的权衡造成的, 而是由数字判断任务的呈现方式所决定的。

4 综合讨论

本研究通过3个实验探讨了与多目标追踪同时进行的视觉或听觉任务对其干扰程度的差异, 以及当视觉和听觉任务的信息加工与多身份追踪的身份特征相一致时, 该一致性或相容性是否会降低两任务间的干扰程度。通过以上实验, 旨在更深入地探讨多目标追踪的注意加工机制。

4.1 多目标追踪占用视觉注意资源还是中央注意资源？

实验1发现在严格控制眼动, 即被试注视点始终保持在屏幕中央的情况下, 听觉数字判断任务对多目标追踪的干扰程度大于视觉任务。而在不控制眼动, 被试注视点可在屏幕上随意转移的情况下,听觉任务对多目标追踪的干扰程度小于视觉任务。这一结果排除了单一注意焦点或单一注意资源在两项任务间连续切换的可能性, 被试之所以能够同时完成两项任务, 是注意资源在两项任务间分配的结果。

目前注意资源的分配模型有两种主要理论：中央或单一容量理论和多重资源理论。中央或单一容量理论代表性的模型是由Kahneman (1973)提出的注意能量分配模型, 其将注意看做一组对信息进行加工的认知资源或认知能力。这些认知资源是有限的(Norman & Bobrow, 1975), 可根据情境的限制或任务的要求分配到不同的任务上。只要不超过可利用认知资源的限制, 个体就能够同时接收两种或多种信息输入, 或者从事两种或多种认知活动。多重资源理论不仅基于可利用资源的数量, 而且还基于可利用资源的类型。研究者认为特定类型的认知加工分别消耗特定类型的认知资源。根据该模型, 两项或多项任务间不存在干扰是因为每项任务都依赖不同的认知资源。如各个感觉通道的信息加工都消耗或占用特定类型的资源(Leclercq, 2002)。反之,如果两项任务存在干扰, 则两项任务共同占用了相同的认知资源。最详细的一种多重资源模型是由Wickens (1984a, 1984b)提出来的, 他根据编码方式(视觉和听觉)、编码类型(空间编码和言语编码)、加工阶段(编码、中央加工和输出)、反应类型(手动、口头)区分出不同类型的资源。

如果用中央或单一容量理论来解释实验1的结果, 实验1A表明在控制眼动的情况下, 与视觉任务相比, 听觉任务与多目标追踪共同占用更多的认知资源; 实验1B表明在不控制眼动的情况下, 与视觉任务相比, 听觉任务与多目标追踪共同占用较少的认知资源。而在以往研究中, Fougnie和Marois(2006)曾把多目标追踪作为典型的视觉注意任务来探讨视觉工作记忆的容量限制是否基于视觉注意的认知资源有限性。Tombu和Seiffert (2008) 研究表明多目标追踪所需要的注意资源与听觉任务所需的注意资源是共通的。Alvarez等(2005)的研究表明尽管多目标追踪与听觉任务并不共享视觉注意资源, 但两者共享更加中央的注意资源(如执行功能)。以上研究表明, 研究者在探讨多目标追踪的注意加工机制时, 已经开始区分注意资源的类型, 而不再局限于注意的单一容量理论。

本研究结果进一步为注意分配的多重资源模型(Wickens, 1984a, 1984b)和视听通道共享中央的注意资源的观点(Alvarez et al., 2005; Baddeley &Hitch, 1974)提供了支持。根据多重资源理论, 在控制眼动的情况下, 被试在视觉和听觉任务中的眼动模式完全相同, 此时被试在同时完成听觉任务和多目标追踪的过程中, 与完成视觉任务和多目标追踪任务相比, 保持注视点在屏幕中央要耗费视觉注意资源, 执行听觉任务要耗费听觉资源和中央资源(Alvarez et al., 2005; Baddeley & Hitch, 1974), 这些认知资源的占用与多目标追踪所耗费的注意资源(Tombu & Seiffert, 2008)形成竞争, 由此对多目标追踪造成较大程度的干扰。而被试在完成视觉任务过程中, 需要常常注视屏幕中央的注视点, 也即执行视觉任务所占用的视觉注意资源与保持注视点所耗费的视觉注意资源存在一定程度的重合, 因而视觉任务对多目标追踪的干扰程度小于听觉任务。

在不控制眼动的情况下, 被试在完成听觉任务和多目标追踪时, 无需耗费额外的视觉注意资源来保持注视点, 听觉任务仅占用听觉注意资源(根据编码方式划分)和中央注意资源(根据加工阶段划分); 而在完成视觉任务和多目标追踪时, 视觉任务的执行需要耗费视觉注意资源, 由视觉任务对多目标追踪的干扰程度大于听觉任务这一实验结果可以推断：当听觉任务与多目标追踪同时进行时,两者仅占用相同的中央注意资源(如中央加工,Wickens, 1984b; Tombu & Seiffert, 2008); 而视觉任务与多目标追踪同时进行时, 两者既要占用中央注意资源, 又要占用相同的视觉注意资源。比较之下,听觉任务与多目标追踪仅相互竞争一种类型的资源; 而视觉任务与多目标追踪要竞争两种类型的资源(中央加工和视觉注意资源), 所以视觉任务对多目标追踪的干扰程度要大于听觉任务。

根据多重资源模型, 根据编码方式来划分, 多目标追踪的追踪过程(Moment-to-moment Tracking)需要占用视觉认知资源, 因为多目标追踪是典型的视觉任务, 在追踪过程中需要时时进行视觉编码;根据加工阶段来划分, 追踪过程主要涉及编码阶段和中央加工阶段, 编码阶段正如上面所分析的, 主要是视觉编码; 而中央加工阶段, 根据前人研究(Tombu & Seiffert, 2008; Alvarez et al., 2005)及本研究的结果, 其所需要的注意资源与听觉任务所需的注意资源是相同的。因此, 由视觉和听觉任务对同时进行的多目标追踪任务干扰程度的差异可以得出：多目标追踪任务的追踪过程不仅占用视觉注意资源, 而且占用中央加工资源; 因此, 只要同时进行的第二任务也需要占用中央加工资源, 即使不以视觉通道呈现, 也会对多目标追踪任务造成干扰。这是本研究的理论发现之一。这可能也是前人研究中手指的顺次轻敲(Trick, Guindon, & Vallis, 2006)或自身的主动或被动位移(Thomas & Seiffert, 2010)都会干扰多目标追踪表现的原因。

4.2 多身份追踪与第二任务相容性对追踪表现的影响及其注意加工机制

实验2发现：当数字判断任务的数字与多身份追踪的目标身份特征相一致时, 不管是在视觉任务还是在听觉任务中, 该一致性或相容性都显著促进了追踪表现和数字判断表现, 使两项任务都表现出了易化效应, 两项任务间的干扰程度降低。表现在与不相容条件相比, 相容条件下的追踪正确率显著更高, 且数字判断正确率也更高, 反应时更短。

根据以往多身份追踪研究, 追踪过程中对象身份特征被保存在视觉工作记忆中, 在目标丢失的情况下, 利用储存在工作记忆中的目标身份信息可以重新找回目标(Makovski & Jiang, 2009a, 2009b)。实验2中, 在追踪开始阶段, 目标对象独特的数字身份被储存在视觉工作记忆中。在相容条件下, 被试在完成数字判断任务时, 因为需要判断的数字与追踪目标的数字身份相一致, 一方面两者可以相互验证, 另一方面也节约了用于数字加工和储存的认知资源, 因此两项任务间的干扰程度会下降, 产生并行效益。而在不相容条件下, 因为需要判断的数字与储存在视觉工作记忆中的数字不一致, 被试需要付出额外的认知资源来对数字进行加工, 并且需要判断的数字与非目标身份特征相一致也容易导致目标和非目标间的混淆, 因此与相容条件相比, 不相容条件下两项任务相互间的干扰程度较大。

在实验2中, 听觉任务相容条件的追踪正确率显著大于视觉相容条件; 且听觉任务不相容条件的追踪正确率也显著大于视觉不相容条件。尽管多身份追踪与听觉数字判断任务在同时进行时, 需要对不同感觉通道的信息进行加工融合, 如追踪过程中储存在视觉工作记忆中的数字需要与听觉输入的数字特征相匹配, 在跨通道信息交互过程中, 即使在不相容条件下, 听觉任务的追踪表现也比视觉任务要好。这在一定程度上说明视听跨通道信息融合所消耗注意资源, 并没有两项任务同时竞争视觉编码所消耗注意资源多。且该结果进一步表明：多目标追踪过程所消耗视觉注意资源可能要远多于中央注意资源, 所以导致在相容和不相容条件下, 视觉任务对追踪任务的干扰程度都要大于听觉任务。这也是本研究一个新的发现。这一点还需要后续更为精细化的实验设计进行进一步研究。

综上所述, 采用视听通道双任务实验范式探讨多目标追踪的注意加工机制发现：多目标追踪既占用视觉注意资源(视觉编码), 也占用中央加工资源;且所消耗视觉注意资源可能要远多于中央加工资源。当第二任务与多目标追踪存在相容性时, 与不相容条件相比, 相容条件会对多目标追踪和视觉或听觉任务产生促进作用或降低两任务间干扰程度,两任务间产生了并行效益。说明信息加工一致性可以节省多身份追踪过程的认知资源。研究结果从理论上进一步支持了注意的多重资源模型(Wickens,1984a, 1984b), 同时, 视听跨通道双任务的结果也为视听通道共享中央的注意资源的观点(Alvarez et al., 2005)提供了实验依据, 说明中央注意资源在不同通道注意资源分配中具有调控作用。研究结果为注意资源分配的理论提供了实证依据。

5 结论与展望

本研究通过3个实验分别考察了视觉和听觉任务对同时进行的多目标追踪任务干扰程度的差异,以及当视觉与听觉任务的某些信息加工与多目标追踪的身份特征相一致时, 视觉与听觉任务是否会对多目标追踪产生促进作用。结果发现：①在控制眼动、被试注视点始终保持在屏幕中央的情况下,听觉任务对多目标追踪任务的干扰程度大于视觉任务; 而在不控制眼动, 被试注视点可在屏幕上任意转移的情况下, 听觉任务对多目标追踪的干扰程度小于视觉任务。说明多目标追踪过程既要占用编码阶段的视觉注意资源, 又要占用中央加工阶段的中央注意资源, 如执行功能。②当视觉或听觉数字判断任务中的数字与多身份追踪任务中目标的数字身份相一致时, 该相容性会对追踪表现产生促进作用并降低两任务间的干扰程度。这是由于追踪过程中目标的数字身份被储存在视觉工作记忆中, 相容条件下节约了用于数字加工的认知资源, 同时促进了两项任务的表现。

本研究探讨了多身份追踪与第二任务的相容性对追踪表现的促进作用, 以及视听任务对注意资源分配的影响机制, 在后续的研究中将开展更加精细的实验设计来进行深入探讨。此外, 是否还有其他因素会使与多目标追踪同时进行的第二项任务对追踪表现产生促进作用及其背后的认知机制也是值得研究的重要问题。另外, 对双任务实验范式下可能影响追踪表现或两任务间干扰程度的其他因素(如双任务的通道及难度均衡匹配、高运动速度和高容量以及生态化情境的追踪识别任务等)以及这些因素对注意资源分配与调控的影响机制及其神经机制还有待于进一步的探讨。

Alvarez, G., Horowitz, T., Arsenio, H., DiMase, J., & Wolfe, J.(2005). Do multielement visual tracking and visual search draw continuously on the same visual attention resources?

Journal of Experimental Psychology: Human Perception and Performance, 31

, 643-667.Allen, R., McGeorge, P., Pearson, D., & Milne, A. (2004).Attention and expertise in multiple target tracking.

Applied Cognitive Psychology, 18

, 337-347.Baddeley, A. D., & Hitch, G. (1974). Working memory. In G. H.Bower (Ed.),

The psychology of learning and motivation

(vol.8, pp. 47-89). New York： Academic Press.Drew, T., McCollough, A. W., Horowitz, T. S., & Vogel, E. K.(2009). Attentional enhancement during multiple-object tracking.

Psychonomic Bulletin & Review, 16

, 411-417.Fougnie, D., & Marois, R. (2006). Distinct capacity limits for attention and working memory： Evidence from attentive tracking and visual working memory paradigms.

Psychological Science, 17

, 526-534.Green, C. S. & Bavelier, D. (2003). Action video game modifies visual selective attention.

Nature, 423

, 534 -537.Kahneman, D. (1973).

Attention and effort

. Englewood Cliffs,NJ： Prentice Hall.Leclercq, M. (2002). Theoretical aspects of the main components and functions of attention. In P. Zimmermann& M. Leclercq (Eds.),

Applied neuropsychology of attention

. Hove (UK)： Psychology Press.Makovski, T., & Jiang, Y. V. (2009a). The role of visual working memory in attentive tracking of unique objects.

Journal of Experimental Psychology: Human Perception &Performance, 35

, 1687-1697.Makovski, T., & Jiang, Y. V. (2009b). Feature binding in attentive tracking of distinct objects.

Visual Cognition, 17

,180-194.Norman, D. A., & Bobrow, D. G. (1975). On data-limited and resource-limited processes.

Cognitive Psychology, 7

,44-64.Oksama, L., & Hyönä, J. (2004). Is multiple object tracking carried out automatically by an early vision mechanism independent of higher-order cognition? An individual difference approach.

Visual Cognition, 11

, 631-671.Oksama, L., & Hyönä, J. (2008). Dynamic binding of identity and location information： A serial model of multiple-identity tracking.

Cognitive Psychology, 56

, 237-283.Pylyshyn, Z. W., & Storm, R. W. (1988). Tracking multiple independent targets： Evidence for a parallel tracking mechanism.

Spatial Vision, 3,

179-197.Pylyshyn, Z. W. (2006). Some puzzling findings in multiple object tracking： II. Inhibition of moving nontargets.

Visual Cognition, 14

, 175-198.Pylyshyn, Z. W., Haladjian, H., King, C., & Reilly, J. (2008).Selective nontarget inhibition in multiple object tracking(MOT).

Visual Cognition, 16

, 1011-1021.Pinto, Y., Howe, P., Cohen, M., & Horowitz, T. (2010). The more often you see an object, the easier it becomes to track it.

Journal of Vision, 10

, 1-15.Ren, D., Chen, W., Liu, C. H., & Fu, X. (2009). Identity processing in multiple-face tracking.

Journal of Vision, 9

,1-15.Tombu, M., & Seiffert, A. (2008).Attentional costs in multiple object tracking.

Cognition, 108

, 1-25.Thomas, L., & Seiffert, A. (2010). Self-motion impairs multiple object tracking.

Cognition, 117

, 80-86.Trick, L. M., Guindon, J., & Vallis, L. (2006). Sequential tapping interferes selectively with multiple-object tracking：Do finger-tapping and tracking share a common resource?

Quarterly Journal of Experimental Psychology, 59

,1188-1195.Wickens, C. D. (1984a). Processing resources in attention. In R. Parasuraman & D. R. Davis (Eds.),

Varieties of attention

.New York： Academic Press.Wickens, C. D. (1984b). Attention, time-sharing, and workload. In C. D. Wickens (Ed.)

Engineering psychology and human performance

. New York： Bell & Howel.Wei, L. Q., Zhang, X. M., Lu, X. M., Liu, B., & Li, Y. D.(2010).The pattern and cognitive mechanism of visual multiple object tracking.

Advances in Psychological Science, 18

, 1919-1925.[魏柳青, 张学民, 鲁学明, 刘冰, 李迎娣. (2010). 多目标视觉追踪的现象、规律和认知加工机制.

心理科学进展, 18

,1919-1925.]Zhang, X. M., Liu, B., & Lu, X. M. (2009).Mechanism of different moving pattern on nontarget inhibition in multiple object tracking.

Acta Psychologica Sinica, 41

, 922-931.[张学民, 刘冰, 鲁学明. (2009). 多目标追踪任务中不同运动方式非目标的抑制机制.

心理学报, 41

, 922-931.]