基于眼动的多目标视觉搜索绩效研究

汤洪涛,苏丹丹，兰秀菊，柴文超

(浙江工业大学 机械工程学院，浙江 杭州 310014)

基于眼动的多目标视觉搜索绩效研究

汤洪涛,苏丹丹，兰秀菊，柴文超

(浙江工业大学 机械工程学院，浙江 杭州 310014)

视觉搜索一直是人因工程领域的研究热点.为了研究在多目标视觉搜索中，目标个数对同时发现多目标现象的影响，设计3组视觉搜索实验，并在实验过程中使用眼动仪进行记录.通过眼动视频的回放和实验数据的分析可知：被试倾向于采用随机搜索策略；频繁改变搜索策略和注视点变换距离过大影响了被试的搜索过程，导致实验过程中出现的异常长的搜索时间值；随目标个数的增多，同时发现两目标的概率逐渐增加，且目标距离和搜索时间存在一定的相关关系.该研究结果能够指导实际生产中标准检测作业或安检搜索作业的制订，减少异常时间并提高搜索效率.

多目标；视觉搜索；眼动；同时发现两目标

视觉搜索是人们获取信息的一种重要方式，这意味着人需要通过对刺激物的一系列扫视、注视来完成信息处理[1].当前，视觉搜索已经广泛地应用于工业检测、安全、阅读和汽车驾驶等领域[2-3].多目标视觉搜索意味着在一次视觉搜索任务中，需要找出不止一个的目标.视觉搜索的搜索策略主要有系统搜索和随机搜索两种.在背景数量远大于目标数量的前提下，Chan等[4]进行了双目标的视觉搜索实验，结果显示当搜索时间小于30 s时，被试倾向于采用随机搜索策略，于瑞峰等[5]也证实了Chan等的研究；Hong等[6]研究结果表明：实验开始时，被试倾向于采取系统搜索策略，而后采用随机搜索策略；Morawski等[7]认为实际的搜索策略介乎系统搜索和随机搜索之间.以上的研究对于搜索策略的判断主要基于数据分析及其与已有模型的匹配性，并不能直观地了解被试的搜索过程、搜索路径.

视觉搜索的搜索绩效通常通过搜索时间和搜索正确性来衡量.Morawski等[7]发现搜索者几乎不可能采用完全的随机或者系统搜索策略，搜索绩效也介于随机和系统策略之间；Chan等开发了VILOMS系统绘制被试的视野形状，发现实际的形状不同于先前研究所提出的圆形或椭圆形，并研究视野形状对搜索时间的影响[8-10]；Courtney等[11-12]的研究证明了视野大小与搜索绩效之间的正相关性；杨林栋等发现，高强度、有反馈的视野培训能够增大视野面积，显著提高视觉搜索绩效[13]；刘畅等发现安检环境中的噪音会影响安检人员的工作效率，语言可懂度对于不同难易程度任务的影响表现出明显的差异[14].以上的绩效研究，主要的分析对象是在搜索时间大于0.7 s，即前、后目标不是同时发现的情况下[15]，各种因素如搜索策略、视野形状和视野大小等对搜索绩效的影响.但是，到目前为止，尚未有学者对多目标视觉搜索过程中，同时发现多个目标的现象及其影响因素进行研究，使得有一定概率存在于现实搜索任务中，如工业检测和安检作业等的现象的研究存在不足.汤一平等[16]和丁艳[17]利用视觉传感器对视觉搜索过程中的运动目标进行捕捉.因此，笔者使用眼动仪记录被试在视觉搜索过程中的眼动行为，直观地获取被试搜索策略；对同时发现多目标的时间数据进行分析，研究其发生的机制及影响因素.

1 实验方案与设计

为了直观获取被试的搜索策略，结合现有的实验研究基础和实际情况中可能存在的情况，设计了三个目标个数分别为3，4，5个的视觉搜索实验，在被试执行搜索任务的过程中使用眼动仪记录眼动数据；通过实验软件本身记录各个目标的搜索时间，并着重分析小于0.7 s的时间数据，研究同时发现多目标概率及其影响因素.

1.1 被 试

共有30名浙江工业大学的学生参与到本次实验，其中男生17名，女生13名，占比分别为56.67%和43.33%.年龄22～26岁，平均年龄为23.7岁.

1.2 实验设备及布置

实验的搜索区域由Visual Basic软件开发，能够模拟实际搜索场景，并能记录目标出现的形状和位置，被试的搜索时间，被试的判断数据.实验中所使用的显示器为Ben FP222W，参数为1 680×1 050的显示器.本实验利用Tobii glasses 2眼动仪记录被试的眼动数据.

被试坐在眼睛距离屏幕约600 mm的座椅上，眼睛与屏幕的垂直角度约为5°～10°.

1.3 实验搜索区域

搜索区域长宽为110 mm×74 mm(在1 680×1 050分辨率的屏幕上显示)，目标及背景的尺寸均为2 mm×2 mm.实验1中，每个搜索区域含有3个目标；实验2中，每个搜索区域含有4个目标；实验3中，每个搜索区域含有5个目标.目标为“>”或“<”，已有实验证明，这两种目标的搜索难度无显著差异[5]，目标的种类和出现的位置由随机数发生器控制，随机出现在搜索区域，但不会处于区域边缘，以免出现异常长的搜索时间.搜索区域中央的符号“+”用来帮助被试判断目标所在的区域是“左上”、“右上”、“左下”还是“右下”.图1为本实验搜索区域的一个示例.

图1 实验搜索区域示例Fig.1 Example of search area

1.4 实验流程

1) 被试填写个人信息表，包括姓名、年龄和性别等信息.

2) 主试向被试说明实验目的，介绍实验流程，并解答被试疑问.

在实验开始前，被试需注视屏幕中央“+”号.点击“开始实验”按钮后，屏幕上会出现搜索界面，被试要求以最快的速度找出目标.当找到第一个目标后，立即点击搜索界面右侧的“找到目标”按钮，在弹出的界面中，判断找到的目标位置和形状，然后点击“继续搜索”按钮，则会返回原来的搜索界面，被试需要继续寻找下一个目标，重复上述过程，直到找到实验要求的所有目标为止.

3) 被试进行练习操作5～10 min，直到习惯操作流程.

4) 被试带上眼动仪，并进行瞳孔校准.

5) 按照次序正式开始实验1、实验2和实验3.

6) 实验结束.

2 实验结果与讨论

2.1 视觉搜索策略研究

从眼动仪记录的眼动视频来看，被试采用的视觉搜索策略为随机搜索策略和系统搜索策略，随机搜索策略和系统搜索策略示例如图2，3所示.

图2 随机搜索策略Fig.2 Random search strategy

图3 系统搜索策略Fig.3 System strategy

此外，对被试进行单个多目标搜索任务的眼动视频进行分析可知，视觉搜索策略会随着当前的任务进度而改变，例如，当被试搜索第1个目标时，倾向于采用系统策略，对于下1个目标的搜索，会基于当前目标所在位置采用随机策略继续搜索.这个实验结果同Hong和Drury的实验结论基本一致[20].

2.2 视觉搜索绩效研究

先对视觉搜索实验中的搜索时间进行统计，分析造成搜索时间异常长的影响因素后，重点分析同时发现多目标的概率及其影响因素.

2.2.1 搜索时间统计

当被试对同一个搜索区域页面当中所有目标(分别为3，4，5个)的类型和位置的判断都正确的情况下，才认为搜索结果是正确的，否则就是错误的不计入统计.在30个参试者每个人10个搜索区域页面，实验1中有3个目标，一共300组数据(每组搜索数据3个搜索时间)，有279个是正确的，正确率为93%；实验2中有4个目标，一共300组数据(每组搜索数据4个搜索时间)，有279个是正确的，正确率为93%；实验3中有5个目标，一共300组数据(每组搜索数据5个搜索时间)，有293个是正确的，正确率为97.7%.各个实验搜索时间的统计结果如表1所示.

表1 各个实验搜索时间

从表1中3个实验发现有两个共同的现象：发现1，最后1个目标最长，且显著大于倒数第2个目标，即搜索最后1个目标的时间异常地长；发现2，第1个目标的搜索时间较长，大于第2个甚至第3个目标，第2个目标的搜索时间最短，后续目标的搜索时间在第2个目标的时间基础上递增.

2.2.2 异常时间分析

对于发现1，存在某些异常长的搜索时间，特别是每个实验中，最后一个目标的搜索时间.这些异常时间，影响了整个视觉搜索任务的效率.对3个实验中，最后一个目标的搜索时间超过30 s的情况进行统计，结果如表2所示.

表2 异常长搜索时间汇总表

通过查看产生上述搜索时间所在实验的眼动视频，发现以下几点共同的现象：

1) 被试倾向于以上一个目标所在位置为起点，继续搜索下一个目标.

2) 被试已被告知目标可能出现在搜索区域的任何位置，其还是倾向于在没有出现过目标的区域进行搜索.

3) 被试搜索过程中注视点跳跃性大，时常出现注视点在对角的象限来回跳跃的情况.

4) 搜索策略的改变较为频繁，时而系统策略搜索，时而随机策略搜索.

5) 在搜索无果的情况下，不是对整个搜索区域进行排查，而是反复查看边缘位置是否存在目标.

对上述5种现象进行分析，结合Chan等对造成异常长搜索时间的原因分析，如被试视野的不规则边缘，不适当的视野区域重叠，不适当的眼跳距离[4]；认为能对搜索时间产生较大影响的因素是，搜索策略的频繁改变和注视点变换距离过大.

上述影响因素的分析，可以作为其他视觉搜索实验的设计和实施过程的参考，减少实验中异常值的存在，以获得更多的有效数据.

2.2.3 同时发现多目标

由前人的实验可知：一次眼动的凝视时间约为0.3 s[20]，反应时间为0.4 s，若目标的搜索时间小于0.7 s(凝视时间加上反应时间)，有理由认为被试在搜索第1个目标的时候，已经看到了第2个目标，或眼睛已经停留在第2个目标上或其所在位置的附近.

如果在同一个搜索界面中，有1个目标的搜索时间小于0.7 s，则可认为被试“同时发现两目标”，若有连续的两个目标搜索时间小于0.7 s，则可认为被试“同时发现多目标”.

对于发现2中，第1个目标搜索时间较长的情况，类似于文献[20，4]的实验结果，原因可能是无论从哪个位置开始，其寻找范围为整个搜索区域.

对同时发现2目标和同时发现多目标的数据进行统计，分析数据规律并对造成该规律的原因进行研究.

1) 概率统计

由表1可知，第2个目标的平均搜索时间最短，最小值分别为0.18，0.18，0.19.对不同个数下各目标搜索时间内，同时发现两目标和同时发现多目标的时间个数进行统计，得出结果如表3，4所示.

表3 同时发现两目标的时间个数

由表3可知：随着目标个数的增多，同时发现2个目标的概率增大.就单个目标而言，搜索第1个目标时同时发现第2个目标的概率从14.34%和25.09%增加到32.42%，搜索第2个目标时同时发现第3个目标的概率从12.19%和13.26%增加到18.77%.

就前3个目标的整体搜索过程而言，目标个数分别为3，4，5时，同时发现两目标概率从26.53%，28.35%增加到51.19%，如图4所示.对于4，5个目标的实验，同时发现2目标的概率，在搜索第2个目标时达到最大，搜索后续目标时骤减到某一个值，并稳定或呈缓慢上升的趋势，如图5，6所示.

图4 不同目标个数下同时发现两目标的概率Fig.4 The probability of find two targets simultaneously in different number of targets

图5 4目标条件下同时发现两目标比例Fig.5 The probability of find two targets simultaneously in four targets

图6 5目标条件下同时发现两目标比例Fig.6 The probability of find two targets simultaneously in five targets

对于第2个目标的搜索时间小于第1个目标的原因，工作记忆的角色可以解释[18].Chan和Courtney认为，被试在搜索第1个目标时，同时看到了第2个目标，即第2个目标落在视野范围内，或者目光停留在第2个目标上或附近[4].

对于搜索第2个目标时同时发现第3个目标的概率下降的现象，有以下2个原因：搜索策略的转变和目标间距离的变化.

2) 搜索策略转变

从眼动视频来看，被试在使用几次随机搜索策略后，会转变成系统策略，按照从上到下，从左到右的方向继续搜索，直到找到目标为止.

当目标个数从3个逐步增加到5个时，被试搜索最后1个目标的平均时间逐渐增大，推测可能是因为被试在搜索过程进行一段时间后，不能直接判断当前所看到的目标是否已经搜索过，需要花费时间进行回忆和思考，导致所谓有效搜索面积减少的优势也不复存在.因此，搜索策略的转变造成了同时发现多目标概率的下降.

3) 目标间距离的变化

目标个数越多，对应的目标间的平均距离下降，同时发现2个目标及多个目标的概率越大，故对3个实验中的目标间距离与搜索时间进行相关性分析，结果分别如表5，6所示.

表5 目标距离和搜索时间的相关分析1

Table 5 Relationship analyze of targets’distance and search time

参数目标个数3个4个5个合计R0．2690．2590．1340．184P0．0300．0020．0280．000

P表示因素对试验结果无影响的显著概率.由表5可知：P值均小于0.05，说明同时发现两目标的情况下，目标距离和搜索时间的关系具有统计意义上的显著性，相关系数R值分别为0.269，0.259和0.134，均小于0.3，说明目标距离和搜索时间存在弱相关关系.

表6 目标距离和搜索时间的相关分析2

Table 6 Relationship analyze of targets’distance and search time

参数目标个数3个4个合计R0．2690．5070．315P0．0140．0070．001

由表6可知：P值均小于0.05，说明同时发现3目标的情况下，目标距离和搜索时间的关系具有统计意义上的显著性；相关系数R值分别为0.269和0.507，目标距离和搜索时间存在弱相关关系；同时发现4目标时，目标距离和搜索时间存在中等强度的相关关系.

综上可知：在同时发现2目标和同时发现多个目标，距离和搜索时间的关系均具有统计意义上的显著性,且同时发现多目标比同时发现2目标受距离的相关性更强.

3 结 论

本研究结合眼动设备记录了被试在视觉搜索过程中的眼动特征，直观获得了被试的视觉搜索策略；对搜集到时间数据进行处理，着重分析了同时发现多目标的概率和原因，结果表明：在多目标视觉搜索过程中，被试采取的搜索策略为随机搜索策略，与前人通过数学模型推导出的搜索策略相一致；在多目标视觉搜索过程中，造成异常长的搜索时间的原因主要有频繁改变搜索策略和注视点变换距离过大；在多目标视觉搜索过程中，同时发现两目标的概率随着目标个数的增多而增大，同时发现两个以上目标的概率与目标个数无显著关系；目标距离和搜索时间存在统计意义上的显著关系，即目标间距离越近，目标被同时发现的概率越大.

[1] REN Y T, HAN Y C, SUI X. The saccades and its mechanism in the process of visual search[J]. Advanced rsychology，2006，14(3)：340-345.

[2] SCHOONARD J W, GOULD J D, MILLER L A. Studies of visual inspection[J]. Ergonomics，1973，16(4)：356-379.

[3] DRURY C G. Exploring search strategies in aircraft inspection[M]. London: Taylor and Francis Ltd.,1990.

[4] CHAN A H S, YU R F. Validating the random search model for two targets of different difficulty[J]. Perceptual and motor skills，2010，110(1)：167-180.

[5] 于瑞峰，孔哲昕.多目标随机视觉搜索的目标独立性及模型研究[J].工业工程与管理，2013，18(3)：113-116.

[6] HONG S K, DRURY C G. Sensitivity and validity of visual search models for multiple targets[J]. Theoretical issues in ergonomic science,2002,3(1):85-110.

[7] MORAWSKI T B, DRURY C G, KARWAN M H. Predicting search performance for multiple targets[J]. Human factors，1980，22(6)：707-719.

[8] CHAN A H S, SO D K T. Measurement and quantification of visual lobe shape characteristics[J]. International journal of industrial ergonomics,2006,36:541-552.

[9] CHAN A H S, TANG N Y W. Visual lobe shape and search performance for targets of different difficulty[J]. Ergonomics，2006，50(2)：289-318.

[10] CHAN A H S, SO D K T. Shape characteristics of useful field of view and visual search time[J]. Travail human，2007，70(4)：343-367.

[11] COURTNEY A J, CHAN H S. Visual lobe area for single targets on a competing homogenous background[J]. Human factors，1985，27:643-652.

[12] GALLWEY T J. Lobe size curves for several targets and their effect on visual search time[J]. International journal of

industrial ergonomics，2009，39：601-607.

[13] 杨林栋，刘厚，于瑞峰.视野培训对视觉搜索绩效的影响[J].工业工程，2014，17(3)：108-113.

[14] 刘畅，邬歆，于瑞峰.语音噪声环境下的视觉搜索绩效研究[J].工业工程与管理，2014，19(5)：134-139.

[15] 孔哲昕.多目标随机视觉搜索的目标独立性及模型研究[D].北京：清华大学，2010.

[16] 汤一平，严海东.非约束环境下人脸识别技术的研究[J].浙江工业大学学报，2010，38(2)：155-161.

[17] 丁艳.基于全方位视觉的多目标检测跟踪[D].杭州：浙江工业大学，2007.

[18] 于瑞峰，孔哲昕.视觉搜索策略研究综述[J].人类工效学，2012，18(2)：93-95.

[19] LIU Z, XU Z, ZHOU Q, XIE F, ZHOU S. A study of multi-target visual search by eye movement Behavior[C]// Lecture Notes in Computer Science. LA, United State: Harris,2015.

[20] CHAN A H S, COURTNEY A J. Inter-relationship between visual lobe dimensions, search time and eye movement parameters for a competition search task[J]. The annals of physiological anthropology，1993，12：219-227.

(责任编辑：刘 岩)

Study on performance of multi-targets visual search based on eye movement

TANG Hongtao, SU Dandan, LAN Xiuju, CHAI Wenchao

(College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China)

Visual search is always hot research field of human factors. In order to discuss target number’s influence on find target simultaneously(FTS), three experiments were designed, and eye track system is used for recording in the meantime. Through analysis of the playback of video data of eye movement and experiment data, the participant tends to adopt random search strategy; frequently changing search strategies and non-optimum overlap distance of fixation point impact the search process, are reasons for the extremely long search time; the probability of FTS is increasing with increasing number of targets, the relationship of target distance and search time is also found.

multi-targets; visual search; eye movement; find two targets simultaneously

2016-03-08

汤洪涛(1976—)，男，湖北十堰人，副教授，研究方向为系统建模与仿真及人因工程等，E-mail:tanght@zjut.edu.cn.

TB18

A

1006-4303(2017)01-0108-06