飞行员眼动追踪与航空工效学的研究现状

王庆敏，姚永杰，李科华，时粉周，刘秋红



飞行员眼动追踪与航空工效学的研究现状

王庆敏，姚永杰，李科华，时粉周，刘秋红

［关键词］眼动追踪;视觉跟踪;航空

［作者单位］200433上海，海军医学研究所航空医学研究室

眼睛是人重要的信息获取通道，以飞机驾驶为例，飞行员总是通过感官从环境中获取信息，其中视觉信息约占80%。眼睛可以反映出人体生理和心理的变化，对于眼动的研究被认为是视觉信息加工研究中最有效的手段。通过对视觉的跟踪，可以获得人在观察外景和相关信息时的扫视选择和注视过程，从而研究人的视觉感知和信息加工模式，最终获得人的认知模式。在执行不同任务的情景下，可对于不同位置、大小、颜色等目标的眼动敏感度、延迟、反映速度等具体特性有深入细致的了解，并能够反映人的疲劳、任务负荷程度等相关指标。

1　眼动追踪及其测量参数

眼动追踪也称为视觉追踪技术［1］，是利用各种检测手段获取受试者当前“视觉注意”的方向的技术。它广泛应用于人机交互、驾驶安全、人因分析和军事等领域［2-5］。

眼睛有3种基本运动形式:注视、跳动和平滑跟踪运动。正常的视觉观察过程中，眼动表现为在被观察目标上一系列的停留以及停留点之间的飞速跳动。这些停留一般至少在100 ms以上才被称为注视。绝大多数的信息只有在注视时才能获得加工。用眼睛搜索观察任何物体时，视线总是先在对象的一部分上停留片刻，注视以后又跳到另一部分上，再对新的部分进行注视。眼睛在注视点之间的这种飞速跳动称为眼跳动。运动目标的速度信息输入到中枢神经系统后，眼睛为了追随这个目标将引起一种连续反馈的伺服运动。视觉系统对目标速度的检测与反馈控制，在整个平滑跟随过程中都是在进行的，这称为眼球的平滑跟踪运动。因此，人的视觉器官在对物体进行观察时，总是同时进行多种形式的眼动，眼睛才能完成对象的瞄准和连续动态观察，从而保证清晰的视觉输入。

当前的眼动追踪技术多是运用红外线捕捉角膜和角膜的反射原理，来记录用户的眼动轨迹、注视次数、注视时间、瞳孔大小变化、注视点序列等测量参数。

2　飞行员眼动追踪与国内航空工效的研究

国内军事航空领域的眼动研究起步较晚，研究也较少。北京航空航天大学柳忠起等［6］让被试人员在飞行模拟器上完成了3个不同阶段的模拟飞行任务，同时用眼动仪器记录了被试者的眼动数据。结论表明视觉飞行模式下，战斗机驾驶员主要从外景获取视觉信息，他们的大部分注意力都集中在外视景。该课题组还在模拟F-15战斗机的环境下［7］，分别研究了飞机在执行飞行任务、降落阶段操作者注视点分布、视觉注意力分配规律等参数，初步获得了在不同的视觉兴趣区域对注意力进行分配和大脑的初步认知加工过程及工作负荷，其研究对后续的飞行员的训练和座舱信息界面的优化有重要的指导意义。西北工业大学通过眼动追踪技术开展了飞机布局设计的相关研究。刘伟等在模拟器中进行了飞行员扫视、操作绩效及工作负荷的研究，任务为一次起落航线飞行。结果表明，与飞行学员相比，高级飞行员具有更频繁的注视次数和更短的注视时间［8］。

3　飞行员眼动追踪与国外航空工效的研究

3．1眼动追踪用于座舱仪表布局的评估及飞行员注意力分配的研究Merchant等［9］通过飞行模拟器，利用眼动追踪技术从3种信息显示仪表中评估、选择最优化的合成视觉信息系统(synthetic vision information system，SVIS)，3种信息显示条件如下:(1)常规主飞行显示器(primary flight display，PFD)+导航显示器(ND)，(2)包含综合视景系统(SVISPFD +ND)，(3)常规主飞行显示器+外景显示，试验中同时用NASA TLX技术来评估受试者的脑力负荷。研究结果表明飞行员常规的视觉扫视方式并没有被这种先进的合成视觉信息系统所干扰，相反，受试飞行员的注视的节奏有所放松，提示这种先进的合成视觉信息系统可以装备到座舱信息显示系统。

Flemisch等研制了一种适合于飞行模拟器上的caSBAro系统，该系统可以分析受试者的头动和眼动数据。实验中检测了6名军事飞行员的视觉注意力分配特点。受试者执行两种任务，一种是高频率的跟踪任务，另一种是低频率的航行任务。研究发现在模拟的飞行任务中，飞行员的视觉扫视途径呈经典的“T”形，飞行员将近56%的注意力分配到窗外［10］。

Anders等［10］在柏林大学的空客A330飞行模拟器上研究了进近着陆阶段优秀飞行员的视觉注意特点。研究发现进近着陆阶段，从飞机在云层到飞机跑道可以看到这一阶段，主飞行显示器上的信息是最重要的，40%的信息来自于主飞行显示器(PFD)。其中主飞行显示仪表的注视点主要集中在与飞行相关的参数，如速度表，水平仪表和高度表。而飞行员在改变航向时PFD上的累计注视时间很少，因为导航显示器提供了一个更好的水平情景中的信息。

Graeber等［11］研究了在不同可见度情况下，使用电子移动地图EMM(electronic moving map)时，飞行员的视觉注意力特点。研究结果表明，在低可见度或高可见度的任务中，使用电子移动地图没有对飞行员的视觉注意力分配产生负面影响。随着可见度的变差，飞行员花更多的注意力在舱外，而更少的注意力在EMM上，但没有影响飞行员的飞行操作。可见在不同的可见度任务中，飞行员只把电子移动地图作为航行的第二帮助信息使用。

美国空军学院Kasarkist等［12］利用飞行模拟器测量了7个熟练飞行员和l0个学员的飞机模拟降落过程。试验中用眼动仪记录了他们操纵过程中的扫视行为。结果发现熟练飞行员总的注视点数目较多，注视停留时间较短，在空速表上比飞行学员有着更多的注视点，而在高度表上的注视点较少。结果表明熟练飞行员有更简洁清晰的扫视模式，视觉注意力在跑道和空速度表之间转移，而新手的扫视模式比较复杂，注意力还在跑道上周围连续地注视。这表明熟练飞行员和学员在扫视上存在差异，这种明确的扫视模式同其优秀的着陆绩效相关。

Schriver等［13］通过验证注意力与操作的关系来检验优秀飞行人员和飞行学员在决策上存在的差异。14个优秀飞行员和14个飞行学员在模拟机上进行模拟飞行，同时检测他们的眼动指标。结果显示，优秀飞行员决策的速度和准确度普遍高于飞行学员;注意力的集中程度与飞行员做出决策的速度和准确度有很大的关系，注意力越集中，其决策速度和准确度越高。

Wetzel等［14］在3种飞行模拟器中研究了飞行员的视觉扫视路径。研究目的是明确优秀飞行员有效的视觉策略是否能够提高训练效果。同时也比较了F16优秀飞行员和飞行学员的注意力分配的差异。研究发现两个群体之间确实存在差异，优秀飞行员的视觉策略可以用于指导其他飞行员的训练。随后，Wetzel等还在18个月的时间里研究了训练过程中的视觉注意特点，同时也为研制、优化适用于F16上的视觉测量装置打下了基础，实验中研究了F16飞行员的视觉注意特点。在近7个月的使用期后，问卷调查结果表明90%的飞行教员认为在技术性训练中进行跟踪飞行员的视觉注意力是非常有益的，82%的飞行教员认为在眼动追踪提高了模拟飞行训练任务的质量，特别是在紧急任务的训练中效果非常明显。调查问卷显示100%飞行教员认为视觉检测装置在飞行初期的训练中非常有用，一些不好的视觉注意习惯可以较早地得到纠正，该结果最终促进了视觉测量装置在F16上的配备及推广。后来在F16的15个训练科目中，10个训练科目中要求跟踪检测飞行员的视觉注意力分配。

俄军也较早开展了军事飞行员的仪表扫视策略的研究，建立了优秀飞行员的眼动范式，用于指导飞行学员的训练。

德国马克斯普朗克生物控制学研究所与韩国高丽大学联合开展了一项有关新飞行学员视觉扫描模式与操作表现之间关系的研究。实验中使用固定式直升机飞行模拟器和遥测式眼动追踪设备检测飞行学员的仪表扫描模式。研究发现，在模拟飞行中表现较好学员对关键仪表有一定的选择性。根据实验结果，研究者建议在训练中教员应对飞行学员的扫描模式进行指导，同行要优化仪表盘的设计、将重要的参数放在中央的位置显示等。

上述研究表明，眼动信息与飞行员的飞行绩效密切相关，眼动指标可以用于评估飞行员的操作绩效。经验丰富的飞行员会花费更少的时间找到相关信息，而新飞行员则相反，其注意力会在某些区域滞留较长的时间。有经验的飞行员与新飞行员眼动的最大不同是收集重要信息的数量不同。有经验的飞行员有更多的固定信息，而且每个固定信息点持续相同的时间，获得的信息更翔实。因此，如果用经验丰富飞行员的扫描策略去培养新飞行员，会大大提高新飞行员的作业绩效。同样，也可以根据飞行员的注意力参数，来评判座舱仪表的布局是否合理。

3．2眼动追踪用于飞行员脑力负荷的评估常规的检测脑力负荷的方法有主观评价、行为学检测及生理指标的检测。主观评价和生理学检测指标反映了工作负荷的一些信息，但是对机体的认知情况反映较少。而行为学检测从多维地反映了机体操作绩效，其中包括认知情况。与脑力负荷相关的眼动指标包括眨眼频率、眨眼间期的长短、瞳孔直径大小、注视数目及注视持续时间、跳动时间的长短及跳动速度等。

Nocera等［15］在模拟器上利用眼动追踪技术，利用视觉的空间分布指标(spatial dispersion indice)来分析专业飞行员脑力负荷的变化，同时采用NASA-TLX量表作为主观脑力负荷的评价指标。实验中采用一种最近邻居指标的分析方法(the nearest neighbor index)来分析眼动的注视指标，NASATLX主观分析和该方法分析的眼动指标结果吻合，即表明脑力负荷在起飞和降落阶段最高，在爬升和下降阶段处于第二位，在巡航阶段最低。说明该分析方法可以将眼动指标与脑力负荷的变化相对应起来。

台湾国家国防大学在模拟器上研究了军事飞行员在模拟飞行过程中，分析了飞行员眼动与工作负荷之间的关系。试验中采用NASA-TLX了解执行任务重的脑力负荷的大小。比较了有经验的飞行员和新手之间的差异。实验结果表明瞳孔直径大小、注视总时间及注视点的总数目均可以很好地反映脑力负荷的大小。工作负荷越大，瞳孔直径越大;脑力负荷越大，平均注视时间越小。有经验的飞行员和新手之间的这些眼动指标存在明显差异。该试验表明眼动指标可以很好地反映飞行员的工作负荷、认知状态和操作绩效。

欧洲航管组织在空中交通管制实时模拟训练设备中使用遥测式眼动追踪系统，对交通管制人员的工作负荷进行评估，研究认为空中交通管制是非常复杂的脑力工作过程，在模拟训练设备中使用遥测式眼动追踪系统能够更深入地了解交通管制人员的工作负荷，从而进一步对所空中交通管制系统进行评估和改进，通过系统整合、人员调整来减少空中交通管制人员的工作负荷。可用于空中交通管制人员工作负荷评价的眼动指标包括:注视情况、兴趣区(AOI)、凝视时间、总注视时间、首次到达目标兴趣区时间以及感兴趣区域总凝视时间。

3．3眼动追踪用语飞行员疲劳的评估飞行疲劳仍是造成航空事故的主要原因之一。因此，各军种都投入了大量的资源对作业人员的疲劳管理和缓解疲劳的方法进行了研究。许多眼动指标均可反应飞行中人员出现疲劳或注意力分散的情况(如瞳孔的大小等)，利用眼动追踪系统对飞行人员作业时的眼动特征进行评估，能用于飞行疲劳的预测和监测。

Morris等［16］在模拟飞行条件下，执行不同任务时的眼动指标。同时检测了发现眨眼幅度(blink amplitude)，眨眼率(blink rate)，长闭眼率(long-closure rate)及扫视率(saccade rate)这几个指标来反映受试者的疲劳状态。研究结果表明在飞行操作任务中，这几个眼动指标反应飞行疲劳的敏感性依次降低。而straight和level任务中，长闭眼率和眨眼幅度与疲劳相关度最高。

Van Orden等［17］的研究发现，当由于困倦、警觉性降低及任务时间的时增加导致的操作绩效改变时，人体的眼动指标，如眨眼、注视及瞳孔直径大小也随之发生变化。他们发现注视频率是由于任务导致的困倦和疲劳的一个更好的眼动指标。

3．4眼动追踪技术用于视野(FOV)需求的研究美国空军基地在C-130飞行模拟器上做了试验，把眼动追踪设备应用到视野要求的研究。实验使用2种不同的视野条件，利用有经验的飞行员在2个不同的路线上进行了低空投弹任务。结果显示在全视野和有限视野的条件下，飞行员的视觉行为明显不同。具体体现在花费在仪表、前窗、左窗的时间百分比不同。眼动数据表明，在有限视野条件下，飞行员更多地使用前窗和仪表，而对左边的窗口较少使用;在全视野条件下，飞行员很少使用前窗和仪表来获取信息，却较多地使用左窗获得信息。

Dixon等还在F-15模拟器上研究视野的需求。他们以了15个飞行教员为研究对象，观察在执行飞行任务时，飞行员对视野中的哪些部分利用最多。结果表明前窗、左上窗及右上窗飞行员利用最多，飞行员利用这些途径获取视觉信息。

3．5眼动追踪技术作为情景意识预测的评估情景意识就是飞行员对未知状况的预测。Stern等［18］研究发现飞行员在做预测时导致了心率的下降、眨眼受抑制，或者当受试者不能抑制眨眼时，眨眼的时间比正常情况下短。他们发现受试者在执行操作时，如果刺激的位置及时间可以预测，眼动的一些指标如预期扫视潜伏期、目标扫视潜伏期及眨眼潜伏期都会发生变化。因此，这些指标可以用于预判飞行员是否有良好的情景意识。

总之，飞行驾驶是一个复杂的任务过程，国外在飞行员的眼动追踪研究起步较早，广泛应用于座舱优化、飞行员注意力规律分析、不同任务的脑力负荷的评估、座舱视野的优化及飞行员情景意识的预测等方面，在民航及军事航空领域已经初步形成了一套相对完善的航空工效学研究和评价体系。而国内航空工效领域的眼动追踪研究尚处于摸索阶段，没有形成相应的系统研究理论和体系。随着研究的深入和新技术的出现，眼动追踪技术在在航空工效学的人因素研究领域方面，将有着广泛的应用前景和无法估量的应用价值。

［参考文献］

［1］史为民，王庆敏，刘秋红，等．视觉跟踪技术及其应用的研究进展［J］．海军医学杂志，2014，35(1):72-74．DOI:10．3969/j．issn．1009-0754．2014．01．030．

［2］卢姗姗，王庆敏，姚永杰，等．视觉追综技术在国外军事航空领域中的应用［J］．飞机设计，2015，35(3):61-64．

［3］Wu X，Wanyan X，Zhuang D．Pilot's visual attention allocation modeling under fatigue．Technol Health Care［J］．2015，suppl 2: S373-81．DOI:10．3233/THC-150794．PMID:26410504．

［4］Hasse C，Bruder C．Eye-trackingmeasurements and their link to a normativemodel ofmonitoring behaviour［J］．Ergonomics．2015，58 (3):355-367．DOI:10．1080/00140139．2014．967310．PMID:25396282．

［5］Wanyan X，Zhuang D，Zhang H．Improving pilotmentalworkload evaluation with combined measures［J］．Biomed Mater Eng．2014，24(6):2283-2290．DOI:10．3233/BME-141041．PMID:25226928．

［6］柳忠起，袁修干，刘伟，等．飞行员注意力分配的定量测量方法［J］．北京航空航天大学学报，2006，32(5):518-520．

［7］柳忠起，袁修干，刘伟，等．模拟飞机着陆飞行中专家和新手眼动行为的对比［J］．航天医学与医学工程，2009，22(5): 358-361．

［8］刘伟，袁修干，柳忠起，等．飞行员扫视、操作绩效及工作负荷的实验研究［J］．航天医学与医学工程，2005，4:292-296．

［9］Merchant S，Schnell T，Vogl，et al．Assessing pilot performance in flight decks equipped with synthetic vision information systems ［R］．Tech Report，2001，Rockwell Collins．

［10］Anders G．Pilot's Attention Allocation during Approach and Landing–Eye and Head-Tracking Research in an A330 Full Flight Simulator［C］．Presentation at the 11th International Symposium on Aviation Psychology，2001，Columbus，OH，USA．

［11］Graeber DA，Andre AD．Assessing visual attention of pilots while using electronic moving maps for taxing［C］．Proceedings of the tenth symposium on aviation psychology，1999:2791-2796．Columbus，Ohio:Ohio State University．

［12］Kasarsjus P，Stehwien J，Hickox A，et al．Anthony A．Comparison of expert and novice scan behaviors during VFR flight［C］．Presented at the11th International Symposium on Aviation Psychology，2001:1-6．

［13］Schriver AT，Morrow DG，Wickens CD，et al．Expertise differences in attentional strategies related to pilot decisionmaking［J］．Human Factors，2008，50(6):864-878．PMID:19292010［Pubmed-indexedforMEDLINE］．DOI:10．1518/001872008X374974．

［14］Wetzel PA，Krueger G，Anderson G，et al．An Eye Tracking System for Analysis of Pilots'Scan Paths［R］．AIAA Technical library;CASIHC A03/MF A01，Report Number AD-A326750;AL/HR-TR-1996-0145;NIPS-97-37957，1996．

［15］Nocera FD，CamilliM，TerenziM．A Random Glance at the Flight Deck:Pilots’Scanning Strategies and the Real-Time Assessment of MentalWorkload［J］．JCogn Eng Decision Making，2007，1(3): 271-285．DOI:10．1518/155534307X255627．

［16］Morris TL，Miller JC．Electrooculographic and performance indices of fatigue during simulated flight［J］．Biol Psychol，1996，42:343-360．PMID:8652752［Pubmed–indexed for MEDLINE］．DOI: 10．1016/0301-0511(95)05166-X

［17］Van Orden KF，Jung TP．Makeig S．Eye activity correlates of fatigue during a visual tracking task［C］．Proceedings of the Human Factors and Ergonomics Society Annual Meeting．1998，42(15): 1122-1126．DOI:10．1177/154193129804201514

［18］Stern JA，Boyer DJ，Schroeder DJ，et al．Blinks，Saccades;and Fixation Pauses During Vigilance Task Performance:2:Gender and Time of Day［R］．AIAA Technical Library;CASIHC A03/MF A01，Report Number AD-A307024;DTFA02-91-C-91056; DOT/FAA/AM-96/9，1996．

(本文编辑:张阵阵)

(收稿日期:2015－05－01)

［基金项目］军队武器装备项目(编号:13A502)

［中图分类号］R851

［文献标识码］A［DOI］10．3969/j．issn．1009－0754．2016．01．035