飞行模拟器环境下飞行员视觉特征
2013-08-07孙瑞山
孙瑞山 汪 苧
(中国民航大学民航安全科学研究所,天津300300)
安全是民航永恒的主题,影响航空安全的因素涉及到人和技术以及政治、经济、科技、社会、环境等许多方面,其中人是最关键的因素.根据事故统计分析,民机飞行事故中约有60% ~80%是由于机组原因造成的[1].飞行员在操作飞机的过程中,需要处理大量信息情报,而信息的来源很大程度上依赖于视觉,约有80% ~90%是通过人眼获得.由于人眼获取信息具有直接性、自然性和双向性等特点[2],因此眼动研究被认为是人信息加工研究中最有效的手段.
国外将眼动设备应用于航空研究的记录最早可追溯至1950年[3],分别从工作负荷、情境认知、航空人员选拔等方面进行了广泛而持续的研究.
文献[4]通过摄像机记录飞行员在飞机最后转弯阶段的视觉关注区域,根据飞行日志分析其飞行精度,发现视觉管理与潜在危险方式转弯之间的相关性.文献[5]利用眼动设备跟踪飞行员的眼动变化,记录飞行经验存在差异的飞行员在做出决策过程中的精度和时间,证明经验丰富的飞行员在决策时用时较短、精度较高,且在故障模式下会更多地关注有用信息.文献[6]利用眼动设备在白天和夜晚两种不同光照强度条件下进行飞机着陆实验,研究发现飞行员在获取舱外信息时可以利用余光而非完全通过注视模式,且在白天光照条件下,飞行员能够获取更多的舱外信息,从而降低了下滑道性能.文献[7]通过实验采集眼动跟踪数据,利用行为、心理模型研究驾驶舱的自动监控策略,研究在验证前人成果的同时,证明监控错误是人机交互故障的主要因素.文献[8-9]将视线跟踪运用到航空人才选拔中,以识别监控操作的优劣,研究表明识别准确的监控行为能够改进未来人才选拔程序.
我国在眼动方面的研究起步较晚,最早开始于20世纪70年代末、80年代初,在民用航空领域的眼动研究更为滞后.其中具有代表性的是:基于飞行员眼动视域特征的飞机驾驶舱设计与评价[10-11],航空人因工程领域眼动研究[12-14]以及其它航空领域的眼动研究[15].本文以固定式飞行模拟器为实验环境,利用非接触式FaceLAB4.0眼动仪作为眼动跟踪设备搭建实验平台,简化飞行员获取信息的目标区域,并利用马尔科夫链的数学分析方法对飞行员的视觉特征进行研究.
1 驾驶舱眼动实验设计
1.1 实验平台搭建
实验平台搭建需要使用如下仪器设备:飞机驾驶舱人机交互仿真与测试系统(下文简称为“飞行模拟器”)和 FaceLAB4.0 眼动仪[16].
实验中的驾驶环境采用固定式飞行模拟器.该飞行模拟器包括系统控制台、飞机仿真软件、计算机系统硬件、飞机设备仿真件和外围配套设备.整个系统提供了对仿真平台进行各种设置的人机接口,实现了在实验室条件下对真实飞机操纵的模拟.飞行中的外景图像,通过系统自带软件和投影仪,播放到驾驶舱前方的屏幕上.
视线跟踪设备采用澳大利亚Seeing machine公司生产的FaceLAB4.0眼动仪.该眼动仪是一个红外摄像系统,采用非接触式测量,实现对人脸的3D建模,极大地减少了测量仪器对人的干扰,为相关领域的研究提供了实时的视线跟踪.
1.2 实验设计
选择普通在校研究生(男性,年龄为23~28岁)作为实验被试,被试的视力或矫正视力正常.在实验前期准备阶段,被试需在实验室模拟环境中进行5 h的飞行操作训练,熟悉实验平台,并通过测试证实能够独立完成实验任务.
实验开始前,建立每位被试的头部模型(the head model).要求被试完成在同一机场相同气象环境下(晴朗的白天)的飞机起飞任务,每次实验的眼动数据从飞机对正跑道沿着跑道中心线起飞滑跑开始记录,直到飞机高度表显示已爬升至300英尺高度.具体实验设计方案如图1所示.
图1 实验设计流程图
2 眼动建模及视觉区域划分
2.1 眼动设备建模
FaceLAB 4.0眼动仪首先要建立场景模型,场景模型是标定眼动仪、被观测物体与测试对象之间的相对位置关系,也就是建立了基于眼动仪的坐标系.
而后,建立每位被试的头部模型(如图2所示).通过标定面部特征点,眼动仪可以实时跟踪头部、眼睛与视线的状态.
图2 头部模型示意图
最后,确立世界模型(The World Model).世界模型(如图3所示)是FaceLAB 4.0的重要改进,允许使用者运用球体、平面等模拟外部可视场景,世界模型确立被观测物体在全局坐标系中的大小与位置.世界模型标定的准确与否,关系到能否准确捕捉到被试的注视目标物.
图3 世界模型示意图
2.2 模拟飞行中的视觉区域划分
飞行员视觉注视区域的划分,是研究飞行员注意力分配和注视状态转移模式的基础和前提.视野平面机械划分法将视野平面机械地划分为几部分,落在各部分的注视点即为该区域内的注视目标[17].
飞行员在飞机操作过程中,通过舱内仪表能够获取飞机的各项性能数据.在近地环境中,地面的标识、灯光、人员、车辆、环境能够为飞行员提供周围的交通环境信息.在实验室环境下,为了简化飞行员的视野和注视目标,将飞行员的视野平面按照舱内、舱外以及这之外的区域划分为3个视觉区,分别记为:前窗舱外景区(1区)、舱内仪表区(2区)、其他视觉区(3区).实验中被试的视野区域划分如图4所示.
图4 被试的视野区域划分图
3 实验数据预处理与方法分析
3.1 实验数据预处理
每一次测试,FaceLAB 4.0眼动仪会自动采集被试的眼动参数.依据Data Analysis程序,一次实验完成后可以导出5个数据表,分别是:世界数据表(World Data)、特征图像数据表(Image Features)、时间数据表(Timing Data)、眼睛数据表(Eyes Data)和头部数据表(Head Data).世界数据表主要存储被观测目标的坐标;特征图像数据表主要存储头部、眼部和瞳孔分别在摄像机A和B中的坐标;时间数据表存储帧数与时间的关系;眼睛数据表存储注视、眼跳、瞳孔等信息;头部数据表主要存储头部在全局坐标系中的位置、角度等信息.
本研究中的视觉状态指:是否注视;如果注视,则收集注视目标物序号.在模拟飞行实验中,被试的注视点数据往往会因受到疲劳、眨眼等因素的干扰而存在非注视点数据.根据眼动设备的数据记录类型,从眼睛的闭合度、双眼闭合置信度、注视质量、眨眼、扫视、PERCLOS值等方面建立注视状态判断条件,只有在同时满足所有判断条件的情况下,记录的注视点数据才是最后用于实验分析的注视点数据.注视状态判断条件如表1所示.
表1 注视状态判断条件
3.2 马尔科夫链建模
根据上述判断条件,筛选出高质量注视点数据,并收集最终用于分析的注视目标物序号.结合注视基本理论中最小注视持续时间的规定,对注视点数据进行提取.本文所使用的眼动仪采样频率为60 Hz,在给定最小注视持续时间t=100 ms的条件下,对同一目标物序号连续记录6次,才达到最小持续时间.因此,在处理数据时,规定连续6帧以上记录到同一注视目标物记为一次注视状态数据,记录其注视目标物序号.
注视目标物序号在世界模型建立时确定,由输出数据表中GAZE_OBJ_INDEX体现.飞行员视野平面划分为前窗舱外景区(1区)、舱内仪表区(2区)、其他视觉区(3区),依次对应目标物序号输出值1,2,-1.
假设每个时间点(每一帧),被试的注视状态只有一种.且由于数据采集的间隔很短,可以认为数据处理后得到的注视状态数据是一种离散时间随机变量序列.此序列无后效性,是离散时间的马尔科夫链[18].于是,可以得到如下马尔科夫链.
其中,D为注视状态的马尔科夫链;t为时间点;T为时间点集合.
图5所示为状态转移示意图,K为注视状态转移概率矩阵,则
或者表示为
其中,pij为状态i到状态j的转移概率:
马尔科夫链D在t时刻的一步转移概率,不仅与i,j有关,且与时刻t有关.
图5 状态转移示意图
4 实验结果
对数据处理后的高质量注视状态数据进行分析.1区域是实验中划分的前窗舱外景区.如果被试当前注视点位于1区域,下一个注视点转移情况的概率值如表2所示.
表2 当前注视点为1区的一步状态概率分布
表2数据显示,如果被试当前注视点位于1区域,下一个注视点仍然位于1区域的概率(p11)最大,平均达到96.84%.说明被试观察前窗舱外景区域时,绝大多数情况下不能在一次注视中就获取足够的信息,需要通过对该区域进行一次长时间的注视.下一注视点转移到2和3区域的概率都很小,说明被试在观察前窗舱外景区域时,非常专注,对其他的视觉区域几乎不关注.
2区域是实验中划分的舱内仪表区.如果被试当前注视点位于2区域,下一个注视点转移情况的概率值如表3所示.
表3 当前注视点为2区的一步状态概率分布
表3数据显示,如果被试当前注视点位于2区域,下一个注视点仍位于2区域的概率(p22)最大,平均达到92.58%.说明被试观察舱内仪表区时,因该区域信息丰富,绝大多数情况下不能在一次注视中就获取足够的信息,需要通过对该区域进行一次长时间的注视.下一注视点转移到1和3区域的概率都很小,说明被试在观察舱内仪表区域时,非常专注,对其他的视觉区域几乎不关注.
3区域是实验中划分的其他视觉区.此时被试主要观察舱内仪表区和前窗舱外景区以外的视觉区域.当被试当前注视点位于3区域时,下一个注视点转移情况的概率值如表4所示.
表4 当前注视点为3区的一步状态概率分布
表4中的数据显示,如果被试当前注视点位于3区域,下一个注视点位于3个视觉区域的概率均值大致相近.说明被试在观察其他区域时,会同时关注舱内仪表区和舱外景区.
当前注视点为3区时,不同飞行员之间的一步状态转移概率相差较大.这是由于实验过程中,被试在3区的注意力分配较少,加之在实验后处理数据时,对注视这一视觉状态进行严格筛选,并按照最小注视持续时间t=100 ms对注视点数据做提取,这样处理后的数据在使用马尔科夫链分析方法进行分析时,3区的注视点数据非常有限,单个注视点数据就会对总体产生显著影响.
通过对一步状态转移概率分布情况的分析,认为被试在观察舱内仪表区和前窗舱外景区时,由于视觉区内信息丰富,短时间注视无法获得足够信息,往往需要长时间的注视;被试的视觉注意力在其他视觉区时,由于该区域信息量少,在一次注视状态中就能获取该区的全部有效信息,因此视觉注意力在下一时刻向各视觉区发生转移的概率大致相近;被试在飞行模拟实验中观察视觉区获取信息时,注意力相对较为集中.
飞行员在飞机起飞、爬升过程中,需要获得大量的信息,观察舱内仪表区能够获得速度、爬升率、航向、飞行高度等数据,观察舱外景区可以确保起飞过程中飞机始终对正跑道,获得跑道上的交通情况、障碍物等各项有效信息.这些实际情况也从实验数据的处理结果中得到验证.
5 结 束 语
以固定式飞行模拟器和非接触式眼动仪(FaceLAB4.0)构建了在模拟飞行过程中测试飞行员视觉特征的眼动实验平台.实验中使用的眼动设备能够精确标定面部视觉特征点、标注注视物体,建立每位被试的头部模型和世界模型,使眼动跟踪数据更精确、更有效.该设备相比于其他眼动追踪设备,因其非接触式的特点对被试干扰少、测试精度高而更具应用优势.眼动实验中被试下一个注视点所处的位置,只依赖于当前的注视点位置,而与此前注视点的位置无关,因此采用马尔可夫链的方法分析被试的注视点数据具有可行性.本文搭建的实验平台及使用的数学分析方法,是一种研究飞行员飞行过程中视觉注视变化的有效手段.
References)
[1]强生权.如何预防飞行中的人为差错[J].人力资源管理,2010(4):52-53 Qiang Shengquan.How to prevent human error in flight[J].Human Resource Management,2010(4):52-53(in Chinese)
[2]Jacob R J K,Karn K S.Eye tracking in human-computer interaction and usability research:ready to deliver the promises[J].Computer Vision and Image Understanding,2003,24:682-701
[3]Fitts P M,Jones R E,Milton J L.Eye movements of aircraft pilots during instrument-landing approaches[J].Aeronautical Engineering Review,1950,9(2):24-29
[4]Jarvis S,Harris D.Looking for an accident:glider pilots'visual management and potentially dangerous final turns[J].Aviation Space and Environmental Medicine,2007,78(6):597-600
[5]Schriver A T,Morrow D G,Wickens C D,et al.Expertise differences in attentional strategies related to pilot decision making[J].Human Factors,2008,50(6):864-878
[6]Kim J,Palmisano S A,Ash A,et al.Pilot gaze and glideslope control[J].Acm Transactions on Applied Perception,2010,7(3):1-20
[7]Sarter N B,Mumaw R J,Wickens C D.Pilots'monitoring strategies and performance on automated flight decks:an empirical study combining behavioral and eye-tracking data[J].Human Factors,2007,49(3):347-357
[8]Hasse C,Bruder C,Grasshoff D,et al.Future ability requirements for human operators in aviation,in engineering psychology and cognitive ergonomics[C]//Proceedings 8th International Conference,(EPCE 2009).Heidelberg:Springer,2009:537-546
[9]Seeingmachines.FaceLAB user support forum[M].Hongkong:Seeingmachines,2005
[10]苏建民.飞机座舱设计人机交互技术研究[D].西安:西北工业大学,2002 Su Jianmin.Aircraft cockpit design of human-computer interaction research[D].Xi'an:Northwestern Polytechnical University,2002(in Chinese)
[11]王黎明.基于知识库的飞机驾驶舱布局设计方法研究[D].西安:西北工业大学飞行器设计系,2004 Wang Liming.Cockpit layout design method based on the knowledge database[D].Xi'an:Department of Flight Vehicle Design,Northwestern Polytechnical University,2004(in Chinese)
[12]柳忠起,袁修干,樊瑜波,等.模拟飞机着陆飞行中专家和新手眼动行为的对比[J].航天医学与医学工程,2009,22(5):358-361 Liu Zhongqi,Yuan Xiugan,Fan Yubo,et al.Comparison of expert and novice eye movement behaviors du ring simulated landing flight[J].Space Medicine & Medical Engineering,2009,22(5):358-361(in Chinese)
[13]柳忠起,袁修干,刘伟,等.飞行员注意力分配的定量测量方法[J].北京航空航天大学学报,2006,32(5):528-520 Liu Zhongqi,Yuan Xiugan,Li Wei,et al.Quantitative measuring method of pilot s'attention allocation[J].Journal of Beijing University of Aeronautics and Astronautics,2006,32(5):528-520(in Chinese)
[14]柳忠起,袁修干,刘伟,等.基于模拟飞行任务下的眼动指标分析[J].中国安全科学学报,2006,16(2):47-51 Liu Zhongqi,Yuan Xiugan,Li Wei,et al.Analysis on eye movement indices based on simulated flight task[J].China Safety Science Journal,2006,16(2):47-51(in Chinese)
[15]徐兴民.视线跟踪技术及其应用研究[D].南京:南京航空航天大学安全技术及工程系,2007 Xu Xingmin.Eye tracking technology and its applications[D].Nanjing:Department of Safety Technology and Engineering,Nanjing University of Aeronautics and Astronautics,2007(in Chinese)
[16]Seeingmachines.FaceLAB4 user manual[M].Canberra:Australia,2004:9
[17]郭应时.交通环境及驾驶经验对驾驶员眼动和工作负荷影响的研究[D].西安:长安大学,2009 Guo Yingshi.Study on effects of traffic environment and driving experience on driver's eye movement and workload[D].Xi'an:Chang'an University,2009(in Chinese)
[18]张波,张景肖.应用随机过程[M].北京:清华大学出版社,2004 Zhang Bo,Zhang Jingxiao.Application of stochastic processes[M].Beijing:Tsinghua University Press,2004(in Chinese)