航线检查维修培训中的VR应用分析

张 超 宋文滨 刘小鸟

(上海交通大学，上海 200240)

0 引言

近些年随着我国民航业的高速发展，国内大型航空运营人机队以每年数十架的速度增长，迅速扩大的机队规模对运行保障提出了更高的要求。机务维修人员作为维修活动的实施者，在确保飞机持续适航和航班运行保障方面扮演关键的角色。而实际上，机务维修人员的数量增长无法满足机队规模扩大的速度，机务维修系统的人机比出现下降趋势，同时机务维修人员的平均工作年限也在降低，航空运营人机务维修队伍普遍出现了结构性缺员的情况。另一方面，传统的机务培训方式在更高的培训需求面前，显得比较低效。本项研究聚焦在飞机航线检查维护阶段，通过研究虚拟现实技术在飞机检查及系统维修培训中的潜在应用，选取维修工作中最基本的航线绕机检查工作，基于历史维修数据并引入人为差错要素，采用虚拟现实技术进行模拟，以提供真实、高效的先进培训方式，缩短机务维修人员的培训时间、降低维修成本、提高维修质量、减小维修人为差错的概率，最终对飞机的使用经济性和安全性的提升提供借鉴。在维修培训中使用虚拟现实技术可以使用更加符合工作对象现实需求的模型来提高培训的相关性，增加被培训机务维修人员的感官认识，达到提高培训效果的作用。同时，这一技术可以提供更为灵活的培训方式，以此为切入点研究虚拟现实技术应用的作用，通过分析在应用过程中遇到和解决的问题，研究虚拟现实技术在民航业应用中的潜力和发展方向。

基于目前游戏引擎UE发展的VR系统能够加入来源于机队实际运营中的故障数据，包括故障类型和发生概率，在VR培训类型和考核中融入这一信息，更加真实地反映故障发生情况。

1 航线维修与VR技术

航线检查是指航线维修人员根据航线工作单要求，在飞机航班运行的航前、短停和航后进行检查，并对发现的故障和缺陷进行处理。

以飞机短停检查为例，在飞机到达前，航线机务就必须要提前到达机位，对停机区域进行检查，确保没有外来物(FOD)和其他影响飞机安全的情况。飞机到达后，对飞机外部机身进行绕机检查，按照工作单规定的顺序对飞机外部部件进行一般目视检查，绕飞机形成完整的一圈闭环。完成绕机检查后，进入机舱，查阅飞行记录本、客舱记录本、读取飞机PFR和ECAM显示故障，对记录的故障进行处理。之后按照航线工作单进行规定完成其他的各项机上测试和检查工作，并签署放行。最后在飞机拖出或启动发动机前再次绕机，进一步确保情况正常。典型的绕机检查流程如图1所示。

图1 航线绕机检查流程

对于机务维修，人为差错的研究是避不开的一个课题。有研究表明80%的航空器维修差错由人为因素引起，其中又有40%与维修人员知识技能有关，航空企业必须针对发现的人为因素问题制定措施进行相应的针对性培训[1]。航线检查作为飞机放行前的最后一道关卡，首先应该避免检查过程中人为差错的发生，对之前的维修中发生的人为差错，也要起到一定的发现和防范作用。

虚拟现实和增强现实技术(VR和AR)已经开始在一些航空领域发挥重要的作用，应用领域主要包括教育培训环节、机场运营过程的模拟、紧急状况应急处理方案模拟、航空运营人空乘培训和乘客体验、飞机维修培训过程、飞机地面运行(如行李处理系统)等。这些应用环节各有差异[2-4]，同时，VR技术也被用于飞机系统故障的检测工作[4]。在维修培训中，增强现实和虚拟现实技术得以应用[5-11]，使用VR的培训课程体系和增强现实在维修工程师培训中发挥着重要作用[12-13]。在其他培训也有应用VR的案例[14-15]。此外，在军用飞行器的维修领域也可以看到虚拟现实技术的应用[16-17]。

国内有关的文献相对较少，但也存在一些应用的案例，其中严雨灵等的主要工作聚焦在起落架维护工作的视频制作，缺乏被培训者与系统的交互环节，而史攀峰的研究重点更多关注起落架不同部件的运动干涉和基本维护任务的计算机建模，其中也涉及到了培训效果的评价方法研究[18-19]。随着VR系统技术在过去10年的发展，采用VR和AR技术开展维护培训的研究需要更多聚焦对维护程序中多项任务完成效果的定量化评估。

2 基于模型的方法

本项研究从航线检查任务入手，将航线检查主要部分的绕机检查任务作为VR培训的案例，设计制作VR绕机检查培训实验性系统。结合VR培训沉浸、交互的优势对VR培训系统的设计提出了几个方面要求，其中在VR建模和系统设计方面需要考虑的是如何真实展示绕机检查中可能发现的各种故障和缺陷，不同的机身部件构型，并进一步考虑如何提高建模效率和提供扩展可能。

2.1 培训过程设计

结合绕机检查和VR系统的特点，对培训模式进行设计，体现以下几个要点：

1)做手册员工，“看一步，做一步，签一步”，培养按照工卡进行工作的良好习惯；

2)利用VR系统的交互优势，模拟真实的检查工作，标准化的培训流程培养规范的工作作风；

3)利用参数化建模呈现多样化故障缺陷，展示在现实中少见的故障情况，以及有效地进行考核。

设计的VR培训实验性原型系统流程：

标准培训。标准的绕机检查培训过程，受训人员使用VR设备在设定的固定绕机检查路线上移动，可以任意自由观察，每移动到一个特定检查区域后系统会自动显示该位置对应的检查工卡界面，试用人员按照工卡要求进行目视检查或者交互操作，完成检查并在工卡界面进行检查结果的勾选，继续移动逐个经过检查点并完成检查，教员会进行辅助的讲解和提示。标准培训模式的主要目的是对绕机检查流程的标准化培训，起到对新员工技能的学习提升和成熟维修人员习惯性违章的纠正。

故障展示。对典型故障缺陷类型的虚拟展示，教员在系统预先设置好想要培训讲解的缺陷或者故障的形式和位置，试用人员可以自由移动、观察和操作，熟悉该处典型的缺陷或者故障形式，达到身临其境的效果。故障展示模式让维修人员可以对各种故障特别是现实中少见的故障形式熟悉了解，加深印象防止在实际工作中漏检或错误处置。

考核测评。系统在机身上预设有一定数量的故障和缺陷，试用人员可以自由移动、观察和操作，按照之前培训要求进行检查。检查工作单作为工作的依据，当移动到检查区域，系统自然显示检查工卡，试用人员依照显示的工作单步骤逐条进行目视检查或交互操作，对发现存在问题的步骤在工作单上进行勾选记录。

2.2 软硬件环境搭建

2.2.1 VR硬件环境

经过不同产品的比较，考虑设备对开发工作的支持和性价比，本项目选用HTC VIVE Pro Eye 2.0套件搭建开发和模拟演示环境，该套件有如下四个主要组成部分：

1)VIVE头盔式有线VR显示器；

2)VIVE无线操控手柄两个；

3)室内定位基站两个；

4)接线盒以及连接线等。

主要运行环境是SteamVR。本项目采用基本的硬件设置，在一个相对较小的环境中实现所需的功能，这一基本方案对于方案验证是可行的，可以作为后续开展更多应用的基础。

2.2.2 软件开发环境

在HTC VIVE硬件环境的基础上，软件开发环境的选择同样面临不同的方案，比较典型的选项包括Unreal Engine(虚幻引擎，简称UE)和Unity两种可用的软件环境。本质上两种软件环境都属于跨平台的游戏开发平台，在计算机游戏开发的领域都具有较为广泛的应用，两者的主要差异见表1。

表1 两种软件方案的特点对比

基于对两种平台的分析，本项目选择Unreal Engine作为开发平台，并充分利用现有的资源，结合使用CAD软件建立的模型，作为构建维修培训任务场景的基础。软硬件设备全景如图2所示。

图2 VR培训实验性系统平台

2.3 系统架构

VR维修培训实验性原型系统通过UE4中的关卡编辑器完成开发，主要由三个子模块构成，即场景建模子模块、运动控制子模块和用户交互子模块。场景建模子模块主要对系统中涉及的环境模型(如机场环境、光照等)、飞机模型和实际飞机运营中可能出现的损伤故障模型进行建模；运动控制子模块针对飞机外部绕机检查在VR环境下进行样条曲线路线划定，在培训和考核模式下应用不同的运动方式，并以碰撞检测作为构建绕机检查标准操作流程的基础；用户交互子模块基于VR硬件设备，负责系统与培训者的交互，用户通过头戴式显示器和手柄获取视觉、听觉、触觉等多感官反馈，并在VR环境下与3D界面进行交互。系统的架构图如图3所示。

图3 VR维修培训系统架构图

2.4 机身模型和标准交互流程构建

VR系统中绕机检查的培训模式和考核模式的实现以构建标准交互流程为核心。首先需要对飞机外形进行建模，工程设计模型的典型体现形式是在设计的不同阶段建立的CAD模型，参数化的定义方式使得设计工程师可以通过参数更改快速实现模型的变化，实现模型从CAD系统到VR系统的快速传递，有助于实现多种模型的定制化，以满足不同场景的需求。UE4中提供了直接导入CAD模型的方法，即使用Datasmith插件导入在CATIA等其他建模软件建立的飞机模型，利用曲面细分技术用三角网格体代替CAD格式中的曲面和实体。这为针对不同场景开展模型的定制化提供了技术路径。

根据选取的飞机模型，使用样条曲线划定外部绕机检查的标准路线如图4所示，确定运动路径后可以通过时间轴及其播放速度调整，模拟实际情况下航线维护人员绕机检查的行走运动。在培训模式下，用户通过手柄按键操作控制自身沿划定的检查路线前进或后退，而在考核模式下，用户通过按键操作控制自身进行自由移动。

图4 VR培训系统中的绕机检查路线

碰撞是虚幻引擎中的一种对象之间的交互方式，通过定义碰撞或重叠事件发生后的具体响应，可以实现对碰撞对象和关卡中其他对象的各类操作，或者触发其他自定义事件。建立标准检查路线后，根据航线绕机检查工作单将检查流程分为17个检查点，按照检查顺序分别为左前机身、机头、前起落架、右前机身、右大翼翼根、右发动机、右机翼前、后缘、右主起落架、右后机身、尾翼、左后机身、左主起落架、左机翼、前缘、左发动机、左大翼翼根。为每一个检查点建立碰撞检测区域，根据触发机制，用户在某检查区域时，显示相应检查点对应的工卡检查单内容，检查完毕后用户对相应的检查项目做勾选确认。各检查点触发区域的划分和触发的检查单界面如图5和图6所示。

图5 VR检查单触发区域划分

图6 VR检查点触发区域对应的检查单

图7 指导检查区域的高亮显示

在培训模式下，用户到达各个检查点的触发区域后，系统在显示对应检查单的同时，在飞机模型上对需要检查的项目做高亮提示，以帮助用户更快地掌握目标检查内容，如图7所示。而在考核模式下，进入触发区域只显示检查单而无高亮提示。

2.5 损伤故障模型导入

VR维修培训实验性原型系统在建立标准交互模型的基础上，导入了实际航线运营中可能出现的飞机外部损伤或故障模型，通过CAD建模导入和图片渲染等方式，在培训系统中建立了故障损伤模型库。此处选取四类故障损伤模型作为示例：

1)雷击损伤：典型的机头雷达罩导电条雷击损伤。

2)机身划痕：静压孔划痕。

3)遗留外来物：发动机舱和起落架舱遗留外来物，如扳手、手电筒等，如图8所示。

图8 进气道遗留扳手

4)液压管路渗漏检查：老化的液压软管可能发生渗漏，检查液压管路时以白棉手套擦拭管路表面金属编织层，没有勾丝视为正常状态，受训人员遇到液压软管老化时给予手柄震动反馈。

图9 主起落架液压软管检查

3 航线维修培训应用

3.1 航线绕机检查培训场景设计

VR航线绕机检查培训实验性系统构建了飞机模型和参数化的故障缺陷模型。在考核模式下，需要故障缺陷模型按照一定规律出现，为了达到最好的培训效果，本项目对故障缺陷出现的概率进行了设计。

为了更符合实际情况，考虑参考真实的历史故障数据来确定培训考核过程故障缺陷的出现概率。每次航线检查结束时，都要求放行人员将处理的故障或缺陷记录在飞机的飞行记录本上，以便故障的控制、追溯和机队可靠性管理的使用。通过历史记录纸的查询，可以获得一段时间内机队每一架飞机的故障和缺陷处理情况。分析国内某50架规模的远程双通道客机大型机队2017年至2020年的飞行记录本信息，选取几种典型故障的数量进行了统计，统计结果如表2所示。

表2 2017年-2020年某宽体机队绕机发现典型故障损伤统计

除了历史故障数据，历史的人为差错数据也进入了研究范围。经过统计，2015年到2020年某航人为差错一共151起，绕机检查漏检造成的事件共8起，见表3。进一步分析可知，如果航线绕机检查到位，有可能避免带外来物飞行、未盖滑油盖、漏装部件、雨刷安装不到位、牵引杆与飞机擦碰、漏装螺钉、发动机吸入外来物(图10)、接送机/拖机擦碰等项目中相关数十起人为差错事件的发生。

表3 2015年-2020年某航维修人为差错事件内容统计

图10 发动机吸入外来物导致风扇叶片损伤

绕机检查VR培训设计的目的，同时要考虑到技能学习和人为差错预防的两个方面。结合统计的历史绕机检查典型故障和人为差错事件统计，以及VR建模特性挑选典型故障和人为差错事件进行建模生成故障缺陷项目(Item)，并考虑需要使得项目在每次VR绕机检查培训中按照一定的规律呈现，以起到对学员培训和考核的目的。基于培训的目的，帮助提升新员工的技能和克服成熟员工习惯性违规，这个让项目呈现的方法既要能够体现不同故障或缺陷发生概率，也要考虑人为差错(在航线绕机检查中即为漏检情况)发生可能性和后果严重性的差异，使得培训产生最大的效果。

美国安全专家格雷厄姆提出的LEC评价法，广泛应用于对作业环境中具有潜在风险的危险源的分析评价，评价的要素有三项，分别是L(likelihood可能性)，E(exposure暴露在危险环境中的程度)以及C(criticality事故可能后果的严重性)。分别对三个因素进行评分，最后评分值相乘得到D(danger危险性)，根据D来评价风险的大小：

D=L×E×C

(1)

根据绕机检查培训的特点，参考LEC风险评估法，制定了VR培训故障缺陷呈现评估法：

I=L×M×C

(2)

L(likelihood可能性)定义为历史故障发生的概率，具体是取该故障在所有建模故障中历史发生数量的比例，以体现VR模型中该事件出现的频繁程度；M(missing人为差错漏检率)定义人为差错发生的可能性，具体在航线绕机检查上为漏检率，但因为缺乏实际人为差错发生率的数据，故按照维修经验进行评估，范围1-10，数值越高说明越容易发生漏检，后续设计通过VR培训的使用，收集实际的培训考核结果数据计算出学员对故障的漏检情况，可以对该漏检率进行调整以更加符合实际情况；C(criticality严重性)根据该项目如果没有被检查后可能导致的后果评定，如表4所示。I(Item项目)得分为三要素的乘积，最终得到项目在每次VR培训中的呈现概率P。

(3)

表4 严重性C的分级

现选取大翼凹坑等9项典型故障进行建模。另外考虑选择对1项发动机吸入外来物的人为差错事件的发生原因进行建模，根据表3数据，近年因外来物吸入发动机的人为差错事件有两起，而原因即为发动机周边外来物的存在。因为航线检查发现发动机周边外来物后即会清理而不留记录，故无法获知实际发现的发动机周边外来物的数据，根据1969年ICAO Safety Management Manual 2006的安全管理研究表明，事故与事故征候之间的关系大约是每30起事故对应有600起事故征候，据此推断，两起发动机的人为差错事件大约有40起的发动机周边外来物情况。对各个建模项目的严重性评估如表5所示，综合最后LMC评分结果如表6所示。

表5 各项目的严重性评估表

表6 各项目的LMC评分表

通过表6可以发现，大翼凹坑可能对飞机操控有风险，液压系统漏油可能造成起落架的重力放事故征候，这些项目在VR培训中呈现的概率提高了，如放电刷损伤的数量虽然较多，但是因为影响程度小，呈现率得到了降低。综合看这一公式体现了培训项目对故障率、漏检人为差错和后果严重性的综合考虑，有一定的实际意义。

根据表6得出的概率，在VR系统的编辑软件UE4中的关卡编辑器加入了函数节点，按照预设概率在每次运行时对故障缺陷进行呈现。按照预设概率在每次运行时对故障缺陷进行呈现。随后将系统模拟运行了100次，并对每一次运行时故障缺陷的显示情况进行了统计，如表7所示，符合预期。

表7 各项目按LMC P概率运行呈现次数统计

3.2 VR培训系统的试用效果评估

本项目邀请到了6名在校航空工程专业在读研究生和5名不同经验水平的专业机务维修人员对VR绕机检查培训进行实验性原型系统的评估试用，根据试用人员的身份不同，将他们分为两组，分别为学生组和专业组。学生组的试用人员均没有机务维修经验，不了解绕机检查工作；专业组的试用人员有不同年限的机务维修经验，从实习期的初级维修人员到资深航线班组长，均有绕机检查经验。

为了对VR培训实验性原型系统的效果和价值进行评估，设计让每名试用人员进行不同次数的VR试用，采用标准培训和考核测评两种模式。考核环节，从VR培训实验性原型系统故障损伤模型库中选取故障缺陷4种，为了充分验证培训效果，每一轮测试都会在飞机上体现所有种类的故障，但每轮的具体形式或位置有区别。以第一轮的测试为例，过程中具体预设了5个故障缺陷：

1)机身划痕——静压孔划痕；

2)机身雷击点——雷达罩导电体雷击损伤；

3)遗留外来物——进气道遗漏扳手和主起落架舱内遗漏手电筒；

4)液压软管渗漏检查——主起落架液压软管损伤期间记录每人试用过程的客观数据，包括完成时间、运动(转身、下蹲和抬头)次数，以及考核测评模式的缺陷漏检数和工卡漏做项数。

对于学生组：本VR培训系统的目标是作为传统机务培训方式的补充，故对于没有机务维修经验的学生组，在试用系统前先进行了航线绕机检查的简单理论培训，介绍了包括检查流程、检查要点和常见故障缺陷的照片等内容，作为VR模拟培训的基础知识准备。之后进行三轮体验，首先是培训流程，然后是第二轮考核流程。

对于专业组：首先进行培训流程体验，然后仅进行一轮考核流程，如图11所示。

图11 专业组试用体验中

3.3 数据收集与分析

在几轮的试用过程，教员记录体验人员的相关数据，并记录考核环节结果。对收集到的每一轮的完成时间进行分析，结果如图12所示，在培训轮学生组(S组)和专业组(P组)的平均完成时间接近，均为9分多钟(S组的9.2 min和P组的9.8 min)。但是在测试轮，相对缺乏经验的S组完成时间明显比P组短，虽然S组经过了理论培训和VR培训系统的培训流程，但当独自进行测试的时候明显可以观察到试用学生对检查对象没有什么把握，在第一轮测试时，甚至有3位试用学生的测试时间比培训时间还要短。S组的第一轮测试平均完成时间只有8 min。而P组除了P3试用者，所有人的测试时间都比培训时间要长，平均的测试完成时间是13 min。需要说明的是P3试用者是处于实习期的航线维修人员，在专业组所有人当中资历最浅，他的完成时间是11 min。当S组进行第二轮测试时，完成时间平均值为10 min，比第一轮测试时间有延长，可以表明学生试用者对如何有效执行航线绕机检查比之前有了更深的了解。

图12 VR试用完成时间统计(单位：min)

图13 VR试用缺陷漏检数统计(单位：项)

完成时间虽然从某种意义上表明学生组开始熟悉绕机检查的要点，实际的测试结果更能真正说明问题，如图13所示。专业P组仅做一次测试，全部5人平均漏检故障缺陷的数量为1项，其中P3试用者是航线实习人员，漏检数量较高，有3项漏检。学生S组全部6人的第一轮测试结果平均漏检故障数量为1.67项。重设故障缺陷后做第二轮的测试结果，S组平均漏检故障缺陷数量降低到0.67项，甚至高过了专业P组的平均水平，除一名学生两次测试都保持了1项漏检，其他每一名学生的检查结果成绩都有提升。

通过分析VR系统能够获取的运动数据可知，因为飞机是一个巨大的结构，绕机检查过程不可避免地存在一些如蹲下接近轮舱内部或者抬头观察大翼前缘位置的运动，要达到更好的检查效果，这些运动在VR系统的培训中一样有必要。设计的过程数据收集表格记录每名试用者每一轮的典型运动，包括转身、下蹲、抬头的次数，为了方便分析，将三项运动数据相加进行分析，如图14所示。从图中可以发现专业组的运动次数明显多于学生组，实习期的P3试用者在测试步骤的运动数量是专业组中最少的。随着第二次学生组“渐入佳境”对绕机检查工作的逐步熟悉，第二次测试的运动数量也相较第一次测试过程明显有了增加，可以推测漏检数量的降低与运动数量的增加有一定关联。

图14 VR试用运动数据统计(单位：次)

对于工卡漏做数的统计，即测试轮中检查项目漏做的数量，全部11人一共进行了17轮测试，只有1人漏做了1项工作，说明VR培训系统的检查区域触发检查单机制对预防项目漏检有较好的作用。

通过对两组不同经验背景的试用者每轮进行VR绕机检查培训实验性原型系统试用过程时间、动作、结果客观数据的记录和分析，可以发现专业人员相较于非专业人员的差别，在经过一轮培训后的一轮测试中，专业人员有一定的检查时间，较多的运动数量来确保检查的质量，获得了较好的测试结果。非专业的学生组通过一轮培训和两轮测试，逐渐了解航线绕机检查的技能，后一次测试比前次测试有更长的完成时间和更多的活动数量，说明试用者对检查的要点逐渐掌握，最终提升的测试结果也显示了明显的进步，同时也验证了VR系统在航线检查中的效用。

4 结论

本文聚焦在维修培训中使用VR技术的可能性，通过对机务维修工作和机务维修培训的研究，结合机务维修的特点和VR系统的特性，选取航线维修中的绕机检查，建立飞机、部件和多种故障缺陷的CAD模型，并将CAD模型传递入Unreal Engine(UE)这一支持3D建模的VR引擎，通过对场景、模式、交互、流程的精心设计，建立了VR绕机检查培训的实验性原型系统，加上根据历史数据和引入人为差错因素设计的故障呈现公式，实现了对航线绕机检查工作的培训和考核功能。进一步组织试用并收集和分析了过程的数据。主要结论：

1)结合维修实践与VR技术特点，设计培训场景、过程模式，贴紧实际培训需求，建立了全参数CAD模型与三维建模引擎(UE)应用的传递路径，这一方法显著提高了场景构建以及模型更改的效率，设计了贴合实际和满足培训需求的碰撞检测、交互模式，并建立VR培训实验性原型系统对飞机航线维修中绕机检查任务进行了模拟；

2)在VR系统中呈现的故障缺陷模式可以通过图片渲染方式和CAD模型结合，使得建立的模型更为贴近实际情况，并且具有体现不同飞机部件构型或故障缺陷形式的扩展能力；

3)根据历史故障数据和人为差错事件进行统计分析，建立了以故障发生可能性、人为差错可能性和后果严重性综合计算的评估公式，使得故障缺陷在VR系统中的呈现更加符合实际情况，并且突出了培训对人为差错的防范作用；

4)收集了VR培训过程数据，经过分析验证了VR培训系统在绕机检查培训应用的效用，证明VR技术在机务维修培训领域有一定的应用价值。

本文针对比较典型也相对容易实现的使用场景发展了基于VR的培训案例，研究中发现了VR系统流程完整度、使用体验、交互流畅度、模型分辨率和细节等方面的问题，需要通过后续对更为实际的案例分析进行优化解。VR系统在实际环境中实现应用，并发展实用性的评价体系和对培训效果数据进行收集分析将成为后续研究的重点。