嵌入增强现实功能的轨道交通交互式辅助维修原型系统构建技术*

杨 萌 王伟明 魏小娟 张 勇

(1.石家庄铁道大学电气与电子工程学院，050043，石家庄；2.中国铁道科学研究院集团有限公司电子计算技术研究所，100081，北京；3.中国人民解放军32181部队，050000，石家庄//第一作者，硕士研究生)

随着轨道交通设备复杂性的增加，设备介绍、故障分类与维修指南等信息海量增长，通用纸质或电子资料对设备信息管理的标准不一，维修人员操作过程中无法获得直观有效的指导信息，极大地制约了轨道交通设备维修行业的发展。

交互式电子技术手册[1-2](IETM)是美军为提高武器装备的战斗力、降低装备保障成本而提出的一种技术资料电子化的实现方法。IETM按照统一标准规范，将设备的各种工程和技术信息以数字化形式存储在电子设备中，通过人机交互方式提供设备基本原理、操作使用和维修指南等内容的技术出版物，代替了传统纸质技术手册，在设备生命周期中为设备性能维护与维修保障提供技术支持[3-5]。根据其数据格式、显示方式和功能，可将IETM分为5级。目前，第Ⅳ级基于数据库的IETM已经实现并应用在复杂设备上。

IETM作为美国国防部的一个重要战略组成部分，其主要现役装备和全部新研发装备均配套或同步开发了IETM，如美国陆军的AH-64D直升机的数字化维修系统[6]，采用数字化维修技术来降低飞机维修人员的工作量，通过记录与维修任务有关的数据，如人力、备件、工具及时间等，不断改善维修方法和维修过程，从而提高维修效率，降低维修成本。

IETM技术的研究在我国起步较晚。2002年，中航一集团西飞公司按照《飞机电子技术手册编制要求》的统一要求，为“新舟”60客机编制了全套电子化用户技术资料“MA60飞机技术出版物”[7]。在轨道交通领域，同济大学提出了一种基于IETM的地铁车辆互操作维修保障平台[8]，将轨道车辆纸质资料电子化，建立便携式终端辅助维修保障系统，有效地提高了地铁车辆的维修效率。中国铁道科学研究院电子计算技术研究所运用IETM通用标准S1000D对动车组技术资料进行了结构化编码，并制定了动车组技术资料的数据模块编码和信息控制码[9]。

然而现有的IETM多以手持式终端作为载体，限制了维修人员的视线范围与操作灵活性，使得维修指导信息与维修场景分离，维修人员无法做到学习与操作同步，降低了维修可靠性。增强现实(AR)技术通过头戴式设备将虚拟的物体叠加到现实场景中，并利用灵活的人机交互手段增强维修人员与辅助维修系统的信息交换能力[10]，可有效解决上述问题。

1 AR辅助维修技术

将AR技术应用到复杂装备的维修中，称为AR辅助维修技术[11]。AR辅助维修技术通过为维修人员提供结合真实场景的有针对性、可交互的动态信息，辅助维修人员完成操作[12-13]。轨道交通维修任务中，维修人员需要设备使用说明和故障排除指南等大量维修指导信息，这些信息包括文字、图片、视频、音频、3D模型等媒体资源。维修人员通过佩戴搭载AR辅助维修系统的头戴式设备，可同时看到真实维修场景与虚拟信息，利用人机交互功能对系统进行操作，如选择和切换等，在辅助信息的指导下完成设备拆装和故障维修等操作。当遇到无法解决的问题时，维修人员可通过远程模式连线后方专家进行求助，头戴式设备上的摄像机将采集到的现场状况与设备的故障情况通过远程通信手段发送给后方专家，专家以第一视角对设备的故障情况作出实时判断，并通过语音、三维模型等形式实时推送维修步骤，指导维修人员完成维修任务。

因此，将AR功能嵌入到IETM中，构建一种具有统一的信息管理规范，辅助维修信息与维修场景实时结合的交互式辅助维修系统(以下简为“AR-IETM”)，可显著提高维修作业效率，降低由于维修人员缺乏经验造成维修工作失误的可能性。

2 AR-IETM系统构建

根据AR技术对维修工作的辅助功能，结合IETM对维修资料的存储管理方式，将AR功能嵌入到IETM中构建适用于轨道交通设备的AR-IETM原型系统。AR-IETM是通过三维注册技术、人机自然交互技术等为维修人员提供设备维修指南与培训等功能的新一代IETM技术。利用AR技术对实际场景的增强功能，通过三维注册跟踪显示技术将技术资料按照实际维修需求实时叠加到真实环境中，维修人员通过人机自然交互技术感知维修场景与设备的状态变化，并对系统发出控制指令，使维修人员从手持设备中解放出来，将注意力集中在维修设备上，减少操作失误，提高维修效率；AR-IETM在网络环境下与服务器端进行远程连接，服务器根据需求对特定维修人员推送维修任务，并且提供远程协助功能，降低设备维保成本。

2.1 AR-IETM硬件系统构建

面向轨道交通设备维修的AR-IETM系统以自行研发的光学透射式AR 头戴式显示器为载体。该系统集成了可穿戴计算机，用于存储维修培训信息、案例库等维修培训技术资料，并搭载了RGB-D(三色深度)相机、惯性测量单元(IMU)等传感器。其中，RGB-D相机用于读取维修现场信息并为虚拟信息叠加提供相应的深度信息，降低背景光照对系统的影响；IMU用于在人机交互过程中，为系统提供维修人员位姿信息。

2.2 辅助维修信息三维空间显示

AR-IETM将辅助维修信息以多媒体形式显示在实际维修场景中，这是区别于传统IETM的一个显著特点。维修信息三维空间显示主要包括辅助维修虚拟信息生成与虚拟信息叠加两部分，如图1所示。由图1可知，利用AR设备上的RGB-D相机获取维修现场的彩色图像和深度图像，确定需要维修的设备，将设备发出的故障信号与维修人员做出的设备状态辅助判断作为专家系统的输入，与系统知识库中的故障诊断规则进行匹配。系统根据知识库制定维修策略，并根据维修策略触发数据库中相对应的虚拟模型，并在AR头戴式显示器中显示。

为使虚拟信息无缝叠加在真实维修场景中，虚拟物体的位姿应与真实世界的物体具备一一对应关系。本文采用基于点云匹配的三维注册方法对虚拟物体进行叠加。如图2所示，以某待维修的电路板为例，首先利用RGB-D相机对电路板进行彩色图像和深度图像的采集，生成点云数据；然后与已经建立的待识别标准点云进行配准计算，获得维修对象在摄像机坐标系中的位置坐标；最后将虚拟物体投影到相应位置，并显示在AR头戴式显示器中。

图1 维修信息三维空间显示流程

图2 基于点云匹配的注册叠加过程

2.3 AR-IETM人机自然交互

AR-IETM通过手势、语音、头部位姿等人类行为信息进行自然交互，解放维修人员双手。当维修人员遇到无法解决的问题时，通过无线网络与远程专家取得联系，实现远程协助与网络交互，提高维修质量。

头部位姿跟踪交互是以头部姿态和空间位置为主要信息载体，通过搭载在AR设备上的IMU测量头部在三维空间中的角速度和加速度，并以此解算出头部的姿态信息。通过对头部位姿进行空间测量，分析用户的注意方向与意图，选择点击区域，依据对头部空间位置变化的跟踪，实现三维场景的移动。

手势识别用于实现用户内容选择的确认。

对手部区域的识别是实现手势识别的关键，RGB-D相机获取的可见光图像受背景光照影响很大，因此首先利用深度图像对手部图像进行分割，其次对手背移动与手指指尖位置进行探测。并且通过跟踪由指尖动作带来的深度图像像素变化识读点击动作；通过判断手势的静止时间与手势的移动距离来识别动态手势信息。

为解放工作人员双手，AR-IETM还可以采用语音交互作为辅助交互手段，通过安装在头戴式设备上的麦克风采集语音信号。语音识别模块通过识别用户指令，触发虚拟信息生成系统加载对应的辅助操作信息；此外，利用语音识别技术还可实现对AR-IETM内容的快速检索。

2.4 AR-IETM任务模型构建

AR-IETM在第Ⅳ代IETM整合设备技术资料和工程数据的基础上，通过将辅助维修信息以多媒体形式叠加到工作场景中，以提高维修人员对维修内容的理解能力，使维修人员获得实时的维修操作指导，实现培训和维修作业同时进行。

在轨道交通维修辅助过程中，维修作业描述、维修作业指导和维修人员能力评估等成为AR辅助维修主要任务模型。如图3所示，维修作业描述模型是依据IETM S1000D标准，使用统一的媒体包装语言对维修过程、操作规范等内容进行抽象描述；维修作业指导模型是根据对维修内容的描述，激活相应的多媒体资源，并叠加到工作场景中，使维修人员获得直观的操作指导，并按照维修人员对系统发出的交互指令，完成维修任务；人员能力评估模型是对维修过程进行记录，对维修人员的操作过程进行评分，并在系统中生成该维修人员的学习记录。操作过程可作为新的维修知识反馈给系统规则库，使其进行学习，不断增强辅助维修能力。

图3 AR辅助维修任务模型

3 AR-IETM辅助维修实例

依托石家庄铁道大学城市轨道交通通信安全与行车控制央企重点实验室，对进出站检票机半实物仿真模型构建AR-IETM原型系统，并利用该原型系统辅助维修人员对其拆装与维修。

维修工作完成后，维修人员对该系统做出了评价。AR-IETM的系统性能评价需要建立相应的评价标准。本文采用满意度(CSD)、直观度(CID)和舒适度(CCD)作为评价AR-IETM系统的指标[14]。评价分数与对应评价指标如表1所示。

表1 评价分数确定原则

将12人随机编为Ⅰ、Ⅱ两组，Ⅰ组使用AR-IETM系统，Ⅱ组使用传统的纸质维修手册。试验结束后每位参评者给出AR-IETM系统和纸质维修手册的满意度、直观度和舒适度评价分数,评价结果如表2所示。通过对表2中Ⅰ、Ⅱ两组在CSD、CID、CCD 3个指标分数的平均值进行比较可知，AR-IETM系统在CSD、CID指标上明显高于传统维修方法，而在CCD指标上两者差别较小，说明AR-IETM系统在辅助维修方面具有良好表现。

表2 两组维修方法主观评价平均分值比较

4 结语

信息化、智能化是轨道交通维修行业的发展趋势。本文对IETM在设备维保工作的应用进行了分析，通过将AR技术与IETM技术结合，为轨道交通设备维修工作提供了一种结合真实场景的、可与维修人员交互的辅助维修系统，提高了维修工作的便捷性与有效性，并且对实现该系统的关键技术进行了初步研究。试验结果表明，该系统在维修指导操作方面具有良好的表现。在复杂野外条件下，进一步提升系统对维修对象的识别能力和对虚拟物体三维注册的抗干扰能力，使得AR-IETM从原型系统走向实用化，是本文的进一步研究内容。