基于空间增强现实技术的轨道车辆检修训练关键技术研究

李 恺，张倩菡

（广州铁路职业技术学院，广东 广州 510430）

轨道交通车辆作为人们出行的选择之一，已经越来越普遍。随着我国交通强国战略的实施，全国轨道交通车辆保有量不断提升。轨道交通车辆数量的增加给运维企业带来了不小挑战，其中最主要的是车辆检修。轨道车辆检修过程繁杂，待检部件种类多，数量大，因此需要大量车辆检修工人。根据市场调研，全国轨道交通行业车辆检修工人的缺口达到了20 万人。传统的检修工人培养模式效率低下、效果差，难以满足现行轨道交通行业的高速发展。因此，针对轨道车辆多人协同检修训练方法，亟待改善培训效率，笔者在此基础上提出基于空间增强现实技术的轨道车辆多人协同检修训练方法。

1.多人协同交互平台的构建

空间增强现实技术是一种借助虚拟现实设备，将实际的物理空间作为显示介质，再将虚拟影像叠加到实际物体像上，达到虚实融合效果的技术。SAR 通过将显示设备与用户分离开的方式，降低交互时的设备负载和认知负荷。融合的影像与用户个体相互独立，运行多个用户从各个角度观察虚实融合的影像，具有良好的鲁棒性，对用户来说具备良好的协同感知、环境感知和空间感知。SAR 的架构如图1 所示。

图1 空间增强现实技术架构

车辆检修过程中，往往不是依靠单个检修工人进行，日常车辆检修往往是多人同时进行。一方面，同时作业可大大提升车辆检修效率，另一方面，因为车辆上的一些测试需要两人或者多人同时完成，比如车门防夹测试，就需要一人在司机室操作，另外10 人需要在车辆中对应的车门位置做防夹测试。为了更好地模拟实际车辆检修过程，就需要训练系统具备多人协同训练的功能，因此需要搭建多人协同交互平台。平台框架如图2 所示。

图2 多人协同交互平台框架图

通过使用Hololens 作为客户端设备供学员使用，我们搭建服务器，利用服务器与客户端进行数据交互，再将数据呈现给学员。这样一来，各个学员就可以在训练过程中，实现与他人的交互，从而实现在虚拟场景下的多人协同作业训练。

2.基于空间增强现实技术的交互方法

人机交互有许多种，传统的以鼠标键盘为设备输入端的交互不再适用于实物虚拟检修训练。空间增强现实技术中有许多交互方法，如基于触控的交互、基于手势或姿势的交互、基于控制器的交互、手持投影仪交互、实物交互和多模态交互等等。

2.1 基于手势的交互方法

在轨道车辆检修训练中，我们要求训练者应与实际作业一致，双手有实物或者是虚拟的检修工具。因此，要在此类虚拟训练中解放双手，可考虑基于手势或姿势的交互作为主要交互手段。图3 为基于手势的交互方法。

图3 基于手势的交互方法

现代理论研究认为，人类的手势交互分成多个阶段，这些阶段可以反映出人类的意图，在实际交互过程中的特征也是这些情况的共同反映。从相关研究分析得出，人手的交互状态分为以下几个阶段：

准备阶段：当用户明确自己需要达到某种目的之后，在用户脑海中要将自己的任务演练一遍，规划完成任务的流程，制定完成步骤，这就是用户操作中的心理准备过程。当用户心理准备阶段完成以后，就根据需要完成任务的困难程度，对任务进行拆解分类，根据安装心理准备的实际情况，做出手势的初步姿态。

运动阶段：从初步姿态开始，用户开始按照脑海中设计完成的动作，做出预设手势，手势运动轨迹可循，动作平稳，由于已经进行心理规划，故速度较快。一般性的同一个动作轨迹，是大脑的一次信号传输指挥手部按照规划进行动作。

过渡阶段：从一个动作过渡到另一个动作的过程中，用户头脑中会有思考时间，因此在动作衔接中会出现短暂的间隙，即信号的传输在大脑中进行调整，从而在行为上出现停顿，或者动作过程减速等。

基于手势的交互方法，可用手部姿态完成人机交互。实现手势交互分为手部识别和姿态确认两个步骤，即先需要确定空间中哪个物体是手，确定手以后就得确定手的姿态。手部识别现已较为成熟，大都采用图像识别的方式通过建立手部骨架模型对空间物体对比从而识别手部，手部姿态也是通过手部骨架姿态来进行识别手势。手部骨架如图4 所示。

通过对手势进行编码就可以得到相应的人机交互代码，比如图4 手势可以作为数字“3”进行输入，也可作为第三模式或者暂停。

图4 手部骨架模型

2.2 基于语音的交互方法

语音交互作为人机交互中最为直接的方式，在车辆检修中最为实用。语音交互即机器能够“听懂”用户的语言，然后执行相应的指令或者进行合理的回复。语音交互主要经过语音识别、自然语言处理、人机对话和语音合成四个步骤。其处理流程如图5 所示。语音识别技术是语音交互的第一步，通过传感器（麦克风）采集声波信号，将声波信号转换为电信号并进行解码的过程，从而将声波转换为机器能理解的内容，即语音识别是从语音信号到文字内容的解码过程。自然语言处理是指设备（计算机）对自然语言进行处理，提取文本语义的过程。在语音交互技术中，自然语言处理是其中最为重要的环节，因为只有在充分处理好文本内容，系统才能根据文本语义进行下一步的处理或者是操作。

图5 语音交互处理流程图

人机对话是指设备（计算机）与自然人进行语音交互，通过自然友好的方式给用户提供便捷性，从而高效地完成任务。人机对话是智能语音交互中重要的支撑技术，在对人类语音进行识别和内容处理后，通过该技术对语音信息的状态，生成自然的、合理的、有效的回复，以实现时间上连续的智能语音交互。

语音合成是指将文本内容自动地生成声音信号的过程，是语音识别的逆过程。现今语音合成已经较为成熟，有许多成熟的框架，只需根据用户需求进行二次智能优化，对必要的信息进行提炼和补充即可。

3.结语

随着新技术革命和产业革命的迅猛发展，给轨道交通行业带来了深刻影响，尤其是空间增强现实技术的相关核心技术取得显著进步，展示出蓬勃发展的趋势。本文结合将新技术与传统检修训练相互结合，借助空间增强现实技术提高学员在拆装过程中的交互效率和训练效果。针对检修训练搭建了多人协同平台，研究训练系统中的关键技术，论述训练中的交互方法，为轨道交通行业检修训练方法提供参考。