基于动作捕捉的航空装备虚拟维修训练系统

杨俊超， 史　越， 杨达玲， 周宏伟

(空军工程大学装备管理与安全工程学院， 陕西 西安 710051)



基于动作捕捉的航空装备虚拟维修训练系统

杨俊超， 史越， 杨达玲， 周宏伟

(空军工程大学装备管理与安全工程学院， 陕西 西安 710051)

为满足航空装备维修训练手段创新的需求，设计了一种基于动作捕捉技术的航空装备虚拟维修训练系统。该系统由动作捕捉系统、虚拟人软件、场景及装备维修模型、立体投影以及数据手套等模块组成，具备航空维修流程、拆卸装配、故障分析与排除等虚拟训练功能。以某型飞机主机轮拆装任务的虚拟维修训练为例进行了应用分析，结果表明该系统能满足设计功能要求。

航空装备； 虚拟维修训练； 动作捕捉

航空装备系统结构复杂，作战使用需求多变，对维修人员的专业技术水平与综合能力要求很高。传统“理论学习、带教带练、上岗操作”维修训练方式的能力生成周期长、效费比低，已不能很好地适应未来航空装备维修训练的需求[1]。随着虚拟现实(Visual Reality)技术的发展，虚拟维修训练成为一种有效的辅助训练手段，受到了广泛关注[2]。但是，作为虚拟现实系统中最重要的交互体，虚拟人技术目前尚存在以下难点问题：一是虚拟人建模复杂，必须满足人体外形、骨骼结构和运动特征等方面逼真性的要求，自主开发难度极大；二是现有商业虚拟人(如JACK等)实现虚拟人运动过程与真实人体运动的结合较难，只能通过预设路径或频繁人工控制进行运动状态的改变，导致实时性不佳[3]。

上述问题由于动作捕捉(Motion Capture)技术的快速发展而获得了一个很好的解决方案。基于动作捕捉的虚拟人运动控制以真实的人体运动参数为输入，实时性好，精确度高，能有效反映维修人员的运动特征[4]。将动作捕捉技术引入虚拟维修训练系统，可获得更好的沉浸感和更自然的交互性，对提高虚拟维修训练系统的使用效能具有重要的作用。

现实中，将动作捕捉技术应用于虚拟维修训练的技术难点在于实现动作捕捉系统与虚拟人的交连。本文的解决思路是在成熟虚拟人软件(JACK)的基础上进行二次开发：1)开发接口程序，解决动作捕捉系统与JACK软件通信与匹配的问题；2)基于RBA和Kinematics的虚拟人运动控制方法，实现利用动作捕捉数据驱动JACK虚拟人。最后通过应用分析对系统的性能及训练效果进行验证。

1　基于JACK的二次开发

1.1动作捕捉系统与JACK接口程序

JACK是目前非常优秀的人体建模仿真软件(图1)，扩充性、灵活性、开放性好，被广泛应用于装备及产品设计的可视化仿真验证、虚拟训练以及人机工效分析研究[5]。

图1　JACK软件

由于JACK只能在已编辑好的虚拟人动作库中选取动作选项并编排使用，不能满足实时交互的需求，且目前版本不能兼容动作捕捉系统，因此笔者开发了动作捕捉系统与JACK接口程序(OWL for Jack)，以实现二者的连接。

首先，通过设置JACK的API、SDK和DLLs实现通信操作，主要控制命令包括：1)Recap，提供简明编辑、过滤和连接运动数据功能；2)Paint，显示和记录轨迹；3)Robot，按需要应用1个或2个机械臂及其他设备来表现虚拟现实/增强显示景观；4)Docking，形态设置(x，y，z，滚动，坡面，偏移)；5)Juggling，虚拟综合运动训练。然后，进行动作捕捉标记点与JACK虚拟人关节匹配，匹配效果如图2所示。

图2　标记点与JACK虚拟人匹配效果

1.2JACK虚拟人运动控制方法

标记点与JACK匹配之后，如需运用动作捕捉数据进行运动驱动，则必须解决虚拟人运动控制问题。刚体假设(Rigid Body Assumption，RBA)把人体各肢体假想成刚体，刚体之间用铰链连接，相邻刚体之间的自由度可以由设计者确定[6]，适合应用于基于实时数据的虚拟人运动控制。图3为RBA刚体创建。

图3　RBA刚体创建

设定刚体之后，以动作捕捉数据为输入，通过运动学(Kinematics)方法，即可解算出其余刚体及末端的空间位置与运动状态参数。以虚拟人手臂为例，将其定义为由一个旋转关节S2(肘关节，1个自由度，旋转角为θ4)连接2个受限球关节S1与S3(肩关节和腕关节，3个自由度，旋转角分别为θ1、θ2、θ3和θ5、θ6、θ7)形成的开放运动链，称为Human Arm Link(HAL)关节链[7]。手臂HAL关节链结构如图4所示。

图4　手臂HAL关节链结构

对于HAL，由于关节的旋转角已知，而且关节之间的平移固定，因此易得到关节之间的变换矩阵。关节S3到关节S1的变换矩阵表示为

M=T1AT2BT3,

式中：

为S1的平移矩阵，其中，R1(θ1,θ2,θ3)为S1的旋转矩阵，01×3为1×3的0矩阵；

为关节S2到关节S1的常变换矩阵；

为S2的平移矩阵，其中R2(θ4)为S2的旋转矩阵；

为关节S3到关节S2的常变换矩阵；

为S3的平移矩阵，其中R3(θ5,θ6,θ7)为S3的旋转矩阵。

对于关节S3局部坐标系中的任意一点p0(x0,y0,z0)，在S1局部坐标系中的对应坐标为(x,y,z)，则有

x=fx(θ1,θ2,θ3,θ4,θ5,θ6,θ7)，

y=fy(θ1,θ2,θ3,θ4,θ5,θ6,θ7)，

z=fz(θ1,θ2,θ3,θ4,θ5,θ6,θ7)。

式中：fx、 fy、 fz为连续函数。

经二次开发的JACK软件顺利兼容了动作捕捉系统，运行稳定流畅，实现了很好的运动控制效果，可用于虚拟维修训练。OWLforJack接口测试效果如图5所示。

图5　OWL for Jack接口测试效果

2　系统设计

2.1系统功能与使用流程设计

根据对虚拟维修训练系统的功能要求[8-9]，该系统主要功能包括：1)原理结构演示，受训人员能够通过视频、音频、文字等手段学习装备的原理，展示装备的外部结构和透视图；2)拆装训练，训练受训人员对装备分系统或者零部件的正确分解与结合，可细分为自动的分解与结合、带有引导的分解与结合和考核性的分解与结合；3)故障排除，演示装备常见的故障现象，指导受训人员找到故障原因并排除故障；4)评估考核，对受训人员的整个维修过程进行评估，记录受训人员的错误操作，并给出正确的指导，从而起到提高和考核受训人员的作用。系统功能与使用流程如图6所示。

图6　系统功能与使用流程

2.2系统软硬件组成

根据航空装备维修训练实际需求，采用成熟、先进的软硬件技术与产品，基于动作捕捉技术建立起沉浸感强、交互控制便捷有效的仿真环境。系统组成如图7所示，主要包括Phase space动作捕捉系统、Jack虚拟人系统、虚拟维修训练场景及装备维修模型、Vivitek立体投影系统以及数据手套(Data Glove)等。

图7　系统组成

1)Phase space动作捕捉系统。包括数据服、高清摄像机、LED发光点、无线控制器(Controller)、无线连接基站和数据处理服务器，如图8所示。

图8　Phase space系统硬件组成

Phase space系统通过3D主动光学式动作捕捉技术与先进数据处理软件能力来获得很高的捕捉品质，摄像机分辨率为3 600×3 600像素，动作捕捉速度可达480帧/s。在动作捕捉过程中，调用8个摄像机(布置在半径为4～8 m的圆环)，对空间中所有贴附在数据衣上的超亮红LED发光点进行高速扫描，对标记点进行三角测量，获得光标点相对于摄像机的具体位置信息(在10 m的范围时，解析度可达0.1 mm)。摄像机对数据进行初步处理，通过高速网线将结果传输给数据处理服务器进行数据融合再分析，最终确定标记点的空间精确位置信息。对各LED发光点的空间信息进行综合分析处理，从而获得整个人体的运动数据。

2)虚拟维修训练场景及装备维修模型。虚拟场景及三维模型采用CATIA、Maya等软件开发，建立维修对象、维修资源和维修过程等维修要素，以及训练过程、训练信息等数据模块[10]。一个典型的虚拟维修训练场景如图9所示。

3)Vivitek立体投影系统。主要包括主动快门式3D眼镜、立体投影仪和背投软幕，实现沉浸感较强的虚拟维修训练可视化环境。

3　系统应用与分析

以某型飞机主机轮拆装任务的虚拟维修训练为例进行应用分析，机轮拆装训练过程片段如图10所示。

图10　机轮拆装训练过程片段

3.1内容与步骤

1)实施准备。在训练前，学员佩戴主动快门式3D眼镜，穿上动作捕捉系统数据衣，戴上数据手套，开启LED光源。

2)开启动作捕捉系统捕捉人体运动信号。通过OWL for Jack接口程序，将采集到的光学信号与JACK人体模型相应的肢体活动点对应绑定，实现学员与虚拟人同步运动。

3)选择训练科目。登录维修训练系统，根据训练科目，从故障特征数据库中读取故障数据并进行模型初始化。本次的训练科目是某型飞机主机轮的拆装，系统从数据库中读取“主机轮到寿”数据，并对机轮模型进行模拟实现。

4)工具选择。判断是否需要检测仪器和维修工具，本科目需要使用专用扳手，系统从仪器工具数据库中读取数据模型并生成仪器工具供学员使用。

5)诊断。进行诊断操作，通过主机轮轮胎磨损情况判断主机轮已到寿，必须进行更换。

6)维修训练操作。学员通过沉浸式立体显示系统，按照维修规程完成训练任务。

7)训练评估。训练操作完成后，由系统判断任务是否完成或故障是否排除，对学员操作表现、细节习惯和操作时间等因素进行评估打分，并上传学员训练档案和教员数据库。

3.2应用分析

3.2.1系统性能

应用过程中，系统运行流程稳定，交互性好，虚拟人运动较为自然真实，满足设计功能要求。系统准备时间≤1 min，维修响应时间≤2 s，帧频≥30帧/s，性能满足虚拟维修训练的实际需求。

3.2.2训练效果

根据系统评估数据，并对学员进行问卷调查，对基于动作捕捉的航空装备虚拟维修训练系统进行训练效果分析。结果表明：该系统在训练消耗时间上具备明显优势(图11)；在理解维修目的(训练目标1)、熟悉装备结构(训练目标2)、了解维修要求(训练目标3)、熟练维修流程(训练目标4)和掌握维修方法(训练目标5)等方面，学员具有更高的满意度(图12)。

图11　不同时间内完成训练的人数分布

图12　训练目标满意度对比

4　结论

笔者综合运用虚拟现实和动作捕捉等技术，开发了航空装备虚拟维修训练系统。通过沉浸式人机交互操作，向学员展示航空装备的结构和组成原理，并对三维零部件模型实现拆装、维修，从而指导学员完成维修训练科目，达到维修训练的良好效果。该系统的主要特点如下：

1)采用层次化、模块化设计，对不同类型的航空装备有较好的兼容性，增强了系统扩展性，降低了系统后期维护成本。

2)采用动作捕捉技术进行虚拟人驱动，实现了沉浸感较强的人机交互。动作捕捉技术避免了传统虚拟人建模与运动控制的技术复杂性，降低了使用难度，提高了系统的易部署性。

3)开发接口软件实现了Phase space系统与Jack的有效连接，解决了因Jack虚拟人系统不支持该动作捕捉系统而导致交互性不佳的问题。

4)可进一步对装备的维修性和人机工效等特性进行验证评估，为学员的科研探索与创新实践提供了实验平台支持。

[1]辛文逵,常硕,赵彬.空军飞机装备维修训练现状、问题与对策[J].航空维修与工程,2010，(3):10-11.

[2]刘佳,刘毅.虚拟维修技术发展综述[J].计算机辅助设计与图形学学报,2009,21(11):6-12.

[3]周韬.动作捕捉技术在虚拟现实中的应用[D].西安：西安电子科技大学,2013.

[4]朱彦军,姜国华.虚拟现实中虚拟人体模型概述[J].计算机仿真,2004,21(1):11-13.

[5]方传磊,方传磊,苏群星,等.导弹装备虚拟维修训练系统通用平台[J].计算机工程,2009,35(3):274-276.

[6]Liu Y, Badler N I. Real-time Reach Planning for Animated Characters Using Hardware Acceleration[C]∥Proceedings of the 16th International Conference on Computer Animation and Social Agents. NJ,USA:IEEE, 2003:86.

[7]Maurel W, Thalmann D. Human Shoulder Modeling Including Scapulothoracic Constraint and Joint Sinus Cones [J]. Compu-ters & Graphics, 2013, 24(2): 203-218.

[8]杨星星.民机虚拟维修训练关键技术研究[D].南京:南京航空航天大学,2010.

[9]高玉水，周世海，郭英.某型导弹虚拟维修训练系统设计与实现[J].研究与开发,2010,(12):66-69.

[10]蒋科艺,郝建平.沉浸式虚拟维修仿真系统及其实现[J].计算机辅助设计与图形学学报,2005,17(5):1120-1123.

(责任编辑: 尚彩娟)

Aviation Equipment Virtual Maintenance Training System Based on Motion Capture

YANG Jun-chao, SHI Yue, YANG Da-ling, ZHOU Hong-wei

(Materiel Management and Safety Engineering Institute, Air Force Engineering University, Xi’an 710051, China)

To meet the needs of training instrument innovation for aviation equipment maintenance, an aviation equipment virtual maintenance training system based on motion capture is designed. The system is made up of the phase space motion capture system, JACK virtual human, virtual scene and equipment maintenance model, three-dimensional projector and data glove etc, has the virtual training functions including maintenance flow, teardown and fitting, failure analysis and removal. The virtual maintenance training of wheel disassembly and assembly is used as application example, and the results demonstrate that the system’s configuration is logical and can satisfy the requirements of design function.

aviation equipment; virtual maintenance training; motion capture

1672-1497(2016)04-0078-05

2016-03-04

军队科研计划项目

杨俊超(1984-)，男，讲师，博士。

E92; TP391.9

A

10.3969/j.issn.1672-1497.2016.04.015