沉浸式维修性虚拟验证平台开发与应用

郭 庆， 萨 路， 黄一峰， 刘昕杰

(中国民航大学 航空工程学院，天津 300300)

沉浸式维修性虚拟验证平台开发与应用

郭 庆， 萨 路， 黄一峰， 刘昕杰

(中国民航大学 航空工程学院，天津 300300)

沉浸式维修性虚拟验证平台是基于虚拟现实技术的实验设备。该平台由动捕设备、显示系统和软件驱动系统组成。平台通过采集真实人体的运动数据，并将其重新定向到体型不同的虚拟人上同时保留原始人体的动作特性，实现实时的运动重定向。结合关节位置的算法可以纠正关节角度的计算偏差，这种数据增强技术能提高关节角度和位置的计算精度。通过利用该平台对发动机关键部件维修性评估验证，结果表明，验证结果可靠，使用方便灵活。同时，该平台也可用于实验教学。

维修性验证； 虚拟现实； 沉浸式； 动作重定向

0 引 言

维修性是装备的基本属性之一，良好的维修性设计是提高维修效率和质量的重要手段。传统的维修性研究是基于物理样机或全尺寸模型开展工作的，因此，维修性评估明显滞后于产品的整体设计[1]。这不仅是对设计资源的浪费，也不利于设计的整体优化。随着计算机技术的发展和广泛应用，虚拟维修技术应运而生。虚拟维修是虚拟显示技术与维修工程相结合的成果，是以计算机技术与虚拟现实技术为依托，在由计算机生成的、包含了产品数字样机与维修人员三维人体模型的虚拟场景中，通过驱动人体模型来完成整个维修过程仿真的综合性技术。将虚拟维修仿真应用于维修性研究，进而形成了维修性虚拟验证技术，其可广泛应用于维修过程规划评估、维修过程分析和产品的维修性及其维修过程验证等内容。

根据虚拟维修实验方法的不同，维修性验证可以分为沉浸式和非沉浸式两种[2]，如图1所示。非沉浸式又称为桌面虚拟现实验证系统，是研究维修性虚拟验证的必需条件，它要求参与者使用键盘和鼠标等输入设备，通过计算机屏幕观察360°范围内的虚拟境界，并操纵其中的物体，但这时参与者不是完全的沉浸，因为它仍然受到周围环境的干扰。沉浸式验证系统提供完全沉浸体验，使用户有一种置身于虚拟境界之中的感觉。它利用头盔显示器把参与者的视觉封闭起来，并利用动作捕捉设备使参与者产生身临其境和沉浸其中的感觉。其最重要的是对虚拟环境管理、虚拟人员的控制是通过动捕设备自然的人机交互技术来实现的。

图1 维修性虚拟验证平台组成

本文主要针对于沉浸式维修性虚拟评估系统的开发和其关键技术进行研究，旨在为维修性定量和定性研究提出新的设备与方法。

1 平台设计思路

1.1工作原理

维修性验证平台由软件和硬件两部分构成，如图2所示，其中硬件主要包括：惯性动捕设备，头盔显示系统和全景演示系统；软件采用的是Siemens PLM系统软件中的Tecnomatix Jack模块。其工作原理可描述为：在Tecnomatix Jack中建立虚拟维修环境，并对产生的数据实现通信和管理。人体运动控制主要用来实现虚拟验证系统中操作者的化身和操作者自身运动间的映射，利用动捕设备所采集到的操作者身体各个部分的空间位置来驱动虚拟环境中操作者化身的运动，操作者化身的动作姿态通过头盔显示系统反馈给操作者，以便操作者自身做适应性的调节，其他参评人员通过第三视角对维修全景进行整体评估。

图2 沉浸式维修性虚拟验证平台示意图

1.2平台架构

虚拟验证平台设计的主体思路是以惯性动捕设备和Tecnomatix Jack软件[3]为基础构建的，通过设计算法实现实时处理动捕数据并重新定向到JACK软件的仿真过程[4-6]。整体开发采用模块化设计，主要包括运动数据采集和提取、运动数据处理和优化、运动数据的重定向三部分。其中运动捕捉模块实时捕捉真实人体的关节位置和角度信息；采集数据传输模块将捕获的数据进行发送；运动数据处理模块处理采集到的实时数据，生成虚拟人关节位置和角度；运动数据优化模块对生成的实时数据进行趋势分析和平滑处理；运动学仿真模块将处理和优化后的数据重新定向到JACK 人体模型实现实时驱动；动力学仿真模块负责动力学参数计算与控制；人机功效学模块则控制仿真过程中的人机功效性。为了保证运动仿真的实时性，采用了多线程机制，每个模块都是彼此独立的线程。验证平台的架构如图3所示。

图3 验证平台的架构

1.3人体建模与模型映射

实时驱动虚拟人仿真需要将运动捕获数据重定向到目标模型上，如图4所示。动捕设备广泛采用BVH格式进行实时数据发送。然而，BVH(图4(a))人体骨骼模型与JACK(图4(b))人体骨骼模型间存在躯体结构的差异[7-8]，即在关节数量、骨骼长度、关节的坐标系设定三方面存在差异。

图4 动捕设备人体模型与JACK模型

JACK人体骨骼模型由72个节点构成，其中多数集中在手部区域[9]。而通用的简化人体模型节点数量一般20～59个不等，忽略手部细节特征，通用模型与JACK模型的躯干结构双方基本一致。对表1所列的关节点描述信息进行采集，通过JACK软件内置的逆向运动(IK)算法即可能实现虚拟人仿真驱动。

表1 关节点描述信息

1.4数据处理

驱动JACK人体模型，需要提供表1所列节点的坐标、偏转角度信息。模型的初始姿势需定义为：T形双臂平举、手心向下，所有关节偏转角度都为零(见图4b)，Y轴始终指向骨骼方向，Z轴指向前方。

表1中列出了JACK模型的躯干关节清单，提供的每组关节数据应包括3个坐标数据和3个旋转角度数据在内共6个自由度。动捕设备以BVH格式向外发送数据包，处理后的数据应以JACK指定的数据包协议传输给软件。

通过采用模块化设计，仿真平台可以多线程同步的实现人体运动数据的实时捕捉、处理、优化、重定向、以及应用过程，数据处理流程如图5所示。

2 数据驱动关键技术

运动数据映射是通过提取动捕设备传输的实时数据，进行坐标系变换计算出人体关节的旋转矩阵，再通过坐标系校准得到JACK人体模型对应关节的旋转矩阵，进而反求出关节旋转角度[10-12]。

2.1初始姿态校准

动捕设备人体模型的各节点在初始状态下都采用世界坐标系方向，而JACK人体模型不同关节的坐标系的初始方向不同，导致模型关节转动角度计算要需要进行角度校准，包括观察校准角度和生成校准矩阵。

图5 运动数据处理流程

观察校准角度是指判断出不同关节在初始状态时的角度的方向差异，参考图4，以右肩关节为例，JACK模型(右)中的右肩关节须绕Z轴旋转90°后才能与绝对坐标系一致，则校准矩阵。

2.2运动数据提取

人体运动数据的提取过程以某时刻的第i个关节为例，设定动捕设备传输该关节的旋转顺序为YXZ，角度值为β、α、γ，JACK模型中的旋转顺序默认是XYZ，则JACK人体模型上对应关节的偏转角计算如下：

相对旋转矩阵

RoMi(t)=RY(β)RX(α)RZ(γ)

绝对旋转矩阵

RRoMi=RRoMi-1RoMi；(RRoM1=RoM1)

JACK模型对应关节的旋转矩阵：

由上式得：

(1)

由JACK人体模型关节按照XYZ轴顺序依次偏转θ、φ、ψ角度与重合，则有：

(2)

θ、φ、ψ满足下列必要条件：

(3)

2.3运动数据的处理

由欧拉旋转公式可知旋转矩阵中的元素都应满足|aij|≤1(i,j=1,2,3),但是由于数据测量和传递偏差，会出现式(2)中的某个元素出现|aij|>1的情况并可能造成式(3)无解，为此需要对数据经行预处理，若|aij|>1，则令aij=aij/|aij|，由式(3)可得：

(4)

则存在8组解满足条件(3)，为了选取正确的解，将每组解依次代入公式(2)并用最小二乘法计算与式(1)矩阵的偏差值，选取偏差值最小的一组解作为基础解。

2.4运动数据的优化和平滑处理

虽然获得了基础解使JACK模型的关节旋转效果与真实人体关节运动近似，但考虑到测量数据本身生成和传递过程中产生的随机误差对计算结果的影响，还需要在基础解的基础上进行一定范围的优化[13-14]，流程如图6所示。

图6 运动数据的优化和平滑处理

优化初始令步长d为5°，对任意角度进行优化，将优化后的结果代入式(2)并计算与式(1)的偏差，选取使偏差值最小的优化角度并将步长减半，考虑到式(2)中矩阵的特殊性，根据数据敏感性的不同，优化以φ、θ、ψ的顺序进行，合理设定优化次数满足最终的偏差值小于1.0。通过多次验证，优化次数一般不超过3次就能满足要求，过多过密的设定优化步长和次数对结果的影响有限。

运动数据的平滑处理，是在获得当前帧数据的基础上，考虑到由于系统性误差所产生的坏点，为了保证数据的连续性而对数据进行去除坏点和线性拟合的工作，其中线性拟合采用优化后的三次样条差值方法将每帧数据与前6帧结果进行线性拟合[15-16]。

2.5程序开发

Tecnomatix Jack提供数据端口和数据通信协议。所有的动捕设备提供BVH实时数据广播方式，并提供二次开发接口。本文通过.NET平台C#语言实现上述功能开发。

3 平台应用

3.1实验条件

实验所用的硬件：PC机(Inter Core i7-3770 3.4GHz CPU, 16GB内存)， Perception Neuron动捕设备。软件开发环境： Windows 7, VS 2014, JACK8.0.1-win32, Axis Neuron。

3.2实验结果及分析

利用该平台可直接实时获得维修性方面的定量和定性的分析，如视野可达，动作可达，维修路径是否存在干涉的定性分析，还可获得诸如人体受力分析，疲劳分析，新陈代谢等定量分析。

现采用该平台针对某型发动机可调放气活门(VBV)作动筒维修性进行验证评估。试验场景及验证结果如图7、8所示。

图7为作动筒拆卸维修性验证，其中图7(a)为沉浸式仿真场景，图7(b)为动作可达性验证，结果显示：由于受到图示中管道的阻挡，虚拟人不能过于贴近VBV作动筒，同时左手手肘也易与风扇机匣组件发生干涉。但是虚拟人仍然可以使用左手对VBV作动杆连接部位进行维修操作。考虑到绝大多数维修人员惯用手是右手，同时有些操作需要两只手协同动作，例如拆卸螺栓等。所以该VBV设计，在这种维修方式下实体可达性不佳。

(a) 动捕设备驱动

(b) 姿态仿真结果

(a) 疲劳恢复时间预测

(b) 维修人员OWAS工作姿势分析

(c) 虚拟人静强度评估图表

图8(a)为疲劳恢复时间预测，结果表明在设定的劳动强度下，留有了足够的休息时间(预留休息的时间2 s,大于所需的1.469 s)，表明虚拟人能够顺利完成工作，劳动强度是舒适适宜的。图8(b)为维修人员OWAS工作姿势分析结果，OWAS工作姿势分析方法是由芬兰 Ovako 钢铁公司与芬兰职业健康研究所联合开发的，用来研究各岗位工人的作业姿势是否合理。这种方法适应面较广，能定性的帮助识别不良的作业姿势。模拟结果表明姿势(OWAS)代码为1121，具体内容表示虚拟人处于直立垂手双脚站立小载荷的工作姿态。可见在整个仿真过程中由于都是站立姿态，且载荷很小，虚拟人始终处于良好的工作姿态中。图8(c)为虚拟人静强度评估图表，显示的结果分别为：能够完成该任务强度要求的工人百分比；上肢角度(肘、肩、肱骨旋转、膝、踝)和躯干角度(弯曲、旋转、侧弯)；各个关节力矩的大小；可用关节的平均力矩大小。在整个仿真过程中所有动作均能被至少95%的虚拟人完成，表明整个维修过程的劳动强度是适宜的，不会对维修人员造成危害。

4 结 语

从上述实例中可以看出，与传统维修性分析相比，沉浸式维修性虚拟验证平台具有如下特点：①验证过程和验证环境全数字化，从而支持并行工程在维修领域的实现；②基于虚拟现实技术的维修性验证，可以满足经济性和及时性要求；③虚拟维修过程与实际维修相似一致，因此验证评估结果可信度高。

在应用方面，该平台不仅可适用于维修性科学研究工作，还可应用于维修性设计实验教学，因其参与性强，数据指标可视化，受到师生的广泛欢迎。

[1] 郝建平.虚拟维修仿真理论与技术[M].北京：国防工业出版社，2008：26-30.

[2] 吕川.维修性设计分析与验证[M].北京：国防工业出版社，2012：287-290.

[3] Siemens Product Lifecycle Management Software Inc. JACK Motion Capture Communication Protocol [EB/OL]. https://www.plm.automation.siemens.com/zh_cn. 2016-07-13.

[4] 汪俊.基于惯性传感器的动作捕捉系统研究与设计[D].合肥：中国科学技术大学，2015.5.

[5] 瞿师. 基于运动捕获的人体运动生成与编辑关键技术研究[D].长沙：国防科技大学，2011.6.

[6] Bregler C. Motion capture technology for entertainment in the spotlight[J]. Signal Processing Magazine, IEEE. 2007,24(6): 160-158.

[7] Tan CH, Hou J. Human motion capture data recovery using trajectory-based matrix completion[J].Electronics Letters,2013,49(12):752-755.

[8] Gleicher M. Retargetting motion to new characters[C]//Proceedings of the 25th annual conference on Computer graphics and interactive techniques,1998,32(36): 33-42.

[9] 郭志虎.基于微惯性全姿态测量的人体运动捕捉系统研究[D].上海：上海交通大学，2013.1.

[10] ZHANG Zhiqiang, WONG Waichoong. Wearable sensors for 3D upper limb motion modeling and ubiquitous estimation[J]. Journal of Control Theory & Applications，2011,9(1):10-17.

[11] Cheen-HauTan, JunHuiHou. Motion capture data recovery using skeleton constrained singular value thresholding [J]. Visual Computer，2014,31(11):1521-1532.

[12] LIU HuaJun, HE FaZhi. Real-time control of human actions using inertial sensors[J]. Sciece China Information Sciences,2014,57(7):1-11.

[13] Noitom Technology Co., Ltd. Neuron datareader runtime API documentation [EB/OL]. http://www.noitom.com.cn, 2016-07-13.

[14] Bernard J, Wilhelm N. Motion explorer: Exploratory search in human motion capture data based on hierarchical aggregation[J]. IEEE Transactions on Visualization and Computer Graphics，2013,19(12):2257-2265.

[15] 戴若犁,刘昊扬.一种组合式运动捕捉系统：中国，201410440797.7[P].2014-09-01.

[16] 蔡山，张浩.基于最小二乘法的分段三次曲线拟合方法研究[J].科学技术与工程， 2007,7(3):352-355.

ResearchandDevelopmentofImmersionVirtualRealityMaintainabilityVerificationPlatform

GUOQing,SALu,HUANGYifeng,LIUXinjie

(College of Aeronautic Engineering, Civil Aviation University of China, Tianjin 300300, China)

Immersion virtual reality maintainability verification platform is based on virtual reality technique, it consists of motion capture gears, projector system and driven software. Real-time captured human motion was processed and retargeted to another anthropometry virtual-reality model, while preserving the original motion characteristics. Data enhancement algorithm which was based on joint position was used to correct deviation of joint angles calculation, could improve the accuracy in both joint angles and positions. Experimental results show that this platform is reliable, convenient and flexible, and as a by-product, the platform could also be used for experiment and teaching.

maintainability verification; virtual reality; immersion; motion retargeting

TP 391.9

A

1006-7167(2017)09-0092-05

2016-11-15

国家级大学生创新创业训练计划项目(201610059005)

郭 庆(1976-)，男，湖南郴州人，副教授，硕士生导师，主要研究方向装备综合保障。Tel.：13920046759；E-mail：qguo_cauc@sina.com