基于虚拟现实的机电作业仿真系统的研究和实现方法

苏 琪

（中国船舶集团有限公司第七一五研究所，杭州 310000）

1 方案概述

基于虚拟现实的机电系统仿真主要通过虚拟现实技术[1-2]、智能穿戴技术和分布式计算机仿真技术，实现系统的全流程交互式仿真分析和沉浸式实景仿真作业模拟。系统按真实场景的实际尺寸构建虚拟模型，在设计开发阶段可以作为验证设备结构、布局、控制流程等是否合理的重要工具，对设备的适应性研究提供设计依据。系统支持多人协同操作，可为操作人员全面熟悉实际装备的功能、结构和组成，快速掌握装备操作、维护、保养及应急安全处理方法，提供重要的技术支撑，是在装备制造完成后作为辅助培训和模拟操作训练的重要装备。

2 硬件系统的设计方案

姿态捕捉控制设备中包括动作捕捉设备、数据手柄和数据手套。人机交互接口与服务器具体的连接形式如图1所示。

图1 人机交互接口与服务器连接示意图

3 软件方案

3.1 软件总体结构

软件主要实现对三维模型的驱动、实际工况的模拟、场景视角的切换、远程通信、捕捉设备数据收集与人物模型驱动等功能[3]，包括作业模拟仿真软件、人机交互接口软件、模型计算和接口控制软件以及控制模拟软件。

人机交互接口主要负责获取人物动作、手部关节、姿态信息，驱动人物模型并实时渲染场景到相应的显示设备；作业模拟仿真软件负责完成对模拟操作的响应、三维模型的驱动及实际工况的模拟；模型计算和接口控制软件负责完成对作业模拟仿真软件、控制模拟软件发送的数据进行分析、处理，并传递给相应的接收端；控制模拟软件能够接收操作人员的面板控制输入指令，并相应地控制整个三维场景和模型的作业流程，同时正确显示系统中的各项状态参数。

3.2 作业模拟仿真软件

3.2.1 作业模拟仿真软件系统的总体结构

基于虚拟现实的机电系统仿真建立在Unity3D平台基础上，辅以C#语言编写的脚本程序，实现模型的驱动、物理效果的计算、动画渲染、人机接口控制、通信和动作响应[4]。

接口控制软件实时接收输入指令和运动控制参数，并将其发送至数字仿真计算程序。数字仿真计算程序通过对输入指令和运动控制参数进行处理，调用其对应的三维模型和数字模型，在物理引擎的辅助下，实现模型碰撞、铰接、受力等模拟物理效果，实时计算出该模型的各项参数如速度、方向等，并将这些物理状态参数发送至虚拟现实仿真子系统中。虚拟现实仿真子系统根据各模型对应的状态参数，对三维模型进行渲染和显示，并将模型反馈参数发送到数字仿真计算程序中，经数字仿真计算程序处理后，将状态信息（位置、速度等）发送至通信接口控制服务器软件。图2为虚拟现实仿真软件系统总体结构。

图2 作业模拟仿真软件系统的总体结构

3.2.2 三维模型和数字模型

基于虚拟现实的机电系统仿真内部存有各个子系统的三维模型和数字模型。三维模型是按照实物模型1:1比例构建，外观与实物模型保持一致。数字模型是在三维模型的基础上，添加相应的物理特性，如刚体、关节、碰撞体以及材质等。数字仿真计算程序根据不同的控制指令，分别调用不同的三维模型及相应的数字模型，在初始阶段初始化数字模型的状态值及标志位。系统启动后，按照帧率时间间隔逐帧扫描控制标志位，在虚拟现实仿真子系统中更新设备运行工况，按照固定物理时间间隔进行物理计算，并刷新设备物理状态。

3.3 人机交互接口

通过在Unity中建立三维模拟结构的虚拟现实场景，并与姿态捕捉系统、数据手套、头戴显示器及数据手柄等人机交互设备连接，工程人员可以沉浸到虚拟现实场景，实现对设备的交互式操作，与三维模拟结构的虚拟现实场景进行沉浸式交互。系统如图3所示。

图3 人机交互接口系统图

姿态捕捉系统主要用于捕捉人体躯干、手脚等主要关节的运动过程。以姿态捕捉系统为基础，实现人员在模拟设备场景中的行走和运动。人物动作、姿态数据的收集通过PerceptionAxis捕捉软件实现，并通过传输控制协议/网际 协 议（Transmission Control Protocol/Internet Protocol，TCP/IP）与Unity软件进行数据通信，在Unity软件中对人物动作、姿态数据进行修正，得出各关节的位置和旋转信息，进而驱动人体模型。具体过程如图4所示。

图4 人物模型驱动程序结构图

数据手套用于较为精确地捕捉人手部和手指关节的运动过程，从而实现在模拟设备场景中较为精细的操作。通过手套上的传感器获取手指弯曲角度，采用C++编写通信程序，与本地Unity软件进行通信。随后在Unity软件中完成数据修正，并实时驱动人物手部运动。

通过数据手柄可以实现对虚拟设备和虚拟人体的运动控制，主要用于操作验证、空间和布局分析等。数据手柄在Unity软件中有专用的接口，可在程序中编写控制程序定义手柄按钮的功能，实现人物的大范围移动和视角的切换。

头戴显示器通过官方提供的开发包实现与Unity3D软件之间的连接，在头戴显示器中设置双摄像机模拟人眼双目视觉，并在Unity软件中设置相应参数，从而完成沉浸式人机交互[5]。

通过姿态捕捉设备、手套和头戴显示器，操作人员可实现虚拟人物在虚拟场景中的交互。交互技术的实现主要通过碰撞检测、触发器碰撞检测以及逻辑处理算法实现。

人机交互实际操作过程中，由于物理引擎和外部人物捕捉之间的冲突，会出现虚拟场景中人物穿越虚拟物体的现象。考虑到实际过程中的合理性与可靠性，将对其进行以下处理。首先，虚拟场景中人物即将穿越物体时，屏幕中将会出现违法操作提示，提示过程不符合实际。其次，虚拟场景中人物已穿越物体时，人物捕捉系统将停止工作，人物模型静止。最后，虚拟场景中人物将要离开物体时，判断其距离符合条件时，即可恢复人物捕捉，驱动人物模型。

4 结语

本系统的设计方案实现了机电系统的全流程交互式仿真分析和沉浸式实景仿真作业模拟，在产品的设计开发阶段可以作为验证设备结构、布局、控制流程等是否合理的重要工具，为设备的适应性研究提供设计依据，为操作人员全面熟悉实际装备的功能、结构和组成及快速掌握装备操作、维护、保养和应急安全处理方法提供重要的技术支撑，同时可在装备制造完成后用于辅助培训和模拟操作训练。