虚拟现实技术在工业设备装配训练中的应用

□ 毕 航

上海电气集团股份有限公司 中央研究院 上海 200070

1 研究背景

虚拟现实是一种以计算机技术为核心,综合模拟出一个与真实环境高度相似的虚拟环境,并能够与虚拟环境进行交互的新兴技术,特点可以概括为沉浸感、交互性、构想性[1-2]。随着计算机图形学、感知技术、人机交互技术等的迅速发展,虚拟现实技术已经被广泛应用于教育培训、商业、游戏娱乐、军事、医疗等行业中,应用范围不断扩大,深度也不断提高[3]。

在工业装备领域中应用虚拟现实技术,能够在产品物理样机实际投入生产之前,有效地解决产品研发中遇到的问题,便于企业缩短研发周期,提高研发效率,规避错误,节约研发成本[4-5]。因此,虚拟现实技术已经被广泛应用在工业装备领域的产品设计、制造、装配、车间管理、过程模拟、培训、测试、营销等各个环节中[6]。

2 虚拟现实装配训练

装配是工业装备制造中的重要环节。根据相关资料,直接或间接参与到装配工作的人数占总生产人数的30%以上,装配时间一般占生产总时间的20%～50%,装配费用占整个生产成本的30%～50%[7]。先进的装配工艺可以降低人员的参与度,提高生产效率。装配技术能够对工业装备的性能和质量产生直接影响。现有的工业装配培训方式仍以工厂实地培训为主,培训效果较差,而且效率偏低,成本较高[8]。

将虚拟现实技术应用于工业装备的装配中,产生了虚拟装配技术[9]。虚拟装配允许设计和可装配性调试在同一阶段进行,以便根据虚拟装配的反馈来及时修改产品的模型信息,能够避免在制作物理模型时产生的浪费,节约物理模型的生产成本,还能够提高产品的质量,缩短产品的研发周期,提高产品的研发效率[10]。在虚拟现实装配训练中,通过在虚拟场景中产生三维沉浸感,按照各种装配约束关系对模型零件进行三维装配模拟,实时检查装配的可行性和合理性,并保证装配训练的真实性[11]。受训人员可以根据对工业装备结构和装配工艺的学习,按照零件约束关系和装配工艺,对各种零件模型进行虚拟现实装配操作训练。

通过虚拟现实装配训练,可以在虚拟现实环境中反复进行学习和操作,最终通过测验对学习效果进行评估。学员能够及时发现装配训练过程中的错误并及时纠正,大幅提高了培训的有效性和效率,降低了培训成本。

3 虚拟现实装配训练系统总体设计

笔者以某型碗式中速磨煤机为对象,基于Unreal Engine、3DS MAX等软件和HTC VIVE头盔显示器等硬件,开发磨煤机虚拟现实装配训练系统。

对于磨煤机虚拟现实装配训练系统的设计和开发,按照简单易用、交互性强、沉浸感体验好的要求进行。系统主要采用Unreal Engine软件进行开发,并且使用HTC VIVE头盔显示器达到虚拟现实体验的效果。

为满足受训人员有更好的沉浸式体验效果,系统需要具有一个较逼真的虚拟工厂环境。受训者可以在虚拟工厂环境中进行任意虚拟漫游,并在虚拟工厂环境中自由快速移动。设置跳跃和平移两种运动方式,并通过设置语音和辅助画面提示,帮助初次参加培训的人员迅速掌握在虚拟环境中自由移动的方法。

为了提升虚拟现实装配训练效果,使受训人员能够全方位地对磨煤机的基本结构和装配过程进行有效掌握,需要设置结构展示模块、装配过程学习模块和手动操作训练模块,受训人员可以在不同模块之间进行自由切换。结构展示模块通过语音介绍和爆炸图展示,对磨煤机的主要结构进行详细介绍。装配过程学习模块通过语音介绍和装配过程自动展示,对磨煤机的装配过程进行详细介绍。手动操作训练模块是系统的核心模块,允许受训人员对磨煤机进行手动装配训练。

4 虚拟现实装配训练系统开发流程

虚拟现实装配训练系统开发流程如图1所示。

图1 虚拟现实装配训练系统开发流程

系统开发流程可以分为四个阶段:准备阶段、场景搭建和模型渲染阶段、装配训练功能开发阶段、软硬件结合阶段。

4.1 准备阶段

在准备阶段,核心工作是对磨煤机三维模型的处理。三维模型的质量会对虚拟现实系统运行的沉浸感和流畅程度产生至关重要的影响。SolidWorks等计算机辅助设计软件建模获得的工业计算机辅助设计模型,数据量庞大,并且包含所有的模型间配合信息。模型的零件数量多,导致面数总量非常惊人。如此多的面数如果直接在虚拟现实系统中运行,会对图形处理系统造成巨大负担,导致严重的卡顿、丢帧等现象,影响用户在虚拟现实系统中的沉浸感和体验感。

在虚拟现实场景中的模型不需要任何模型间信息,并且要求模型数据尽量少,面数也尽量少。因此,工业计算机辅助设计模型不能直接导入Unreal Engine软件使用,需要使用3DS MAX软件对模型进行处理。模型处理包括三个步骤。

(1) 模型合并。工业计算机辅助设计模型往往包含大量零配件,如螺栓、螺母、螺杆等,一个完整部件可能包含成百上千个各式零件。在虚拟现实展示中,需要将工业计算机辅助设计模型的许多部件合并为一个完整的整体,方便程序控制和调用。

完成这一步骤,需要对需求进行有效整理,得出完整的程序脚本。根据程序脚本对模型进行分类,确定零件的合并计划。在3DS MAX软件中,按照确定的合并计划合并零件,最终将磨煤机模型整合为装配训练所需的多个大型部件。

(2) 模型减面。工业计算机辅助设计模型的一个重大缺陷是模型复杂、面数多。在虚拟现实程序中,面数的增多会对图形处理系统造成巨大负担,最终导致虚拟现实程序卡顿、掉帧等问题,严重影响虚拟现实体验。因此,需要在3DS MAX软件中对工业计算机辅助设计模型进行减面,最终将面数总量减少到原模型的15%。

(3) 模型UV拆分。对于一些需要进行重点展示的部件,使用复杂的材质或贴图,由此需要对模型进行UV拆分。UV拆分又称UV展开,指将一个三维模型展开为一张二维UV平面的过程。UV拆分后,将贴图贴在UV平面对应的位置上,就可以实现在三维模型上贴图。通过UV拆分,可以有效提升场景和模型渲染的逼真度,进而有效提升用户的沉浸感和体验感。

最终将处理好的模型以.FBX三维格式文件导入Unreal Engine软件。

4.2 场景搭建和模型渲染阶段

(1) 虚拟场景搭建。虚拟现实系统需要模拟出一个工厂的虚拟场景,与真实的磨煤机装配工厂场景比较接近,使受训人员在进行虚拟现实装配培训时有更好的体验。虚拟工厂场景如图2所示。进入虚拟工厂场景后,可以看到一台完整的磨煤机,位于虚拟场景的中央。

图2 虚拟工厂场景

(2) 光照设置。Unreal Engine软件的光照设置会极大影响虚拟现实场景的虚拟体验效果。对于磨煤机虚拟场景,使用一个直射光束作为光源,在磨煤机主厂房范围内设置聚光场,使厂房采光效果优于其它位置,创造出更好的光影效果。光照设置界面如图3所示。

图3 光照设置界面

(3) 材质包制作。模型材质的细腻程度直接影响虚拟现实程序内各部件的真实感,从而影响最终虚拟现实体验效果。为了提升体验效果,制作了专用材质包,如图4所示。

图4 专用材质包

4.3 装配训练功能开发阶段

(1) 虚拟现实人机交互框架。需要制作一个虚拟现实人机交互框架,虚拟现实体验者的所有动作,包括虚拟漫游和虚拟交互,均需要通过这一框架完成。定义一个虚拟现实体验者的虚拟化身,将虚拟现实头盔与虚拟现实手柄绑定。这样,虚拟化身能够继承虚拟现实体验者所使用的虚拟现实头盔、虚拟现实手柄所有六个自由度的移动和转动,并且能够使体验者通过虚拟现实手柄实施交互指令,与虚拟现实环境进行交互。由此,可以将虚拟化身视为体验者在虚拟现实环境中的化身,实时向体验者传输虚拟现实环境中的场景,并完成与虚拟现实环境的交互。

为了使虚拟现实体验者能够在结构展示模块、装配过程学习模块和手动操作训练模块之间进行自由切换,需要开发一个三维交互界面模板,接收来自虚拟化身的交互指令。在虚拟化身中添加三维交互界面的触发事件,使虚拟现实体验者能够通过点击手柄触发三维交互界面事件。

(2) 虚拟漫游功能开发。虚拟现实体验者处于虚拟环境中,自然需要有在虚拟环境中移动的能力,这种能力就是虚拟漫游。虚拟漫游也是所有虚拟现实程序都需具备的基础功能。在虚拟现实装配训练系统中,虚拟漫游功能主要包括上下、左右、前后平动和瞬间跳跃。

在虚拟现实程序中,瞬间跳跃是最常见的一种人物运动模式。这种模式的好处是跳跃前后,人物位置瞬间变化,没有位置的缓慢移动,配合适当的镜头淡入淡出,能够有效避免虚拟现实体验中常见的不适情况,如晕动病等。因此,瞬间跳跃是虚拟现实程序中通用的人物移动模式。平动功能以视角正前方为标准,沿前后左右上下六个方向进行位置平移。这种漫游方式可以允许体验者移动到虚拟现实场景中的任何位置,因此具有最好的自由漫游能力,但可能会引发体验者的不适,导致晕动病。在虚拟现实装配训练系统中,可以通过两种漫游功能的配合使用,获得最佳的虚拟漫游体验。

(3) 结构展示模块功能开发。结构展示模块通过语音介绍和爆炸图展示,使受训人员在开始装配训练之前,详细了解磨煤机的主要结构。

进入虚拟现实场景后,可以看到一台完整的磨煤机。受训人员可以通过虚拟漫游的方式,近距离查看磨煤机的基础结构。也可以直接进入磨煤机内部,从内部更详细地了解结构。

点击三维交互界面爆炸图按钮,可以使磨煤机各部件按照一定顺序依次爆炸展开,同时配合语音讲解,使受训人员对磨煤机各部件和主要结构进行详细了解。

(4) 装配过程学习模块功能开发。点击三维交互界面自动装配按钮,磨煤机各部件将按照装配顺序,从散落状态逐渐组装为一台完整的磨煤机。配合装配工艺指导书语音讲解,使受训人员对磨煤机的装配过程进行有效学习。

(5) 手动操作训练模块功能开发。受训人员完成结构展示模块和装配过程学习模块的学习后,可以开始进行手动操作,对磨煤机装配进行虚拟操作训练。

点击三维交互界面自动装配按钮,磨煤机零件散落布置在厂房内。使用手柄射线部件时,部件会高亮显示,显示出部件名称和部件在装配中的顺序。操作者需要按照装配顺序依次选择部件,按住手柄扳机选中部件,并对部件进行拖动。根据实际装配训练的需要,为各部件设置两种不同的操作模式:自由拖动、沿坐标轴拖动。

通过手柄射线指向部件,扣住手柄扳机,能够自由拖动选中的部件。此时可以移动手柄位置,部件会随之移动。通过虚拟漫游功能移动操作者位置,部件也会随之移动。在右手手柄顶部的触摸盘上,用拇指上下滑动,部件位置就会沿着手柄射线快速移动。

沿坐标轴拖动时,通过手柄射线指向部件,按下手柄特定按键后再按下手柄扳机,会显示出基于部件自身中心位置的直角坐标轴。此时,该部件无法再通过扣住手柄扳机拖动来自由移动,需要将手柄射线指向某一坐标轴,扣住手柄扳机后进行拖拉,使部件沿坐标轴移动。这种操作用于模拟工业装备实际装配过程中,使用吊车、起重机等设备进行装配的操作。

手动操作训练如图5所示。

图5 手动操作训练

为模拟实际装配厂景,各部件之间设定装配顺序和碰撞干涉模拟。受训人员必须按照装配顺序,依次选取各部件,拖动到最终装配位置。如果受训人员选择错误的部件,部件就无法被选中和移动。

受训人员通过使用虚拟现实装配训练系统,可以在虚拟现实环境中对磨煤机的装配过程进行充分的操作训练,进而极大提高了装配训练的效率和有效性。

4.4 软硬件结合阶段

装配训练功能开发结束后,将程序打包成可执行文件,部署在图形处理性能较好的图形工作站上,使用HTC VIVE头盔显示器作为虚拟现实显示设备。还可以将图形工作站与大屏幕相连,将受训人员的第一视角投放在屏幕上,供其他受训人员实时观看,进一步提高培训效率和有效性。硬件系统构成如图6所示。

图6 硬件系统构成

5 结束语

笔者讨论了虚拟现实技术在工业装备装配训练方面的应用前景和价值,并以某型碗式中速磨煤机为对象,开发了一套磨煤机虚拟现实装配训练系统。受训学员可以在虚拟现实环境中对磨煤机总体结构进行了解和学习,并通过操作虚拟现实设备进行虚拟装配训练。

结果证明,将虚拟现实技术应用于工业装备装配训练,可以减少实地进行设备装配培训,有效节约培训成本,大幅提高培训的效率和有效性。