工业机器人虚拟现实仿真实训系统研究与开发

王磊 黄浩 广东科贸职业学院信息与自动化学院

引言

随着面向智能制造领域的工业机器人大量应用，大幅度提高了企业的竞争力和经济效益。然而，中国智造人才奇缺已经成为制约智能制造产业发展的关键问题。由于我国在工业机器人教育及相关实训方面起步较晚，传统工业机器人在线示教实训，受工业机器人实训场地、课时、实训人数限制，再加上工业机器人设备价格昂贵、数量有限，很难保证实践过程中每位学生进行充分的实操。如果对设备不熟悉，操作不恰当，很容易发生设备故障和人身安全问题，从而影响学生的学习兴趣和实训质量。因此，工业机器人人才培养工作也迎来了“瓶颈期”，亟需新一代信息技术助力工业机器人信息化教学应用与实训革新。在互联网+背景下，以虚拟现实技术为切入点，开展软件技术专业+工业机器人专业的新工科融合研究与信息化教学改革，构建更加符合工业互联网思维的实训模式，更好的实现智能型虚拟实验教学与仿真实训。

虚拟现实(Virtual Reality，简称VR)技术在工业机器人仿真实训中的应用，可以通过虚拟仿真建模、立体视觉、人机交互与触觉反馈等技术，让使用者产生身临其境的仿真感受，国内外也展开了相关的研究和应用。机器人制造商KUKA 率先在MORPHA 项目中引入工业机器人增强现实示教技术。贝尔格莱德大学开发的机器人虚拟实验室则能够展示工业机器人的主要特征，练习机器人的行为与操作。马飞[3]阐述了基于Qt 和Ogre3D 的六自由度机器人虚拟实验室系统架构模型及模块化功能，其虚拟实验室三维模型建模，首先从SolidWorks 建立模型、在3DSMax 软件中进行模型渲染，最后导入Ogre3D 虚拟环境中渲染显示虚拟机器人的一套建模方法。文献[4]设计了基于Unity3D 的机器人本体拆装的虚拟教学系统，使用Solid-Works、3Ds Max 软件等进行工业机器人拆装场景建模和机器人拆装动画制作，以Photoshop 软件进行UI 界面设计，利用C#语言进行界面交互逻辑控制。文献[5-7]针对虚拟现实技术在工业机器人实训领域中的开发与应用，介绍了从SolidWorks、3ds Max 进行建模，到Unity3D、HTCVIVE 进行虚拟仿真及运动逻辑编程开发，尤其是针对目前工业生产上广泛使用的六轴机器人，可以灵活高效的满足学生的离线示教仿真需求，具有较好的研究价值和应用前景。

1 工业机器人仿真实训系统开发路线

本文以瑞典ABB 公司生产的多用途六轴机器人IRB120 为研究和应用对象，设计开发了工业机器人虚拟仿真实训系统，该系统能够实现工业机器人的结构认知、虚拟拆装、交互操作、沉浸式体验等功能，并具有界面美观、功能实用、交互式强等特点。该系统以Unity3D 为开发平台，通过C#编程实现运动逻辑控制，能够运行在PC 端，并且可以通过HTC vive 进行虚拟现实沉浸式体验。本系统在开发实现过程中基于以下技术路线进行系统研发。

(1)分析工业机器人的实训需求和系统目标，分析机器人的基本结构及技术参数等，明确要达到的系统仿真实训功能需求，实现基于互联网+的工业机器人产品结构认知学习与拆装实训。

(2)选定系统的软硬件环境与开发平台，分析机器人的装配结构、运动规划及示教操作，在此基础上利用SolidWorks、3DSMax 等建模软件，完成机器人的三维模型建立、装配及贴图渲染等操作，并进行模型优化与格式导出，生成高精度的机器人轻量化三维模型。

(3)利用Unity3d 平台搭建机器人的实训场景，研究机器人的坐标表示、摄像机设置、组件参数配置、灯光渲染、方位与旋转变换操作等内容，优化模型在Unity3D 中的建模显示。

(4) 利用各软件开发包，结合C#语言，开发系统人机交互UI界面和运动逻辑控制，实现场景视角控制、拆卸动画开发、操作实时反馈等人机交互功能。为了更加真实的模拟实训现场环境，完成刚体属性配置和碰撞检测等，并在PC 机上进行工业机器人仿真测试。

(5)为了增强用户感知和体验，优化产品模型，研究Unity3D 渲染优化方法、分层调用技术等，减少显示效果损失又能降低渲染负载。通过HTC vive 等硬件进行开发和测试，在虚拟现实环境中进行人机交互操作及实时反馈，为使用者创造出一种逼真的沉浸式立体环境交互体验。

(6)将产品模型打包发布为PC 端应用，借助PC电脑、VR设备等，对平台功能进行测试与体验分析。优化产品模型与运动逻辑控制，进行系统的持续改进和最终发布。

2 系统设计与实现

2.1 工业机器人部件结构认知实训模块

针对工业机器人三维模型进行部件的结构认知实训，由于模型简化及格式转换后，会失去机械建模时零部件的亲子关系，需要研究工业机器人在Unity3D 下的装配结构及装配关系设定，研究物理组件的配置方式和作用范围，以实现机器人的运动控制与物理交互。虚拟拆装交互操作较为复杂，需要实现包括场景视角的控制、拆卸动画与拆卸序列控制、零件高亮着色、实时信息反馈等操作。

如图1 所示为机器人拆装实训主界面的工业机器人全貌界面及某个轴的部件界面。视图右侧为结构认知工具栏，底部为拆卸工具栏。通过点击结构认知工具栏的“底座”、“电源箱”、“一轴”到“六轴”、“全貌”等按钮，可以分别查看机器人的不同轴的部件结构信息。点击“全貌”按钮，可以恢复到整个机械臂的全貌整体。针对工业机器人全貌或者单个部件，都可以通过鼠标滚轮进行放大缩小，使用鼠标左键进行空间内的旋转操作和移动操作等。

图1 机器人全貌界面及某轴部件界面

2.2 工业机器人拆卸实训模块

通过虚拟拆装建模与拆装业务逻辑的实现，实现对工业机器人的拆卸场景进行交互操作，让使用者掌握机器人各关节之间的层级关系及运动关系。由于模型简化及格式转换后，可能会导致模型仅保留核心外形与运动机构信息，而失去了零部件的亲子关系信息，因此，还需要进一步研究工业机器人的装配结构及装配关系设定，研究物理组件的配置方式和作用范围，才能保障正确的模拟出机器人真实物理结构下的拆卸和组装过程。

在视图底部的拆卸工具栏，通过缩小和放大按钮可以进行缩放操作，各拆卸功能按钮可以进行工业机器人的拆卸和组装控制，如图2 所示为单步拆卸和组装及一次性全部拆卸和组装的显示效果。

图2 工业机器人拆卸和组装的显示效果

针对拆卸中的某一个轴部件，靠近这个轴，例如鼠标靠近“四轴”，四轴即整体高亮显示。鼠标左键点击“四轴”，进入如图3 所示的四轴零部件的操作界面，并可以在左侧查看四轴零部件详细信息介绍。点击界面右侧的结构认知工具栏上的某个轴按钮，可以对显示的单个轴部件进行进一步的拆卸，了解该轴部件的零配件组装细节。

图3 单个轴的显示和拆卸操作界面

2.3 机器人拆卸运动逻辑关键控制

针对工业机器人拆卸运动逻辑的控制，有一些关键难点需要进行技术攻关和实现。

(1)部件移动与控制实现原理：把unity 主摄像头放入物体中，成为物体的子类，鼠标上下移动为unity 主摄像头移动，鼠标左右移动为物体左右移动，从而实现部件的移动与控制。

(2)部件的变色和拖拽移动实现原理：使用鼠标监听方法，根据鼠标状态确定颜色显示，根据鼠标和屏幕坐标及物体坐标的距离，控制实现鼠标拖拽操作。

(3)部件的顺序拆装实现原理：新建一个为下一个部件添加脚本的脚本，在鼠标按下监听方法时添加触发添加脚本的代码，并使用布尔值让脚本只触发一次，保证部件之间的拆卸次序关系。

对于工业机器人部件移动与控制逻辑的实现，项目通过C#代码进行编程实现，部分关键代码如下。

3 结束语

针对日益增长的工业机器人教学实训、技术培训的巨大需求，本文以IRB120 多用途轻型机器人的拆卸实训为研究对象，分析了工业机器人虚拟仿真实训系统开发的关键实现流程，对主要模块的关键开发技术、功能界面设计及关键运动逻辑控制进行了研究和探讨。本文开发的系统可以进一步扩展到多种不同的教学应用场景，例如堆垛、切削、焊接、视觉检测等常用工业场景。后续研究将通过对不同制造场景的工业机器人实训应用开发，让使用者不仅可以熟练认知工业机器人的结构和拆卸，也可以快速适应不同制造场景下的岗位情景与技能实训需求，从而构建智能型、创新性的工业机器人实训系统及人才培养实训新范式。