基于AR技术的机械制造工艺课程设计教学辅助系统开发

潘旭东， 孙晓磊， 李 旦， 王广林， 闫纪红

(哈尔滨工业大学 机电工程学院， 黑龙江 哈尔滨 150001)

基于AR技术的机械制造工艺课程设计教学辅助系统开发

潘旭东， 孙晓磊， 李 旦， 王广林， 闫纪红

(哈尔滨工业大学 机电工程学院， 黑龙江 哈尔滨 150001)

对增强现实(AR)技术引入实践教学进行了探索，利用增强现实技术进行了手机端教学辅助系统的开发。该系统以Unity3D为集成开发环境，以Vuforia为软件开发工具包，在智能手机应用端通过扫描零件图纸显示零件三维模型，可进行模型的旋转、缩放与剖视。结合工艺课程设计，该系统可辅助制订零件的工艺路线。

课程设计； AR技术； 机械制造工艺； 教学辅助系统

“机械制造工艺”是高校机械类专业学生必修的基础课程。机械制造工艺课程设计是课程教学的一个不可或缺的实践教学环节，对于培养学生编制机械加工工艺规程和机床夹具设计的能力具有十分重要的作用[1]。课程设计的实践性很强，而学生却缺乏实践知识，因而在课程设计中会感到困难[2]。此外，在机械制造工艺课程设计教学中，教学手段陈旧、形式单一，学生查阅参考资料花费太多的时间，也影响了部分学生对课程设计的兴趣。如何提高课程设计教学效果、提高学生的实践能力，是机械制造工艺课程设计实践教学亟待解决的问题。

增强现实(augmented reality，AR)技术是在虚拟现实(virtual reality,VR)技术的基础上产生的，它对真实环境中的信息进行三维注册，将计算机生成的虚拟信息叠加应用到真实世界，利用传感技术和显示设备将虚拟信息和真实世界统一在一个画面或空间内，从而实现对现实世界的增强，达到超越现实的感官体验[3-5]。随着虚拟现实技术和增强现实技术的发展，越来越多的领域关注该项技术的发展应用。

2016年被称为VR/AR元年[6]，VR/AR技术开始进入人们的生活，市场的需求正在推动VR产业进入高速发展期。在游戏产业方面，基于AR技术的游戏受到市场的欢迎[7]；在互联网方面，百度、阿里巴巴、腾讯三大国内互联网巨头纷纷推出AR应用[8]。近几年来，国内外对增强现实技术在教育中的应用作了较多研究，并且相继出现了一些相关的教学产品[9-11]。笔者根据机械制造工艺课程设计的实际教学需求，利用AR技术进行了手机端教学辅助系统的开发。

1 系统设计

1.1 总体设计

基于AR的机械制造工艺课程设计教学辅助系统由信息输入、融合显示和人机交互3个模块组成，如图1所示。

图1 系统总体设计图

信息输入模块要获取两部分信息：(1)通过摄像头采集真实环境标志物特征点信息；(2)通过标志物特征点信息的处理与匹配，获取服务器端虚拟模型信息。

融合显示模块要根据输入信息，实时跟踪注册虚拟信息在真实世界的位置，进行真实信息与虚拟信息的叠加融合显示。

在人机交互模块中，用户通过手机的用户界面触控，与教学辅助系统互动，可以进行虚拟模型的旋转、缩放、剖视，查看零件加工所必要的信息和参考资料。此外，该模块还能辅助制订零件加工工艺路线。当用户通过点击加工工序制订工艺路线后，系统能实时反馈工艺路线制订的合理性，并给予评价。

1.2 开发平台与工具

本系统集成开发环境为Unity3D，采用高通公司推出的Vuforia SDK作为软件开发工具包，软件运行系统选择目前市场占有率最高的Android手机系统。由于采用了Unity3D，该系统可以很方便地在其他智能手机系统平台运行，例如ios, Windows Phone。具体的实现工具如表1所示。

表1 开发平台与工具

2 系统开发与实现

通常，移动增强现实的应用主要由离线处理和在线处理两大部分组成[12]。离线处理主要是由Unity3D来完成，包括建立虚拟三维模型、生成三维场景以及标志物的选取和预处理；在线处理部分主要由Vuforia SDK完成，包括标志物的识别和实时生成反馈信息，在真实场景中叠加虚拟对象，实现人机交互。

2.1 总体流程

系统的实现主要包含3个步骤：(1)创建云端数据库；(2)目标管理；(3)Vuforia集成与发布。系统实现流程如图2所示。

图2 系统实现流程

由于Android平台下的应用开发是基于Java语言，所以需要进行JDK(Java development kit)的下载与安装。此外，由于系统主要运行平台为Android平台，所以需进行Android SDK的下载与安装。

2.2 融合显示功能实现

以CA6140车床拨叉为例进行说明系统功能的实现。

首先通过三维建模软件Solidworks进行所需要展示零件的建模工作。由于Unity3D所能识别的模型格式为.fbx，因此需将.spt格式的模型文件通过Deep Exploration软件转换为.fbx文件。

然后，将.fbx模型文件导入Unity3D软件中。在Vuforia官网上进行注册，创建云端数据库和管理标志物，然后获取License Key以及Imagetarget包。将Imagetarget包导入Unity3D中并粘贴License Key。将.fbx模型文件放置在相应的Imagetarget下，调整大小及位置以及灯光照射。

最后进行相应设置并打包发布。

在手机端运行测试效果如图3所示。

图3 手机端运行测试效果图

2.3 旋转、缩放和剖视功能的实现

旋转功能在手机端通过滑动触摸屏实现；缩放功能通过两指点击滑动实现；剖视功能则通过点击剖视按钮实现。旋转、缩放都要通过Unity3D脚本控制相应组件实现，脚本编辑语言可为Javascript或C#[13]，本文选择C#。

旋转功能通过Rotate()函数来实现，缩放功能通过localScale()函数实现。关键脚本代码如图4所示。

由于无法在Unity3D中直接进行剖视显示，需通过建立另一并列独立剖视三维模型的方式，设置按钮组件激活状态的“true/false”进行整体模型与剖视模型的转换。剖视实现的关键脚本代码如图5所示，其效果如图6所示。

2.4 工艺路线制订辅助功能的实现

在该模块的设计中，通过指示体模型代表各加工工序，通过点击各指示体进行相应加工工序的排序，实时显示于屏幕上，并进行合理性评分，如图7所示。

创新运用Unity3D中的射线法，当单击操作被触发时，从摄像头发出一条射线，方向指向触摸点，如果在射线路径上有碰撞体模型与射线相撞，即可选中该碰撞体模型(即可选中各指示体模型所代表的加工工序)，从而可以进行加工工序的排序，实现工艺路线的制订。核心脚本如图8所示。

图4 旋转、缩放功能关键脚本代码

图5 剖视功能关键脚本代码

图6 剖视效果图

图7 工艺路线制订辅助功能模块

图8 射线法实现加工工艺路线制订关键脚本代码

3 系统操作

系统操作流程如图9所示。打开手机端App，进入主界面，然后扫描图纸，将在图纸上融合显示零件的三维模型，可通过手势操作进行旋转、缩放。点击剖视虚拟按钮，将显示剖视模型，也可以通过手势操作进行旋转、缩放。点击三维模型按钮也可返回完整三维模型视图。

图9 系统操作流程

点击制订工艺路线的虚拟按钮，工序指示体将显示于剖视图相应加工工序之上。然后，学生通过点击相应工序指示体进行工艺路线排布，排序结果以及合理性评分也将实时显示于屏幕右上角，以便于给学生相应的反馈。此外，点击参考信息按钮可以显示零件加工必要的参考资料以及零件介绍。

4 结语

基于AR的机械制造工艺课程设计教学辅助系统能够实现零件三维模型的融合显示，并能结合实际教学内容进行零件加工工艺路线的制订，达到一种沉浸式学习的目的。系统的开发和应用，不仅对提高机械制造工艺课程设计的质量起到了一定的作用，还对虚拟仿真资源在实践教学中的运用，以及研究信息技术对于传统教学模式和方法的改革有所启迪，为AR技术引入实践教学提供了新思路。

References)

[1] 李旦,王娜君,陈明君.引导—激发—鼓励式课程设计指导方法的研究与实践[J].中国大学教学,2010(2):65-67.

[2] 季光平,施平,王广林,等.一种CAPP示教系统软件的研制[J].哈尔滨工业大学学报,1994(6):129-133.

[3] 李洁.基于Android平台的增强现实系统研究与应用[D].保定：河北农业大学,2015.

[4] 戴瑞婷.基于Android的增强现实客户端的设计与实现[D].成都：电子科技大学,2015.

[5] Mura M D, Dini G, Failli F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J].Procedia CIRP, 2016,41:340-345.

[6] 李志刚.VR/AR元年,看产业链巨头如何布局：GTIC 2016中国(北京)VR/AR产业峰会侧记[J].电器,2016(5):32.

[7] 王荣.Pokemon Go爆红 AR被热捧[N].中国证券报,2016-07-16(A10).

[8] 房雅楠.春节“AR红包”玩出线下引流新入口[N].中国商报,2017-01-24(P07).

[9] 徐剑坤,杨乾龙,杨乾霞,等.增强现实技术在采矿工程实验教学中的应用[J].实验室研究与探索,2013,32(2):136-139.

[10] 张宝运,恽如伟.增强现实技术及其教学应用探索[J].实验技术与管理,2010,27(10):135-138.

[11] 杜玉红,侯守明.移动终端增强现实技术在教学中的实践研究[J].电子技术与软件工程,2016(13):60.

[12] 罗永东.基于Unity3D的移动增强现实技术与应用研究[D].青岛：青岛科技大学,2015.

[13] Michalos G, Karagiannis P, Makris S, et al. Augmented Reality (AR) Applications for Supporting Human-robot Interactive Cooperation[J]. Procedia CIRP,2016,41:370-375.

Development of teaching assistant system for curriculum design of mechanical manufacturing process based on AR technology

Pan Xudong, Sun Xiaolei, Li Dan, Wang Guanglin, Yan Jihong

(School of Mechanical and Electrical Engineering, Harbin Institute of Technology, Harbin 150001, China)

The exploration on the introduction of the AR (augmented reality) technology into the practical teaching is carried out, and by using the AR technology, the teaching assistant system of mobile terminal is developed. This system takes Unity3D as the integrated development environment, and Vuforia as the software development kit. At the application end of the intelligent mobile phone, the 3D model of the part is displayed by scanning the part drawings, and the model can be rotated, scaled and dissected. In combination with the process curriculum design, the system can assist to determine the process route for the parts.

curriculum design; AR technology; mechanical manufacturing process; teaching assist system

G642.0

A

1002-4956(2017)10-0139-04

10.16791/j.cnki.sjg.2017.10.034

2017-04-12

黑龙江省教育科学“十三五”规划2016年度重点课题(GJB1316020)；黑龙江省高等教育学会高等教育科学研究“十三五”规划重点课题(16Z001)；黑龙江省教育科学“十三五”规划2016年度备案课题(GJD1316008)；2017年黑龙江省高等教育教学改革项目(SJGY20170631)

潘旭东(1977—)，男，四川达州，博士，副教授，系副主任/高端装备制造虚拟仿真实验教学中心常务副主任，主要研究方向为实验室建设管理和精密零件加工工艺检测技术.

E-mail：pxd@hit.edu.cn