增强现实技术在车削加工实训教学中的应用

何福本, 梁延德, 张红哲, 王克欣, 吴 涛

(1. 大连理工大学 工程训练中心, 辽宁 大连 116024；2. 大连一特科技有限公司, 辽宁 大连 116085)

增强现实技术在车削加工实训教学中的应用

何福本1, 梁延德1, 张红哲1, 王克欣1, 吴 涛2

(1. 大连理工大学 工程训练中心, 辽宁 大连 116024；2. 大连一特科技有限公司, 辽宁 大连 116085)

将虚拟仿真技术应用于工程训练教学,开发了适用于主流移动终端操作系统的增强现实(AR)技术的应用APP,并用于普通车床加工工艺实训教学环节。该APP以三维注册技术和区域识别方法予以实现。学生通过对技术图纸进行扫描识别和手指操控,可以方便地查看零件的虚拟立体图像、相关知识及其影像,实现了平面图纸的立体化,建立了包括理论知识、工艺规程和安全应知等教学内容的AR辅助工训教学模式。

增强现实； 虚拟仿真； 工程训练

在传统工程训练实践教学中,学生往往会在工程图纸识别上出现认识偏差和理解错误。如何在传统实训项目中引入新的思路和方法,有针对性地对一部分实训项目进行教学方法改进和教学内容建设,是一项十分必要且具有意义的教学改革探索。近年来,虚拟现实(virtual reality,VR)技术、增强现实技术(augmented reality,AR)和混合现实技术(mixed reality,MR)得到了迅速的发展,已经在诸多领域得到应用。

AR技术是将计算机产生的三维虚拟对象与真实世界相融合,将虚拟的信息和真实的环境集成起来,提升用户对现实世界的感知和认识,是一种先进的虚拟现实技术,具有虚实结合、交互性好、真实感强等特点[1-8]。工程训练教学的特点在于实践场景的真实性、教学形式的多样化以及强调学生动手操作,如果将AR技术引入实训项目中,将会提升学生的参与感和学习兴趣。

目前,AR技术在教学中的应用主要体现在展示内容和引导操作的教学内容建设方面,例如将AR技术应用于虚拟装配过程[9-10]。一些教学实例都很好地利用AR技术的特点,提高了学习的趣味性和吸引力,但是缺乏与真实环境交互的功能,学生仍然是以“看”为主。因此,对于AR技术在工程训练教学中的应用,需要提出一种新的、可行的教学新方法,将虚拟现实技术紧密地应用于现场实践教学。

工程图纸是重要的机械加工工艺交流媒介,用来表达和记录设计人员的设计意图和加工信息。在工程训练车削加工实训教学中,学生需要掌握一定的专业知识和技能,才能够正确地识图并操作车床进行零件加工。笔者应用AR技术进行辅助车削加工实训教学,将传统的平面工程图纸进行立体化呈现,建立了一种包含相关理论知识、工艺规程和安全应知等教学内容的AR辅助工程训练教学模式,开发了手机移动端APP,取得了较好的教学效果。

1 AR工程图纸的应用

AR技术的核心是基于机器视觉的三维注册技术，基于标识的注册技术需要在真实环境中添加人工标记。基于自然特征的三维注册技术是根据真实环境中的某些自然特征,提取相应的关键点作为识别特征点,与数据库中预存的特征点匹配,从而实现三维注册。不同于其他AR识别对象,工程图纸是根据国家标准或行业标准绘制的,因而无法通过添加特殊的标记以增强视觉识别能力,所以只能采用基于自然特征的跟踪注册方法。

1.1 三维注册实现

三维注册的目的是要确定所添加的虚拟对象在真实空间坐标系中的位置,从而将虚拟对象实时、正确地显示在显示器上,实现虚拟对象与真实环境的结合,而其主要工作就是确定世界坐标系、摄像机坐标系和图像平面坐标系之间的关系,相关变换关系如图1所示。

图1 三维注册坐标系变换

三维空间中一点P在世界坐标系中的坐标为(xw,yw,zw),在摄像机坐标系中的坐标为(xc,yc,zc),在图像平面坐标系中的坐标为(u,v)。点P从世界坐标系转换为图像平面坐标系的过程可由式(1)和(2)进行表示：

1.2 区域识别方法

目前，通用的AR识别方法是使用算法检测和追踪采集平面图像特征点,与目标资源数据库里的特征点进行匹配,以实现三维注册。因此,适合AR技术的图片需满足图片细节丰富、特征点明显、图像对比度强、重复图案少等技术要求。但是,在实际生产和工程训练中,工程图纸一般是黑白打印,缺乏色彩细节,线条和尺寸标注较多,不容易提取出特征点,尤其在同类零件、不同尺寸的图纸中,零件相似度高。如果对整张图纸进行AR识别,误识别率将比较高,甚至无法识别。所以提出一种将图纸图形进行区域划分、并按区域进行识别的方法,以满足实训项目的AR实现要求。

工程图纸一般由3部分组成:图框、标题栏和零件图形,用区域识别方法进行AR识别时,首先要识别图框以确认图纸类型,然后识别标题栏以确认图纸信息,最后识别零件图形以确认零件类型。只有三者均识别正确,才算图纸整体特征匹配成功。

在进行AR识别时,设置一个图纸识别阈值α,只有特征匹配度大于α时才会显示匹配成功,且在一定范围下阈值α是有效的。α值过小会增加误识别率；α值过大则会增加识别时间、降低识别效率。图2所示为车削加工实训中使用的阶梯轴零件图以及将零件图整体识别转化为区域识别及融合识别后的效果。

图2 阶梯轴图纸区域识别

采用区域识别方法可以将工程图纸中标题栏和图形分别进行识别,再进行融合识别,能有效降低识别误差、避免重复识别,从而提高对工程图纸的识别正确率和准确度。

2 AR辅助工程训练教学模式

2.1 AR教学认知模型

在虚拟现实技术实验教学中,从技术层面上讲,学生在虚拟情境下的知识转移度主要取决于沉浸度、认知度和交互度,通常称此为AR三维度[11]。在工程训练教学中,每个维度又包含层递进式内容。

沉浸度主要包含环境沉浸和多元感知。环境沉浸是指学生在实训过程中完全专注于现场环境和虚拟场景；多元感知是指学生从视觉、听觉、触觉等产生多元化感官体验。

认知度主要包含模型构建和信息传递。模型构建是指学生能够在虚实结合的环境下主动进行探索和构建；信息传递是指借助于虚拟现实环境向学生传递知识和信息。

交互度主要包含设备交互和图纸交互。设备交互是指学生在实训过程中与加工设备的交互；图纸交互是指学生通过图纸掌握实训内容和操作指导。

AR教学认知模型(见图3)融合了沉浸度、认知度和交互度,能够最大化地克服传统教学环境的限制,有利于提高学生的学习兴趣和求知潜能。将AR技术引入实验教学是对目前工程训练教学体系的补充和增强。

图3 AR教学认知模型

2.2 移动端AR学习

随着移动互联网和信息技术的快速发展,教学系统也逐渐走向了网络信息化和移动应用化,智能手机或平板电脑的使用也越来越普遍。因此,工程训练教学也需要对原有的教学模式进行改进和升级,在移动端上开发有针对性的工程训练教学APP,让学生在工程训练过程中体验并应用新技术,有利于提高学习质量和改善教学效果。结合上述车削加工实训中AR辅助图纸识别应用,设计了一套基于移动端的AR学习流程,如图4所示。

图4 移动端AR学习流程图

在AR学习流程中,学生需要先使用智能手机或平板电脑等设备扫描指定的二维码,下载实训项目适用的APP程序,然后对车削实训中相关的零件图进行现场扫描,系统会自动识别零件的虚拟化模型,学生可以对模型进行手指操控。在虚拟化模型加载的过程中,对于该零件相关理论知识及影像、工艺规程和安全应知等都可以进行查看,方便学生在车削加工过程中进行操作。结合立体模型更能够帮助学生加深对切削加工理论知识的理解和认识。

3 结语

在虚拟现实技术快速发展的背景下,将增强现实技术应用于实践教学中,建立起适用于工程训练的AR铺助教学模式。该模式将虚拟内容与实际环境相结合、突出真实体验感,通过强交互方式拉近理论知识和实践内容距离。学生可以通过手机APP进行扫描识别和手指操控,增强了工程训练实践教学的吸引力,提升了学生的学习兴趣,也有助于教师更好地进行现场授课。此外,学生还可以在实训现场进行AR辅助学习,可以在课余时间自行打印工程图纸,随时查看图纸信息和相关教学内容,加强对知识技能的掌握和经验的累积。由于AR技术的可扩展性,该辅助工训教学模式不但可以应用于车削加工工程训练教学中,还能够延伸应用于其他类型的实训教学中。对于不同类型的实训AR教学资源的建设,需要根据实训教学内容进行研究和探索。

References)

[1] Mura M D, Dini G, Failli F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J].Procedia Cirp, 2016, 41:340-345.

[2] Martín-Gutiérrez J, Fabiani P, Benesova W, et al. Augmented Reality to Promote Collaborative and Autonomous Learning in Higher Education [J]. Computers in Human Behavior, 2014, 51(PB):752-761.

[4] 王巍,王志强,赵继军,等.基于移动平台的增强现实研究[J].计算机科学,2015(增刊2):510-519，549.

[5] Girbacia F. An Approach to Augmented Reality Technical Drawings [C]//Proceedings of the 2nd WSEAS International Conference on Sensors, and Signals and Visualization, Imaging and Simulation and Materials Science.2009: 27-29.

[6] 闫甲鹏,何汉武,陈和恩,等.基于移动终端的增强现实虚实融合技术[J].中国科技论文,2015,10(16):1890-1893.

[7] 邸馗,于天彪,陈培媛,等.虚拟现实技术在机械工程实验教学中的应用[J].实验技术与管理,2014,31(10):10-12.

[8] 倪晓赟,郑建荣,周炜.增强现实系统软件平台的设计与实现[J].计算机工程与设计,2009,30(9):2297-2300.

[9] 彭涛,李世其,王峻峰,等.基于增强人机交互技术的虚拟装配[J].计算机辅助设计与图形学学报,2009,21(3):354-361.

[10] Paolis L T D, Ricciardi F, Dragoni A F, et al. An Augmented Reality Application for the Radio Frequency Ablation of the Liver Tumors [J].Lecture Notes in Computer Science, 2011(11):572-581.

[11] 刘德建,刘晓琳,张琰,等.虚拟现实技术教育应用的潜力、进展与挑战[J].开放教育研究,2016,22(4):25-31.

Applications of augmented reality technique in lathing training teaching

He Fuben1, Liang Yande1, Zhang Hongzhe1, Wang Kexin1, Wu Tao2

(1. Engineering Training Center, Dalian University of Technology, Dalian 116024, China; 2. Dalian 1Tek Co., Ltd., Dalian 116085, China)

Applying the new progress of virtual simulation technology to engineering training teaching in colleges and universities, and according to the characteristics of practical teaching, an APP of augmented reality (AR) applicable to the mainstream mobile terminal operating system is developed and applied to the general lathe processing in the practical teaching segment. Through scanning and identifying the technical drawings of practical program and using fingers to control it, the students can conveniently see the virtual graphics of parts, related knowledge and its images in real time, realizing “Plate drawings to three-dimensional graphics.” It proposes and establishes an AR assistant engineering training mode including the relevant theoretical knowledge, the technical process and the security instruction.

augmented reality; virtual simulation; engineering training

10.16791/j.cnki.sjg.2017.03.032

2016-10-14

何福本(1984—),男,辽宁庄河，博士,助教,主要研究方向为机器人技术和虚拟现实技术.

E-mail：hefuben@gmail.com

TG511；G642

B

1002-4956(2017)3-0127-03