移动AR技术教学机器人实验辅助应用研究

汪永生 李 岩 刘 明

（铜陵学院，安徽 铜陵 244000）

一、引文

近几年来，越来越多高校兴建了机器人实验室，开设了机器人相关实践课程，对机器人技术发展和人才培养发挥着重要作用[1-3]。机器人实验相对于其他工科类实验要复杂，操作流程与步骤较繁琐，实验难度大。教学机器人[4]是一种适合高校学生的具有开放式特征的实训实验平台，其作用主要以展示机械结构、运动特征和功能关系为主，特点是将机器人的开放性、易用性、教育性和趣味性与一体。就教学机器人实验常规操作方式而言，学生在实验过程遇到困难和问题时，通常会暂停进行中的实验，去对照查阅实验指导书或实验操作手册等辅助资料，不能实时解决问题和困难，这样很难把所有的注意力都集中在实验上，导致实验效率低下，降低了实验兴趣。针对此种情况，本文对增强现实（Augmented Reality,AR）等相关技术进行了深入分析与研究，并提出了基于移动AR技术教学机器人实验辅助系统框架，通过设计和开发移动AR技术教学机器人实验辅助系统，对教学机器人实验提供实时辅助，减少实验操作错误，降低实验难度，增强实验兴趣，提高实验效率。

AR技术在机器人领域的应用国内外有着诸多的研究。Koji Ohmori，Kunio Sakamoto[5]研发了基于 AR技术自动移动机器人系统，通过标识器和远程指示控制，给定一个目标位置，机器人能自动准确地移动到该目标位置。Fang H C，Ong S K[6-7]等人针对机器人任务规划问题，将AR技术应用于末端执行器，并由其指引机器人进行路径规划取向，通过交互界面，用户能够直观地评价机器人轨迹规划过程?刘国现,于莲芝等人[8]设计实现一种用于空间遥操作的增强现实系统模型,实现虚拟模型与现场信息在同一窗口中显示,从而方便操作者的观察与操作，解决了虚拟现实预测技术的不足,提高了遥操作系统的可靠性。周明珠,陈一民等人在文献[9]中提出了基于增强现实多视图视频融合方法,构建多视图控制系统能有效地提高叠加显示仿真机器人的稳定性，很大程度上提高了操作的正确率。李国梁在其博士论文中[10]对机器人在增强现实环境中的操控策略进行研究,实现预测仿真图像和真实图像叠加显示,达到移动机器人环境感知信息重构以及实时跟踪的目的,实现用户对远程端移动机器人远程操控目标。李实,刘波等人[11]将AR技术应用于带电作业机器人系统，利用双目立体摄像机和激光雷达获取精确数据信息标注在显示器上，操作平台上的机器臂通过遥操作方式完成带电作业，操作效率得到了提升，使用体验显著改善。对比传统的机器人操控模式，以上国内外研究大多数在不同程度上改善和提升了机器人操控性能，也给本文研究提供了良好的借鉴。

二、移动增强现实系统

AR技术是利用计算机系统产生的虚拟信息实时融合到真实场景中，以实现增强真实环境，加强用户对真实世界的感知，真正实现技术以人为本，而不是人去适应机器[12-13]。跟踪注册、虚实融合和实时交互是AR技术三个重要的基本特征。

将AR技术移植于移动终端设备的技术称之为移动AR技术[14]。当前以智能手机、平板电脑等为代表的移动终端设备，在硬件性能和软件功能上逐渐与台式机相差甚微，从而为增强现实系统在移动终端设备上的实现提供了一个全新的运行平台。

图1 移动增强现实系统

一个完整的移动增强现实系统包含六大模块构成，分别是视频采集模块、特征识别模块、模型数据库、三维注册模块、模型渲染模块、显示交互模块[15]，如图1所示。视频采集模块主要由移动设备摄像头捕获真实场景的图像或视频信息。特征识别模块对采集的图像或视频信息中的目标进行识别，并计算待注册目标的初始位置。待注册目标的虚拟模型和特征存储在模型数据库，以便三维注册和模型渲染时调用。三维注册模块功能主要是实时跟踪目标对象，在目标正确的位置进行虚拟信息注册。交互模块主要用来处理用户与真实环境实时互动信息，并实时给出相应的反馈结果。模型渲染模块对待增强信息进行渲染，最大程度上实现虚实完美融合。显示交互模块通过视觉方式为用户和系统之间构建一座桥梁，用户可以通过触摸、身体姿态、语言等多种方式实现对系统的交互操作。

三、移动AR技术教学机器人实验辅助系统

（一）系统框架设计与功能

结合AR技术在机器人方面的应用研究，本文将AR技术应用到教学机器人实验，提出了基于移动AR技术教学机器人实验辅助系统框架 （以下简称“移动AR辅助系统”）。移动AR辅助系统主要功能有视频图像捕获、目标物体识别与跟踪、虚拟辅助信息创建和存储型、虚拟信息三维注册、视频虚实融合显示和交互操作、系统原理框架结构如图2所示。

图2 系统原理框架结构

系统基本工作流程是：通过视频图像捕获功能从真实的机器人实验场景中获取视频图像，并对视频图像进行目标识别与跟踪，从而实时获取目标在视频图像中的精确位置。后台数据库中存储着目标特征、3D模型、操作手册、辅助信息等，通过目标识别和跟踪的结果确定所需的信息，再调用数据库中相关信息。根据目标跟踪而得到的位置实时进行虚拟模型和辅助信息三维注册，叠加到真实实验场景中。最后进行虚拟模型和信息虚实融合的视频渲染，显示增强用户视觉感官，并能进行实验操作人机交互。

（二）系统开发流程

系统开发主要流程有目标对象三维建模、AR系统开发工具平台、机器人特征提取等。

1.目标对象三维建模

通过三维建模工具或软件创建机器人实验目标对象三维模型，以便在三维注册时系统调用虚拟模型叠加到真实场景中。目前三维物体建模方法主要有三维软件建模、仪器设备测量建模、图像或者视频来建模等三种，而通过三维软件建模是比较流行的一种。

2.AR系统开发工具平台

目前，AR SDK（Software Development Kit，软件开发工具包）开发工具平台众多，国外比较著名的开发工 具 平 台 有 Apple ARKit、PTC Vuforia、ARToolKit等，而国内近几年也涌现了一批像百度AR、EasyAR等非常优秀AR SDK开发工具平台。对比而言，国外AR SDK开发工具技术更加成熟，功能稳定完备。其中，Unity与Vuforia组合是一个相当不错的AR系统开发工具平台。

本系统开发环境基于Windows7、Unity2017.3个人版、Vuforia7 SDK。Unity3D主要以图形化开发环境方式跨平台综合型游戏开发工具，可以让用户非常容易地创建三维动画、目标可视化等互动内容。Vuforia是目前世界上主流的AR SDK，主要由Vuforia引擎、Vuforia系列工具和云识别服务三个部分组成，支持多种AR识别类型，如Image Targets、VuMark、Multi-Targets、Object Recognization等。 Unity3D 作为一款功能强大的游戏引擎，对3D模型导入导出和控制极其方便，加上Vuforia强大的AR识别功能，是一款非常适合AR开发工具组合。Unity2017以及更高版本已经集成了Vuforia SDK插件，更容易进行AR软件系统开发，并能将系统应用发布至Android、iOS、Mac等移动平台。

观察组与对照组术后6个月的血清TNF‐α值均显著低于术前（P＜0.05）；且观察组显著低于对照组（P＜0.05）。见表4。

3.机器人特征提取

机器人实验操作目标对象为三维物体，其特征提取有别于二维图形图像，需要对其进行三维特征提取，形成目标对象特征文件存储到机器人特征数据库中。安卓机器人是目前高校一种较为常见的教学机器人，搭载了安卓操作系统，具有较为逼真的人形外观，在程序控制下能模仿人类各种动作等。以下以安卓机器人为目标对象，对其进行三维特征提取。实验硬件为华为G9青春版，型号HUAWEI VNSAL00，系统为Android 6.0，三维特征提取软件为Vuforia Object Scanner。 启动 Vuforia Object Scanner，对安卓机器人进行三维扫描，尽可能让绿色区域覆盖机器人，从而提取到更多的特征点，最终形成目标对象特征文件。由于安卓机器人具有人形特征，形状较为对称，角点和边缘点不多，特征不明显。为了提取更多的特征点，增强识别效果，故对安卓机器人身体显著部位贴上标识物，以便获取更多的特征点。

表1 安卓机器人特征点提取数据

从表1可以看出，当给安卓机器人贴上标识物后，提取的特征点显著增多，形成的特征数据库文件也较无标识物情况下要大。提取的特征点数量多少对机器人的识别效果会产生很大影响，下面就对安卓机器人在无标识物和有标识物两种情况下，对其进行三维识别测试。

在无标识物情况下，分别对安卓机器人正面、背面和侧面进行了测试。图3（b）所示，在机器人右下脚处出现绿色长方体，则表示机器人能正常识别，而图3（c）、（d）均未出现绿色长方体，则表示未能识别机器人。

图3 无标识物安卓机器人特征点提取与识别效果

对贴有标识物安卓机器人正面、背面和侧面分别进行测试，测试结果在机器人右下脚处均出现了绿色长方体，表示安卓机器人能正常被识别，如图4（b）、（c）、（d）所示。

图4 有标识物安卓机器特征点提取与识别效果

四、实验结果与分析

（一）系统应用实验

本次实验选用智能手机作为移动终端测试设备，安装移动AR教学机器人实验辅助系统，以安卓机器人实验为实例，进行移动AR教学机器人实验辅助系统测试。安卓机器人实验项目主要有安卓机器人蓝牙通讯实验、基本控制实验、多线程实验、传感器实验和自主避障实验等，实验涉及到机器人程序编程、控制与通讯，实验难度和复杂度比较大。移动AR辅助系统具体操作流程如图5所示。

图5 移动AR辅助系统操作流程

在手机上启动移动AR教学机器人辅助系统，通过手机摄像头系统开始对安卓机器人进行扫描，直至识别出目标对象，同时相关信息也融合到真实实验场景之中，如图6（a）所示。点击其中一个实验项目按钮，进入安卓机器人实验辅助界面，内有“实验准备”、“实验内容”、“实验步骤”、“参考文档”、“实验APP”等功能按钮，如图6（b）所示。通过这些功能，实验操作者可以十分轻松地学习和掌握该项实验的内容、方法、步骤和操作。利用叠加在实验场景中增强现实虚拟模型信息，可进行诸如机器人“前进”、“转头”等人机交互操作，如图 6（c）、（d）所示。

图6 AR辅助实验场景

（二）系统性能评价

为了度量传统方法和移动AR辅助系统的性能差异，在与机器人相关专业学生中随机抽取40人，分2组每组20人进行测试，一组使用传统方法（辅助工具是纸质实验指导书），另一组使用移动AR辅助系统进行教学机器人实验对比，给出满意度（Satisfaction Degree,SD）、易用度（Usability Degree,UD）和兴趣度（Interest Degree,ID）主观评价[16]。主观评价分数由李克特量表(Likert Scale)确定[17]，即5级态度“很满意、满意、一般、不满意、很不满意”，分别对应赋予“5，4，3，2，1”的分值，如表 2 所示。

表2 主观评价分数确定原则

用离散系数(Coefficient of Variation,CV)考察评价数据的波动范围，确保参与评价数据有效性和代表性。离散系数是测度数据离散程度的相对指标，在一定程度上可反映变量之间的离散程度，其定义为标准差与平均值之比：

2.评价结果与分析

表3 两种方法主观评价平均分数据对比

从表3数据分析得出，在满意度、易用度和兴趣度3个指标上，AR辅助系统主观评价平均分值均远高于传统方法。易用度指标上说明了移动AR辅助系统降低了实验难度，提升了实验效率。兴趣度指标则说明了移动AR辅助系统使实验增添了新颖性，更能激发学生的兴趣。满意度指标方面，是学生对移动AR辅助系统的主观认可。

传统方法和移动AR辅助系统SD、UD和ID的主观评价分的均值和离散系数对比如图7所示，图中横坐标对应主观评价指标，主观评价分的均值（蓝色星号标记）和CV值（橙色星号标记）由纵坐标显示。可以看出，两种方法的3个指标CV值都较小，说明评价数据波动范围小，平均指标的代表性较好，可以作为衡量移动AR辅助系统的评价依据。移动AR辅助系统SD、UD离散系数值都比传统方法小，则表明了参与测试学生对移动AR辅助系统的满意度和易用度评价较为一致。在对实验兴趣度评价数据方面，两种方法的CV值相同，体现了参评学生对两种方法带来实验兴趣度的评价数据波动程度一致。

图7 主观评价指标平均值和离散系数

设计的主观评价实验方法虽然会受到诸如参评学生数量、参评学生专业知识水平和教学机器人实验项目样本量等因素限制，可能对实验结果产生一定影响，但对改进与优化移动AR教学机器人实验辅助系统设计具有较高的参考价值。相对于传统方法，移动AR辅助系统的满意度、易用度和兴趣度指标稳定性好，可用于系统性能评价。

五、结束语

本文通过研究AR技术在机器人领域的应用，提出了基于移动AR技术教学机器人实验辅助系统，设计开发了移动AR辅助系统并将其应用于教学机器人实验，利用虚拟信息与实验真实场景紧密融合，直观形象地对每一步的实验进行辅助操作。采用分组实验对比评价方法对系统进行主观评价，数据对比结果显示，移动AR辅助系统要优于传统方法，并能提升实验效率。由于本系统中目标识别借助了第三方识别工具，在目标机器人无标识物的情况下，识别效果一般。研究和改进以机器人自然特征的识别算法，提高识别准确率和成功率，将是今后重点研究目标与方向。