基于AR的实验教学系统

刘艺璇

（唐山市第二中学，河北唐山，130200）

0 引言

随着我国社会主义现代化的不断推进，大部分中小学教学设施配备基本完善。但由于人们对教育的要求不再只是单纯学习书本知识，更多的是追求不断提高实践与掌握的能力。现阶段我国正处于并将长期处于社会主义初级阶段，人口基数大，即使在普及了九年义务教育的情况下，大多数地区只能满足学生上理论课的需求。教育资源和教学场地并不能满足大部分学生的实验需要，且实验的安全性和可操作性也值得考虑。此外五大创新理念以及可持续发展战略要求我们不能为了教学而忽视过多实验造成的资源浪费。这就造成了一定的矛盾和分歧。而随着高端技术的集成，VR以及AR技术在游戏中的应用已经十分广泛且比较成熟，更重要的是在文物保护领域已经做出了突出贡献[1]。例如坐落在河西走廊西端，以精美的壁画和塑像闻名于世的莫高窟。尽管一代又一代工匠们纵毕生之力，保护敦煌文化能够绵延传承，但游客们在观赏壁画时[2]，仅仅呼吸就会对壁画造成影响，其他种种因素更是会对壁画造成不可逆的损害。对外开放的洞窟屈指可数。而运用AR、VR等技术再现敦煌文化，经数字化复原，鲜艳的敦煌壁画重新呈现在世人面前，不仅打破了时间和空间限制，拉近了观众和文化遗产的距离。更使这些珍贵的国宝得以完好的保留。无独有偶，北京故宫博物院一直紧随科技潮流，不久之前正式在互联网上推出了北京故宫博物院VR全景[3-5]。此举不仅仅是为符合“互联网+”的大趋势，同时也是希望借助北京故宫博物院VR全景让更多无法亲临的人，可以在互联网上身临其境般的欣赏故宫博物院的壮观景象和深厚的历史底蕴。由此观之，将虚拟现实技术应用于实验教学领域具有较大的可行性[6]。

视觉同时定位与建图（Simultaneous localization and mapping， SLAM）是一套从机器人领域发展出来的算法，后来被广泛应用于自动驾驶、机器人、增强现实和虚拟现实等各个领域。常见的视觉SLAM所使用的传感器有单目相机，双目相机和深度相机[7,8]。对于单目相机而言，由于单个坐标所对应的是一条射线，单目很难去确定物体的确切位置[9]。相比较而言，双目相机可以通过两个固定的相机可以恢复出比较准确的深度信息，但是会存在计算量比较大的问题。而深度相机可以通过物理的方式测出比较准确的深度信息，所以整体算法的速度比较快，得到的深度信息也准确，但是在面临比较空旷的场景时会出现大量的“空洞”。目前，三种方案都有着广泛的应用[10]。此外，还有结合多种传感器的SLAM算法，可以显著提高SLAM算法的稳定性[11]。

本文在深入分析目前实践教学和SLAM技术的基础上，设计了一款可以用于虚拟实验教学的AR系统。该系统可以在节约教师资源等各种教学资源的基础上，使学生能够身临其境地感受到实验的魅力。

1 SLAM技术

图1 视觉SLAM技术示意图

如图1所示，是视觉SLAM整体技术的示意图。SLAM作为一项可以同时图片恢复相机运动轨迹和周围环境三维结构的技术可以看做是相机拍照的一个逆过程。不同于人可以识别出两幅图片中相同的内容，计算机中以矩阵的形式存放图片，所以计算机无法直接识别出图片。在SLAM算法中。需要有相机不停地采集周围环境中的信息，如图片等。为了计算相邻两帧图片之间的相对运动关系，需要识别出两帧图片中共同出现过的位置。首先对单幅图像进行局部特征点的提取，目的是提取到图片中有代表性且稳定的局部特征点，所谓“特征点”，通俗来说就是在同一场景中采集的多幅图片重复出现的具有突出特征的部分。即在不同的图片中，检测图像的局部特征，找到同一物体独一无二的、比较明显的、区分度较高的一个点，例如边缘、角点等。这一类算法有FAST角点提取算法等。特征点检测完成之后，得到的特征点只有在图片中的位置信息，无法对不同的特征点进行对比。此时需要利用以特征点为中心的区域信息，并充分利用该区域的信息，如灰度值直方图等，并生成一个高纬度的描述符。另外，通过描述符可以消除视角的变化带来图像的尺度和方向的变化，能够更好的在图像间匹配。描述符需要对特征点及其周围的像素点进行计算。在得到两幅相邻图像所有的局部描述符之后，需要对两幅图片的描述符进行匹配。然后对几幅图片的像素点进行匹配。最简单的方法是计算某一个描述符与其他所有描述符之间的距离，然后将得到的距离进行排序，取距离最近的一个作为匹配点。因为这种办法较简单，其结果也是准确度相对较低，这时需要一些机制来将错误的匹配减小到最低。通常两幅照片匹配之后距离应该较小，剩余像素点之间距离较大。当计算机没有匹配到相应的点时，所计算出的对应点距离应该都超出误差范围。若取另一个相似像素点，计算后发现与最近距离像素点的值相近，则可认为匹配正确；若计算结果相差较大，则是一个错误的匹配。此外，还可通过交叉匹配来提高准确率。把第一张图对应第二张图片的像素点记录，再用第二张图片的像素点对应第一张图片。若两张图片对应的像素点是相同的，则可认为对应正确。这样就可大大提高匹配的准确性。

在得到匹配的结果之后，可以通过匹配的结果计算两幅图像相对的运动关系。由于匹配的结果难免存在误差，一般都会在随机抽样一致性（Random Sample Consensus，RANSAC）框架下进行相对运动关系的计算。完成上述的步骤已经得到一个比较粗糙的相对运动关系。通过不断计算相邻图像之间的运动关系就可以得到相机的运动轨迹。由于计算的结果不可能完全准确，因此在计算到当前图像的运动状态之后，可以取当前图像周围的图像进行运动关系进行一次局部的优化。在系统运行一段时间之后，可以进行一次全局的优化过程。

除此之外，一套完整的SLAM算法还需要对系统的累计误差进行修正，通常都采用回环检测算法，这一部分在本文中将不再赘述。

2 设计方案

本文将以SLAM技术为核心进行虚拟实验教学系统理论上的设计。基于AR的实验课教学系统技术路线示意图如图2所示。首先需要建立实验过程中需要用到的实验器材的三维模型。比如化学实验中的：试管，烧杯以及各种化学药品等；物理实验中的电阻，开关，灯泡等；以及实验过程中可能出现的实验现象，比如“气泡”，“明亮的火焰”等各种三维模型。在实际使用的过程中需要对穿戴式设备的运动路径进行跟踪，由于单纯的视觉SLAM存在计算量大，运行过程不稳定的问题。因此可以采用可穿戴式设备中的惯性测量单元（Inertial measurement unit， IMU）和单目相机结合的SLAM算法。在设备在运动的过程中，相邻帧之间的相对运动关系可以通过IMU进行计算，并结合视觉数据进行优化。而在设备重定位或者在累积误差过大需要修正累计误差进行回环检测时，可以使用纯视觉的方案进行修正。在得到设备的运动轨迹之后，将运动轨迹输入到显示设备中，并将实际的运动轨迹作用到虚拟的模型中从而使虚拟的物体显示出相应的运动。此外，使用者可以通过AR设备向真实的环境中添加需要使用到的实验器材，物品等，整套系统可以内置一个实验的仿真系统，可以通过仿真的方式将实验的结果真实地呈现在AR设备中。

图2 基于AR的虚拟实验教学系统设计

3 总结与展望

本文中针对目前我国的基础教育中由于场地资源，教师资源以及经济等各方面限制而无法满足学生实验教育的情况，提出了利用目前非常火热的AR技术进行虚拟实验教学系统。本文中首先对同时定位与建图技术进行了详细和深入地分析，分析了目前主流的各种视觉SLAM的优缺点。此外，对基于增强现实的虚拟实验教学系统进行了设计，考虑到纯视觉的SLAM在使用过程中无法满足稳定性、实时性以及功耗等各个方面的需求，所以采用了惯性测量单元和视觉传感器结合的算法。新提出的系统在理论上可以解决现在实验环境受限的问题，并且可以克服传统实验过程中存在的安全隐患，可以极大地提高资源利用效率。

但是目前该系统还存在一下的问题：

（1）由于采用了局部描述符，所以在光照变化太大的环境中，工作可能会不够稳定。

（2）目前的系统无法捕捉到环境中的语义信息。

上述的问题可以通过目前比较主流的深度学习进行解决，这将是后续的工作方向。此外，由于条件的限制，文本中只针对基于AR的实验教学系统进行了理论上的设计，没有完成实物的制作，这也是后续工作的重点，在做出实物的基础上进行调整和系统设计的改进，优化。