基于AR表现的三视图学习辅助应用

孙莺

摘要：这是一个由一款手机软件和众多教辅资料组成立体化教辅系统。其主要功能是通过使用软件拍摄平面三视图，在手机屏幕上显示对应的立体模型。并具有一定的交互功能，学生可以对模型进行旋转、缩放、平移等操作。其创新点在于AR技术在教学领域的应用和移动教学的优势。该项目主要利用Unity 3D和Vuforia插件实现。在商业策划中发现，该项目具有较强的商业价值。

关键词：AR技术；教学辅助软件

1.研究背景

在调查研究中发现，部分学生缺乏三维空间想象能力，难以通过三视图来构想出对应的三维模型，也很难通过三维模型准确描述出它对应的三视图，这给学生立体几何课程学习和工业设计带来不便。传统的autoCAD软件在三维模型建立上具有良好效果，但对专业知识要求较高，且不具有移动教学、寓教于乐的特性。我们的应用可以帮助同学们解决在立体几何课程上遇到的三维空间想象的难点，辅助培养同学们的空间想象力。除了在立体几何课程上的应用，未来可以进一步将该成果运用到其他更多的领域，如生物化学的三维结构式展示、人体结构的立体显示、文物图册的三维展示等。

同时，近几年AR技术的发展日趋成熟，但却少见在教育领域的普及应用。手机游戏Pokemon Go点燃了公众对AR的热情。阿里巴巴、腾讯、联想等互联网巨头，均联合优质资本杀入了这片蓝海。随着AR爆发周期的到来，市场上的AR产品层出不穷，在AR硬件方面巨大投入的同时，针对手机移动端的开发与人工智能的结合正成为市场的另一个主流。未来，在互联网+的基础上，AR+将成为下一个发展方向。与市场上侧重于将AR技术用于游戏娱乐和产品推广的产品不同的是，我们的产品侧重于教育领域，用于解决学习生活中的实际问题：学生可以同时看到原始图片和立体模型，在对比过程中提高自己的空间想象能力。

2.技术流程

调查提出三种开发技术。其中，H5技术开发成本低和开发时间短，并可以使用WebGL实现三维渲染、使用ARtoolkit实现增强现实效果，但难以使用手机浏览器调用摄像机权限，且不能满足3D渲染的大计算量。原生安卓方式可以使用openCV进行图像识别，OpenGL ES接入Android实现三维建模，但对内存消耗巨大，不注意的话很容易造成卡顿甚至是程序崩溃。为解决以上问题，我们使用Unity 3D搭建整个App，利用Unity 3D自身对三维模型的显示和渲染的良好支持，使建模和三维模型的显示得到了简化。Unity 3D是一款三维游戏引擎，具有很强的三维视频渲染功能，可以实现多种三维动画，并且拥有良好的交互功能。此外，该游戏引擎可以发布游戏至Windows、Android、IOS等多个平台，充分满足开发需要。

2.1 Maya建模

建模部分使用Maya建模后導出fbx文件供Unity 3D使用，这在简化建模、大大减少数据占用的内存空间的同时，使得模型能够更好的显示。

将组合体的三视图分别导入Maya的三个对应视图，按照三视图建立对应模型。在此过程中使用构造实体几何法，将Maya中提供的基本几何体通过布尔运算进行求并、求差。在操作中应一直保持各部分实体简单、易进行布尔运算，并在最后将各简单实体结合。

2.2 Vuforia增强现实

Vuforia是全球应用最广泛的AR开发平台，支持手机，平板电脑和眼镜。Vuforia具有良好的图像识别能力，我们将待识别的图片上传至Vuforia网站便可得到一个关于该图片的评分，用以表示该图片被识别的难以程度，评分越高图片越容易被识别。将所有图片处理完后上传至Vuforia官网后便可下载其对应的数据库，并将这个数据库导入到Unity 3D中。在不同的target上绑定对应的识别卡和立体模型，便可实现增强现实效果。

3.优化方案

Vuforia通过分析相机可见目标的对比度特征来识别和跟踪目标，同时通过设备摄像头来获取目标图像，所以优化目标检测和提升跟踪稳定性尤为重要。我们从提高目标星级评分、相机对焦模式和印刷目标的平整度与光泽度这三个方面来介绍我们的优化方案。

3.1提高目标星级评分

Vuforia的图像目标是基于从目标图像中提取的自然特征进行检测并评分，然后在运行时与实时相机捕获到的图像特征进行比对，比对成功后立即显示对应立体模型。具有以下属、性的图像目标会实现Vuforia SDK的最佳检测和跟踪性能：丰富的细节（街景、人群、拼贴画、运动场景），良好的对比，没有重复的模式（勿使用草地、大量相似的房屋、棋盘），格式（必须是8位或24位PNG和JPG格式、小于2 MB、JPG必须是RGB或灰度）。

3.2相机对焦模式

如果图像目标在照相机视图中没有很好地聚焦，则结果会非常模糊，严重影响目标细节的检测，甚至由于较小差异而显示错误的立体模型。因此，我们通过控制设备摄像头的对焦模式，提高应用的用户体验来获得目标的最佳图像，从而提高检测和跟踪性能。我们选择打开相机驱动程序的连续自动对焦功能功能（FOCUS_MODE_CONTINUOUSAUTO），以确保最佳的相机对焦条件，产生最佳的跟踪结果。

3.3印刷目标的平整度与光泽度

使用Vuforia SDK进行跟踪的质量会在打印目标不平坦时显著降低。在设计物理打印输出时，应尽量确保目标不会弯曲，卷起，并且不会起皱或起皱。同时现代激光打印机的打印输出也可能有光泽。在环境照明条件下，光泽表面不是问题。但是，在某些角度下，某些光源（例如灯，窗户或太阳光）可以创建光泽反射，从而覆盖打印输出原始纹理的大部分区域。反射可能会产生跟踪和检测问题，此时就需要使用者更换拍摄角度来减少影响。

4.商业策划

“优先发展教育事业”的大背景给了该项目良好的政策支持，家庭教育支比重的不断攀升带来了行业环境上的优势，教育类APP市场前景广阔，AR技术的不断成熟更是为该应用的实现带来了可能。

4.1风险评估

风险主要来自于市场风险和技术风险。市场风险体现在市场竞争。随着AR技术应用领域的逐渐广泛，在教育行业的应用势必成为一个新的投资热点；已具规模的技术公司进行产品研发如加入市场竞争，凭借成熟的技术研发团队、雄厚的资金支持势必成为本项目的发展的强劲威胁。应对市场风险的策略是提升A轮融资在市场推广投入比重，扩大市场推广力。技术风险主要来自于APP支持系统在图像智能识别上存在缺陷，依靠数据库建立获取模型的技术实现较为简单容易被复制。应对技术风险的策略是依托强大的校园渠道优势，获取一手优质第三方平台合作资源；依靠资源质量优势弥补技术缺陷。

4.2盈利模式

盈利来自于电商、社交和广告。在线商城覆盖品类包括教辅书籍、教学模型（可定制）、礼品周边等。电商模式主要分为商家平台（主会场）和产品自营（主题店铺）。在线商城的运营模式主要包括为出版社、教育机构、器材上等提供平台支持，根据销售额按一定比例分成；此外，自产自营的创意产品主题店铺，通过销售创意模型艺术品等获取利润。广告盈利包括软广和硬广。软广来源于软文植入和AR堆乐游戏界面和AR堆乐模型皮肤的场景植入。硬广包括主界面和在线商城的banner广告。