混合现实（MR）技术在机械实践类课程的全息教学应用研究

刘俊英，梁丰

（河源职业技术学院机电工程学院，广东河源 517000）

0 引言

《国家教育事业发展“十三五”规划》中提出要实现中国教育现代化2030远景目标，目标包括教育质量全面提升。在当前形势下，国家鼓励改革创新驱动教育发展、激发学校办学活力、强化高校创新体系建设、积极发展“互联网+教育”。“工业4.0”、“制造2025”已成为当代的关键词。

2016年是我国虚拟现实技术的元年，虚拟现实技术简称VR，是利用三维图形生成、多传感交互、多媒体、人工智能、人机接口、高分辨显示等高新科技，对现实世界进行全面仿真的一种技术[1-3]。VR技术具有沉浸性（Immersive）、交互性（Interactive）和想象性（Imagination）3种特征[4-5]。混合现实技术简称MR，是VR技术的进一步发展[6]，该技术将真实场景和虚拟元素不同程度地融合在一起，形成虚实结合的混合可视化环境,以增强用户体验的真实感。MR技术具有虚实结合、交互性和3D注册等3个基本特征[7]。

随着时代的不断进步，将虚拟现实和混合现实技术应用于教育领域已成为必然的发展趋势。

1 混合现实技术在机械实践类课程的应用优势

1.1 搭建理实桥梁并实现教学与产业需求接轨

因为机械实践类课程的特殊性，学生需要掌握必须的操作技能。为了培养技能型人才，目前很多高职和中职院校开设的实践类课程占比非常多。但是由于实训场地不够大、实训设备不够全、教学成本比较高、购买的设备价格比较昂贵且需谨慎使用等原因，机械类专业的实践课程很难顺利开展实训。即使勉强开展了实训，在实训授课中，因为班级人数较多，需要很多人一组才能操作一台实训设备，致使只有少数积极动手的学生能得到训练，大多数学生经常因实训时间有限、实训场地不够大或者因为安全因素考虑，只能掌握片面的实践技能，不能进行核心、全面和系统化的实践训练。另外，有些院校的实训设备更新换代比较慢，已经不适应企业的新需求，所培养学生的职业技能已跟不上时代的进步。基于以上这些原因，将混合现实技术应用于机械实践类课程的实践训练势在必行。通过混合现实技术，作为连接“理论”和“实践”的桥梁，实现维度、真实与交互的升级，能够提升实训效果与学习积极性；并且能够配合学校真实的设备，以虚实结合的方式提供与产业需求相接轨的实训教学内容。也可以将企业的实际加工设备与混合现实技术相融合，在学校实训中通过构建虚拟仿真实训平台让学生们理解产业需求，培养实践技能，实现教学与产业需求接轨。

1.2 开发成本低且安全系数高

传统的机械实践类课程需要学生直接在实训设备上进行操作，由于学生是初学者，很容易发生安全事故，将混合现实技术应用到该类课程中即可完全避免安全事故。通过虚拟仿真软件教学后再进行真实设备的实践教学，可以大大减少安全事故的发生。

基于混合现实技术对机械实践类课程进行虚拟仿真软件开发完成后，只需进行维护升级即可，不用再购买相关实体设备，可以大大降低学校实训室的资金投入。

1.3 解决学校实训资源匮乏、实现“自主造血”的需要

随着时代与产业的发展，数字化教学资源建设应该紧跟前沿技术、与时俱进。目前许多院校的机械类专业实训室缺乏基于混合现实技术的虚拟仿真实训室，学生在实训的过程中经常出现不按规程操作等行为，使设备严重老化、精度下降，致使本来为数不多的实训资源更加匮乏。通过混合现实技术的应用，可解决实训资源匮乏的现实问题。同时可以提升专业教师及学生的高质量教学资源个性化开发和持续升级的能力，并且可以根据机械实践类课程的特色、教学侧重点和教学难点，配合自身的教学方法，开发个性化虚实结合的教学资源，并不断地进行升级改造，从而满足学生对实训设备的需求，实现“自主造血”的需要。

2 基于混合现实技术进行全息教学系统应用研究

重点研究MR（混合现实）技术在传统机械实践类课程中的应用，将MR技术与机械实践类课程所涉及的专业技术相结合，基于MR技术将机械实践类课程所涉及的专业技术以混合现实形式进行呈现，具体研究内容如下。

1）虚拟实训设备。机械实践类课程涉及到很多实训设备（如数控机床、汽车发动机等），要开发全息教学应用系统就需要虚拟相应的实训设备，包括实训设备本体和相应的检测和拆装工具等。虚拟实训设备和检测及拆装工具需要做到外观结构及各部分尺寸与真实实训设备和工具完全相同，需要开发者在建模方面功底较深。目前用于建模的软件主要有UG、Pro/E、3D MAX、SolidWorks等，为使应用者有更强的体验感和真实感还需要附以Photoshop等软件进行建模优化。

2）部件认知介绍。学生新接触实训设备可以在基于混合现实研发的虚拟仿真系统中进行部件认知介绍，通常可以通过引出线和部件提示等方式进行。开发的全息教学系统应考虑到应用者位置视角与设备的距离关系进行引出线的显示，引出线应可以显示全部设备的名称，也可以根据使用者的位置进行分级分层显示，增加真实感和体验感。当使用者碰触到某个零部件时，应自动显示该结构的名称，亦可以通过语音等进行部件名称提示。

3）全息教学系统软件界面定制。软件界面的定制包括菜单、工具条和界面布局等方面。为保持界面的整洁，使应用者有更好的体验感，尽量不在界面上显示菜单，可以采用隐匿式菜单，需要时可以点击显示，不需要时可以将其隐藏。软件界面的整个屏幕尽量不要被切分，都用来显示实训场景，可以使用户有更真实的使用效果。

4）虚拟实训场景构建。在全息教学系统中构建虚拟实训场景，应该使学习者可以进行漫游操作，可实现第一人称漫游，包括前进、后退、左转、右转、抬头、低头等，这样可以增加真实感和交互性。

5）运动仿真实现。学习实训设备（数控机床或汽车发动机等）的工作原理需要进行运动仿真实现。全息教学系统应能够通过局部显示、剖切显示、透视效果、旋转效果等各种形式，在使用者的各个视角学习和观察实训设备运动的整个过程。运动仿真实现是整个全息教学系统开发的难点，需要开发者熟悉整个实训设备的运动原理并在开发平台上通过编程、动画演示等来实现。

6）感知系统与图像识别研究。感知系统与图像识别是计算机系统快速和精确地分析图像并识别其特征的能力。其过程是先用摄像头捕捉画面，把现实的东西虚拟化，把二维的图像通过计算机形成三维的虚拟图像，形成3D建模，把实训场景及实训设备融合进虚拟的3D世界里面，可以大大减少建模工作量，使虚拟实训设备的建模更加容易实现。

7）拆装、维修、操作实训混合现实创建。全息教学系统中可以进行实训拆装、维修、操作等混合现实创建。基于MR的全息教学系统可以先让学生观看实训拆装、维修、操作的正确步骤，对各实训过程进行仿真演示，同时伴有语音或文字说明，让学生尽快理解和掌握。为增强交互性，提高学生的动手实践能力，在观看拆装、维修、操作演示之后，可以在系统上进行实训操作，学生可以按操作步骤完成一系列的操作任务，教学系统可以给予一定的评价，如果学生出现错误，可以提示其进行改正，上一步正确后才可以进行下一步操作。拆装、维修、操作实训等混合现实创建是一个非常复杂的过程，开发者可以由浅入深、逐步推进，先实现较简单的功能，再根据实际情况不断升级和完善。

8）观察功能实现。全息教学系统中应包括丰富的观察功能，包括局部观察、剖视图观察、缩放观察、透视观察、旋转观察等手段。这样可以使学习者比观察真实设备还能更真切地熟悉和掌握所学实践内容。在观察模式方面，主要有场景观察和焦点观察两种模式。场景观察模式包括整个场景的显现，支持学习者的移动和视线转动，可以根据学习者的要求进行上下、前后、左右、远近的切换，使学习者更有自主感，更加身临其境。焦点模式就是将所学相应实训设备作为主要显示观察对象，隐去周围其他的辅助场景。

9）辅助功能实现。辅助功能有很多，通常最常用的为语音提示学习功能，该功能可以通过语音提示学生进行操作的相关步骤，可以使学生更快地掌握所操作内容，增加整个教学应用系统的趣味性和实用性。

10）同步位置和映射（SLAM）功能实现。SLAM是混合现实技术应用的难点。混合现实既要考虑虚拟世界的位置，又要匹配真实世界的位置，一切都在使用者的操作下不断地变化中，为了使虚实融合，需要不断地感知和创建新的环境地图，定位和跟踪使用者的实时运动位置。同步位置和映射（SLAM）功能的实现通常需要采用传感器数据传递和图像识别的SLAM算法来计算使用者在真实物理世界中的位置。

3 拟解决的关键技术

1）开放式开发架构。一般虚拟仿真软件的开发需要开发者必须掌握基本的软件编程知识，并使用相应的程序开发语言进行开发，对开发人员的技能水平要求较高。混合现实技术开发平台很多，有很多开发引擎，为了实现开放式开发架构，可以采用文本编译方式实现文字语音的输入、运动命令的编辑、触发的控制、逻辑的判断、UI界面调整和驱动函数库的对接等功能。其次，软件发布后，只要发现有问题，不用重新编译程序，只需要打开文本进行修改，修改好文本再保存，就可以直接改变相对应功能，降低了开发门槛。

2）符合教学场景的模型创建。虚拟场景的搭建需要模型，建模是整个全息教学系统开发中需要解决的关键技术。常用的三维建模软件有UG、Pro/E、3D MAX、SolidWorks等，建模非常繁杂，一般的机械实训设备（例如数控机床，零部件模型多达几百个），需要大量的时间来完成。使用三维软件建模，导出文件后，可以将模型导入到全息教学系统开发平台中（目前比较常用的是Unity 3D开发平台），进行虚拟场景的创建。建模时，须按真实场景的标准化规格进行统一设计，比例要统一，一般是按真实设备的结构和尺寸原值比例来创建，一个模型建好后，通常可以在一个场景中或整个教学系统的多个场景中重复使用，这样一方面减少了建模的重复性工作，另一方面提高了教学系统的开发效率和运行效率。

3）交互式控制。混合现实技术的优势是可以进行交互式教学，系统开发要符合教学设计，建立与使用者之间良好的交互控制，增强整个教学系统的体验感和学习效果。交互控制的原理是操作者通过视觉反馈设备MR眼镜接收到整个场景中设备构件和操作者的实时变化，精确地响应操作者的交互行为，并产生相对应的交互控制。全息教学系统的交互控制几乎存在于整个系统的各个环节，主要包括使用者进出系统控制、场景控制和调度、实时渲染和漫游控制、实时操作效果控制等。以发动机构造和检修全息教学系统为例，交互式控制主要完成虚拟教学场景中发动机模型的动态变化、人机交互检修实践、发动机原理展示等。总体来说，交互式控制是混合现实技术的核心关键技术[8]。

4）与第三方硬件对接。传统软件开发一般只能与某一种MR设备对接。目前市面上MR设备众多，能够与多种MR设备兼容可以极大提升全息教学系统的利用效率。开发的全息教学系统要与第三方硬件进行通用对接，需要单独开发MR兼容模块，包含市场上主流的虚拟头盔开发模块，如HTC Vive虚拟头盔、Oculus虚拟头盔等，且该模块功能支持不断扩展，后续可以与更多的硬件实现兼容。

4 结语

MR技术是一种新型的信息化数字技术，它可以使应用者在虚拟和现实之间自由切换。将MR技术应用于机械实践类课程的教学中，开发全息教学应用系统，可以搭建理实桥梁，实现教学与产业需求的接轨，开发成本低、安全系数高，解决学校实训资源匮乏的问题，满足“自主造血”的需要。系统开发过程需要解决各项关键技术，将各项研究内容与机械实践类课程的专业技术相结合，应用前景非常广。