混合现实技术在智能制造专业群的实训教学应用研究★

2024-05-29李优

现代工业经济和信息化 2024年1期

李优

（山西工程职业学院教务部，山西太原 030009）

0 引言

随着虚拟显示技术和硬件算力不断迭代升级，整合优化AR 和VR 技术的混合现实技术（MR）带给用户更加贴近实际的感官体验，各行各业的技术转型也纷至沓来[1]。高职教学更加强调学生专业技术能力的培养，传统实训教学存在可视性和灵活性不足的问题，教学效果不够理想，智能制造专业群相关技术类课程的实训教学尤为明显，将混合现实技术应用于实训教学，将有效提升教学质量。

1 MR 技术应用概述

混合现实（Mixed Reality，MR）是AR 技术的升级，通过现代计算机技术、图像处理技术、人机交互技术和显示设备共同作用，实现物理实体和数字显示对象在三维空间真实对应，将虚拟世界和真实世界融合成一个无缝衔接的虚实融合世界，实幻交织，用户难以分辨真实世界与虚拟世界的边界，用户能够感受到比VR 技术更加逼真实用的场景[2]。随着工业4.0、智能制造等概念的推广，混合现实技术因具备与真实环境、真实物体进行良好人机交互的特性，逐步成为提升生产力的重要工具[3]。在2023 上海国际车展中，宝马集团的BMW i 数字情感交互概念车（Dee）与全彩E Ink 版BMW i 数字情感交互概念车展示了硬件与软件相结合的全新可能性，先进的平视显示系统和混合现实交互界面，共同组成了概念车的中央控制系统，其投影内容能够覆盖风挡玻璃的整个宽度，让信息能够在尽可能大的表面上显示而无需使用任何辅助设备，这种MR 技术能够充分调动不同感官，在车内创造沉浸式体验。通过隐藏在仪表板上的Shy Tech传感器，驾驶者可以自行决定在先进平视显示系统上显示的数字化内容以及内容的丰富程度，极大提升了驾驶乐趣，混合现实技术更是赋予了高职实训课程教学无限可能[4]。

1.1 MR 技术的高职教育教学应用研究

将MR 技术应用于高职专业建设和人才培养，能有效推动现代职业教育的进一步深化改革，意义非凡[5]。黄聪[6]针对混合现实技术在轨道交通信号以及控制专业教学中的有效应用途径展开分析，认为混合现实技术可应用于复杂的轨道交通信号设备工作原理、复杂的轨道交通信号设备部件装配、复杂的轨道交通信号设备等内容模拟。杨晓龙[7]从机械设计和制造类课程传统教学方式的效果、MR 技术应用于机械设计和制造类课程教学的优势以及MR 技术应用于机械设计和制造类课程教学中存在的问题等角度进行混合现实技术在机械课程教学中的应用研究。康东[8]结合高职教育领域数字媒体技术专业特点，从技术发展、开发平台、人才培养、教学环境搭建等角度分析了MR 技术应用于数字媒体专业的主要优势，通过打造实验实训平台，推动 “双导向” 课程改革，对接产业学院等方面的实际应用，收到较好的效果。MR 技术可以将实训教学内容虚拟化，并与教学现场的环境和实物叠加起来，通过虚实结合的方式辅助学生加深认识、强化实践操作[9]。同时，虚拟化的实训内容可以反复播放，有利于实现学生独立学习的需求[10]。

1.2 智能制造专业群的实训教学不足

智能制造专业涵盖装备制造各大领域，各型设备种类繁多、型号庞杂，不同院校又具备不同的专业侧重或办学优势，实训条件参差不齐。尤其是智能制造生产线一般成体系、配套建设，高校的实训设备受限于空间、资金等要素多采用等比例模型仿建，在营造企业真实的生产场景方面也存在先天缺陷；部分实训设备能够使用企业的生产设备，但是日常教学多出于安全和生产要素等客观条件考量经常空转或静态展示，达不到工程实际要求；加之机械制造技术迭代升级迅速，学校实训室建成后往往至少使用十余年时间，随着时间延长实训设备的技术先进性愈发不足，教学内容难以同步企业实际；由于大部分设备每学期只在实训周才运行一段时间，全年工作时间有限，设备老化破损较快，学生实训体验真实感、现场感不足，教学效果大打折扣。混合现实技术具有技术升级灵活、空间利用率高、仿真体验度好等显著优势，将其应用于智能制造专业群的实训课程教学可有效弥补传统实训设备的短板，切实从激发学生学习兴趣、促进办学降本增效、模拟企业生产环境等角度提升实训教学效果。

2 MR 技术在液压与气动实训中的应用

液压与气动技术存在工作压力高、工况较差等缺点，学习时可通过原理图、结构图、视频、动画等多媒体素材理解各类传动元件和系统的工作原理，大部分学校实训以液压系统仿真和操作实训台为主，学生只能看到执行元件的动作结果，但是对液体的压力、流量和流速等参数的认识则仅仅停留在课本层面。例如，煤矿综采工作面使用的液压系统工作压力达31.5 MPa、流量达1 000 L/min，大部分学校实训设备难以实现如此高压大流量的大型生产场景，且实训存在安全隐患，对学校管理、教师能力素质等方面都提出较高要求，而煤矿企业一般生产期间不允许参观实习，不具备现场实习的条件，传统实训内容包括：液压元件的拆装、回路的连接、液压系统的设计与仿真等，学生在理解流体的流场分布、元件的动力学特性、常见故障分析、液压系统等核心要素时难度较大，尤其是高压工况下各类元件表现出来的工作性能和易发生的故障点，教学效果不理想。使用混合现实技术可充分发挥其可视性强的优点，在实训操作台完成实体操作的同时适时配以各元件内部配合关系、流体动态流场分布云图、多媒体介绍、语音提示注意事项等内容，让学生能够生动形象的看到系统内部的工作情况，理解理论课教学未掌握的知识难点。

将MR 技术应用于液压与气动实训可充分发挥其模拟性强、显示质量优、交互方式自然等优势，能够结合实训设备为学生提供更加真实的实训体验，有效改善传统的教学形式和实训方式。液压与气动实训项目一般包括：液压元件的拆装、动作回路的连接、故障诊断与排除、系统仿真等内容，学生拆装液压元件时可借助各类元件的原理图、结构图、三维实体等虚拟图像快速完成任务，可促进学生对结构较复杂的液压阀等元件的理解；动作回路的实训学生仅能完成管路与元件的连接，然后操作按钮完成液压缸或马达动作，使用MR 技术可同步显示流体在管路内的流动情况，结合计算机辅助分析技术充分反应流体间、流体与固体元件间、固体元件间的相互作用关系，能够显著增加学生对液压系统的工作原理，帮助学生构建基于整体工况分析的专业理念；学生在故障诊断时只能根据经验结论推导分析，实训过程较为枯燥，将混合现实技术应用于该模块，可更加形象生动的显示相应故障机理，大幅提高学生学习兴趣和效率。此外，实训内容最大的不足是难以模拟企业生产实际，尤其是负载变化引起的各类元件工作性能变化问题，造成学生就业后发现工作实际与学习内容存在差异，而日常教学很难为学生营造真实生产场景的条件，通过MR 技术可实现远程场景交互，且不受空间限制，能够有效缓解校企融合不足的影响。此外，还可充分应用MR技术扩展实训内容，搭建混合现实实训仿真平台，培训液压课程教师掌握平台实训项目开发技术，借助虚拟显示技术根据专业侧重灵活开展实训，针对行业技术更新还可及时调整实训项目，这是相较于传统实训设备实训项目固定、拓展性差最强的技术优势。

3 MR 技术在焊接技术实训中的应用

焊接技术实训是一门以学习金属材料焊接加工原理、焊接设备、焊接工艺为主的实践性课程，主要任务是学习各种焊接加工原理，认识典型焊接设备和工艺，重点掌握手工电弧焊、冷焊、氩弧焊、氧气乙炔焊（割）、等离子切割的操作要领。由于焊接技术具有高温高压和危害气体等属性，实训的过程中要避免触电、机械伤害、爆炸、烫伤和等工伤事故，能让学员在高度仿真的模拟环境下进行焊接技能的高效训练，采用混合现实技术开发训练模拟器可以让学生能够感受到真实的焊接过程，同时有效地和周围真实的环境进行互动，让学生处于高度逼真的环境中，促进学生全身心投入到当前的任务中，结合传统实训设备可充分发挥其可视性强、安全度高等特点，帮助学生在安全高效完成实训的同时弥补传统实训的不足。

基于混合现实、大数据及人工智能等现代化信息技术开发焊接教学设备，突出 “虚实结合” 的主要特点，目标是解决实际训练中操作难度大 “做不好” 、危险性高 “做不到” 、耗材难买 “做不了” 的实训项目，具备数据采集、智能专家辅助模块和量化考核评价系统等先进独特的教学功能，使学员能够获得在传统教学实践过程中难以量化的精确焊接培训指导，打造高度开放、高度逼真、可交互、沉浸式的虚实一体实训环境。提供智能制造专业群相关专业化场景体验，并能在生产场景中体验企业实际应用的焊接工艺和操作流程，学生可以在虚拟的场景中根据AI 语音指导规范操作，帮助学生养成正确的操作习惯，通过观看不同焊接设备、焊接方法的教学视频学习实训技术，最后根据操作记录和焊接结果与标准进行对比评分。与传统焊接技术实训相比，学生可以在虚拟焊接设备上反复练习，直至掌握操作技能为止，系统同步演示焊接过程焊缝、温度场、熔池等的形成过程，全方位、多角度的展示教学内容，既能为学校削减教学成本，又能激发教师和学生的创新思维。

4 MR 技术在数控技术实训中的应用

数控技术实训的目标是学习实践典型零件的加工工艺和程序编制，理解数控车和数控铣机床的基本工作原理，能熟练掌握较复杂零件的编程、数控系统的常规操作，并能加工常见轴类、盘类零件，能够对机床设备进行日常维护保养，部分专业还要求具备机床调试能力，目标是培养 “懂工艺、会编程、精操作、能维护” 的智能制造专业人才。数控技术的主要不足是加工过程中受切削液、加工空间、人身安全等因素限制而难以准确掌握零件的加工状态，使用混合现实技术开发自动数控虚拟仿真平台可有效缓解这个问题，该平台能够为学生提供实践操作机会，帮助学生在虚拟环境中学习和掌握自动数控平台的操作技能，操作项目涵盖：虚拟机床操作、编程和调试、加工和测量、机床故障诊断与维护，从而提高学生的实践能力和操作熟练度。这种实践操作的培训方式可以减少机床设备的损耗和耗材消耗，同时提供更安全、可控和灵活的学习环境。此外，还可开发平台的教学演示和展示功能，让学生直观地了解和理解自动数控系统的工作原理和操作过程，教师可以通过虚拟仿真演示不同加工操作、工具路径和切削过程，帮助学生更好地理解数控技术的概念和原理，并结合数控机床通信技术向学生引进智能制造生产单元的工作原理和模式。

基于混合现实技术开展数控技术实训，可以整合优质教学资源，根据实训项目进行三维实体建模，按照加工工序模拟即时画面，深度融合1+X 数控专业技能证书考核和评价，做好 “学、练、演、考、评” 实训全过程，结合机床加工实际打造沉浸式、高度仿真、可交互的实训教学平台。混合现实技术应用于数控技术实训有效解决了场地受限、实训场景单一、加工过程可视性不足、存在安全隐患等问题，实训平台容错度高、可视性好、针对性强、性价比高。学生可以放心使用设备，以错误操作为反馈改进实训方案，为实训完成的总结、讲评和改进优化积累素材，并且不用付出 “代价” ；MR 技术构建的虚实场景通过对加工实训过程的造型和还原，将最真实的加工状态呈现在眼前，达到身临其境的效果；混合现实技术还可以变化和形成各种场景和环境，教师可根据教学需要自由选择场景，还可针对实训需求结合实际灵活创造出需要的场景，有效提高实训质量；实训平台不受场景和空间限制的特点，帮助学生实训时能够多视角、多场景、多维度的精细化观察加工零件，且电子设备可重复多次使用，学习成本相对较低，还能够实现多人在线学习，确保学习进度同步，实现协同联训、随到随学、随学随考的功能。

5 MR 技术在机电设备故障诊断与维修实训中的应用

机电设备故障诊断与维修实训的主要任务是帮助学生掌握机电设备中机、液、电装置的基本结构、故障诊断与维修的方法，使学生初步掌握正确使用和维护机电设备的能力和技能，具备典型机电设备故障诊断和排除能力。机电设备种类型号繁多，学校一般挑选常规典型设备进行实训，而智能制造专业群专业分布较广，实训存在针对性不强的问题；实训时一般不对设备进行拆装，仅通过仪器设备采集技术参数或基于典型现象分析得出结论，学生无法观察到设备内部的真实情况，存在可视性差的问题，将MR 技术应用于该实训可有效补齐以上短板。

以混合现实技术为技术支撑，搭建机电设备故障诊断与维修实训平台，基于故障树分析法查找诊断机电设备故障点，故障树最顶层为顶端事件，如故障症状、设备问题等；最底层为底端事件，体现故障排除后的结果；中间多层为中间事件，体现故障排除过程中的各类故障点。联结故障树层级的逻辑关系是因果关系或并列关系，位于中间层与底层的故障原因是因，位于顶层的故障症状是果。实训平台能够通过计算机技术生成三维建模模式，多方位多角度展示实训设备的组成结构以及零件，尤其适用于实训室不便容纳的大、重型设备，通过三维展示模型表现了设备各个部件的透视构造，学生可实时了解目标结构在设备中的作用效果，对故障点有着最为直观生动的认知，从而快速查找确定故障问题；设置可检索图鉴数据库，学生在检索栏中输入关键字就可以从配套数据库中调出相对应的图鉴资源——该部件的造型、结构、零件的图片采集与文本介绍，还可使用虚拟显示技术与教学内容相结合，剪辑成视频或动画，帮助学生补充夯实专业理论知识，增进学生对实训设备理论知识的认识。