MR 混合现实技术在机电工程中的探索应用

王方笛

（中国空空导弹研究院 河南省洛阳市 471003）

结合现实世界和虚拟世界的视觉体验是混合现实（MR）技术，它利用计算机数据处理能力将虚拟数字数据叠加在现实世界环境中来连接现实世界和虚拟世界。随着技术不断迭代更新，应用在各行各业，已经形成产业化趋势。空间定位结合人机交互全息投影与传感技术混合现实技术已实现。用户不仅可以感知现实世界中的物理事物，又能获取有关虚拟数字世界中事物的信息，并实现现实世界和虚拟世界之间的实时交互。BIM 的全称是Building Information Modeling，是整个生命周期工程项目或其组成部分物理特征、功能性能及管理模式的共享数字化表达，是集建设工程项目的设计、建造和运营全过程进行管理和优化的过程、方法和技术。BIM 是数字技术在 AEC（Architec-ture, Engineering &Construction）行业中的直接表达，在施工前先用电脑进行模拟，尽可能多地发现设计、施工和组织协调方面的问题。BIM 技术正在引发建设行业的深刻变革，也为建设管理提供了新的范式。其相关工作和项目的生命周期信息及其重要价值如下：提供有关项目决策的基本信息，精心制作的项目，多层次设计建筑信息模型已经替代了建筑行业的二维模型。展示创造性建筑技能的知识，并提高所有类型的建筑工程的性能。 即构造数据类型中的数据与用户页面的链接方式相同,使信息处理系统的创建能够在现实世界中运行的数字知识。同时，BIM 在建筑行业的技术知名度是基于混合技术实现的。目前，使用混合技术的研究越来越广泛。虽然现在大多数学者只使用 AR+BIM 来研究建筑工程，但MR是实时的、可视化程度更高的技术，并且比AR 更具交互性。建筑数据模型的好处可以体现模型的实用价值，更好地模拟建筑数据。因此，有必要结合MR+BIM 技术深入研究建设数据库工程。

1 运用混合现实（MR）技术的优势

1.1 MR技术的特点

混合现实（MR）技术属于数字感知技术，是由多伦多大学教授史蒂夫曼提出的介导现实技术实现的。通过呈现真实世界的虚拟场景数据，可以在用户、真实世界和虚拟世界之间设置数据交互反馈回路，使得用户的体验感更加的强烈，并且对世界有个新的认知。

MR 技术类似于增强现实（AR），两者都是用一半的现实世界和一半的虚拟图像来表示，但传统的AR 技术是利用棱镜透镜的原理，将真实图像折射显示出来。角度没有VR（ViRtual Reality）那么大，整体清晰度也备受影响。 MR联合了 AR 和 VR 技术的优点和强项。未来，AR 技术可能会更好地体现在智能硬件上。另一方面，MR 技术具有灵活度高、机器与人和系统之间连接紧密、反馈信息能力强等优势，使其成为各行各业日益智能的工具，作为提供重要信息和信息的手段。

MR 技术最明显的优点之一就是可以达到瞬时通信，实时为用户展示与交流实物信息，通过利用人工智能和大数据这两种技术手段即可实现这项功能，如建立数据库的条件是通过在人与设备之间的声纹识别、手势控制、虚拟视觉与现实相交互等功能的实现，再加上底层的人工智能系统辅助收集数据并分析处理后存储。而对形成的信息模型进行分析则需要用到人工智能算法，如机器学习与学习算法。当参与者越多时，收集到的数据信息量较大，形成的数据模型也较为复杂，此时若要快速做出响应，就需要采用机器学习、大数据和更顶尖的设备进行运算处理相应的数据模型。在MR 技术与人工智能相结合后，再通过大数据的收集、分析以及科学的预测，可以在混合现实技术展示效果中对预设的混合数字信息模型进行移动、大小比例变化和全方位展示等操作，其过程相当流畅。

我国在《中华人民共和国国民经济和社会发展第十四个五年规划和2035 年远景目标纲要》中对发展壮大战略性新兴产业提出相关要求及重要指示，在构建产业体系新支柱中聚焦新一代信息技术、在前瞻谋划未来产业中组织在类脑智能等领域孵化与快速布局。以混合现实技术、人工智能为基础的人机协同、BIM 以及智能管控系统等，为此项技术的进步提供了新的动力支持。

1.2 MR比VR和AR优势更加的明显

与AR 和VR 相比，MR 技术可以将用户吸引到虚实结合的视觉体验中。用户不仅可以体验现实世界,虚拟世界中也有实物的信息。数字世界中的信息使现实世界和虚拟世界之间的实时交互成为可能。并且MR 技术的进展已成熟化。还可以在可移动存储介质中装备小型计算机，让用户在使用过程中可以更方便的移动。虽然MR 技术和AR 技术并没有太大的区别，然而，在呈现信息方面，MR 技术效果更好，为用户提供了更真实的体验。这是因为MR 技术的虚拟数字数据也为用户提供了实时信息。也就是说，MR 技术是AR和VR 技术优势的集合，在许多领域中优势都是更加的明显。

1.3 MR技术在建筑工程中的应用要点

要实现建筑工程中的数据生成，首先需要创建一个软件类别。其次，支持创建需要强大的硬件平台。与使用AR 技术和VR 技术所对应设备相比，MR 设备具有可视化程度高、机器与人和系统之间连接紧密、反馈信息能力强等优势。成熟化程度高的MR 技术为建筑工程带来更多的效益。主要应用点在三个方面：

（1）MR 呈现的虚拟数据清晰明了，便于直观显示，用3D 投影替代2D 显示。

（2）设计效果在建立工程图的同时就可以展示，有利于专业人士交流和推广设计信息,提高工作效率。

（3）建筑工程领域中一个强大的生产力工具是MR 设备运算水平，它利用MR 设备对收集的各类信息进行快速分析处理后再输入更新。

当项目刚刚开始时需要一个建筑信息模型来创建项目资源，统一收集所有信息，既可以保证数据的一致性，也可以给保证建筑数据模型中包含所有项目信息，解决管理封闭数据问题使所有参与者在整个项目中用相同的工程资源。并且所有重要的信息部门都可以收到实时信息，包括信息交换和共享成果，提高项目进度，消除传统数据交换与应用系统数据分离之间的不平衡。

协作办公室使用 BIM 信息技术来提高基于协作设计建设项目的性能和质量。协作数据和信息办公室在一个集中的集成平台上运作，所有参与者都在一个平台上设计项目。避免集成平台建设项目中的重复，并与真实世界建筑3D 模型虚拟数据进行交互。及时协调工程项目设计，优化设计风格后，采用BIM 信息技术进行数据绑定和逻辑整合。从建筑数据的3D 模型生成的图形和文本数据与模型相关联。此外，模型数据的更改会影响相关数据的更新。例如在项目规划过程中，创建与模型相关的对象，当对象发生数据改变时，相关信息也会发生变化。参数和相关的设计数据来自每个学科的统一数据模型。当相关信息出现改变时，相关信息将相应更新，可避免多次反复输入数据，减少低层次劳动力的重复。

在施工交底阶段通过扫码定位或者两点定位的方式，将BIM 模型定位。叠加现实建筑空间中。利用定位后的BIM模型，在现场起到可视化的施工交底作用。

在远程监管过程中结合工程现场的监控摄像头，管理人员和施工人员不用到现场也能轻松了解现场施工状况，辅助远程监管和进度比对。

在管控进度方面可将施工计划关联到BIM 模型上，通过BIM 模型反映的计划与现场实际进度比对，并将现场进度反馈的结果（施工中，已完工的状态）记录和反馈，利用BIM 模型实现计划于实际完工情况的比对、查看、统计、和提醒。

在验收阶段通过定位叠加后的BIM 模型，可视化的与现场施工情况进行比对，起到利用模型校对施工质量的作用。配合验收反馈功能，将比对后的结果，利用通知流程发送给对应用户，实现验收问题的创建、通知、查看、反馈。

在工程项目中使用BIM 技术进行厘米级定位，将BIM模型叠加在施工工地与项目现场，为施工和验收环节提供可视化的参考和指导。因为BIM 技术提供的不仅仅是老式的建筑项目，相应地调整建筑类型，加快进度并节省资金利用建筑编辑的BIM 专业知识，实现集成的视觉集成和图像模拟管理。BIM 技术展示效果后可与所有项目利益相关者进行良好的沟通，降低建设工程成本和项目运作成本。提高施工计划的效率，改善时间和资金短缺问题。

1.4 MR在机电设备电力建设及维修中的应用

制造技术的发展日新月异，各种机电设备的设计思路、工艺方法及制造过程越来越复杂，因此，对设备的运行维护工作提出新的要求。随着计算机技术的不断迭代，机电设备的运行维护需要突破的关口是如何利用人工智能机混合现实技术辅助、指导维修者对机电设备的整体状态进行准确判别。在机电设备安装初期预设重要管路、仪表、接插件及开关的监测点，方便后续加装各类传感器辅助监测，再基于深度学习开发机电设备运行状态检测技术，通过多方位拍摄，形成图像数据库，根据图像识别、分类，最后合并获取目标检测结果。目前，意大利空军基于Hololens 开发了用于维修的C41 系统，专家可通过网络对维修人员进行远程指导维修。

传统的技术维修手段依托于专业的维修人员，其中存在技术升级后维修人员知识储备未更新的情况。随着科技的进步与发展，电力系统在不断迭代升级，与此同时要求管理、维护电力系统的工作人员的专业素质达到新的层次。对工作人员知识水平也要与电力系统的快速迭代相契合，可利用混合现实技术为电力系统的工作人员分析电力系统的整体物理结构进行信息标注，增强工作人员、虚拟世界和现实世界的交互感，再以模拟仿真的方式完成对搭载电力系统的设备拆解和组装，使工作人员可以更深入地熟知各类搭载电力系统的设备的整体物理结构和工作原理等，工作人员可以不断模拟仿真，从而理论结合实际更扎实地掌握安全规章制度，熟悉操作手段，提高工作人员操作的熟练度，降低电力系统检修、维护的难度，提升工作效率。

利用混合现实技术预设仿真不同类型的电力故障，工作人员通过分析，找出其中的核心要素，从而掌握不同类型电力故障的处理方式，能使工作人员在实际工作中对电力故障的类型、原因、可能发生故障的位置进行迅速的判断，并根据智能运维设备快速解决突发的故障情况。简单来说，利用混合现实技术对真实或预想的电力故障进行仿真模拟，并要求多名工作人员利用可视化设备的互联互动功能，同时进入搭载电力系统设备的突发状况现场中，通过全方位、人机协同对故障进行快速处理，加强工作人员的多层次联动工作能力，使不同部门、不同岗位的工作人员能在故障突发的同时和解决过程中，可以在确保相关人员安全的大前提下，尽可能地降低电力故障带来的风险和损失。

在电力系统中还可利用混合现实技术整理综合设备资源数据，运行维护人员在现场设备上映射投影整个电力信息资源，在电力系统中通过手势这种交互性强的动作进行便捷性展示。通过在电力系统中应用该技术，可推动构建三维电力信息资源模型，使工作人员能在工作中依靠智能化通讯设备完成资源梳理、定位、调度等工作，提高设备运行维护效率。

1.5 MR+BIM技术综合效益

BIM 技术在建筑领域得到充分应用。让建筑行业更有利可图、更智能。并以此为基础，也为各种高科技提供了更便捷的应用领域。结合混合现实MR 技术和BIM 技术，可以带来充满科幻色彩的体验。MR 技术强大的人机交互能力可以抵消BIM 模型与工地对接的困难。MR+BIM 技术可用于主动解决潜在问题。实现数据全互联信息数据，更贴合现实施工现场，旨在减少或消除施工现场数据传输错误设计，确保施工现场信息的完整表示，BIM+MR 平台的建立可以有效指导现场施工，全景式逼真的施工模拟。在狭小的空间内实现多领域、层次感强、同平台施工，使机电工程施工达到更安全、更准确的要求。通过优化计划并进行现场仿真、技术把控和安全要求落实等，以加快项目进度。

AR 技术对于复杂的施工环境无法进行很好的处理。这是因为这项技术只能处理物理世界中的虚拟数字数据。人与计算机之间没有实时交互。通过基于AR 和BIM 技术的现场检查和施工环境分析。编制了一套全面的、可实施的现场操作说明。首先，虚拟的数字量显示在MR 设备上。它在现实世界中工作，并实现人与设备之间的同步交互。然后，在施工期间，每个技术人员和技能人员都佩戴一个与小型 BIM数据库相对应的 MR 套件。每个技术人员和技能人员都可以在数据库中捕捉和比较虚拟数据，并在现场随时查看施工状态。数据库中的虚拟数据随着场地的建设情况而变化，使得现实世界与虚拟世界的发生了交互。MR 设备不仅可以接收虚拟数字量，也可以收集信息后再分析处理更新，展示了MR 设备成熟度高的交互水平。维护重要的项目数据并使用MR+BIM 工具是数据生成的主要目标。在项目的运维阶段，建筑信息建模技术将工程师从繁琐的数据手册中解放出来，在模型中以直观的三维格式显示信息，帮助开发运营管理和维修工作。但是，由于产生的虚拟数据量过多，仍然无法实现虚拟数据与现实世界的机器与人和系统之间连接紧密。此外，虚拟数据存在的问题也无法直观地表现出来。这使得该技术在工程操作和维护中不太常用。这表明 MR 设备实际上是模型数据、操作和维护数据以及现实世界进行信息交流的一条通道。

2 MR+BIM技术在机电工程安装中的说明

使用MR+BIM 技术进行机电部署的流程示意图如图1所示。在BIM 建模的基础上，应用MR 技术联合AI 系统分析整理大数据，可以识别规划任务和建设支持等功能，在施工现场进行人与设备智能识别，人与设备进行数据交流操作，以保证各种应用的运行，操作过程清晰明了，现场与管控中心实时沟通。

图1： MR+BIM 整体流程

2.1 MR+BIM机电模型的创建

首先根据施工流程创建一个BIM 机电模型，在Revit 中将二维CAD 模型修改为三个3D 图形，然后对Revit 端生成的模型数据进行扫描、替换、合并和包装，整理后生成数据文件,并将其存储为应用可以识别的格式。

将上面发送的数据文件上传到云端，使用微软Hololens2工具创建BIM+MR 平台应用，并集成到可视化管理数据库中进行数据匹配，相互展示，最终创建一个完整的模型。

图2 显示了制冷机房的 BIM 模型。可以看出，MR+BIM 技术在现场开发的可视化模型具有优秀的人机系统和沟通能力。

图2： MR+BIM 可视化机电模型

2.2 MR+BIM应用要素分析

在建设机电工程之前，应根据项目进度进行项目规划，视觉辅助，使施工工作可以在施工现场自然进行。并且基于一个清晰的模型，它能够识别成熟的原则，并在模型中融入内置的专业知识，从而提供更多关于施工关键点的质量改进和完成后更好的验收的信息。在站点的特定位置使用视觉模型可以教授建筑技能和管理人员知识。工程设计水平与提交本课程的内容是强交互性，辅导员能够将实时交流与匹配工作相结合，从而提高特定级别的学习技巧和能力。

定位后，MR+BIM 技术可用于施工辅助设备，如检测辅助设备，可测量现场电气设备与管道的水平和垂直距离，并可实时拍摄和记录。监督建设质量和战略方向，并为建设提供实践指导。通过逐步实施，模型可以根据位置实时显示在施工现场，可以预览设备的位置，为设备设施的安装提供支持。如安装轴对应位置信息、移动设备相对位置、实时测量距离等。

在项目工程建设的前期、中期、后期及工程应用前可采用声、光、电等多媒体技术对整个项目进行数字化信息采集，形成一个数据库。这个数据库可以通过混合现实技术对项目工程的设计、建设、使用让用户体验达到一个新的高度。在展示项目工程相关信息的同时，展示形式上也可以变得各式各样，为项目工程提出了更多的施展空间，通过混合现实技术可以打破现场空间的桎梏，将数据库中可展示的数字化信息全方位的提供给用户观摩欣赏，这样的应用技术带来的不仅仅是用户视觉体验的提升，也从另一个方面满足了用户对整个项目全流程建设的好奇心，这对用户以及潜在客户群体来说无论是认知层面，还是观赏质量都起到了积极地提升，因此混合现实技术数据库的搭建对项目工程施工方也对用户以及潜在客户群体都具有重要意义。

通过应用在现实世界的新技术，智能协作成为可能。混合架构的实时沟通，现场遇到问题后的远程技术沟通，并且可以在项目施工现场和管控中心同步信息，实现更好的发展。

3 结语

目前，在现实世界和内部建设项目中使用MR+BIM 技术的案例还很少，还处于早期研究阶段。本文将新技术应用于工程环境中，引导和支持机电建设，取得了良好的性能效果，满足了多项关键要求。但受限于建设者的现代研发技术、楼宇管理者的认可、软硬件的融合，使用量仍有很大的提升空间需要提升。未来，随着地下电力基础设施的合法化，这项新技术将继续用于创新和开发更好的运营条件。随着高性能案例数量的逐步增加，公众接受能力的不断提升，以及科技的进一步发展，MR+BIM 技术将对机电基础设施建设产生重大影响，并将在未来提供新的机械化，自动化平台，促进更好的发展和进步。