基于混合现实技术的火电厂运维指导系统

叶浩宇 陈艺芬

（1闽江学院新华都商学院 福建福州 350108 2厦门大学能源学院 福建厦门 361102）

0 引言

火电在我国能源结构中仍占据着不可或缺的重要地位［1］，常规的设备检修是保证火电厂安全运行的重要保证［2］。但是火电厂的检修设备种类繁多，两次检修的间隔时间较长，且工作人员缺乏定期的检修培训。检修工作存在设备检修周期长、检修任务重的特点，也容易出现由于操作不熟练导致的人因失误。

近年来，国内外研究者将虚拟现实（Virtual Reality，简称VR）技术与火电技术相结合，生成了逼真的虚拟火电厂［3-4］。但是，VR技术存在模拟空间受限、人机交互体验与现实环境匹配度不够和无法为工作人员提供现场指导等方面的不足［5-6］。针对以上研究背景，本文基于混合现实（Mixed Reality，简称MR）技术［7-8］，设计并开发了具备现场指导与远端培训功能于一体的火电厂运维指导系统。

1 系统总体架构概述

火电厂运维指导系统将MR技术与火电厂作业现场相结合，借助混合现实眼镜HoloLens生成虚实结合的可视化操作环境。图1为火电厂运维指导系统的总体构架图。整个系统由后端、中端和前端3个部分组成。

1.1 后端数据管理层

后端数据管理层分为基本数据库和故障信息库：基本数据库可同步储存设备信息、工作台账、操作手册、物料清单和历史操作等信息，并可供前端人机交互层调用和查看；数据管理层作为整个系统的管理平台，充当系统数据库，同时还能接收来自前端人机交互层输入的操作信号，在进行相应的数学运算、逻辑控制等操作后，将响应结果反馈至前端。

1.2 中端系统开发层

中端管理层以微型计算机为硬件平台，借助3D Max、Unity3D及Microsoft Visual Studio等软件进行开发。使用3D Max对系统设备进行三维建模，然后依托Unity3D软件，实现模型植入和人机交互界面的设计，建立设备维修的全息场景。Unity3D软件还能实现前端模型层与中端管理层的连接。设备模型与管理层储存的数据和指令存在一一对应的关系，通过命令调用便可以实现前端物理模型、数学模型以及设备相关信息的动态和静态显示。结合前端交互工具，实现图像信息识别、现场维修指导、多人协同操作和远程专家指导等关键技术和功能。

1.3 前端人机交互层

前端人机交互层基于MR技术，利用HoloLens眼镜实现虚拟与现实场景的融合，完成人机交互功能。HoloLens眼镜是微软公司开发的一种MR头戴式显示设备，也是微软首个不受线缆限制的全息计算机设备。将虚拟火电厂的3D模型封装成程序包植入HoloLens眼镜中，便可以实现运维人员与数字化火电厂的交互，和置于真实环境中的虚拟火电设备进行互动。

2 系统实施方案

2.1 后端数据管理层的实现

通过整理火电厂设备相关资料和相关维修手册，可以生成适配特定设备的维修指导方案。在进行运维指导系统的开发时，需要将生成的维修指导方案存储到信息数据库中，并利用PHP脚本实现与Unity3D软件的数据通信［9］。

（1）数据库的建立。后端数据库的建立主要借助数据库管理软件实现。基本数据库中包含了设备维修过程的风险分析和预防措施、所需工具仪表、材料、备件、维修工序和步骤等信息。在进行数据管理时只需将分类整理好的各个基本信息分别储存在数据库的各个表之中，便可供中端系统开发层及前端人机交互层调用。

（2）数据的调用。中端可以向后端发出相应的指令，并调用数据库中的数据信息。数据的通讯过程如图2所示，底层是由数据库管理系统（Database Management System，简称DBMS）组成的数据库层，数据库层中包含用户所有可能用到的运维相关数据。

数据库层上面是复杂的中间层，中间层包含逻辑关系和相关应用语句。该层用于数据通信，是数据库层和客户层之间的通讯枢纽，其组件包括Web服务器、Web脚本编程语言和脚本编程语言引擎。在系统开发过程中使用Apache HTTP Server处理HTTP的请求并做出响应，使用PHP作为中间层的脚本编程语言。

顶层的客户层为HoloLens眼镜。通过预先植入眼镜的C#脚本可以在线访问中间层的PHP脚本，从而调用数据库层的相关数据，该层也是系统从外界采集信息的端口。

2.2 中端系统开发层的实现

（1）三维模型的建立与植入。借助3D Max建立火电厂相关设备的三维模型，尽可能地构建设备的外观细节，使模型具有逼真的视觉效果，以满足运维和培训等各方面的应用需求。

使用Unity3D将搭建好的模型进一步处理，构建控制3D模型的相关C#指令，并将模型和指令进行封装，将封装后的程序包植入HoloLens眼镜中。此外，Unity3D软件还可以实现与HoloLens眼镜的在线连接，并进行相应的数据传输。

（2）维修规程动画化。借助Unity3D软件的Animation和Animator控制器，结合设备的维修规程、操作提醒、工具信息等虚拟文字及音视频资源可以生成维修流程的指导动画。Unity3D软件中的Animation组件可以对需要的动画进行编辑与整合，并利用C#脚本对需要的动画进行控制。Animator组件则可用于控制动画的播放、设置以及动画中参数的抓取。Animator组件还具备一个动画状态机，该状态机可以利用Float、Int、Bool、Trigger这4种参数完成多个动画之间的相互切换。

（3）人机交互设计。火电厂运维指导系统最终将发布在HoloLens设备上运行，所以相关应用的开发必须符合HoloLens设备的开发标准。使用HoloToolkit-Unity混合现实设备软件开发工具包进行MR应用的开发。系统人机交互的设计还需要遵循人因工程设计原则，可以通过“凝视”、“手势识别”和“语音控制”等方式输入指令：

“凝视”功能是用户通过佩戴HoloLens眼镜，使用眼镜发出和接收射线实现的。在Unity3D中，使用眼镜的主摄像机替代佩戴者视线的方位及朝向。使用UnityEngine中的Camera.main.transform.forward和Camera.main.transform.position调用Physics.RayCast程序发出射线并接收射线投影信息得到RaycastHit结果，该结果包含了射线碰撞点的3D位置参数和碰撞对象。

“手势识别”借助HoloToolkit-Unity中的高级API，通过创建SourceKind输入源事件来实现手势的识别。微软公司已经发布了多个HoloLens设备可用的预设事件，在“手势识别”功能的开发过程中，也可以借助系统预设事件GestureRecognizer来辅助开发。

“语音控制”通过在Unity3D设定关键词和响应动作来实现，关键词与响应动作具有一对一对应的关系。当用户说出关键词时就会触发系统中特定对象的预设动作。在系统开发过程中主要用到UnityEngine.Windows.Speech命名空间以及PhraseRecognizedEventArgs，KeywordRecognizer，SpeechSystem-Status等预设类。

2.3 前端人机交互层的实现

（1）从Unity3D到HoloLens的实现。在完成中端系统开发层之后，便可以将Unity3D软件中建立的火电厂运维指导系统发布到Windows通用应用平台，借助Visual Studio软件进行编译，最后将系统以APP的形式部署到HoloLens设备中。最终在Hololens眼镜中呈现的效果如图3所示。

（2）信息反馈及生成工作报表。在人机交互层中还留有信息输入的接口，可以根据实际的维修情况将相应的维修信息反馈至系统后端的故障信息库中。其工作流程如图4所示，在前端人机交互层录入所需信息后系统通过调用相关的C#脚本访问PHP文件，从而利用PHP的相关指令将该信息储存至后端的数据库中。

3 系统的功能模块

3.1 现场指导功能

现场指导功能是指维修人员佩戴HoloLens眼镜，在检修现场直接对检修工作的具体内容进行指导，提高检修工作效率，降低人因失误风险。具体包括以下2方面内容：

（1）准备工作提醒。在检修工作开始前，系统会通过HoloLens眼镜向检修人员提示即将要检修的设备信息，如：设备是否已从系统中隔离、现场通风照明情况、检修现场是否布置完好等。同时，系统还会提示检修工作所需的工具、备件和材料等信息。

（2）操作规程提醒。到达现场后，通过HoloLens眼镜凝视物体，系统会自动识别眼前的设备，并匹配显示对应的虚拟三维设备信息和运行曲线。在检修操作过程中，眼镜上会以动画（或视频）、语音和文字相结合的方式分步展示操作规程。维修人员可以在虚实结合的操作环境中，依照操作规程逐步完成检修操作。

3.2 远端培训功能

远端培训模块提供了火电厂全范围仿真机的全部功能，能够模拟火电厂全生命周期内的所有工况。根据不同工况以及不同工作需求，建立相对应的三维虚拟模型包，供火电厂工作人员有针对性地进行培训。培训模块高度还原了各个火电厂工作岗位的作业现场及作业内容，提供三维全息工作环境。除了执行前的准备工作及相关工具提醒，在培训过程中，系统还会展现每个工作的操作规程，并在画面上展示所操作系统的相关运行参数曲线。

4 应用效益分析

火电厂运维指导系统的现场指导功能为维修工作人员提供了详细的准备工作提醒和操作规程提醒，能够简化工前准备工作，减少停机时间，提高检修工作效率，并且提升检修工作的安全性和可靠性。远端培训模块可以提升培训质量，大幅缩短培训时间，并且打破时间及空间对于火电工作人员培训的限制，使得自主培训、异地培训成为可能。在培训成本方面，火电厂运维指导系统的成本集中在前期的MR设备采购和系统模型开发，但是系统后期培训所使用的教学耗材较少，而且能大幅度降低培训师的人力成本，在大规模应用后可以有效降低传统培训成本，具有较好的经济性。

5 结论

本文基于MR技术设计并开发了具备现场指导与远端培训功能于一体的火电厂运维指导系统。该运维指导系统的特点及经济效益在于：

（1）将火电厂检修工作与MR技术相结合，在虚实结合的环境中演示设备检修的操作规程动画、相关设备参数和运行曲线，为检修人员的运维工作提供实时指导，提高检修工作效率，降低人因失误风险；

（2）系统能够模拟火电厂众多工况，高度还原火电厂运行环境，为火电人员培训提供了3D可视化动画演示功能，能够有效提高人员的培训效率，打破培训工作的时空限制。