基于增强现实技术的电网设备检修系统的研制

陈 闻 毛亚飞 朱 毅

（1.湖北华中电力科技开发有限责任公司，武汉 430060；2.武汉昱然智能科技有限公司，武汉 430000）

作为人工智能领域的前沿应用，增强现实（Augmented Reality，AR）是在用户观察到的真实自然环境中添加计算机生成的文字、3D模型等信息的技术[1]。它可以将真实的环境和虚拟的信息实时地叠加到同一个画面或空间中，同时存在，被人类感官所感知，扩展了人类感官的范围，从而达到超越现实的感官体验。目前，围绕该技术的各种应用研究正在蓬勃开展，德国宝马汽车公司利用增强现实技术开发了汽车维修辅助系统。英国牛津大学基于增强现实技术开发了示波器使用引导系统[2]。我国的陈靖、王涌天团队也开发了基于增强现实技术的圆明园景观数字重现系统[3]。增强现实技术在医学研究、教育培训和文化娱乐等诸多领域已有成功应用的实例。

本文以电网配电线路设备智能化检修为业务切入点，对基于增强现实技术的配电线路设备检修系统进行了设计与研究。该系统依托增强现实技术，借助智能手机、AR眼镜等智能设备，通过快速响应码（二维码）及特定图形识别等技术，快速识别并显示变压器、门禁、杆塔、线路等电力设备的基础台账、检修次数、运行状态和常用检修方法等设备信息，突破了现场检修人员的感官限度，有效提升电网企业“输变配”设备检修的智能化程度。

1 研究现状

目前，国内外VR技术与AR技术蓬勃发展，各行各业对先进的VR技术与AR技术多有应用。AR技术在视觉上把虚拟世界嵌入现实世界并进行互动，可帮助观察者更全面地了解背景、获取信息和扩充知识，以达到更深入理解的效果[4]。

在国内，有的企业结合VR技术的特点与变电站的仿真培训的需求，开发了变电站仿真培训软件。有的企业基于Querst平台开发出了带作业VR仿真平台，这些系统均发挥了VR虚拟现实的特点，很好地解决了电网培训作业员工培训成本及安全问题。但这些系统基本都是一种通用化的VR视频制作平台，无法对生产或检修一线的人员提供实时有效的信息支撑，而AR技术的开发和利用将有效补充这一方面的不足。

从最早提出增强现实的概念到当下的广泛应用已过去了几十年的时间，如表1所示，目前世界上最大的AR sDK供应商及AR设备供应商均在国外，在图像追踪与分析、算法效率、算法准确率和设备体验等多方面均领先于国内同类型产品。

表1 VR SDK及VR设备供应商

2 关键技术

本系统的核心功能是能够通过移动APP和可穿戴设备实时识别并展现出配电线路设备的维修记录、维修方法、出厂信息、设备拆解、操作手册以及检修资料等信息，应用的关键技术有增强现实、三维建模和二维码识别等技术。

2.1 增强现实

增强现实就是把虚拟带进现实，利用虚拟来辅助人们更好地认识现实、理解现实和利用现实[5]。增强现实具有三大关键技术：三维注册，即利用自动跟踪技术将虚拟模型和真实物体精确地对准，解决虚实匹配的问题，其中，虚实遮挡是研究的一个难点；虚实融合显示，即使虚拟模型和真实世界中的物体共存于用户的视野中；人机实时交互，用户可以与视野中的真实物体和虚拟物体进行实时的交互[6-7]。

AR系统的应用流程主要由四个环节组成：虚拟信息的建立、渲染；真实世界中的跟踪、定位；虚拟信息的注册、显示；实时的人机交互。虚拟信息的建立和渲染在电网中主要是通过一定的方法来建立电网本体和电网设备的3D模型[8]。而真实世界中的跟踪和定位主要包括使用单一姿态跟踪器的方法和混合跟踪技术[9]。

当下较为成熟的AR技术由微软掌握，通过Vuforia、ARToolKit等AR-sDK工具开发后，微软AR眼镜Hololens就能够提供通过摄像头识别物体、展示相关数字信息的功能。合理使用这一特性，就能实现现场检修人员通过AR眼镜识别变压器、门禁、杆塔和线路等电力设备，在AR眼镜上通过全息投影的方式实时展现相关设备的维修记录、维修方法、出厂信息、设备拆解以及操作手册等信息。

2.2 三维建模

Unity 3D是一个跨平台的3D应用开发引擎，支持Windows、Mac、iOs和Android等平台，通过该引擎可以直接发布网页3D应用、手机3D应用等[10]。Unity 3D是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型开发工具，可用于扩增内容的实现。扩增内容是指在真实场景中附加的虚拟内容，包括三维模型及动画、语音、视频等素材，其中工作量最大的当属三维模型[11]。

本系统使用的建模工具为Pro/E和3Ds Max，可生成高精度的设备零件三维模型，经3Ds Max美化及补充后，最后导入Unity 3D平台。建好的变压器模型如图1所示。

图1 变压器模型

如图2所示，本系统通过Unity3D、Pro/E、3Ds Max等三维建模技术及AR技术的综合运用，能使变压器、门禁、杆塔、线路等电力设备的拆解、维修过程以二维视图或三维全息视图的形式实时再现，对现场检修人员进行有效的同步指导。

图2 AR现场检修示例

2.3 二维码识别

人工标识是用摄像头捕捉到的方便电脑三维跟踪的标志物，可以放在电子产品画面上显示，也可以打印成纸质版[12]。本系统以二维码作为人工标识，利用软件系统生成配电线路设备二维码，作为电力设备的唯一标识。该标识通过数据库技术关联对应设备的维修记录、维修方法、出厂信息、设备拆解、操作手册以及检修资料等信息，在工作现场，通过手机或AR眼镜的摄像头扫描设备二维码就能够实时展现相关设备信息。

3 架构设计

3.1 业务架构

如图4所示，设备信息库由台账信息维护、巡检记录维护和视频辅助信息维护组成。台账信息维护以业务系统中相关数据为基础，支持信息补录和扩展；巡检记录维护用于维护设备的巡检记录信息；视频辅助信息维护用于维护检修作业指南等相关视频信息。

图3 系统功能视图

图4 业务架构图

信息处理服务由消息推送、视频转换、信息查询、信息加密和3D建模等构成。消息推送用于同手机或可穿戴设备的通信，实现消息接收和推送；视频转换，针对部分业务场景，制作VR视频，同时支持部分传统视频的VR转换；信息查询用于支持多维度的信息查询服务。信息加密用于实现信息传输过程中的加密和脱敏处理；3D建模用于对核心设备进行3D建模仿真；消息日志用于实现操作级系统日志记录。

信息展现服务由消息解密、APP客户端和AR展现组成。消息解密用于对部分信息进行解密后展示；APP客户端用于实现基于Android的客户端程序，实现设备扫描和增强现实信息展示；AR展现通过可穿戴设备，提供增强现实信息服务。显示输出和实时人机交互的研究中，不同的输出设备、不同的人机交互方式给用户带来不同的体验[13]。

3.2 技术架构

如图5所示，系统主要分为三个层次，最底层为数据层，由关系型数据库提供支撑，MYsQL为服务器端数据库，作为主数据库使用；sQLLite为手机或手持设备端数据缓存，用来提升响应速度或支撑离线使用；由于本系统中部分数据来源于业务系统，故需要开发专门的接口程序进行数据抽取和同步。中间的服务层依托底层数据库，通过socket和webservice等通信手段，对终端设备提供数据服务。系统最上层为终端设备，由手机APP或可穿戴设备（微软Hololens眼镜）作为展现端，为用户提供AR信息输出。

图5 技术架构图

4 技术难点

目前，基于增强现实的智能穿戴技术已在消费电子、工业和医疗等领域中取得多项创新应用，通过引入增强现实技术，给电网设备的安装、运行和检修作业带来了新的信息化、智能化解决方案[14]。

微软Hololens是世界第一款完全无线的全息计算机，融合了最先进的光学元件和传感器，能够将3D全息图形固定到用户周围的真实世界中，使用者能够通过凝视、手势和声音与HoloLens交互。HoloLens可以通过简单的手势或语音设置来完成包括选择、移动和调整的操作[15]。基于微软HoloLens眼镜的AR开发是实现本系统功能的技术难点。

4.1 HoloLens开发工具

开发HoloLens全息应用将使用UWP平台（Universal Windows Platform），所有的HoloLens应用都是Win10通用应用，所有UWP通用应用都可以在HoloLens上运行。2D应用可以使用任何可以开发UWP应用的工具开发，如用来开发PC、平板和Windows Phoned通用应用的工具。这种应用将被表现为2D投影，并且能够跨设备运行。全息应用需要使用基于Windows全息API（Windows Holographic APIs）设计的工具来开发。本系统使用Visual studio and the Windows sDK、Windows Device Portal、HoloLens emulator、Unity等工具开发HoloLens应用。

4.2 Vuforia与Hololens的集成

Vuforia是一个能让应用拥有视觉的软件平台，Vuforia的关键特性包括对图片、物体、文本和标记的识别和追踪。Vuforia提供的Unity插件使得开发者可以使用Unity引擎很容易地创建AR应用和游戏，Vuforia插件和Unity标准版以及专业版都是兼容的。

Vuforia与HoloLens的集成应用能将AR体验应用到环境中的特定图像和物体，是为HoloLens可以看到的任何物体添加AR体验的理想解决方案。Vuforia在6.1版本的Unity sDK里实现了对HoloLens的支持，使用Vuforia为HoloLens开发应用，人们需要在Vuforia的ARCamera和场景摄像机之间建立绑定关系，同时启用对Image target的追踪，确保Vuforia能够和HoloLens空间映射以及定位追踪系统一起来正常工作。

本系统通过Vuforia与HoloLens的集成开发，使HoloLens能够通过快速响应码（二维码）或特定图形识别配电线路设备检修现场的变压器、门禁、杆塔和线路等电力设备，并通过二维视图或三维全息视图的方式实时展现相关设备的维修记录、维修方法、出厂信息、设备拆解以及操作手册等信息。

5 结论

现有的针对现场检修的移动作业辅助工具操作复杂，响应速度不够理想，且信息的展现形式较为单一，大多数需要在联网环境下使用。本文对基于增强现实技术的电网设备检修系统进行了设计与研究，本系统能够将更全面和丰富的信息以更直观、更快捷的方式呈现给用户，借助可穿戴设备或移动终端，通过“即视”的方式获取相关信息，提升设备识别的速度和巡检工作的效率；通过AR技术，利用3D建模，模拟设备内部构造，突破现场巡检人员的感官范围，为现场作业提供更为全面和深层次的技术支撑；能够利用AR设备的本地存储与计算能力，支持断网作业，充分适应我国部分偏远地区移动网络信号差的现实状况。