基于增强虚拟现实技术的高压电力设备检修应用研究

2022-04-01武宇平吕志瑞黄晓乐李振动张晓飞

新技术新工艺 2022年2期

武宇平，吕志瑞，黄晓乐，孙旭，李振动，张晓飞

(1.国网冀北电力有限公司，北京 100054；2.常州博瑞电力自动化设备有限公司，江苏常州 213025；3.国网冀北电力有限公司检修分公司，北京 100054)

增强虚拟现实技术在信息化高速普及的背景下应运而生，作为一项新兴技术，被广泛应用在各种行业中。得益于高度的可编辑性和互动性，该技术能够在正向反馈的激励下持续发展并应用在更多类型的场景中[1]。该技术通过合理应用人的视觉多元化特征，将虚拟画面现实化增强投放到视觉观察范围内，使得虚拟操作平台与真实观感协同出现在操作者眼前，从而实现双维度操作以及深化对比的功能。在传统高压电气设备的检修过程中，检修作业的开展通常需要纸质文件的参照以实现对照式操作，考验工作人员的瞬时记忆能力及操作协同性，具有较大的难度。在应用基于增强虚拟现实技术的对照式操作后，工作人员在多视角的切换过程中，仅需通过语言与动作的简单操作即可实现双目对照检修过程[2]。

通过将电力设备检修与AR技术进行整合，将图片识别、视角叠加与转换以及智能交互等技术应用到实际操作过程中，借助输入端的摄像头、语音系统以及通话系统等终端设备，结合多种形式的检修指导性文件素材及模型的输入，依据核心的检修逻辑步骤实现多元合作实施的电力设备检修方式。通过后台配置现场作业工序及辅助信息，利用智能眼镜近眼推送使现场作业人员在第一时间获得作业要求、作业辅助，保证作业过程的规范性、准确性、可靠性。同时，操作人员在作业过程中解放双手，可以进行第一视角的视频、图片以及语音文字记录，多维度地强化现场作业过程的可追溯性[3]。当现场需要专家协助时，通过智能眼镜的实时交互能力，将作业现场的第一视角画面实时回传，连接后端专家资源，实现远程指导工作，并且能够融合智能识别与分析技术沉淀数据，优化工作流程，形成专家知识库，提升现场水平。

1 增强虚拟现实技术功能简述

综合AR眼镜设备及远端服务平台的功能进行开发与应用，高压电力设备的检修也激励出了一系列的改进。

在设备的检修过程中，按步骤推送近眼指导信息或作业要求，近眼通过第一视角视频和图片跟踪记录作业过程，杜绝不规范、不标准作业，扼杀安全隐患，从而保证了现场作业质量[4]。为了提高现场作业效率，取代手持终端或纸质工单，通过语音识别技术录入数据，同步展示操作视频教程或AR叠加内容，解放操作人员双手，有效地提高工单任务完成质量，提高作业过程效率。

现场检修的作业人员遇到无法解决的问题，远程专家可通过现场人员第一视角实时查看现场状况，通过语音、文字、图片、勾画、推送资料等方式进行指导，加速了现场问题处理速度[5]。通过后台配置检查步骤、检查内容、过程留存方式，可实现对所有风险控制点的管理，做到可视化追溯，为管理改善提供可靠依据，实现作业过程可视化追溯。以人脸识别为基础，加强作业人员、来访人员管理，严格执行安全作业票证管理标准，以加强现场人员管理。为管理人员提供任务管理、计划、审核、跟踪和生成可视化报表及KPI的平台，使其作为企业运营中心的一环，提供集成开发环境，客户可以自主创建及修改所有的作业规范、配置数据，并完成系统授权、部署等管理工作。移动工作站应用于移动设备的客户端，与智能眼镜连接，使用者为巡检员，使用智能眼镜快速获取工单信息及作业指导，通过文字、语音、图片、视频等方式快速记录现场信息，快速提高现场作业效率。结合现场作业管理系统，以工单为作业基础，将作业指导书分时、分步骤推送到智能眼镜端进行显示或播报，作业人员将根据相应指示或指导进行现场作业。作业人员可对各步骤作业过程进行实时视频记录，并通过语音、手势、扫描二维码等交互手段，获取辅助信息[6]。

通过第一视角的智能眼镜，专家可以远程连接服务站或设备维修现场，指导前方工作人员解决问题，通过实时视频、文字、图片、AR标记等多种方式，提升沟通效率。通过智能眼镜融合物体识别、二维码/条码识别、车牌识别、人脸识别技术，训练基于深度学习的模型算法，对维修现场的车辆、设备、配件、人员进行智能化识别与分析，帮助工人提升工作能效。

2 高压电力设备检修技术

结合高压电力设备产品检修的需求，将上述增强虚拟现实技术进行功能化定制，实现此项技术在高强度检修作业中的应用。不同于传统应用形式，高压电力设备的检修更加重视过程的记录对比以及步骤化操作，所以作业前的数据准备及形式就需要着重考虑。

目前，该技术采用以CREO为三维建模工具、SolidWorks Composer为制作载体，建立了高精度水平的高压电力设备零组件三维模型。为了应对不同工器具的检修功能需求，应对设备中推送的文件进行逻辑特性优化，并辅助以各类图片、视频媒介，从而使虚拟现实增强技术更符合电力设备检修的功能应用[7]。

针对避雷器组件的成组检修，需要将吊装工艺与增强虚拟现实技术相结合，突出可视化设备的便携特点，融合第一视角现实状态与虚拟操作界面，规避人力操作和交互的重叠，提升操作的安全性和可操作性。同样地，在柔性直流换流阀的检修过程中，模组的检修也需要将成组化吊装和工装滑轮组件相结合，在机构运动指导操作的方式上，结合三维模型和动画演示，将复杂的机构操作步骤逐条展现给操作人员，解决了理论步骤同步操作的问题。

增强虚拟现实技术在检修技术上的应用如图1所示，在人员组织架构安排和信息共享上，采用智能交互平台，可以更好地将人员分工安排、工作任务下发和操作结果反馈集成在云平台中，形成系统化的检修维护事务与人员记录。

3 终端平台的开发

Arise(MSP)平台是一款集大容量、高并发、统一管理、多业务融合、高扩展性、高安全性、高兼容性、高可靠性、高开放性等为一体的软件技术平台。其中，LiveService是基于AR智能眼镜开发的富媒体通信微服务，依托高质量、超低延时的音视频和IM消息通信技术，搭配完善的业务和存储服务，封装成标准SDK帮助开发者快速搭建多端富媒体通信应用，适用于远程协作、指挥调度、验收和监管等场景。

AIService是基于AR智能眼镜开发的AI识别微服务，依托成熟的自研人脸识别、物体识别技术，提供完整的人脸追踪、识别、比对、报警和物体识别、比对、检测等功能，封装成标准SDK帮助开发者快速集成到三方系统，适用于指挥调度、园区安保、维修检验等场景。WorkflowService是基于AR智能眼镜开发的作业流程微服务，提供从作业流程创建、执行、记录、上报的完整功能，封装成标准SDK帮助开发者快速集成到ERP、OA等系统，适用于工厂作业、巡查取证、警情上报等场景。

集成用户页面是必须先初始化成功或已连接到服务端，创建显示用户界面的Activity，在该Activity的界面中添加用户fragment：

android:id="@+id/im_main"

android:layout_width="match_parent"

android:layout_height="match_parent"

android:name="com.llvision.glxsslivesdk.ui.moduls.main.fragment.LiveServiceMainFragment"

通过采用AIService的智能化识别技术，项目编程人员可以以电力检修设备库为基础，搭建模块化识别平台，集成在检修过程的每个子项目中，从而实现各阶段的智能对照式检修。

基于前期对于软件及终端的研究，可以实现高压电力设备检修工器具、零组件以及系列化工装模型的导入，实现工作人员对零组件的交互式理解。虚拟增强现实技术目前已经应用于多项电力设备检修过程当中。通过将该项技术引入到高压电力设备的检修过程中，为现在的检修带来了新的智能化便捷化可阅读性的解决方案。

在图片识别方面需要建立大量的库，以实现对照式检查。分别对每个步骤所在的场景设备、模型、器具进行图形建模，并通过基于AIService的计算机识别，形成多种数据结合的图形库。在检修过程中，操作人员根据设备平台提供的对应拍照功能识别对应元器件已实现高度重合的图像识别与检修应用[8]。

除了图片识别的库以外，还需要对巡检记录数据的维护和视频辅助参考等进行信息维护，集成形成一套便于检修的指导文库。工作人员在检修过程中即可通过步骤以及头部的操作识别实现不同步骤的切换和信息的获取。图像识别技术及检修应用如图2所示，后台的信息处理除了以构建的模型与图片信息库为基础，将多元化的输入信息通过自研算法的集成归化，实现高度智能便捷化的操作。信息间的转换除了需要关注算法的可靠性外，还需要将信息加密化、媒介化，有效避免信息泄露等风险。

4 发展方向

传统的检修模式得益于其严谨的工作模式，持续多年支撑着电力设备检修模式的运转。基于增强虚拟现实技术的高压电力设备检修方式是在传统模式的基础上，将信息智能化时代的工具融合到传统的检修过程中[9]。电力设备检修是一个体系繁杂的工作项目，设备类型、应用技术多样性以及可操作性按照难易程度分类广泛。采用AR技术进行操作人员工作体系的研究开发，可以实现新人高效率地对工作内容和场景地认识。电力设备检修涵盖知识面庞大且复杂，基于增强虚拟显示技术，可以使人快速熟悉操作步骤和核心检修器件。同时，运用该技术可以快速形成互动检修系统知识库，建立正向反馈体系，丰富电力设备检修的层级。

增强虚拟现实技术作为人工智能领域的前沿科技，在电力设备检修的应用上除了上述介绍的应用外，还有许多新型研究点可待开发。围绕三维注册功能，可以开发出智能检修对象定位追踪功能，将主动的视觉识别转化为AI识别，降低人为检修疏漏的风险。强化虚拟融合现实，可以将检修过程中的各类数据结合现实呈现在操作者视野中，减少不必要的交互。