基于增强现实技术的计量运检智能辅助系统

丁超，张秋雁，王懿，李航峰，欧家祥，张昌翔

（1.贵州电网有限责任公司电力科学研究院，贵阳 550002； 2.贵州电网有限责任兴义兴仁供电局，兴仁 562300；3.贵州电网有限责任都匀供电局，都匀 558000）

引言

目前贵州已投运的上百座智能（数字化）变电站，数字化变电站的计量系统相对于传统变电站，设备及运检维护工作已经发生较大变化。计量专业人员也面临诸多的运检新挑战，包括计量设备的种类多、更新快等；并且运检专家数量有限，无法较好提供现场协助，不能及时消除设备隐患[1-3]。

针对数字化变电站存在的计量设备运检问题，需要采用智能运检技术辅助计量人员完成以往难以完成的工作，提高数字化变电站计量巡检效率。

增强现实技术（Augmented Reality，简称AR）将虚拟化的数字信息更直观的展现在使用者的眼前，相较于书籍或是电子平板等显示方式，无需工作人员时刻用手拿好显示载体，更易于使用者双手操作，并且可以随时随地查看各种运检设备的辅助信息[4,5]。通过对计量设备的图像识别，可以自动识别计量设备的故障。加之以智能分析系统的指导，可使专业水平较低的工作人员可以完成数字化变电站计量设备的运检。将工作任务处理流程、处理结果、现场与后台实时互动等全流程管控机制紧密结合，建设完善的运维闭环管理，形成知识收集、知识形成、知识共享、知识应用为一体的智能分析系统管理体系，为数字化变电站运检闭环管理的故障消缺提供技术支撑，提高故障诊断及修复能力，规范现场作业，集成地点定位导航、电子工单远程处理提交、现场故障诊断修复作业指导，实现现场作业流程的标准化，降低现场工作人员的技术依赖和工作量，提升人员工作效率和作业自动化和安全水平[6]。

1 智能运检系统整体结构

1.1 智能运检系统

基于AR技术，本文研发了新型变电站计量运检智能辅助系统，如图1所示，构建适配运检场景中增强现实技术和应用，主要技术包括：

1）实现AR终端与远方web平台的数据传输。

2）图像识别引擎的训练和开发。

3）智能分析系统的开发。现场与运检技术专家的在线会商，实现运检的可视化、智能化和流程标准化；开展快速检索技术研究，研究支持多种格式文件的索引与检索技术，对检索结果进行整合和优化。

4）AR应用与后台接口的开发。

1.2 平台架构

该项目智能运维系统具体包括:智能分析系统平台、图像深度学习库、云平台运维、Web后台系统、AR运维终端、运维APP等一整套产品，其架构图如图2所示。

运维终端与AR眼镜相配合将设备拍摄的图片和视频上传，或者将接受的语音指令上传到后台。后台图像处理或语音识别到关键字后，从OSS上将存储的解决方案视频，图像等资料下载再回传到运维终端，经由AR眼镜显示来指导操作员完成设备维护任务。

云平台部署涉及ECS（带GPU的云服务器）、RDS（云数据库）、OSS（云存储空间）、CDN（内容分发加速）或者SCDN（带有防火墙机制的CDN）等部件，同时需要配套云安全中心给ECS加上防护，具体组件担任的任务如下：

图1 智能运检系统结构

图2 智能运检平台架构图

1）云服务器ECS上完成图像深度训练和学习，深度学习库存放ECS数据盘；

2）云存储OSS存储计量设备的各种故障解决方案视频等电子资料；

3）OSS可以设置推流地址及有效期，主动推流给CDN；

4）CDN内容分发加速服务，用于满足大量运维终端APP/AR等客户端视频、音频、图像等高并发数据的访问。

2 智能分析系统的构成

智能分析系统是一个具有大量的专门知识与经验的程序系统，它应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决复杂问题[8]。

智能分析系统通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等部分构成[7]，如图3所示。

为了使计算机能运用专家的领域知识来解决问题，必须要采用一定的方式表示这些知识，让计算机能够恰当地处理来得到我们想要的结果。目前常用的知识表示方式有产生式规则、语义网络、框架、状态空间、逻辑模式、脚本、过程、面向对象等，而基于规则的产生式系统是目前实现知识运用最基本的方法[8,9]。

基于规则的智能分析系统一般由综合数据库、智能分析系统和推理机3个主要部分组成[10]：

1）综合数据库

综合数据库专门用于存储推理过程中所需的原始数据、中间结果和最终结论，往往是作为暂时的存储区。它包含了求解问题的世界范围内的事实和断言，其中每一组事实都与智能分析系统中的IF（条件）一一匹配。

2）知识库

知识库主要包含了专家用于解决相关问题的领域知识。其问题求解过程是通过知识库中的知识来模拟专家的思维方式的，因此，知识库是智能分析系统质量是否优秀的重要判断依据，即知识库中知识的质量和数量决定着该系统的智能水平。智能分析系统中的知识库与程序是彼此分开的，用户可以通过改变、完善知识库中的具体规则来提高智能分析系统的性能。在基于规则的智能分析系统中，知识普遍采用IF（条件）...THEN（行为）...的规则来表达，当规则的条件被满足时，就会触发规则，继而执行后面的行为。同时条件与结论均可以通过逻辑运算AND、OR、NOT进行复合。

3）推理机

推理引擎链接着智能分析系统中的规则和数据库中的事例。推理机针对当前问题的条件或已知信息，反复匹配知识库中的规则，获得新的结论，以得到问题求解结果。以下阐述两种推理方式，分为正向和反向推理两种[11]。

正向链的策略是寻找出一些规则，他的前提条件能够与数据库中的事例或断言相匹配，并运用矛盾的处理策略，从待选的规则中提取出最优的一个执行，从而更新数据库的内容。这样反复地进行寻找，直到数据库的事例与目标相同即找到解决方案，或者直到没有规则可以与之比对成功时才停止。

逆向链的策略是从确定的目标出发，寻找执行结果可以达到目标的规则；如果这条规则的前提与数据库中的事例相比对，问题就得到解决；否则把这条规则的前提作为新的小目标，并对新的小目标寻找可以运用的规则，并执行反向队列的前提，直到最后运用的规则的前提可以与数据库中的事相比对，或者直到没有规则再可以应用时，系统便以交互对答的方式请求用户回答并输入必要的事例。

图3 智能分析系统结构图

由此可见，推理机就如同专家解决问题的思维方式，知识库就是通过推理机来实现其价值的。

3 智能分析系统的建立

智能分析系统的建立有知识图谱、故障树等多种方式方法[12]。根据电力设备运维作业的标准化及安全性要求，本文建立数字化变电站计量终端SOP标准化的智能分析系统。

该智能分析系统首先通过对智能分析系统进行分类管理，建立运维知识收集体系。之后再通过知识收集整理和优化，形成知识收集、知识入库、知识共享、知识应用、知识更新为一体的智能分析系统管理体系。最后通过人工智能、仿真视觉和语音识别技术分析故障现象与智能分析系统的相关性，实现专家知识管理的闭环操作流程。

为了更好地管理文件资源，将数字化变电站计量设备的运检标准化作业手册或者长期运维积累的经验，做成电子资料，建立索引，形成SOP的标准化库，以便于对每个设备的各种故障代码的智能分析系统资料做好建立、更新、维护工作。

同时用户可以通过运维终端与AR运维设备，语音或文字输入的方式提供关键字等信息，根据规则库，推理出故障代码及相应解决方案。设备的每一个故障代码对应的运维知识进行增、删、改，并对改动进行相应的审核，同时云存储OSS上也会存储相应知识数据素材（图像、视频、音频）等。

设计推理机时，应使其推理过程和专家的推理过程相类似，最好是完全一致。故障排查是以计量设备的故障结果为输入，推测设备的故障原因，因此需采用反向推理的机制。即先提出结论假设，然后寻找支持这个结论的证据。若证据不足，重新提出新假设，再重复上述过程，直到得出答案为止。这种由结论到数据的策略，称之为目标驱动或由顶向下策略，具体过程如图4所示。

同时为了增强智能分析系统的灵活性，当存储的故障运维智能分析系统数据需要更新时, 系统会在AR应用WIFI在线时，及时地提醒用户进行下载更新到AR应用客户端本地。

4 系统组件间的通信与数据传输

4.1 运维终端与后台间的图片传输

运维终端配合AR眼镜将设备图片和视频上传，或语音输入上传后台，后台图像处理或语音识别到关键字后，从OSS上将存储的解决方案视频，图像等资料，通过CDN分发给APP/AR，如图5所示。

当运维终端向后台请求一个图片时，后台仅提供一个URL地址，然后运维终端会按照该地址找到所需图片资源的位置下载下来；当运维终端请求后台一个视频时，如果请求的是固定的视频文件，一般不需要分包，后台也是仅提供一个URL地址，交给运维终端自己下载；如果是实时直播，就需要后台搭建转码服务, 做流视频处理，以确保图像清晰无延迟。

图4 改进算法的故障识别训练过程

终端发送网络请求，主要涉及后台菜单界面、操作系统中网络模块的相关处理。URL的合法性和对应匹配协议的检查、分析都交由后台进行HTTP协议或最新的HTTPS协议处理；如果URL合法，就会分辨URL中主机是一个域名还是一个IP；如果是一个域名，会查看系统本地的HOSTS文件是否具有相应的配置，对于没有的主机会启用DNS查找域名对应的IP。相反，如果是IP则会直接发送请求；发送出请求，后台的工作将会进入中断，网络请求交由操作系统处理。值得注意的是，如果是新接入的AR运维终端或者局域网的故障刚好修复，后台能够启用ARP协议获取到边界路由的MAC地址，这样便于将数据包交给路由器，再转发到外网。处理网络响应与渲染时，这是传统前端工程师必须掌握的知识，资源型的网络响应后台会智能地处理下载事宜。

当运维终端的客户端向后台请求的资源是一个图片、视频等固定文件时，需要先开启http端口，才能让客户端自动下载，因为运维终端客户端是基于http协议的文件下载库包完成文件下载的。

4.2 AR眼镜与图像识别引擎的通信

AR眼镜先对设备拍照N张后上传至OSS存储,待全部上传完后通知后台接口。返回后台的信息包括本次图片数量N、顺序图片的OSS路径信息、本次检测类别dist_type等信息。

在后台接口收到运维终端的通知后,调用检测任务检测分析对应任务，具体流程如图6所示。运维终端根据返回值，在运维终端本地素材库里解析相应设备种类的相应故障代码。并且根据相应厂家的文件夹下的引导执行文件，进行向导式的指导和流程跳转。若本地没有素材储存，则需要去云端下载更新到本地。

5 智能分析系统的更新与维护

智能分析系统库建立后应设置定时更新，保证能够通过不断积累经验，充实知识库，提高整个分析系统的智能程度。为提升知识入库的有效性，知识的更新需要人工审核流程，具体过程如下所示。

1）知识收集阶段：智能分析系统运维人员进入智能分析系统管理进行知识提交。具体的知识提交规则可预先设置，也可为某一特殊情况提供入库的绿色通道，提高该类知识的库量。

2）知识评审阶段：知识提交后，经由分析系统自身的规则校验运算，判断是否与现有的知识冲突。在确认逻辑上无误后，再由技术专家委员进行审核。若评审结果不通过，则该知识销毁或存入备用库等待修改入库。

3）知识审批阶段：审核通过后，由智能分析系统管理人员对知识进行审批，并留下相应的日志，为以后的知识审批和事故查询提供参考和依据。若不通过，同样不允许发布，重新回到第一阶段继续完善知识。

图5 图片等数据传输过程

图6 检测任务函数调用流程

4）知识发布阶段：在检验完知识的正确性和实用性后，同样由部门经理将该知识发布到知识库管理方，由其将知识导入到系统中，进行知识库的更新与维护。

6 结论

针对当前我国在电网运检领域的不足，本文设计了一套基于AR技术的计量运检智能辅助系统，含AR头盔及智能分析系统。图像识别技术及语音交互技术的深入运用，将改变当前计量巡检工作方式，能有效的辅助计量人员完成以往无法完成的工作，不仅提升安全主动警示的能力，而且提高计量巡检效率。