基于虚拟现实的变电站机器人工作状态智能监测系统

苏雷涛，王 锐，汪 政，周 原

(广东电网有限责任公司 电力科学研究院，广东 广州 510080)

变电站设备的常规平稳运行直接决定整个变电站运行与生产的安全性，故而需定时检查变电站内设备[1]。但因变电站内设备众多，人工定期巡检工作量较大，易因未及时发现设备异常情况导致发生设备故障等重大问题，且随着电力系统的自动化水平持续提升，变电站的设备巡检等工作逐步转变为无人化状态，故而以变电站机器逐步被应用于各大变电站内[2-4]。变电站机器人可通过模式识别与图像处理等相关技术，及时巡查并检测变电站内设备，分析设备的工作状态，实现对变电站内设备运行状况的智能、实时精准检测[5]。但因外界条件等干扰因素的存在，导致变电站机器人工作时可能发生异常状态，故应采取恰当的监测方式及时发现其异常工作状态并实施有效的控制，以保障其正常行及其所检测设备状态信息的准确性[6-7]。变电站机器人的移动较为灵活，无法通过有线连接的方式对其工作状态实施监测，故需运用无线通讯方式实时采集其工作状态数据，并结合远程人机交互技术实现对变电站机器人工作状态的智能监测[8]。

虚拟现实技术可运用计算机实现三维虚拟环境的模拟，为用户营造环境沉浸感受[9-10]。为此，设计了基于虚拟现实的变电站机器人工作状态智能监测系统，实现对变电站机器人工作状态的智能监测与异常预警，为及时发现机器人异常工作状态、有效调整控制机器人作业提供科学依据。

1 变电站机器人工作状态智能监测系统

1.1 系统整体架构

基于虚拟现实技术构建变电站机器人工作状态智能监测系统，该系统主要由双目视觉单元、数据库单元、分析显示单元、人机交互单元、任务规划单元以及监测控制单元等构成(图1)。

图1 系统整体架构

(1)双目视觉单元。包括采集模块与视频压缩编码模块，其中采集模块由双目摄像机与传感器构成，通过双目摄像机采集所需视频图像，运用传感器采集机器人位置信息等，为数据库单元提供基础数据；视频压缩编码模块是通过DSP芯片IP2970对采集模块获取到的视频动态图像实施M-JPEG编码，降低视频数据量提升采集效率。经压缩编码后的视频图像传送至数据库单元实施存储，同时将指定的图像呈现于显示单元的显示屏上。

(2)数据库单元。主要由虚拟机器人子数据库、虚拟工作环境子数据库以及工作任务子数据库构成。其中机器人子数据库所储存的是变电站机器人的三维模型数据与参数、以及工作状态等；虚拟工作环境子数据库所储存的是工作场景与工作对象的模型数据；工作任务子数据库内包含数个任务说明文件，经由变电站机器人的数条运动命令对此类文件内的任务指令实施描述，将各个任务指令名称设计给工作任务内的各个环节，同时运用机器人运动命令实现机器人动作的描述。

(3)分析显示单元。运用C++编程二次开发虚拟现实平台(Virtual Reality Platform，VRP)软件的功能，对VRP场景予以调用，将机器人子数据库内的机器人三维模型与工作状态以及工作环境子数据库内的机器人工作场景与工作对象图像呈现。

(4)人机交互单元。能够提供不同种类监测控制菜单、虚拟现实场景以及监测窗口等，属于一种人机交互界面。它的输入信息可包括语音、位置及任务指令信息等，当任务指令输入后，人机交互界面经由Socket通讯向任务规划单元传送该指令。

(5)任务规划单元。主要由工作动态轨迹模块、定位测量模块以及任务模块等组成，当此单元接收到人机交互单元所发送的任务指令后，由C++语言添加到任务模块内，并通过定位测量模块实施定位测量获得机器人工作动态轨迹存储于轨迹模块内。

(6)监测控制单元。接收到工作动态轨迹表与运动命令时，依据所接收信息监测控制变电站机器人工作状态，当监测到异常工作状态时由预警模块发出预警，并通过运动控制模块对机器人实施操控。

1.2 系统硬件设计

1.2.1 系统功能设计

变电站机器人工作状态智能监测系统的主要功能包括：三维场景漫游、机器人工作状态显示、智能监测预警、人机交互控制、历史数据查询分析、定位测量等(图2)。

图2 系统功能

1.2.2 M-JPEG编码硬件设计

动态图像压缩技术M-JPEG(Motion-Join Photographic Experts Group)是在静态图像压缩技术(JPEG)基础上衍生而来的，其所生成为序列化动态图像[11]。由于常规双目摄像机所输出的视频数据几乎均为YUV格式，需对此类格式的视频数据实施编码，以此降低带宽需求达到视频的远程传输目的。若运用相关编码软件实施编码效率较低，易降低整体视频传输的实时性[12]。故而，为实现系统的实时视频数据传输，提升视频编码效率，选取具备M-JPEG编码能力的DSP芯片IP2970编码压缩双目摄像机所输出的视频数据。此芯片的内部硬件结构设计如图3所示。DSP芯片IP2970通过对双目视觉摄像机所采集的视频数据实施硬件M-JPEG编码，将视频的采集与编码效率提升，同时因压缩编码后视频数量降低，使系统的网络传输帧率有所提升。该芯片内部具备M-JPEG编码及信号处理等专业图像传感器数字功能，并能够兼容USB全速接口。

图3 DSP芯片IP2970内部硬件结构

1.2.3 运动控制模块设计

当系统监测到变电站机器人工作状态存在异常并发出报警后，由系统监测控制单元内的运动控制模块对机器人工作状态实施控制。运动控制模块电路硬件如图4所示。运动控制模块的电路硬件中主要包括编码器接口电路、电源电路、STM32最小电路、脉冲驱动电路以及MAX3232接口集成通讯电路等。其中，编码器接口电路的功能为转换电机所反馈的差分信号为单端信号，同时向STM32传送该信号；电源电路的关键任务是转换所输入电压为所需电压；STM32最小电路的作用是将复位电路与时钟提供给芯片，同时对控制芯片的平稳运行予以有效保障[13]；脉冲驱动电路的功能是放大STM32所生成的信号并向驱动器传输，实现对电机运转速度的操控；接口集成通讯电路是主要任务是转换TTL电平为232电平，达到同计算机通信的目的。

图4 运动控制模块电路硬件设计

1.3 系统软件设计

1.3.1 虚拟场景交互过程设计

VRP-SDK是以VRP内核为基础的二次开发接口，可面向部分高级需求行业用户[14]。运用SDK程序主体对VRP脚本实施调用，采用所调用VRP脚本实现同VRP三维场景的交互控制，提升VRP的整体功能。VRP脚本可实现对三维虚拟模型的数据库操作、运动控制及分屏操控等，经由VRP-SDK向系统内嵌入VRP三维显示窗口，对SDK内的函数予以调用，以该调用函数操控三维虚拟模型属性，此操作的实现可运用SDK所提供的事件回调函数实现[15]。虚拟场景交互过程如图5所示。通过上位机软件持续扫描无线网络所传输的变电站机器人位置信息，若所扫描的信息不是目前机器人的位置信息，则返回程序继续扫描；反之则对VRP虚拟场景予以调用，同时统一双目摄像机的起始点坐标和目前工作机器人的位置坐标；在变电站机器人工作时，经由传感器采集到它的动态方位等信息，并向上位机上传此信息，当上位机将机器人的动态信息扫描到之后，可运用SDK程序对VRP-SDK内的移动摄像机脚本实施调用，令虚拟场景能够与工作动态机器人的移动保持同步，达到工作状态场景的实时效果呈现。

图5 虚拟场景交互过程

1.3.2 定位测量算法设计

定位测量算法的运算过程主要包括机器人三维模型库的创建、实时场景图像内机器人的识别、场景三维空间信息的获取以及机器人位置及尺度的获取，具体过程描述为。

(1)机器人三维模型库创建。对变电站机器人工作环境场景中不同作业机器人的三维模型信息实施手动选择，为区分不同作业机器人，为每种作业机器人实施编号，依次向数据库内储存各作业机器人的三维模型信息，实现变电站工作机器人模型库的创建。

(2)实时场景图像内作业机器人识别。通过模板匹配算法依据所创建的机器人模型库识别实时场景内的作业机器人。其中可将模板看作一幅已知的小图像，模板匹配算法就是运用SAD算法在大图像内将同模板特征相同的目标找出，同时确定此目标的详细位置信息。若模板A属于八位图像，且其像素为M×N个，将此模板放于待查寻大图像U上移动，待查寻大图像U的像素为X×Y个，模板A所遮盖部分设为子图Uij。其中，大图像U上左上方子图的坐标以i，j表示。查寻区间设为：

(1)

通过对比模板A与子图Uij的相似性，达到模板匹配的目的。模板A与子图Uij的匹配度衡量标准为：

(2)

式中，D(i，j)为待查寻图像内(i，j)坐标位置同模板相似度的度量；A为模板图像函数；U为待查寻图像函数；i、m为图像横；j、n为纵坐标变量；A(m，n)表示在(m，n)坐标位置图像的灰度值。

(3)场景三维空间信息获取。通过搜索算法将双目摄像机左右两目差别投影图像各场景点的各个投影点找寻到，并运算出所找寻各个投影点在左右两目图像内的位置差，依据所得运算结果与摄像机内参对摄像机距此场景点的间距实施运算，以此获取到此场景的三维点云信息。

(4)作业机器人位置及尺度获取。在场景三维空间信息获得的基础上，运用前述识别到的图像内不同作业机器人的位置区间，即可将各作业机器人的尺度与三维位置信息获取到，向主计算机上传此类信息，即可达到作业机器人模型实时同步的目的。

2 实验结果分析

以某变电站巡检机器人作为实验对象，将本文系统应用于此变电站中，监测实验机器人的工作状态，检验本文系统的实际应用效果与性能。实验变电站区域内所需巡检设备共计35处(编号为1—35号)，运用本文系统监测实验巡检机器人的实时工作状态，检验本文系统监测过程中的视频传输时效性、虚拟场景呈现效果、定位测量误差以及监测效果等情况。

2.1 视频传输时效性检验

将本文系统所采集到的3 000帧视频数据平均划分为10组(a—j)实施视频传输，统计本文系统传输各组视频数据的传输帧率，检验本文系统的视频传输时效性。统计结果如图6所示。通过图6能够看出，本文系统的各组视频数据传输帧率均可达到29 f/s且较为平稳，平均传输帧率为30.62 f/s，视频传输帧率较高，可保障视频传输的时效性，原因是本文系统运用了硬件M-JPEG编码所采集视频数据，提升了视频的采集与编码效率，并降低了视频数量，故而提高了视频传输帧率。

图6 视频传输帧率统计

2.2 虚拟场景呈现效果检验

检验本文系统在虚拟场景交互过程中的机器人工作状态虚拟场景实时呈现效果，如图7所示。由图7可以看出，本文系统在虚拟场景交互过程中能够保持虚拟场景同机器人的移动同步，实时呈现机器人工作状态虚拟场景，且所呈现效果清晰流畅未出现延迟问题。

图7 虚拟场景呈现效果

2.3 定位测量误差检测

检测本文系统监测过程中对实验巡检机器人实施定位测量的定位误差情况，分别为实验巡检机器人设定150、350、650、900 cm四种长度的巡检路程与25、50、85、100 cm/s四种巡检速度，对不同巡检路程与巡检速度下机器人的定位测量误差统计结果如图8所示。分析图8可得出，在相同的机器人巡检路程下，随着巡检机器人速度的提升，定位误差存在轻微上升趋势，但本文系统针对不同巡检路程与巡检速度下机器人实施定位测量的定位误差均未超出1 cm，可见，本文系统监测过程中，具有较高的定位测量精度，能够为实时精准监测机器人的工作状态提供有效帮助。

图8 定位测量误差统计结果

2.4 监测效果检验

变电站巡检任务线路与本文系统监测轨迹如图9所示。

图9 变电站巡检任务线路与本文系统监测轨迹

实验变电站的5条日常设备巡检任务线路(A—E)依次为：1号—2号—3号—4号—5号—6号—7号、1号—8号—15号—22号—29号—30号—31号、1号—9号—17号—25号—33号—34号—35号、10号—11号—12号—13号—14号—21号—28号、16号—23号—24号—32号—26号—27号—20号—19号—18号，具体如图9(a)所示，通过本文系统监测实验巡检机器人在执行5条设备巡检任务线路过程中的工作状态，获得巡检机器人工作动态轨迹结果如图9(b)所示。

本文系统对机器人工作状态的监测结果与异常报警情况详见表1。结合图9与表1能够得知，本文系统可监测到机器人的实时巡检工作动态轨迹，同时依据所得工作动态轨迹得出机器人的工作状态，并在机器人工作状态存在异常时发出报警，无遗漏工作动态轨迹与报警情况，实际应用效果显著。

表1 本文系统监测结果与报警情况

3 结语

为保障变电站机器人的常规运行，需对其工作状态实施监测。为此，本文针对基于虚拟现实的变电站机器人工作状态智能监测系统展开研究，通过结合虚拟现实技术构建变电站机器人工作状态智能监测系统，经由系统内各单元的相互协作，实现对变电站机器人工作状态的实时监测及异常工作状态的预警，并通过实验验证了本文系统可高帧率传输视频数据，保障所采集视频数据传输的时效性，清晰流畅地呈现变电站机器人工作虚拟场景，能够实现对不同路程与速度下机器人的高精度定位测量，并依据测量结果获得机器人工作动态轨迹，分析其工作状态，在出现异常工作状态时发出预警，达到智能监测变电站机器人工作状态的目的。