基于AR技术的10kV变电站作业安全态势视觉识别模型

宋立立，孙妍

（北京市建筑设计研究院有限公司，北京 100045）

变电站中包含很多大型且危险的电气设备，其中有些设备长期暴露在室外，在长时间的风吹日晒下，难以避免地会出现各种各样的问题，因此为保证变电站能够持续运行，需要进行定期检修作业[1]。在此背景下，相关学者提出了各种安全检验措施，如利用无人机或者智能机器人代替人工进行巡检作业，这样避免了检修人员直接接触高压设备，但是这种无接触的检修方法并不像人一样灵活，尤其针对一些细小问题，难以准确把握，可用性不高，很难进行精准维修[2-3]。

针对上述问题，随着VR 技术的出现和应用，构建一种基于AR 技术的10 kV 变电站作业安全态势视觉识别模型。

1 安全态势视觉识别

变电站巡检作业是为保证电力设备正常而进行的常规检修工作[4]，一般情况下需要带电作业，危险性极高[5]。为了能够准确掌握现场作业状态，提高工作人员操作安全性，该研究将AR 技术应用到变电站检修工作中，并为此设计一种基于AR 的10 kV 变电站作业安全态势视觉识别模型。该模型研究主要分为三部分，包括三维虚拟场景、基于AR 技术的作业跟踪以及作业安全态势视觉识别。

1.1 10 kV变电站三维虚拟场景构建

以往变电站作业全程监控可视化显示多为二维图像，图像中显示的信息详细程度不够，因此本章节在作业前，构建可视化三维虚拟场景，然后与内置标准三维模型进行对比，发现现场故障点[6]。

1）10 kV 变电站场景点云数据采集

当发生故障后，只是对变电站基础设备作出故障指示，无法实现精准定位；人工作业占绝大比重，需要人工进行单项作业与检查，浪费人力物力；多数线缆无法进行故障定位的统一管理；没有故障诊断系统平台进行统一分析。而三维虚拟场景建模的前提和基础是获得场景的三维信息。场景三维信息获取方法有很多种，在该研究当中，通过三维激光扫描仪采集目标场景的点云数据。原理是向着目标场景发送激光束，当激光达到目标后，会被反射回，采集这些反射回的点云数据，即可完成基础的10 kV 变电站场景点云数据采集工作[7]。

2）点云数据预处理

针对采集到的点云数据进行预处理。

①去除噪声，步骤如下：

步骤1：设置相关参数，包括点之间的领域大小N以及缩放因子P；

步骤2：随机选择一个点云数据S作为中心，获取领域N范围内所有的点云数据；

步骤3：计算领域点i与S之间的距离，如式（1）所示：

式中，di代表领域点i与S之间的距离；(xS,yS,zS)代表点云S的三维坐标；(xi,yi,zi)代表领域点i的三维坐标。

步骤4：重复上述过程，计算出所有领域点与S之间的距离，并相加，如式（2）所示：

式中，n代表领域点数量；D代表距离总值。

步骤5：计算平均距离值Dˉ，以此作为点云数据S的密度参数特征，如式（3）所示：

步骤6：重复上述过程，遍历所有点云数据，得到所有点云数据的密度参数特征：

步骤7：将所有点云数据的密度参数特征相加；

步骤8：计算平均值Gˉ以及方差g；

步骤9：由平均值和方差设置噪声点判断阈值，记为(H1,H2)。H1、H2 如式（4）所示：

步骤10：判断点云数据是否在(H1,H2)范围内，若在范围外，则认为点为噪声点，直接去除掉即可[8]。

②点云数据缩减，步骤如下：

步骤1：点云数据输入；

步骤2：以此建立K-D 树索引；

步骤3：计算第一个点开的周围最近的K个领域点，以此建立点集合；

步骤4：计算点集合的协方差，并建立矩阵；

步骤5：计算协方差矩阵的三个特征值；

步骤6：根据特征值，计算曲面变化量值；

步骤7：判断步骤6 结果是否大于设定的阈值，若小于阈值，则认为该点为冗余点，需要删除；

步骤8：重复上述过程，遍历所有点云数据，完成点云数据缩减[9]。

3）表面重建

将点云数据连接起来，构成真实场景的几何信息，进行表面重建[10]。在这里采用Delaunay 算法进行表面重建，过程如下：

步骤1：定义一个足够大的三角形，能够将所有点云数据包围起来；

步骤2：在三角形内随机选择三个点，组成一个小三角形；

步骤3：随机选择一个点插入；

步骤4：当插入点在小三角形内时，将该点与小三角形的三个点连接，合成新的三角形；

步骤5：进行递归迭代运算，将所有点都处理完毕，完成表面重建。

4）纹理映射

为增加虚拟场景的真实感，进行纹理映射，即在表面模型上披上外衣[11]。过程如下：

步骤1：采集场景纹理图像；

步骤2：将纹理的u、v坐标映射为几何坐标；

步骤3：调整纹理图像的颜色和阴影；

步骤4：将纹理图像与表面模型进行融合；

步骤5：纹理过滤处理，优化纹理映射效果。

经过上述一系列过程，完成了AR 技术中的三维虚拟场景建模环节[12]。利用AR 技术将内置标准三维模型与现场实际场景比对，发现现场故障点以及危险点，参考检修数据库，制定检修方案，为后续分析奠定了基础。

1.2 基于AR设备的作业跟踪

基于上述建立的虚拟场景模型以及AR 设备，对检修人员的现场作业状态进行实时监控，以便及时发现危险操作，完成了后台指挥管理人员与检修人员的实时沟通[13]。基于AR 设备的作业跟踪方法如图1 所示。

图1 基于AR设备的作业跟踪方法框图

为了能够实时了解操作人员的作业动态，需要让检修人员穿戴AR 智能设备，实时跟踪检修人员动作，然后显示到后台，带动后台虚拟场景人物动作。这时后台人员就可以在显示屏上全方位观察到现场作业状态，然后通过AR 设备进行现场指导，以便及时规避风险[14]。

在基于AR 设备的作业跟踪过程中，虚拟人物建模是必不可少的，需要借助Iclone 软件建立虚拟人物模型，具体过程如下：

步骤1：建立虚拟人体的树型骨骼模型，一般情况下，若是作业多集中在手部动作，只建立手部骨骼模型即可[15]；

步骤2：骨骼蒙皮，即在人体树型骨骼外添加一层人类皮肤和服装，使得人物更加形象；

步骤3：基于AR 设备捕捉人体动作；

步骤4：将人体动作与虚拟人物模型拟合在一起，使得虚拟人员模型具备行动力，虚拟检修人员就具备了与现实检修人员同步的能力。

应用AR 可穿戴设备，将检修人员在现场环境中的操作通过虚拟显示屏，“零距离”交互至终端，减少中间环节，保证交互的实时性和高效性，完成了对变电站作业的实时跟踪。

1.3 作业风险视觉识别

作业风险视觉识别主要原理是根据对比虚拟人物的标准作业动作检测检修人员在作业过程中存在的不当行为，然后反馈给后台，并发出报警信号，后台通过VR 设备及时与现场工作人员进行沟通，并给出指导[16]。这样就能实时、全面掌握作业现场环境，对10 kV 变电站作业状态进行实时监控，及时帮助现场作业人员规避风险，保证人员安全。具体过程如下：

步骤1：输入基准10 kV 变电站作业动作图像；

步骤2：输入虚拟人物实际10 kV 变电站作业动作图像；

步骤3：对基准动作图像和实际动作图像进行预处理。具体如下：

1）图像灰度化函数如式（5）所示：

式中，R(i,j)、G(i,j)、B(i,j)代表色彩三分量。选择三个中的最大值代替其他两个色彩分量的值，进行图像灰度化。

2）图像去噪函数如式（6）所示：

式中，ξ为像素均值；ψ(i,j)代表滤波窗口内(i,j)位置处的图像像素；s代表滤波窗口；M代表s内像素点的总数；m代表滤波窗口尺寸。将ξ代替图像中滤波窗口中心点像的素值，进行去噪。

步骤4：背景切割，即通过背景判定公式锁定背景部分，然后进行去除。背景判定公式如式（7）所示：

式中，0 为背景值，255 为目标值，T为设定的阈值，γk(i,j)为前后帧图像相减结果，λk(i,j)是二值化图像。

细化表示如式（8）所示：

式中，ϕk(i,j)和ϕk-1(i,j)为第k帧和第k-1 帧图像像素。

步骤5：利用卷积神经网络进行风险动作识别。具体过程如下：

1）输入训练样本；

2）卷积神经网络初始化，并设置相关参数；

3）输入训练到卷积神经网络当中；

4）经过卷积层提取图像样本中的检修人员动作特征；

5）经过池化层对特征进行精简；

6）通过全连接层将所有特征关联到一起，进行监测信息的特征级融合；

7）利用softmax 分类器识别存在安全风险的动作，过程如图2 所示。

图2 安全态势视觉识别流程

图2中，利用训练好的卷积神经网络，输入测试样本，即可完成10 kV变电站作业安全态势视觉识别。

2 应用测试与分析

为测试所构建模型在10 kV 变电站作业安全态势视觉识别中的应用效果，进行应用测试。

2.1 虚拟三维场景

以某10 kV 变电站一部分场景为例，首先，利用三维激光扫描仪采集点云数据，然后，借助三维建模软件MultiGen Creator 建立关于10 kV 变电站三维虚拟场景，用于后续分析。10 kV 变电站虚拟三维场景如图3 所示。

图3 10 kV变电站虚拟三维场景

2.2 虚拟人物构建

借助Iclone软件建立虚拟人物模型，如图4所示。

图4 虚拟人物模型

2.3 动作设计

为测试识别模型的应用效果，令工作人员按照一般变电站作业流程进行作业，然后在其中部分环节为检修人员设计一些动作，其中正确动作有5 个，错误动作5 个。设计方案如表1 所示。

表1 动作设计方案

2.4 可穿戴AR设备

通过可穿戴AR 设备，将表1 动作同步给虚拟人物，然后虚拟人物在虚拟三维场景进行相应的作业，最后按照1.3节流程识别变电站作业安全态势。以其中一个错误动作为例，识别结果如图5 所示。

图5 未经授权进入风险区风险识别

识别所有作业动作，识别结果如表2 所示。

表2 作业动作识别结果

对比表2 和表1 可以看出，应用所研究模型，10 kV 变电站作业安全态势视觉识别结果与所设计动作类型相一致，说明所构建的模型能够准确寻找出变电站作业过程中存在的风险因素，为工作人员提供了重要的安全保证。

在表2中，随机选取四个动作，重新标记为动作1-动作4，在规定的作业风险视觉图像中，进行灰度图像、背景切割图像和基准动作图像的分析，对比实际动作图像的最大帧数，分析前后帧图像相减结果，进一步确认风险动作识别效果，分析结果如图6 所示。

图6 不同动作的图像匹配帧数

图6 中，灰度图像、背景切割图像和基准动作图像的最大帧数分析结果显示，与实际动作图像相符，能够动态识别识别检修人员在作业过程中存在的不当行为，并减少安全态势视觉识别效果异常卡顿的问题。

3 结束语

该文完成了基于AR 技术的10 kV 变电站作业安全态势视觉识别模型研究，应用AR 技术与Delaunay 算法，构建10 kV 变电站作业安全三维虚拟场景，借助AR 设备进行变电站检修作业跟踪，实时显示变电站作业状态，视觉识别检修人员在作业过程中存在的不当行为，并证明了所研究模型的有效性，完成了作业风险识别任务。