基于油浸式机器人的变压器故障识别研究

晏 刚， 李自荣， 冉艳红， 彭 水， 郑 凯

（重庆赛宝工业技术研究院有限公司， 重庆 401332）

0 引 言

目前油浸式变压器内检方式存在效率低、检测盲区、故障判别难度大、变压器内部二次污染和破坏等问题。 油浸式智能内检机器人通过机器视觉和人工智能技术进行故障分析和定位，一方面代替人工在不放油、充气的情况下进入变压器内部工作，减少检修天数，提高检修效率；另一方面，可通过图像的智能识别提高故障判别准确率，降低检修成本。 本文研究变压器油浸式智能内检机器人，将变压器内部视频图像传输到工作站，使用卷积神经网络进行故障识别、分析预测，提高大型电力变压器的检修效率、发现潜伏缺陷、提高故障诊断准确性。

1 油浸式变压器故障类型分析

电力变压器内部故障主要表现为机械故障、热故障和电故障3 种类型，以后两种故障类型为主，大多数机械故障最终也会表现为热故障和放电性故障［1］。 过热性故障是热应力所造成的绝缘加速劣化；放电性故障可根据其放电能量的密度分为电弧放电、火花放电和局部放电3 类［2］。 一旦出现运行缺陷或故障，或者需要对设备大修时，仍需要将设备停电放油，由专业技术人员从入孔爬进设备箱体内进行内检排查，发现设备里的缺陷或故障，必要时还需要对变压器进行吊罩处理和解体检查。

2 卷积神经网络

本文研究的油浸式变压器故障识别卷积神经网络使用Hu 特征提取和Hog 特征提取两种图像数据特征提取算法。

2.1 Hu 特征提取算法

采用Hu 特征提取算法进行Hu 不变矩提取时，主要利用0、1、2 和3 阶矩阵进行提取［3］。 首先计算各阶矩阵的几何矩，再计算中心矩，然后归一化中心矩，最后计算7 个Hu 不变矩并进行归一化。 Hu 不变矩特征提取流程图如图1 所示。

图1 Hu 不变矩特征提取流程图Fig. 1 Hu invariant matrix feature extraction flow chart

2.2 Hog 特征提取算法

采用Hog 特征提取算法进行特征提取时，首先将图像进行灰度处理，然后计算每个像素点的梯度，在每个梯度方向上划分区间，在各个方向投影，得到并统计每个区间的特征向量，一个块又由4 个相邻单元构成，同样对其在每个梯度方向的各个方向进行投影，得到并统计每个块的特征向量，最后对每个块的特征向量进行结合，就可以得到总的特征向量［4］。 在设计时有部分参数很关键，例如胞元大小计算Hog 的单元大小，每个单元可以得到一个直方图，默认值为［8，8］；一个块的大小，默认值为［2，2］；重叠块说明块之间的重叠部分的大小，默认值是0.5。 在识别时将图像尺寸转换为40×40，为了遍历图像时让块正好分开，将胞元大小改为［10，10］。Hog 特征提取流程图如图2 所示。

图2 Hog 特征提取流程图Fig. 2 Hog feature extraction flow chart

3 油浸式变压器故障图像的预处理

3.1 智能机器人图像采集

变压器油浸式智能内检机器人进入变压器内部，摄像机采集到的图像上传到工作站后采用卷积神经网络进行故障智能识别。

因为采集到的图像都是3 个层次的色彩深度达到800×800 的图像，卷积神经网络需要的是具有3个深度的RGB 三色频谱416×416 像素的图像，所以需要采用双线性插值法对数据集图像进行比例转换，转换为416×416 像素的图像［5］。

利用双线性插值进行图像缩放的步骤包括：计算目标图片与原始图片之间的缩放因子（宽度、高度方向）；利用缩放因子，由目标图片像素位置反推回原始图片中的虚拟像素位置；由虚拟像素位置找到宽度和高度方向相邻的4 个像素点；由4 个像素点进行双线性插值计算，得出目标图像中的像素值［6］。 双线性插值法的原理示意如图3 所示。

图3 双线性插值法原理示意图Fig. 3 The principle of bilinear interpolation

在进行双线性插值处理时，点P00，P01，P10，P11为已知的4 个像素点，要得到Px点的像素值，首先在W轴方向进行线性插值，得到Px0，Px1点的像素值，式（1） 和式（2）：

其次，在H轴上由Px0和Px1分别计算线性差值，得到Px的像素值，式（3）：

从式（1） ～式（3）得到了双线性插值总公式（4）：

采用双线性插值法，将离散分布的像素图进行直线化处理，使之能够准确地估计出2×2 像素区块内的任何点处的像素值，最大限度地减少在非比例放大时丢失的物体特性，降低对后续的特征抽取工作的干扰。

3.2 图像滤波

在卷积神经网络中，随着样本的聚集程度越来越高，网络训练的运算能力和参数的收敛性也越来越强，因此在网络训练之前，需要对原始图像数据进行预处理，常用的方法是去均值和归一化。 去均值就是把每个图像的数据减去全部的图像数据的平均值，把图像的亮度统一，把所有的图像都变成0 值中心；而规一化则是通过把图像的像素变换成较小的值域，从而减小了奇异样本的影响。 通过对图像原始数据去均值和规一化处理，可以实现对样本的更精确地分布，更易于训练。

将图像中的均值分成两类： 全图像均值（imagemean）和像素均值（Pixelmean）。 全图像均值是指各幅图像在某一深度上的各个空间位置上的像素的平均值，包含了空间分布数据；像素均值则是在一定的深度，对所有像素进行均值的计算，而不会考虑各图像的空间分配。 由于DIOR 数据集合内没有任何空间上的分布规则，因此本文使用了像素均值。对具有d深度的像素均值进行了运算，公式（5）：

其中，num代表了数据集训练集的图像数量；H代表图像的高；W代表图像的宽；DIOR 对应的数值为800； 而img［n］［h］［W］［d］ 代表深度中的第（D） 图像的像素数值；d分别取0，1，2，对应于图像的RGB3 个层次深度。

通过对5 862 张图像训练集的像素均值进行运算，得出RGB＿mean ＝［100.28，1，028，393.05］，去均值后的图像绿色深度上的像素值更低，过滤掉绿干扰后的指标表现得更加明显。

3.3 图像增强及算法

利用卷积神经网络对图像局部细节进行增强，能够在一定程度上限制图像局部的过度增强，但这种方法的局限性在于对比度的放大是通过在预先定义的剪裁限制下剪裁直方图来实现的。

对比度受限自适应直方图均衡化的基本步骤如下：

第一步，将原始图像分割成若干大小相等的子块，每个子块是连续的，彼此不重叠；

第二步，计算每个子块的局部直方图；

第三步，计算分配给每个子块中每个灰度级的平均像素数，由参数AvNum表示，可由公式（6）定义：

其中，Xp和Yp分别是子块X方向和Y方向上的像素数，GrayNum表示子块的可能灰度。

第四步，设置剪切系数CV，并假设其范围为［ 0，1］。 对于不同的图像，通过模拟结果将其调整为最佳值，然后按照公式（7）计算实际剪切极限值NV：

其中，round是一个舍入函数。

第五步，使用剪切极限，剪切局部直方图的每个灰度级的像素，并将额外的像素数重新分配到每个直方图的每个灰度级。 假设NClip表示被忽略的像素总数，可以通过等式获得每个灰度级应分配的像素数NAcp，式（8）， 式（9）：

伴随着我国飞机发动机的发展，航空用高温合金标准也在不断壮大，如表1所示。我国在引进的基础上也研制出了一些高温合金材料，并相继制定了各自的材料标准，涵盖航空研制生产的所有高温合金材料类型和品种。这些标准应用于航空发动机的设计、生产和使用，对高温合金的整体发展起到了重要作用。

其中H（i），i＝i0，i1…in表示子块的局部直方图。

假设CH（i） 是重新分配后的直方图，可以得到等式（10）：

第六步，假设上述分布后剩余的像素数为NumLeft，分布的步长可以定义为等式（11）：

按步长从最小灰度开始搜索，以便在像素数小于剪切阈值时分配像素。 完成从最小灰度到最大灰度的循环，直到NumLeft为0。 直方图分配就完成了，并获得了一个新的直方图。

第七步，剪切后对每个子区域执行直方图均衡化。

第八步，每个子块的中心点作为参考点，以获得灰度值；对图像中的每个像素进行双线性插值处理，每个像素的映射由对应的区域4 个邻接参考点确定。 利用双线性插值进行灰度值计算的原理如图4所示，黑色小矩形（x，y） 表示目标点，f（x，y） 是要计算的（x，y） 的灰度值，4 个相邻区域的中心点用黑点表示，4 个相邻点分别为A（x －，y －）、B（x＋，y －）、C（x －，y＋）、D（x＋，y＋）。 灰度值f(x，y) 可以用公式（12）给出的4 个点A、B、C、D的灰度值的线性组合来表示。 对于边界区域中的像素，通过两个相邻采样点的线性插值计算灰度；而图像4 个角的点是用相邻的采样点计算的。

图4 双线性插值法灰度值图计算原理Fig. 4 Principle of grayscale value calculation by bilinear interpolation

图5 自适应直方图均衡化流程图Fig. 5 Adaptive histogram equalization flow chart

卷积神经网络对读入的图像数据进行处理时，首先对直方图进行分块处理，将输入进去的图像划分为大小相等的不重叠的子块；通过对图像分块，将每个单独的区域进行处理，每个图像块的局部图像增强，从而解决全局均衡化处理的问题。 为了方便后续双线性插值处理，分块必须为2 的倍数，计算子块的直方图，并根据公式（6）得到每个子块中每个灰度级的平均像素数。 例如：假定一幅图像的像素为288×352，要分成8×8 个图像块，那么此时得到的每个图像块的像素就会变成36×44；剪切阈值的计算仿真，将其范围设置在 [0，1]，再按照公式（7）得到剪切阈值。 再对剩余的像素点分配，根据公式（8）先得到被忽略的像素总数，通过公式（9）得到每个灰度级能分配到的像素数，并按步长从最小灰度开始搜索，完成到最大灰度的循环，让剩余像素数全都分配进去，获得一个新的直方图；再根据公式（10）进行直方图均衡化，将每个子块的中心点作为参考点，获得灰度值，并使用对比度限制进行映射，改善噪声的问题；再根据公式（12）对其双线性插值处理，如果不进行插值处理，得到的图像会分块。 使用卷积神经网络进行图像数据处理的流程如图6 所示。

图6 卷积神经网络图像处理流程图Fig. 6 Image processing of convolutional neural network

4 基于卷积神经网络的油浸式变压器故障识别

4.1 实验准备

4.1.1 实验环境及参数配置

本文以Zynq SoC 平台为网络部署流程的基础，利用Xilinx 公司ZCU104 评估板，实现了网络模型的硬件实现。 ZCU104 采用Zynq UltraScale＋MPSoC系列的ZU7EV 芯片网，并在PS 上整合了四核心Arm Cortex－A53、 PL 端子UltraScale＋FPGA 等各种应用。 ZCU104 主板的硬件资源见表1 所示。

表1 ZCU104 板硬件资源Tab. 1 Hardware resources of ZCU104 board

相对于Zynq7000 系列， MPSoC 的ZU7EV 系列的芯片逻辑能力得到了极大地提高。 PS 端与DDR4DDR4 的SDRAM 相连接，用以缓存运算时所生成的运算资料。 QSPI Flash 是用来储存PS 端主电脑的开机影像，电脑启动，会加载影像，以开启PS端的主机系统。 JTAG 和Ethernet 界面可以使电脑向PS 终端传送控制和传送文档。 此外，该面板具有USB3.0， HDMI 视频输入／输出，LPC FMC 扩展卡接口等丰富的外部设备，能够满足各种不同的嵌入式系统的需求。

本文在充分利用FPGA 主芯片的设计和外部DDR 存储能力的基础上，将两个并行的DPU 芯片在ZU7EV PL 上进行有效的部署，使系统充分利用现有的资源，加快了系统的运算速度。

4.1.2 数据集

卷积神经网络模型的训练需要大量的图像。 然而收集和注释庞大的数据集既费时又费力。 为了增加数据集的大小，采用常用的数据增强方法，通过一组计算成本低廉的转换（例如旋转、大小调整和缩放）以及颜色调整（例如亮度、饱和度和对比度的变化）在原始数据集的基础上生成额外样本。 本文使用旋转、平移、翻转和颜色转换的数据增强技术。

本文的数据扩充是在“正常”和“在线”模式下进行的，并将相同的初始扩充数据存储在磁盘上。正常模式将直接使用初始扩充数据集训练卷积神经网络模型，无需任何额外的预处理，而在线模式在训练模型时额外应用在线数据扩充。 每个卷积神经网络模型都在正常模式和在线模式下进行训练，以研究两种数据操作模式对模型性能的影响。

4.2 油浸式变压器故障识别结果

利用卷积神经网络进行分类识别，在训练集Sample 文件夹中随机抽取样本图片，以比例0.9 作为训练样本，剩下的作为测试样本，计算每一种情况的油浸式变压器故障识别的准确率，根据准确率来选取最佳的搭配方式，该准确率是在每种情况中经过反复抽样测试而收集到的最大值，得到每种情况的准确率见表2。

表2 训练样本的准确率统计表Tab. 2 Statistics of accuracy of training samples

从表2 可以看出，两种特征提取方式耗时相同，所以在耗时相同时选择准确率较高的作为算法的实现过程。

5 结束语

采取Hog 特征提取的油浸式变压器故障识别的准确率高于采取Hu 特征的识别准确率；两种特征提取算法的识别速度相同。 本文设计变压器油浸式智能内检机器人，机器人配备摄像机将变压器视频图像传输到电脑，使用卷积神经网络进行故障识别的准确率可达到87.18%。