无人机双目视觉系统在电力绝缘子故障检测与类型识别中的研究与应用①

闫德鑫, 刘建军

(湖南交通工程学院，湖南 衡阳 421009)

0 引 言

无人机双目视觉类传感器能够获取到高空作业信息，还可获取表面故障特征的信息，便于对电力绝缘子进行更加准确的故障检测与类型识别。结合高空总也难度大利用双目视觉熊提升故障检测的正确率，可以避免工作中的性能干扰，而且从经济角度分析，无人机双目视觉机器价格更低、设备更轻便、操作方便且便于维护。

1 无人机双目视觉系统的匹配技术分析

1.1 双目立体视觉

无人机双目视觉系统，这种技术在识别周围图像过程当中会模仿人的视觉以获取最为清晰的图像，并观察到空中某一点位置的投影以及形成的视差。国内有关双目立体视觉的技术应用主要应用于安防监控、智能零售以及工业制造，而在电力绝缘子故障检测当中逐步深入研究。

1.1.1 双目立体成像的模型

人眼变化的位置主要以左右眼，睁眼闭眼感受视差。双目立体成像的模型模拟人眼观察事物，捕捉立体图相匹配特征点具体位置，并联合相机对物体表面三维信息予以求解，模型成像如图1。

借助于左右摄像机获取存在视差的各类图像，快速精算图像存在的视差，从而明确物体空中的物点，利用相机所在位置快速识别空间的三维图像，从而计算像素深度，考虑摄像头距离以及摄像头的基线，其中基线距离越长测得的事物图像距离也越远。

1.1.2 双目立体视觉的数学模型

水平视角下的双目立体成像形成的原理，在图像聚合透明位置点，确定摄像焦点位置已形成空间三维坐标，从而分析图像的左右坐标，形成左右镜头找到两点之间的公式如式(1)：

(1)

然后可以求得XD获取物点P的三维坐标，以及左右镜头对应位置关系。获取图像的双目相机拍摄不同图像，由于所在位置不同，左右视差的点对点需要匹配，按照公式内容可以明确三维坐标具体所在位置点。结合生物图像立体匹配，是插图道生度图的转换，从而形成二维到三维图像的转换。

1.1.3 畸变与矫正

实际物体成像，是在相机的成像透镜基础上得以生成图像，借助于以光线传播的方式形成图像尽管会出现变形失真，但是图像的清晰度较好，镜头镜片所形成的形状差异往往是因为镜像畸变造成的。畸变是由于透镜数量过多，而在传播过程当中出现光轴倾斜容易形成畸变。R代表点P距离坐标，远点的θ代表水平夹轴，从而对镜像畸变进行消除。公式如(2)，(3)：

xcorrected=x(1+k1r2+k2r4+k3r6)

(2)

ycorrected=y(1+k1r2+k2r4+k3r6)

(3)

图1 双目立体成像模型

图2 双目立体成像平视视角原理

XY在矫正之前的P点形成规划的坐标，针对图像边缘存在的畸变较大的问题，采用K值消除畸变K3值，避免畸变过大影响匹配。一旦双目视觉系统拍摄的图像出现切向畸变，需要结合参数P1、P2j矫正畸变，例如公式(4)，(5)：

xcorrected=x+2p1xy+p2(r2+2x2)

(4)

ycorrected=y+p1(r2+2y2)2p2xy

(5)

综合公式(2)-(5)计算结合畸变参数K1，K2，K3，p1，p2，获取图像像素平面坐标，将图像倒影在平面消除畸变。

1.1.4 Bouguet极线校正

左右相机拍摄的图像按照坐标予以矫正，使其达到平行共面状态。得到旋转矩阵Rr，如公式(6)：

(6)

矫正矩阵Rrect确保平面与基线保持平行，由此得出矫正矩阵公式(7)：

(7)

其中，T表示双目相机左右镜头之间偏移矩阵，T= TXTy。Rz和Rro如公式(8)所示：

(8)

1.1.5 实验结果的描述

明确畸变的像素坐标，从而划分畸变前后各个像素的坐标公式。畸变前的像素坐标为(x，y)。其中，形成主点坐标，(x,y)表示无畸变坐标。公式如(9)，(10)：

ud=u0+axd+yyd

(9)

vd=v0+Pyd

(10)

将式(9)和(10)转化为矩阵，如公式(11)所示：

(11)

结合实验所安装的相机位置以及畸变系数消除图像所存在的畸变，以还原图像真实情况，由于相机的透镜曲率不均，同样会引起径向畸变。

1.2 立体匹配

立体匹配技术对图像相同颜色以及相似的元素信息需要形成立体匹配，主要是借助于双目深度进行估算，估算视差匹配度是否提高精度。匹配精度会影响图像信息转换结构的准确性，因此立体匹配技术难点主要在于颜色、亮度、图像、倾斜面、反光区域、物体遮挡、透视、变形、纹理重复等等一系列问题。为此，要选择适合的立体匹配算法。立体匹配流程主要是计算匹配代价以及聚合，最后进行统计数统计，对视差进行精化计算。计算颜色、亮度、梯度，匹配数值以达到最优解，需要排除匹配噪声。

1.2.1 视差图

无人机双目视觉系统主要是模仿人眼的功能，尤其是在闭一只眼之后可观察物体，睁开一只眼再闭上另一只眼，眼睛会成像产生一个位移视差。双目立体视觉系统通过镜头模拟人的眼睛所产生的视差效果，在相机成像的两者之间也会形成眼睛一样的位移关系。可以借助于三角测量原理得到三维立体图。

图3 匹配流程

所形成的视差图的大小色彩会与眼睛所形成的基准图像类似，视差图也被称之为是灰度图，代表像素的各个点的距离远近，相机镜头就某一场景是之下形成的像素偏差与深度信息相一致，通过公式将视差信息转化为图像的深度信息。

1.2.2 影响匹配的因素

利用双目相机形成的图片像素坐标类似于左右两台相机架在左右两个位置点，综合形成像素坐标，相机之间存在差异性，为了强化图像的精准度稳定测量环境，确保相机所摄物体的光照环境。在光照影响下会出现图像亮度、色彩的差异性，而且也会因为图像之间的噪声，会导致后期图像匹配产生误差。例如，光线作用位于高亮反光位置处容易出现匹配误差；所在区域物体角度差异造成的倾斜角度存在误差；不同位置的透视撞偏差造成左右图像特点，对应呈现出误差匹配结果。

1.3 立体匹配算法

1.3.1 基于全局最优的立体匹配算法

综合立体匹配算法存在的约束条件，进而获取匹配机缘获得视差信息精确度存在问题，需要规划立体匹配算法，具体公式如(12)。

E(d) =Edata(d) +Esmooth(d)

(12)

式(12)中，d代表视差图，ESmooth代表视差平滑项，Edata代表视差数据项。计算最优解获取点和像素关系视差，提高匹配中心位置对左右相机成像图像进行相邻区域计算存在的视差，利用数学函数公式计算像素点位置的视差值，所以提取最优视差以评估视差信息。使用这种方法计算的视差，整体区域并不连续，但是可以提高匹配精度。

1.3.2 局部最优的立体匹配算法

为了获取最优解，利用立体匹配算法优化匹配效果，以此进一步可以计算出立体视差。在窗口设置当中，结合工作原理，主要是手动搜索到匹配窗口图像的特征点，了解区域之间的视差值，手动选择窗口像素。利用自适应像素权重的方法剔除掉平滑像，针对不同形状大小采取差异性的方法，难点在于相似性的匹配特点较多，立体匹配算法的优点在于能够快速匹配，后续需要对视差进行操作。而局部立体匹配算法效果更好，耗时短。目前，局部图像匹配算法，其精度在匹配技术领域当中应用更为广泛。本文主要选择改进最优算法，以提高实验精度。

2 基于图像的电力绝缘子故障检测算法研究

2.1 故障检测算法概述

在计算机的视觉计算技术日益成熟过程中，语义分割结合视觉系统形成视觉层次，像素分割对应上下文个像素予以标签，抓取语义特征划分像素类型，语义分割技术对物体进行完整的解析，需要借助于各项工具以提高判断准确性。语义分割用于无人机生物视觉系统当中，得以形成对图像编辑的自行计算交互功能。

表1 常见的语义分割数据

传统算法大多以FCN作为基础，和与对像素级别的图像予以分类，但依赖于卷积层导致网络退化。FCN去掉了全连接层，综合网络应用可以精确图像尺寸大小。经典语义分割算法没有连接层解码，编码都采用SAME卷积提取特征，可以保持像素尺寸解码，引入编码信息采用池华槽模型可以提升编辑效果。从而减少相关信息减损失，借助于语义分割实现编码解码模型。

2.2 语义分割网络设计

语义分割能强化识别物体故障精度，电力系统高架需要无人机安装的双目视觉系统采集高空作业信息，在传输给地面，通过反复应用全新技术，快速识别电力绝缘子的故障位置和类型，确保图像已经丢失的文件数据信息，而语义分割架构作为编码解码过程编辑器输入特征，将特征投影到像素空间以内。目前网络架构当中，轻量型的主要是对网络的层容量、深度、宽度进行操作以解决计算量繁琐的一系列问题。目前，Swift net通过预算提高科技含量，强化计算速度，便于将轻量型网络架构延伸到语义分割当中。

2.2.1 SwiftNet 网络架构

SwiftNet依旧采用编码-解码的网络架构，实践中mobilenetv2计算量大，延缓计算速度。要想提高实时编码速度，利用上采样对图像编码简单易学，输入到一个3x3 conv中。具体如图4。

图4 单尺度模型图

图5 RGB图像的网络架构

黄色梯形表示卷积组，绿色菱形表示空间金字塔池化层，红色正方形表示瓶颈层，蓝色梯形表示轻量级上采样模块。双线性插值采样后可以提高原始图像分辨率。

2.2.2 RGB-D语义分割网络架构

通过分割架构体系进行优化改进，此后的网络架构编码器分割为独立分支两部分，每个路径均可获取RGB图像以及深度图特征。主分支当中RGB的深度图就是体系内部的从分支。在ResNet-18窗口提取图像特征，每一个层次均显示的是融合后分支的输出特征。金字塔结构(SSP)将数据收集融合形成RGB，在此基础上将图像的深度特征演变为多尺度的各个类型的信息以作为图像主要特征予以清晰化处理。

结合多分支架构获取图像的深度信息特征Y，加入ixl的卷积层，挖掘通道之间的相关性，利用函数计算结果，权重[0-1]，获取的权重向量与特征的乘积，最后获取图像深度结果如(13)：

Z=X⊗σ1[φ1(X)]+Y⊗σ2[φ2(Y)]

(13)

式(13)中，Z表示全局汇集，表示外积和sigmoid函数。利用融合获取大量特征信息，获取图像最高权重值，达到深度图的信息互补。在数据集训练中可以改进框架以提高数据集的精准度，在语义分割方面提高工作效率。

3 实验结果与分析

3.1 数据集

采用电力绝缘子数据集，包含了50多张高空电力绝缘子图像以及注释序列，包括电力绝缘子的棒芯图层标签，图像大小是1024X2048。根据图像获取绝缘子的故障信息，伞盘纹理/外观不均匀，金属端头中有故障，存在图像清晰度的干扰物。结合数据集估视觉算法对电力绝缘子工作环境存在故障的位置，用于训练神经网络计算强化图像识别效果。

3.2 实验结果与分析

利用Windows 10操作系统，使用Pytorch框架搭建模型，优化计算速度，围绕RGB获取深度信息的语义分割网络架构，采用Cityscape数据集优化图集，在软件当中将获取ResNet-18分支结果，再次更新训练参数。匹配算法存在一定的限制，所获取的左右试图存在视差，需要裁剪像素使其回归到原始分辨率当中。利用随机因子0.5-2之间的缩放获取的训练图有50张，主要包括，伞盘、棒芯、金属端头，相关图像以此作为标签，强化网络运行速度的同时，快速处理图片，在随机水平反转操作裁剪的过程当中，使所有图片的分布辨率在768*768之间。保证数据饱和度，需要对图片的色调、亮度进行处理，扩充操作方式，以计算数据局的训练权重。Z大小设为16。

表3 不同模型在数据集上的对比

语义分割评价指标MIoU，指示类别识别精确值，该值越高证明与图像真实数据越接近，该模型算法性能优化越突出。表2是数据集在两个网络上的MIOU(%)结果，金属端头、伞盘、棒芯。利用RGB图像获取的深度信息计算速度略高。如果网络输送效果较好，证明越符合光照条件下的要求，RGBnet的速度达到了42FPS，满足了实时性的要求。

为保证所获取的图像信息更具有深度，可以利用深度信息提高分割精度，从而检测散盘金属端头傍星不同目标的图像语义分割，提取故障类别语义信息，针对不同类别的像素获取结果，从而精准识别电力绝缘子各部位。所存在的故障由于图像复杂性，存在漏洞，例如难以识别鲁棒或者金属盘的细微故障，结合实验所使用的网络方式，有效利用互补信息，对单纯的图像予以识别，提高故障检验精度。

4 结 语

人工智能技术为电力绝缘子故障检测提供便利，借助于无人机双目视觉系统感知外界信息对故障进行检测，而一个智能化的具有快速、可靠的故障检测系统技术不仅对我国电力发展具有很大意义,也是电力系统的完善和保障。在立体匹配中结合双目相机提取信息避免畸变，以消除畸变，在立体匹配算法中，提高图像颜色的匹配度，获取匹配生成图像信息更加完整。与SwiftNet相比，本实验网络体系的深度互补信息，在伞盘、金属端头、棒芯的故障检测方面提升了准确率，证明了利用深度信息有助于提高准确性。