基于最近邻加权灰度均值算法的高压线目标检测

2021-10-15唐法帅杜宗展

计算机应用与软件 2021年10期

唐法帅高琦杜宗展

1(山东大学机械工程学院山东济南 250061) 2(高效洁净机械制造教育部重点实验室山东济南 250061) 3(山东大学电气工程学院山东济南 250061)

0 引言

高压输电线路是现代工业社会和国民生活的生命线，正常与否事关国民生计和社会安定[1]。然而，远距离输电的方式和特殊环境不可避免地会引起线路故障，造成极大的生命财产损失。因此，对输电线路进行定期巡检成为输电部门的一项必要工作[2]。

线路巡检的方式多种多样，先后经历了人工巡检、直升机巡检和无人机巡检的发展过程[3]。近年来，随着机器人技术的进步，采用机器人来代替或协作人来完成输电线路巡检作业成为可能，输电线路巡检机器人迅速成为国内外机器人领域的研究热点之一[4]。前期巡检机器人的导航方式主要是多传感器电磁导航。如文献[5]在机器人本体上安装了34个测距传感器，组成传感器阵列，先通过自身携带的超声波传感器检测输电线直径，通过直径有无变化判断线路上是否存在障碍物，然后利用机载GPS和轮组里程读数确定与障碍物的距离，机器人停止运动后，将传感器阵列采集到的障碍物的距离信息输入到基于粗糙集的障碍物分类器中，根据分类器输出判断障碍物的尺寸范围，进而确定采用哪种越障方式。

随着人工智能与机器学习理论的迅速发展，基于视觉导航的巡检机器人成为线路巡检的主要研究方向之一[6]。视觉导航以其重量轻、结构简单、采集信息量大的特点成为研究热点[7]。视觉导航在线上完成的任务主要包括两个：识别定位障碍和识别定位故障。其中识别定位障碍用于指导自主越障，是机器人自主巡检的基础，而机器人只有具备了自主越障的能力，才有可能继续完成识别定位故障等巡检工作。

国内外学者在高压巡检机器人基于视觉导航进行障碍识别检测方面开展了大量研究。文献[8]设计了基于结构约束的障碍物识别算法，利用图像的边缘信息，采用改进的基于存在概率图的圆、椭圆检测方法和分层决策机制来减少干扰，实验结果表明，算法能可靠地识别出复杂背景中的障碍物，但是对环境噪声的抑制能力弱，结构约束还不完整。文献[9]提出了基于轮廓视图合成的障碍物检测方法，实验证明轮廓视图可比较理想地达到识别障碍物的目的，绝缘子和防震锤识别准确率分别达到92%和80%。文献[10]通过Otsu算法对Canny算子进行改良，提取图像边缘，并对边缘图中的某些基元添加约束，实现障碍物识别，实验结果表明，算法能够有效地检测出相线、防震锤、悬垂绝缘子和耐张绝缘子，但是当光线强烈时，很容易发生误检。文献[11]提出一种基于小波矩的障碍物智能视觉识别方法，通过提取障碍物边缘图像的小波矩，得到一组局部最优的小波矩特征，然后利用小波神经网络进行分类，实验表明算法对耐张线夹、防震锤和悬垂线夹的识别准确率分别达到93.2%、95.6%和89.2%。文献[12]对弱光条件下的障碍物进行识别，首先对图像进行自适应同态滤波，然后将图像划分为小区域，用改进的局部二进制模式提取特征，最后用卡方距离进行类别判断，实验结果表明，算法具有很高的抗光照干扰的效果，防震锤、耐张线夹和绝缘子的识别正确率分别达到87%、85%和88%。文献[13]设计了一套障碍物自动识别系统，利用灰度垂直投影进行目标定位，提取出目标的轮廓图，根据轮廓特征进行识别，实验结果表明，算法可以较准确地提取出悬垂线夹、左转弯跳线和右转弯跳线，但是文章列出的五种轮廓走向图只适用于本实验室的线路走向。文献[14]提出了一种同步障碍物识别和距离估计方法，建立多尺度障碍物模型，通过检测相线确定候选ROI，然后将相同尺度的障碍物模型和ROI进行FAST和SURF特征匹配，实验结果表明，算法可以有效地识别出线路中的间隔棒。文献[15]提出基于粒子群优化的小波神经网络障碍物识别方法，用粒子群算法取代传统的梯度下降法，并改进了权重因子，实验结果表明，算法可以有效地识别出防震锤、悬垂线夹和耐张线夹，但是算法主要是为了解决传统神经网络的输出误差，并没有解决小目标障碍物的提取问题。文献[16]基于帧差图像和阈值图像提取出了运动目标，实验结果表明，算法能比较准确地提取出目标ROI，但是文中并没有提出针对单幅图像的处理方法。

由上可知，现有研究仍存在以下问题：目标检测准确率较低；抗干扰能力弱，难以适应复杂的环境变化；部分研究采用的数据集中目标几乎占据整幅图像，没有考虑小目标识别问题。

为此，本文提出了一种基于最近邻加权灰度均值算法的高压线目标检测算法，实现目标ROI的精确提取，依据机器学习实现分类，可准确地识别出线路障碍物。

1 最近邻加权灰度均值算法原理

最近邻加权灰度均值算法原理如图1所示。以某一目标为例，定义了3种ROI类型，分别为标准ROI(sROI)、非标准ROI(nsROI)和非ROI(nROI)。令：

(1)

式中：D表示ROI；p(i,j)为(i,j)处的像素值；S定义为ROI的面积，可用ROI内部包含的像素总数表示；g视为窗口内的灰度均值。显然，在sROI内求g值，与在nROI中相比，g值相差较大，表明sROI和nROI能很好地区分；而在sROI与nsROI内求g值，数值相差较小，两者不能很好地区分，但是，随着nsROI向sROI的靠近，两者g值相差会越来越小，直至相等。算法的主要思想就是在获知sROI的基础上，在所有nsROI中找到一个与sROI的g值最接近的，即视为ROI的提取结果。

一般在拍摄角度固定的情况下，对于同一目标，ROI内的g值是比较稳定的。但是，高压巡检机器人作业环境中存在的光照、镜头抖动等干扰因素会对g值产生一定的影响。为了保证g值的稳定性，本文对图像进行不同方式的预处理，将所获得的不同图像的加权平均g值作为ROI内的g值，从而提高本算法的抗干扰性。

据此，本文首先对目标ROI进行人工标注，获得标准图中待识别目标sROI所对应的g值，当作窗口的筛选依据，然后在待测图中，通过窗口的滑动，求取每个窗口的g值，并与sROI内的g值进行比较，取差值最小所对应的窗口区域作为ROI的提取结果。

2 检测流程

2.1 总述

整个检测流程分为四步：(1) 由训练集生成窗口的筛选依据；(2) 根据筛选依据对测试集进行目标ROI的提取；(3) 对ROI提取结果进行精细调整；(4) 用获得的ROI进行特征提取和分类器训练，从而完成目标ROI的分类。具体流程如图2所示。其中：w、h、x、y分别表示待测图中窗口的宽度、高度、横坐标、纵坐标；W、H、Y分别表示标准图标准ROI的宽度、高度、纵坐标，且坐标原点选择图像左上角；ea、ta、ha、la、ls分别表示待测图中待检ROI内的边缘图灰度均值、阈值图灰度均值、直方图均衡图灰度均值、逻辑图灰度均值和逻辑图灰度总值；Ea、Ta、Ha、La、Ls分别表示标准图中标准ROI内的边缘图灰度均值、阈值图灰度均值、直方图均衡图灰度均值、逻辑图灰度均值和逻辑图灰度总值。

(1) 基于曲线拟合获取窗口筛选依据。在训练集图像中，人工标注出目标sROI，并映射到边缘图、直方图均衡图、阈值图和逻辑图中，分别计算sROI内的W、H、Y、Ea、Ta、Ha、La、Ls的值，以w为自变量，将各值拟合成关于w的多项式函数，并与相线中轴线定位得到的x坐标合并，综合成筛选依据。

(2) 基于最近邻加权灰度均值进行ROI提取。对测试集图像进行同样的预处理，根据获得的筛选依据遍历所有的w，筛选出若干满足筛选依据的候选ROI，并求出所有候选ROI与sROI的加权灰度均值距离，距离最小值所对应的窗口，即视为ROI的提取结果。

(3) 基于相线直径匹配进行ROI调整。将目标当作相线的一部分，在上下边界的特定范围内，检测每行相线直径与标准直径的差值是否在允许的范围内，在所有差值超过范围的行中，取行号最小的当作新的上边界，取行号最大的当作新的下边界，依据曲线拟合结果h(w)，对左右边界以相线中轴线为基准进行调整，获得最终的精确ROI。

(4) ROI分类。对获得的目标ROI进行HOG、GLCM和LBP特征提取，并分别训练RT、SVM和ANN分类器，实现分类。

2.2 图像预处理

预处理的目的是获得稳定的图像，尽量降低光照不均、曝光不均和镜头抖动等因素的影响，并且尽可能扩大目标与背景的灰度差值，使ROI内的g值足够稳定。训练集与测试集要进行完全一样的预处理，以保证训练集获取的筛选依据可以应用到测试集中。为了提高算法对ROI的提取精度，本文通过预处理得到四种图像，分别为边缘图(E)、阈值图(T)、直方图均衡图(H)和逻辑图(L)，其中逻辑图由本文首次提出，相对于阈值图和直方图均衡图，其抗干扰能力更强。

对于边缘图的获取，本文选择了Canny边缘检测，其中高阈值取80，低阈值取20，大的高阈值可以保证只检测到特别明显的边缘，小的低阈值是为了让所有不明显的边缘都等可能地连接到主干上去。

对于阈值图的获取，本文采用了自适应阈值，阈值窗口的大小是随搜索窗口大小的变化而变化的，并且阈值化之后，又进行了形态学开运算，核的大小也随窗口大小的变化而变化。

对于直方图均衡图的获取，本文首先进行Gamma校正，然后基于亮度均衡进行光照补偿[17]，最后进行形态学开运算，参数选择与阈值化时的形态学类似，采用自适应参数。

对于逻辑图的获取，本文通过对阈值图和直方图均衡图对应像素求逻辑。这样可以保证目标轮廓以内的主体部分像素值不易受光照影响，且始终稳定为0；而目标轮廓以外且靠近轮廓的部分不会像阈值图一样存在0到255的突变，因此逻辑图的稳定性最强。

2.3 基于曲线拟合获取筛选依据

筛选依据由搜索窗口和筛选条件两部分组成，其中搜索窗口是指一系列尺寸和位置不同的窗口，在测试集图片上进行滑动，筛选条件用于判断每一搜索窗口是否为候选ROI。两者都是在训练集图片上经过训练得到。

1) 搜索窗口。搜索窗口包括窗口位置和窗口尺寸，窗口位置用左上顶点坐标(x,y)表示，窗口尺寸用宽度和高度(w,h)表示。为了减少搜索窗口的数量，本文将窗口位置和窗口尺寸联系起来，即窗口位置(x,y)与窗口尺寸(w,h)一一对应，每一搜索窗口位置都有独一无二的搜索窗口尺寸，特定尺寸的搜索窗口只会在对应位置进行搜索，可极大地提高搜索速度。

搜索窗口的4个参数(x，y，w，h)，除x坐标外，都是通过多项式函数曲线拟合获得，拟合的通式如下：

f(x)=anxn+an-1xn-1+…+a1x+a0

(2)

拟合函数以w为自变量，范围为wmin～wmax且为整数。拟合所需数据是通过计算每一训练集图片中目标sROI内的W、H、Y的值获得。拟合函数结果可表示为：

(3)

对于窗口x坐标的确定，考虑到镜头安装(斜向上)和机器人移动方式(沿相线)，镜头视野中的相线纵穿图像，所有障碍目标位于相线上，因此窗口x坐标可由相线中轴线x坐标与窗口宽度w计算得到。其中窗口宽度w已通过曲线拟合获得，故只需确定相线中轴线x坐标。本文对于相线中轴线x坐标的确定采用图像投影的方式，具体如下：

(1) 对预处理结果中的阈值图做垂直投影，获得投影图；(2) 在投影图上的220行到480行之间的区域，记录每一行最左端的黑色像素和最右端的黑色像素的x坐标值，并求平均；(3) 对所有行的平均再求均值，即可获得相线中轴线的x坐标。相线中轴线检测结果如图3所示。

搜索窗口的搜索过程可具体表述为：

(1) 对于wmin～wmax范围内的某一窗口宽度w，根据式(3)计算搜索窗口的高度h和左上顶点的y坐标；(2) 定位出相线中轴线，并根据宽度w计算出窗口左上顶点的x坐标；(3) 将得到的w、h、x、y组成一个完整的搜索窗口，进行搜索；(4) 遍历所有w即可获得所有的搜索窗口。

由于w数量有限，每一个w只对应一个搜索窗口，因此搜索速度快。考虑到搜索窗口的位置精度，给窗口位置(x,y)稍许波动，即每一窗口尺寸(w,h)在与其对应的窗口位置(x,y)附近的邻域内进行搜索。

2) 筛选条件。筛选条件的作用是从所有的搜索窗口中筛选出sROI或与sROI比较接近的若干候选ROI。根据前面的原理介绍，要想达到筛选效果，必须同时获得标准图和待测图的对应g值，然后将它们进行比较。筛选条件构造的具体过程如下：

(1) 对训练集进行预处理，分别获得E、T、H和L图；(2) 人工在训练集图像中标注出目标的sROI，在sROI内分别计算W、Ea、Ta、Ha、La、Ls的值；(3) 以w为自变量，通过多项式函数曲线拟合，分别获得Ea、Ta、Ha、La、Ls关于w的多项式函数：

(4)

(4) 对于测试集中的图像，在每一搜索窗口内，用同样的方式计算出搜索窗口的各g值，并规定如下的筛选条件：

(5)

式中：pE(i,j)、pT(i,j)、pH(i,j)、pL(i,j)分别表示4幅预处理图像中(i，j)处的像素值；D为搜索窗口；w为窗口宽度；h为窗口高度；δ1、δ2、δ3、δ4、δ为各差值的允许波动范围，也是关于w的函数，具体值由实验获得。

2.4 基于最近邻加权灰度均值进行ROI提取

式(5)筛选出的候选ROI一般会在目标sROI附近波动，并且数量大于1，因此需要设法从所有候选ROI中获得一个最佳ROI。令：

p=w1p1+w2p2+w3p3

(6)

其中：

(7)

式中：p1、p2和p3表示测试集和训练集对应窗口内三种g值的偏差大小，即灰度均值距离。(p1,p2,p3)乘以对应的权重系数(w1,w2,w3)，得到p，即可视为加权灰度均值距离。

在权重大小的选择上，由2.2节的图像预处理论述可知，逻辑图的鲁棒性最大，阈值图次之，直方图均衡图最小，故得出权重的大小关系为w3>w1>w2，具体数字由实验获得。

对于每个候选ROI，p值越小表示与训练集sROI的加权灰度均值距离越小。因此只需在所有式(5)筛选出的候选ROI内，根据式(6)及式(7)计算出各ROI的p值，然后挑选出最小p值所对应的ROI，即为目标ROI的初步提取结果。

2.5 基于相线直径匹配进行ROI调整

以上获得的ROI并不能保证恰好为目标的sROI，而是有更大的可能会在sROI附近波动，需要进一步调整，以提高精度。

由于左右边界是根据相线中轴线定位得到的，比较稳定，因此调整的对象主要集中在ROI的上下界。在新的上下界确定之后，根据w和h的拟合函数关系计算出w值，即可求得左右界的位置。其中，上界的具体调整步骤如下：

步骤一确定初始ROI上界的波动大小，即判断其是仅在目标上界附近波动，还是在目标上界下方H/2附近波动。若仅在上界附近波动，则只需在原ROI上界所在行上下各H/2的范围内进行调整；若在目标上界下方H/2处波动，则需在原ROI上界所在行到向上H的范围进行调整。

步骤二在步骤一确定的调整区域内，由下到上，检测图像每一行是否仅穿过相线。仅穿过相线代表本行不存在目标，否则代表存在目标。在所有存在目标的行里面选择行号最小的作为新的上边界。对于如何判断每一行是否仅穿过相线，采取的步骤如下：

(1) 求无目标图像的相线直径d。注意到图像中相线的直径大小是随行号变化的，相线在图像中具有两个近似直线的边缘，定位这两条直线边缘，然后求它们与特定水平线的交点，两交点x坐标之差的绝对值即为此水平线所在行对应的相线直径(单位是像素)。由于在每幅图像中，相线几乎不发生变化，因此一幅图像的结果可推广到其他所有图像。相线两直线边缘的定位方式采用霍夫变换[18]，定位结果如图4所示。

图4 Hough变换相线边缘检测

OpenCV中Hough变换得到的是直线的极坐标参数ρ和θ，为了计算方便，转换为直角坐标。根据极坐标和直角坐标的关系，得到对应直角坐标中直线的斜率和截距为：

(8)

b=ρsinθ-ρkcosθ

(9)

设相线两边缘的直线方程为：

y1=k1x1+b1

(10)

y2=k2x2+b2

(11)

对于图中的每一行，令：

y=row

(12)

联立式(10)-式(12)得到相线直径d为：

(13)

(2) 求当前测试集图像对应的二值图像中每一行穿过的黑色像素数量之和s。为了降低图像中除相线与待识别目标以外像素的影响，s的计算范围规定在以相线中轴线为中心的4d长度的线段内。

(3) 对于每一行，将步骤(1)求出的参数d和步骤(2)求出的参数s做差。若两者之差在允许的范围内(实验中取12 pixels)，则可认为当前行仅穿过相线，并无其他目标；反之，若s远大于d，那么当前行除了穿过相线之外，还穿过其他目标。

下界调整的原理与上界相同，只是在步骤二中相应地取行号最小值当作新ROI的下界。

在所有边界调整完成之后，为了再次保证目标全部包含于ROI内，将ROI的上下左右四个边界又向外扩大了若干像素。

2.6 ROI分类

对于ROI分类，本文将3种特征与3种分类器进行了组合，获得了一种适用于不同障碍物特征与分类器的最佳方案。

提取的3种特征分别为梯度方向直方图(HOG)、灰度共生矩阵(GLCM)和局部二进制(LBP)。对于HOG特征，由于提取出的ROI尺寸不统一，所以特征的维数也不确定，而分类器要求输入维数固定，采取的措施为将尺寸进行微小缩放。对于GLCM特征，维数固定，选择了32个灰度级，组成1 024维特征向量。对于LBP特征，其处理方式与HOG类似。

训练的3种分类器分别为人工神经网络(ANN)、支持向量机(SVM)和随机森林(RF)。对于ANN，设计了一个4层的网络，第一层神经元数量与输入特征维数对应，输出层含2个神经元，分别对应是目标和不是目标的概率，根据经验公式，第二层取第一层和输出层之积的算术平方根，第三层与第二层相同，训练终止条件为10 000次迭代或者误差小于0.001；对于SVM，核函数选择多项式核函数，参数C为1，Gamma为1，训练终止条件为1 000次迭代或者误差小于0.01；对于RF，设置树的最大深度为30，叶子节点最小数量为20，随机选择特征数量，训练终止条件为1 000次迭代或者误差小于0.01。

3 实例验证

高压巡检机器人的图像采集环境如图5所示，机器人靠挂在相线上的两个行走轮沿相线前进。摄像头放置在机器人头部，斜向上30度，置于相线正下方，型号为OV7620，采集图像分辨率为640×480，采集处理器为TMS320DM642 DSP。原始图像存在畸变，需通过相机标定进行校正[19]，校正前后的效果如图6所示。

图5 巡检机器人工作环境

(a) 校正前(b) 校正后图6 图像校正

实验中以防震锤为例，进行算法验证，实验在PC上进行，主要硬件配置为8 GB内存、i5-7300HQ CPU、GTX1050 GPU，主要软件配置为Windows 10系统、OpenCV 3.4.1、VS2017、C++语言。

3.1 ROI提取

在ROI提取之前，首先通过曲线拟合方式构造筛选依据，对测试集中的56幅含有防震锤的图像进行人工标注sROI，进行图像预处理，如图7所示。

(a) 边缘图 (b) 阈值图

计算拟合需要的各统计值，并按照式(2)拟合成以w为自变量的多项式函数。定义拟合误差为：

(14)

式中：N为样本点总数；每一样本点用(xi,yi)表示；函数f(x)为拟合结果。

每一个被拟合变量都是从最高次数为1开始进行拟合，最高次数依次递增。每一次拟合完成之后，根据式(14)计算拟合误差ε2，直到ε2满足：

ε2

(15)

式中：E2表示拟合允许误差，针对不同的拟合变量，取不同的值。计算方式为：

(16)

此时对应的拟合结果为所需结果，它是在所有满足式(15)的多项式中，最高次数最小的一个。拟合结果如图8所示，其中白色点集为标准多项式曲线，灰色点集为样本点。各多项式为：

y(w)=-6.112 2w+552.96

h(w)=0.014 5w2+2.788w-20.610

ea(w)=-0.000 162w3+0.033 44w2-2.465 4w+

74.802

ta(w)=0.506 2w+38.968

ha(w)=-0.013 98w2+2.522 7w+11.09

la(w)=-8.192 7e-5w3+0.007 485w2+0.485 3w+

29.75

ls(w)=449.277w2-16 578w+197 993.6

(a) h(w)(b) y(w)(c) ea(w)(d) ta(w)

(e) ha(w) (f) la(w) (g) ls(w)图8 曲线拟合

本文选择了不同日期不同时段拍摄的2 000幅含有防震锤的正样本和300幅不含有防震锤的负样本进行了ROI提取实验。提取结果显示，对于负样本，提取器可以保证100%不会提取出ROI；对于正样本，规定提取出的上下界误差绝对值之和不超过H/8为提取成功，结果显示有1 972幅提取成功，正样本的提取正确率达到98.6%。

图9为单幅图像的ROI提取效果，最里层窗口为初步提取结果，中间窗口为精细调整的结果，最外层窗口为调整后进一步扩大边界范围的结果。

3.2 ROI分类

3.1节提取出的ROI尺寸一般不同，但是分类器输入特征向量的维数是固定的，那么为了得到相同维数的特征向量，必须通过图像缩放以统一ROI的尺寸。然而，通过观察防震锤的提取结果，发现不同距离采集的图像，提取出的防震锤不只在尺寸方面有差别，而且形状也存在差别。这是由于在对目标由远到近采集的过程中，目标相对于镜头的角度发生了变化，导致采集到的目标随距离远近而发生了形状改变，如果不加以处理，分类器的识别正确率就有可能受到影响。理想的处理方式为每一个固定距离对应一个特定的分类器，但这样会导致分类器的数量非常庞大。因此，本文将提取到的防震锤ROI按H的范围分为4个部分，在每个部分内部统一尺寸，并对应训练一个分类器，以尽可能地降低这种影响。具体如表1所示，其中N表示未提取出ROI的情况。

分类器训练集的正样本来自表1中4个部分的提取结果，共1 972幅；对于负样本，采用随机裁剪的方式获得，具体方式是在3.1节的300幅不含防震锤的每一幅图像中，用每一部分对应尺寸的窗口随机裁剪相线附近区域，共获得4 200幅。训练集正负样本的具体分布情况见表2。

表2 训练集样本分布

用同样的方式获得573幅正样本和50幅负样本，组成测试集。由3.1节对ROI提取的实验可知，对于不包括目标的原始图像，提取器100%不会提取出ROI。因此在一般情况下，负样本没有机会输入到分类器当中，它们在分类器之前就已经被提取器正确剔除了。此处只统计了正样本的预测情况，如表3所示。

实验结果表明：(1) 对于相线上不存在障碍物的情况，算法发生误检的可能性为0；(2) 对于相线上存在障碍物的情况，算法中的提取器对目标的提取正确率为98.60%；(3) 对提取出的ROI进行分类，GLCM特征与ANN分类器的组合可以达到99.83%的召回率；(4) 总的目标检测正确率约为98.60%×99.83%≈98.43%。