面向电力施工机器人的图像识别与处理技术研究

龚向阳，杨跃平，张明达，王思谨，江炯

（国网宁波市奉化区供电公司，浙江宁波 315506）

随着机器人技术的不断进步，其在医疗器械、电力巡检、农业生产等行业的应用也越来越广泛[1]。爬杆机器人是电力行业配网自动化过程中的重要角色，其与移动机器人有所不同，爬杆机器人需要攀爬物体表面才能完成移动动作。爬杆过程中通过拍摄视频图像对其进行识别与处理，进而做出判断指令[2]。但在此过程中，对机器人捕捉到的图像缺陷进行识别和处理是目前研究的难点与热点[3-4]。在国外，有学者对缺陷视觉系统做出了相关研究，但其仍处于试验阶段，尚未进行工程实践应用[5-6]。在国内，文献[7]应用边缘检测算法对缺陷进行识别，并利用差分法检测缺陷；文献[8]通过增加机器人摄像头的硬件配置，应用改进的机器视觉算法进行物体表面缺陷检测，从而取得良好效果。虽然上述研究均取得了一定的效果，但由于在实际工程中拍摄到的视频或图像受现场因素影响，故需要采用不同的技术处理不同的应用场景，进而降低光线、角度、天气等因素的影响[9-11]。因此需要结合电力爬杆机器人的爬杆特征，制定合适的图像识别与处理方法。

该文根据电力爬杆机器人的实际需要，提出了一种图像识别处理技术方案。在确定机器人在电杆上的位置后，提取出目标与样本图像的差异特征，并实现了不同灰度值图像之间的识别；最终，对分割后的图像进行缺陷提取，且在去除干扰信息后对相应的区域进行描述。

1 图像数据预处理

1.1 数据采集

电力爬杆机器人搭载四台视频摄像头，全方位采集电杆表面的视频数据，同时利用图像识别与处理技术实现数据的采集与处理，并通过损伤定位确定机器人在电杆上的位置。爬杆机器人由视觉系统、控制系统、动力系统组成：动力系统采用锂电池供电、四轮驱动、用弹簧连接可跨越障碍，并可安装不同直径的车轮；视觉系统由摄像头、存储器、处理器组成，并将摄像头拍摄到的图像数据传输给控制系统；控制系统通过无线网络连接机器人，保证数据采集过程中的真实性[12-13]。

前期的数据采集过程采集的信息主要包括机器人的位置、角度、拍摄图像等。在爬杆过程中还需要时刻检查电池电量是否充足，并通过控制系统控制机器人行走，同时判断视频是否清晰[14]。安装完电力爬杆机器人之后，系统能够自动采集视频信息，且对所处环境作出判断与相应的处理。

1.2 数据预处理

采集到的视频信息由一系列图像组成，可看成运动图像。为提高图像识别的精度，将视频转换为图像处理，其目的是压缩采集到的数据量。假设y(m,n)表示一组数字图像，通过视频转换可得到的图像表达式为：

其中，Δk表示图像间隔帧数，通常取Δk为30。

在图像处理过程中，不同的场景对应不同的信息，且绝大多数图像信息均为RGB 图像。为便于处理，通常将其转换为HSV 图像。从心理学的角度来看，HSV 空间更容易被人眼接受，且具备独特的优越性。

1.3 图像阈值分割

图像阈值分割技术是最简单的分割方法。该方法通过提取目标图像与样本图像的差异特征，将灰度不同的两类图像组合，从而产生二值图像。其适用于不同灰度值图像之间的识别，并被广泛应用于图像识别领域[15-16]。依据阈值的数量将图像分割为单阈值与多阈值，其原理如下。

假设采集到的视频图像表示为y(m,n)，经过分割操作之后，图像变为g(m,n)。令单阈值为T，将像素点小于T的像素点设置为0；将像素点大于或等于T的像素点设置为1。因此，采用下述函数对曲线进行变换：

基于图像数据自动调整整个图像的单阈值，使得目标图像与原始图像的背景分布具有明显的差异性。该算法对计算能力有一定的要求，其算法流程如图1 所示。

图1 阈值分割算法流程

其迭代流程如下：

1）选择初始值T0，其值取为图像灰度值最大值与最小值的平均值；

2）将图像分割为G1与G2两部分；

3）计算G1与G2的平均灰度值；

4）重新计算阈值T，其值取为两个平均灰度值的平均数；

5）重复步骤2）-步骤4），直到满足误差要求为止；

6）利用最终的T值完成图像分割，将不同背景区域值分开。

2 缺陷特征提取与分类

2.1 图像特征分析

在完成爬杆机器人采集图像背景分割后，需要利用分割后的图像进行缺陷提取。选取电杆表面定期检测数据，坐标轴中用不同的区域表示不同的图像特征，且区域内亮度越高则表示灰度值越高。为确定目标类型，根据阈值进行分割。在缺陷处标明背景分割并计算干扰信息，采用形态学方法去除干扰信息，用描述子对区域进行描述。缺陷特征提取流程如图2 所示。

图2 缺陷特征提取流程

2.2 形态学处理

缺陷图像中包含了噪声等信息，且该类信息均不适用于后续的特征分析，故需要通过闭环运算剔除噪声信息才能加以利用。形态学本质上为集合论，通过一系列的元素表示图像特征。二值图像通常采用形态学的方法来描述，通过开运算与闭运算进行图像处理，从而避免对图像边缘信息造成破坏。开运算和闭运算针对平滑的物体轮廓，结构Y对X的开运算可表示为X∘Y，其定义为：

上式的含义为：Y对X先进行腐蚀，然后进行膨胀。同理，类似的闭运算可表示为X·Y，其定义为：

即Y对X先进行膨胀，再进行腐蚀。

2.3 缺陷区域特征分析与描述

图像经过分割处理之后，需要进一步进行描述，使得特征描述适应计算机的处理模式。根据缺陷区域的计数点判定缺陷的大小，假设z(x,y)为图像灰度值，A为图像缺陷区域，则该区域可表示为：

根据上述描述，可得到缺陷区域的表达式为：

随机选取电杆缺陷部位，利用长与宽的比值对其进行描述。假设缺陷区域的长与宽分别表示为a、b，则其比值可表示为。

图像的缺陷类型较多，可根据不同的分类标准对其进行分类，缺陷的大小影响电力爬杆机器人的识别效果。根据缺陷的严重性划分可将缺陷分为一般缺陷和严重缺陷，其分类流程如图3 所示。

图3 缺陷分类流程

通过判别函数将特征空间分为不同类别的子空间，每个类别有两个特征，可表示为二维函数如下所示：

式中，w为权重参数，x1、x2分别表示模式特征的坐标变量。d(X)可用于判断所属类别，且该值决定了类的属性，其对应关系如下：

综上所述，可得到图像或视频数据自动化处理流程，如图4 所示。

图4 图像或视频数据自动化处理流程

3 实验测试

3.1 测试环境概况

选取部分视频采集数据作为测试的数据集，以视频数据处理软件为平台，进行爬杆机器人图像数据处理。实验图像视频选取某次爬杆过程中的缺陷检测数据项目，在该次实验过程中采用爬杆机器人拍摄视频。拍摄图像中选取无损伤、轻微损伤、严重缺陷的电杆区域进行电杆表面缺陷检测。

3.2 数据处理与结果分析

将采集到的视频数据进行预处理、背景分割、缺陷提取、分类等操作，并对每一步骤的效果进行评价，逐步分析检测过程中的情况。数据预处理包括数字视频转换成数字图像和图像预处理两个步骤，以减小数据量并对不同信息数据进行处理与分析。

将处理之后的数据传送到处理工具上，再进行表面缺陷检测，判断缺陷图像，并与之进行对比分析以及评价其效果。通过检测准确率衡量检测的效果，准确率的计算公式如下：

式中，R表示检测准确率，N表示实际检测数量，S表示缺陷数量。

对检测结果进行统计分析，可得到的准确率结果如表1 所示。从表中可以看出，应用图像识别处理技术，识别准确率最低可达到95.0%。

表1 缺陷检测准确率

为进一步验证图像处理算法的性能，设置第一组边长为450 nm 和550 nm 以及第二组边长为650 nm和750 nm 的矩形图像对其进行测试。测试图像的压缩比以及图像处理时间，进而判断与原始图像的差距。其中压缩比为图像原始大小与压缩后图像大小的比值，得到的测试结果如表2 所示。

从表2 中可以看出，由于前两种方法未考虑谱间压缩，因此文中方法的压缩比相较前两种方法的压缩比更大，从而可以减小图像的大小。而更大的压缩比可以带来时间上的优势，所以采用该文方法对图像进行处理时，其处理时间相对更短，在工程应用中更占优势。

表2 图像处理压缩对比

4 结束语

该文研究了面向电力爬杆机器人的图像识别和处理技术[17-19]，介绍了数据采集与预处理的背景分割方法，识别及处理的关键流程：数据预处理、背景分割、缺陷特征提取与分类、缺陷检测结果。其中关键技术为缺陷图像的特征提取与分类，通过实验验证了该文所述方法的有效性，且其具有较短的处理时间、较大的压缩比以及较高的检测精度。但所提方法的背景分割模块中利用了采集视频的整体特征，故当位置信息发生变化时，其检测精度会下降。因此，下一步研究工作需要聚焦于动态变化过程时的高精度图像识别与处理技术。