基于双目视觉的支柱绝缘子目标识别与定位研究

朱 航，樊绍胜，黎 天

（长沙理工大学 电气与信息工程学院，长沙 410000）

0 概述

支柱绝缘子是变电站中的重要设备，绝缘子污秽和破损是影响其运行性能的主要因素。受盐雾和海风影响，沿海地区支柱绝缘子性能下降尤为普遍、严重，因沿面放电和破损所导致的绝缘子失效和绝缘子断裂事故时常发生，严重威胁电网的安全运行［1］。目前变电站大都需要停电进行支柱绝缘子人工清洗，作业人员根据线路电压等级调整与绝缘子间的距离，通过长度较长的绝缘杆清扫绝缘子，作业劳动强度大、繁琐，且具有危险性［2］。

为保障电网作业人员的安全、减轻其作业负担，需要研发一种适应变电站高电场强度环境的带电作业清洗机器人，解决人工绝缘子清扫停电问题，保证变电站供电的稳定性。而带电作业机器人的清洗与探伤工作能够顺利进行的关键在于机器人立体视觉系统稳定可靠，它作为机器人视觉伺服控制的基础，通过视觉传感器获取变电站环境信息，对绝缘子进行捕捉与定位。

本文主要对清洗机器人双目视觉系统进行介绍，通过YOLOv4-tiny深度学习网络算法对所采集图像中的支柱绝缘子与法兰进行目标检测，利用深度相机获取目标绝缘子深度信息，并基于立体匹配，进行空间目标点的三维重建实验，实现对待清洗绝缘子的识别与定位。后续在对绝缘子抓取清洗的过程中，通过采用ROI轮廓提取方法，结合绝缘子观测模型实现对绝缘子盘伞裙倾斜角检测，便于调整机械臂末端干冰喷头倾角，对绝缘子盘凹壑进行细节清洗。

1 清洗机器人双目视觉系统

变电站绝缘子清洗机器人整体构成如图1所示，包括履带式底盘、绝缘剪叉升降机构、两轴移动平台、电气控制系统、干冰清洗机模组、五轴作业机械臂组件和末端旋洗作业模块。

图1 绝缘子清洗机器人总体结构Fig.1 Insulator cleaning robot overall structure

绝缘子清洗机器人如图2所示，由作业平台和履带式升降平台组成，履带式升降平台包括履带式底盘和绝缘升降机构两部分，履带式底盘携带4个液压支腿，保证机器人在作业时的稳定性和安全性。升降平台高度最高可延展至5.1 m，如图3所示。作业平台包括两轴移动平台、搭载于两轴移动平台上的机械臂、末端清洗机构、干冰清洗模组和电气控制系统。机器人可通过作业平台对绝缘子进行作业。

图2 绝缘子清洗机器人实体图Fig.2 Physical view of insulator cleaning robot

图3 清洗机器人升降机构伸展Fig.3 Cleaning robot lifting mechanism extension

1.1 机器人视觉伺服系统

双目视觉伺服系统的主要任务是获取变电站及其周围环境的信息［3］，视觉伺服系统示意图如图4所示，清洗机器人机械臂通过搭载摄像头获取环境信息，识别出待清洗的目标绝缘子，对绝缘子进行捕捉与定位，通过转换得到机械臂与作业对象绝缘子的位姿关系。后续运用多自由度机械臂系统的伸缩、旋转、横移、纵移等基本控制，将机械臂末端自主送入作业空间，实现对支柱绝缘子的自主识别与定位清洗工作。

图4 机器人视觉伺服系统示意图Fig.4 Schematic diagram of robot visual servo system

1.2 双目视觉系统成像模型

双目视觉系统成像模型是指，绝缘子清洗机器人利用摄像机在不同时刻拍摄同一场景的多帧图像，并基于视差原理恢复出物体三维几何信息，重建对象及周围场景的三维形状与位置。该模型的重点在于通过计算对应点的位置偏差来获取实际目标几何信息［4］，如图5所示。

图5 双目立体成像模型Fig.5 Binocular stereo imaging model

在实际应用中，当左右两个摄像机在同一时刻观测空间某物体的同一目标点P在相机坐标系下坐标为(x1，y1，z1)，分别在左摄像机与右摄像机上获取点P的图像，对应图像坐标为Pl=(xl，yl)，Pr=(xr，yr)。则特征点P的图像坐标Y坐标相同。其中，设相机焦距为f，记B为两摄像头的投影中心的间距［5］；存在yl=yr=y，由三角几何关系可得式（1）：

xl与xr两点对同一目标点P而言，可由其视差位移关系d=xl－xr，计算特征点P在相机坐标系中坐标x。上述关系满足如式（2）：

1.3 传感器成像模型及坐标系建立

依据矩阵运算原理与坐标转换关系，记空间中存在某特征点P，P点在世界坐标系的坐标Pw=(Xw，Yw，Zw)，而点P对应在相机坐标系下的坐标Pc=(Xc，Yc，Zc)，传感器成像系统坐标关系［6］如图6所示。

图6 成像系统坐标系Fig.6 Imaging system coordinate system

依据数学矩阵运算原理与坐标转换关系，计算P在两个坐标系中坐标关系变换，如下式：

式中，旋转矩阵R为3×3的正交矩阵，t为3×1的平移向量，OT=[0 0 0]T，设P点在相机传感器成像平面上的像点p的坐标为(x，y)，图像物理坐标系的原点是相机光轴与图像平面的交点，f表示相机焦距，根据针孔相机成像原理［7］有：

1.4 传感器相机标定

在机器视觉应用中，要确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需建立相机成像的几何模型，这些几何模型参数就是相机参数。所以进行摄像机标定的目的是求出相机的内、外参数，以及畸变参数［8］。

本次传感器标定以传感器Intel RealSense D435I深度相机作为双目立体系统的摄像机进行图像采集，使用Opencv编程方法对相机进行标定。实验标定板规格如图7，采用10×7黑白方格组成，方格边长为25 mm×25 mm，标定板角点数量为9×6个。为了保证程序准确计算图像畸变，相机需要从不同角度获取标定板图像，实验在采集了25张照片后自动结束标定，相机标定实验及相机内外参数结果如图8、图9所示。

图7 10×7黑白方格标定板Fig.7 10×7 black and white square calibration board

图8 相机标定实验Fig.8 Camera calibration experiment

图9 相机内外参数结果图Fig.9 Camera internal and external parameter results

2 支柱绝缘子目标检测

目标检测是计算机视觉领域的基本任务之一，随着科学技术的发展，深度学习技术发展迅速，由于其庞大的数据量积累和强大的计算能力。基于深度神经网络方法在目标检测技术研究等领域取得突破性进展。本节将基于YOLOv4-tiny模型，采用K-Means++聚类算法设定预测框，对绝缘子清洗机器人在变电站清洗作业过程中实时采集到的图像进行绝缘子盘及法兰的目标检测。

2.1 YOLOv4-tiny算法模型

YOLOv4-tiny是最新的YOLO轻量级网络，其骨干网络主要包括下采样CBL结构和CSP结构。特征提取网络CSPDarknet 53-tiny，采用CSPnet结构输入416×416×3的图像，通过主干特征提取网络得到26×26×256、13×13×512两个有效特征层，然后传入加强特征提取网络中进行FPN特征金字塔构建［9］。FPN会将13×13×512有效特征层卷积后进行上采样与26×26×256有效特征层堆叠，输出层形成预测特征的YOLO head。YOLOv4-tiny算法其网络结构图如图10所示。

图10 YOLOv4-tiny网络结构图Fig.10 YOLOv4-tiny Network Structure

其中，Convolutional由一个卷积层、批标准化BN层以及Leaky Relu激活函数构成［10］。LeakyRelu给所有负值赋予一个非零斜率，以避免神经元的失活现象，其函数表达式如下：

BN层可降低不同样本间值域的差异性，避免梯度消失和梯度爆炸的问题，同时减少参数或其初始值尺度的依赖性，提高网络范化能力。下采样CBL结构中，每个卷积核大小为3×3，步长为2，主要对图像进行下采样处理。CSP结构将基础层的特征映射划分为两部分，通过跨层连接，增强卷积神经网络的学习能力［11］，在减少了计算量的同时可以保证准确率，相较于之前的轻量网络，在mAP和fps上都有巨大的提升。

YOLO的核心思想是根据特征提取网络输出特征图的大小，将输入图像划分为S×S个网格，每个格子作为先验锚框的局部坐标，在格子内训练的网络预测的坐标偏移量、物体置信度和类别置信度对每个锚框分别进行拟合，最后经过非极大值抑制筛选后，得到检测的边界框坐标和类别［12］。其置信度损失函数如式（6）：

该算法使用特征金字塔网络提取不同尺度的特征图，进而提高目标检测速度。使用了13×13和26×26两种不同比例尺的feature map来预测检测结果［14］。作者本次使用YOLOv4-tiny深度学习网络模型对支柱绝缘子与法兰进行训练，并对待清洗绝缘子目标进行检测。

2.2 数据集的制作及识别实验结果

本次实验的样本集仅针对变电站支柱绝缘子与法兰，数据采集自湖南省带电作业中心。为了达到更优的检测效果，本次研究使用旋转、缩放、翻转及亮度和对比度调整等方法对训练的样本进行扩充，增加样本多样性。在不同角度、不同距离、不同时间对不同的支柱绝缘子与法兰的样本进行采集，自制数据集共950张。使用YOLOv4-tiny模型进行训练，随机选取其中800张用于训练，剩余150张用于结果测试。实验在实验室的台式电脑上进行，具体基本硬件信息和系统信息如表1所示。

表1 算法实验的训练环境Tab.1 The training environment of algorithm experiment

训练参数设置如下：使用darknet53.conv.74预训练权重对标注好的数据集进行训练，设定学习率为0.001，批量样本数设定为32，在经过150个epoch后且Loss值趋于稳定后停止训练，训练结果如表2所示。

表2 样本测试精度表Tab.2 Sample test precision table

将训练后生成的权重文件以及训练用的配置文件提取出来，在控制程序中对训练好的模型进行加载。最终识别训练结果如图11所示。表2中的准确率是指在测试结果中，检测出的所有目标里包含真正目标的比例；而召回率则是检测出的真正目标占所有真正目标的比例［15］。由测试精度表（表2）可以看出算法对绝缘子盘以及法兰的检测率符合机器人的使用需求。

图11 网络识别训练结果Fig.11 Network recognition training results

3 绝缘子目标定位

3.1 深度信息提取与立体匹配

为实现对支柱绝缘子串的自主识别与清洗工作，基于双目视觉的目标定位就显得尤为重要。绝缘子清洗机器人的机械臂通过搭载深度摄像头获取环境信息，对绝缘子进行捕捉与定位，通过转换得到机械臂与作业对象绝缘子的位姿关系。

本次视觉传感器采用Intel Real Sense D435I深度相机，相机的捕捉最远距离可达10 m。其原理是双目立体视觉，深度相机利用结构光（Structured Light）技术来测量距离。与灰度图像中像素点存储亮度值不同，其像素点存储的是该点到相机的深度值［16］。深度图像是包含与视点的场景对象表面的距离有关的信息的图像或图像通道。对目标绝缘子深度信息进行采集，所采集的RGB图与深度图如图12所示。

图12 绝缘子深度图与RBG图Fig.12 Insulator depth diagram and RBG diagram

本次研究在前述工作的基础上，实现了双目摄像机的参数标定，并且实现了目标物体的识别，确定了摄像机采集图片中的目标区域。后续我们期望将深度相机左右两摄像机采集到的图像上的特征点一一对应地进行立体匹配。通过立体匹配对左、右摄像机采集图像中的目标物体上的点对进行搜索，得到对应的视差后进行三维重建，进而得到目标点的位置信息。

目标物体定位是为了确定搜索图像中目标绝缘子的位置坐标，所以在此选择物体的形心坐标实现对物体的定位。基于外极线约束、视差连续性约束、唯一性约束等极线约束准则对采集到的图像对进行立体校正，通过立体匹配找到该像素点对应的左、右摄像机获取图像中对应像素点。

首先基于绝缘子模板图像利用Canny边缘检测算子［17］提取目标绝缘子轮廓边缘如图13（a）。

图13 支柱绝缘子定位点提取Fig.13 Support insulator anchor point extraction

对绝缘子边缘进行提取后，通过Open CV计算轮廓矩的方法计算支柱绝缘子轮廓中心，得到绝缘子轮廓矩的轮廓中心像素坐标(u，v)，例如在图13（b）中，提取出形心坐标为（130，146）。之后通过选择提取极值点特征进行目标点的三维重建。

3.2 空间点三维重建实验

通过之前的相机标定，已经建立了空间某点P在世界坐标系中坐标P1=(X1，Y1，Z1)与其像点的图像坐标(u，v)之间存在关系见式（8）。

本文主要使用最小二乘法进行空间点重建，三维重建主要是研究如何根据二维信息计算出三维信息，具体为根据匹配点对信息得到该点在空间中的位置信息。其原理图如图14所示。

图14 三维点重建原理图Fig.14 Three-dimensional point reconstruction schematic diagram

此时假设目标绝缘子的形心点在左右摄像机图像中的坐标分别为(ul，vl)，和(ur，vr)，绝缘子形心点的世界坐标为(X1，Y1，Z1)，则有左右相机的成像函数分别为：

绝缘子形心在左、右相机系中像素坐标(ul，vl)，(ur，vr)已知，代入式（7）、式（8）中消去Zcl和Zcr。在机器人视觉系统中，双目相机投影矩阵Ml与Mr由相机标定参数已知，其中mlij与mrij分别代表左、右相机参数矩阵第i行第j列，存在矩阵关系A X=B，其中矩阵A、B表达式如式（11）所示。

通过X=A－1B，求解出P点的在三维空间中重建的坐标值(X1，Y1，Z1)，即为目标绝缘子形心点三维坐标。如图15所示，选取绝缘子5个目标点进行实验，对三维点重建精度进行验证，然后将计算出的目标点与相机中心的实际深度距离与目标测量距离进行对比，目标点三维重建实验结果如表3所示。

图15 绝缘子目标点重建Fig.15 Insulator target point reconstruction

表3 目标点三维重建实验结果Tab.3 Experimental results of 3D reconstruction of target points

对实验数据结果分析，重建得到的实际距离与理论距离的最大误差为0.96 cm，最小误差为0.41 cm，平均误差0.73 cm。由此结果可知，重建精度能够满足抓取需要。后续对多自由度机械臂进行控制时，可将机械臂末端自主送入定位点区域，完成机械臂对支柱绝缘子串的自主抓取任务。

4 绝缘子细节信息提取

目前，已通过相机完成了对目标绝缘子的识别与定位工作，为实现伺服系统中机械臂对于绝缘子盘更加精准的夹持控制，引导位于作业末端的干冰喷嘴调整清洗角度对绝缘子盘凹壑部位进行精准清洗，还需对局部的绝缘子盘伞裙以及倾角等细节信息进行检测。

采用ROI区域方法对绝缘子盘轮廓进行提取，建立绝缘子观测模型，对绝缘子盘伞裙边倾斜角进行检测，通过视觉算法对获取的现场图像信息进行处理，通过转换获得机器人的作业机械手与作业对象绝缘子之间的相对位姿关系，完成精准清洗任务。

4.1 绝缘子盘ROI区域提取

为了减少图像处理需要计算像素的数量与复杂背景对绝缘子目标信息提取的影响，首先利用Open CV数字图像处理技术，通过对目标图像进行色彩转换以及对H、S、V设置不同阈值，利用cv.bitwise（）函数，将每一片绝缘子ROI区域提取出来。对摄像头采集回的图像进行处理，考虑到在对原图像平滑去噪的同时能更好地保留支柱绝缘子的边缘细节，故选择采用双边滤波进行图像去噪。双边滤波器计算公式如下：

式中，i、j为模板窗口其他系数坐标，k、l为模板窗口的中心点坐标。

ROI区域双边滤波结果如图16所示，由于支柱绝缘子结构复杂且表面材质的特殊性，易受光照影响出现阴影过重或过曝等情况，为了使清洗过程中拍摄的绝缘子目标更易识别，使用Gamma校正图像增强技术使目标变得更清晰，Gamma校正的公式如式（13）所示。

图16 ROI区域双边滤波结果Fig.16 Bilateral filtering results in ROI region

式中，s为输出图像像素灰度，r为原图像像素灰度，γ为Gamma调节系数。当γ＜1时，图像整体灰度值提升，原图像暗处部分对比度增加，亮处对比度减少，当γ＞1时则完全相反，整体灰度值下降。因此最终采用γ=0.5的Gamma校正对绝缘子图像信息进行增强处理，处理结果如图17所示。

图17 γ=0.5的Gamma校正Fig.17 Gamma correction forγ=0.5

4.2 绝缘子盘伞裙边信息提取及倾角检测

为实现引导位于作业末端的干冰喷嘴调整清洗角度对绝缘子盘凹壑部位进行精准清洗，还需对局部的绝缘子盘伞裙倾角进行检测。准确地对绝缘子盘伞裙图像进行分析，需要将单个绝缘伞裙图像与背景准确分割出来。

采用OTSU算法选取二值化阈值，根据灰度值将图像分为前景部分和背景部分［18］。再对所得到的二值化图像取最大连通域并进行开运算，其结果如图18（a）所示。之后对二值化的绝缘子盘图像提取轮廓，并在原图像中绘制，如图18（b）所示。

图18 绝缘子伞裙轮廓提取Fig.18 Insulator skirt contour extraction

在得到具体绝缘子伞裙轮廓信息的基础上，将所有检测出的绝缘子盘伞裙边中线相连，即可视为整串绝缘子的垂直中线。建立绝缘子盘的视觉观测模型，如图19所示。

在图19中，假设当前视觉系统的观测角度为θ，绝缘子盘长轴长度为d。通过对绝缘子盘伞裙边缘的识别、拟合，可推导出椭圆方程，完成对伞裙观测角信息的计算。

图19 绝缘子观测模型Fig.19 Insulator observation model

首先对绝缘子伞裙边缘进行提取，删除其中较短的伞裙边轮廓，再对剩余的轮廓进行最小二乘法椭圆拟合。拟合准则为：使得轮廓中所有点到拟合出的椭圆距离平方和最小。待拟合椭圆的方程为x2+A x y+B y2+C x+D y+E=0，根据拟合准则，需确定5个参数A、B、C、D、E使得式（14）函数值取最小值。

通过对上式求解，可完成对绝缘子伞裙边椭圆的拟合。如图20所示，为采用最小二乘法椭圆拟合对绝缘子盘伞裙边的拟合结果。

图20 绝缘子盘图像伞裙边拟合结果Fig.20 Fitting result of insulator plate image umbrella skirt

由绝缘子观测模型，确定长轴为伞裙边位置，长度为d，且绝缘子盘短轴长度为d·cosθ。通过长短轴关系计算出观测角θ。根据检测到的绝缘子伞裙边倾角，引导位于作业末端的干冰喷嘴，通过调整其清洗角度，可实现对绝缘子盘凹壑部位的准确清洗。

5 结论

本文针对当前变电站支柱绝缘子清洗存在的问题，设计了一种可适应变电站的高电场强度环境的变电支柱绝缘子综合作业机器人，可完成对变电站支柱绝缘子的清洗工作。

基于带电清洗机器人视觉伺服系统，使用YOLOv4-tiny深度学习网络算法实现了对支柱绝缘子与法兰目标的识别，通过立体匹配对左、右摄像机采集图像中的目标物体上的点对进行搜索，对绝缘子目标点进行三维重建实验，实验结果表明，目标点定位精度满足机械臂抓取需要。另外，为实现机械臂对绝缘子盘精准的夹持控制及作业末端的干冰喷嘴准确清洗任务，建立了绝缘子视觉观测模型，获取相机观测角，通过ROI区域对绝缘子盘轮廓进行提取，利用最小二乘法对绝缘子伞裙边进行椭圆拟合，可实现对绝缘子盘伞裙边的检测。