智能化视觉系统在配电网带电接火上的应用

陈盛慧，叶良，徐光年，陈寒钰

(浙江华云信息科技有限公司，浙江 杭州 310000)

0 引言

电力工业是国民经济持续快速发展的基础。随着社会经济的快速发展，人民生产生活对于电力的需求越来越高。配电网处于电力系统末端，是保证电力持续供给的关键环节，其可靠性在整个供电系统中占有非常重要的位置。配电线路进行不停电检修是近年来电力设备检修的趋势[1]。带电进行电力设备检修是对其升级改造、实现不间断供电的重要方法。目前，配电网线路带电进行断接引流线作业大多采用人工作业[2-3]。

我国从20世纪末开展配电网带电检修以来，主要采用传统方法，即作业人员穿戴绝缘屏蔽服，使用绝缘手套直接接触高压线或使用电力金具等设备进行带电接火。21世纪初有部分地区开展过采用绝缘操作杆进行配电网带电断接引流线作业。但是配电网线路通常十分紧凑，线路相间距离小，作业人员带电接火时易造成短路从而引发人身伤亡等事故。

为满足工业生产及人民对电力持续供应的条件，由机械手接火代替人工接火具有极其广阔的应用前景，而视觉辅助机械手协同控制是实现机械手代替人工的关键技术。基于上述需求，本文依据图像分割、目标检测、多视几何等计算机视觉技术，解决导线与背景的分割、导线位姿的估计、线夹穿线位置的定位等自动化带电接火难题。为实现自动化、智能化的带电接火模式提供有力的技术保障。

1 带电接火智能化视觉系统设计

整个系统主要由2个机械手以及若干作业工具组成，每个机械手携带1个单目相机，控制台搭载1个云台相机。

带电接火任务主要完成导线剥皮、引流线穿入紧固线夹、紧固线夹螺栓等任务，视觉系统在其中起到了“人眼”的功能：

1)通过计算机图像分割技术将导线从复杂背景中分离，计算导线相对于相机的姿态。

2)通过YOLOv4目标检测技术，实现引流线穿线位置的检测以及位姿的调节。

2 导线检测与姿态估计

2.1 目标导线分割与导线拟合

对灰度图像进行二值化的基本思想是确定一个阈值，然后把每个像素点的灰度值和阈值比较，根据比较的结果把该像素划分为两类：目标和背景[4-5]。

设原始图像为f(x，y)，二值化分割图像的方法为：

(1)

式中：f(x，y)表示图像中坐标(x，y)处的像素值；g(x，y)表示二值化处理后的图像中坐标(x，y)处的像素值；T是二值化分割阈值。

算法根据以像素点为中心内的邻域内的均值与方差共同决定该中心像素的二值化分割阈值。以(i，j)为中心、大小是k×k的窗口为例，这个窗口内各个像素灰度值的高斯加权均值为m，方差为s，该点的阈值T为：

T=(1-r)×m+t×s

(2)

式中：t为调整量，取t=-0.2；r为均值加权系数，取r=0.9。

在相机观测的范围内导线可以近似成直线处理。由导线目标分割的结果得到导线的像素坐标集合为

{(x1y1)，(x2y2)…(xnyn)}|(xiyi)∈L

(3)

采用最小二乘方法[6]实现直线的拟合，假定待拟合直线方程为φ(x)=ax+b，则偏差记为ei=yi-φ(xi)，因此可以得到待优化的目标为

(4)

分别对参数a、b求偏导可以得到：

(5)

(6)

转化为矩阵，表示为：

(7)

通过矩阵运算可以得到待剥皮导线的直线方程φ(x)=ax+b。

2.2 导线位姿计算

根据刚体坐标变换理论，估计导线姿态相对A相机坐标系的关系(图1)，等效于导线坐标系相对于A相机坐标系发生了一次旋转和一次平移[7-8]。

X=RX′+TP

(8)

其中：R为旋转矩阵；TP为平移向量；X′为变换前空间坐标；X为变换后空间坐标。

图1 导线坐标系与相机坐标系A和B的姿态关系

相机A负责计算导线相对于A相机坐标系转化到导线坐标系时z轴的欧拉角，相机B负责计算导线相对于A相机坐标系转化到导线坐标系时x轴的欧拉角。

逆时针旋转的角度为正(与右手系旋转方向相同为旋转正方向)，绕不同轴的旋转结果：

(9)

(10)

(11)

式中：α、β、γ分别为导线坐标系变换到A相机坐标系时的z-y-x欧拉角。导线坐标系变换到A相机坐标系时变换矩阵R=Rx·Ry·Rz。如控制机械手运动变换矩阵R，此时可以保证相机坐标系与剥皮导线坐标系姿态一致。

2.3 双目测距

双目测距是基于小孔成像原理建立世界坐标与像素坐标之间的关系[9]。根据张正友标定方法[10-11]可以简单、有效地得到相机的内参，包括焦距f，光心的像素坐标u、v。双目测距的示意图如图2所示。

图2 双目测距示意图

图2中P是导线上的一点，OR与OL分别是两个相机的光心，点P在两个相机虚成像平面(虚成像平面是成像平面相对于光心翻转)上分别为P1和P2，f为相机焦距，B为相机中心距，Z为深度信息，像点P1和P2的距离为双目的视差。

dis=B-(XR-XL)

(12)

根据相似三角形原理得到：

(13)

(14)

公式中焦距f和摄像头中心距B可通过标定得到，因此，只要计算XR-XL(视差)的值以及P点的像素相对于光心(u，v)的偏移坐标位置(x，y)，根据相机标定得到的焦距以及式(15)即可计算得到点P的空间坐标(X，Y，Z)。

(15)

机械手A在初始状态拍摄照片M0，随后沿相机坐标系的x轴方向，保持相机姿态不变，以直线运动Δxcm拍摄照片M1。则M0和M1构成了光心距离为Δxcm的双目系统，根据两次图像的视差可以计算导线上任意一点的空间坐标(X，Y，Z)。

3 线夹穿线位置检测

3.1 YOLOv4目标检测

紧固线夹穿线位置识别属于目标检测范畴，传统的方式是基于边缘、形状分割的方法，容易受到光线及复杂背景影响，识别鲁棒性差。深度卷积神经网络由于能够自主完成对目标特征的学习，提取关键信息，因而具有较强的鲁棒性。近年来，基于卷积神经网络的目标检测算法主要依托两种思路，一种是基于目标候选框思想的 two-stage，另一种是基于回归思想的 one-stage。two-stage 先提取目标候选框，再在其基础上训练检测模型，如 Fast R-CNN、Faster R-CNN 等[12-13]。而 one-stage 则没有了目标候选框提取操作，直接利用检测网络产生目标的类别和位置信息，拥有更高的检测速度，如SSD、YOLOv3、YOLOv4等[14-15]。

YOLOv4的主干网络CSPDarknet53是算法的核心，用来提取目标特征。YOLOv4在Darknet53的每个大残差块上加上CSP，将基础层的特征映射划分为两部分，再通过跨阶段结构合并。YOLOv4通过一系列模型架构设计以及模型训练技巧的配合下，在减少计算量的同时保证了模型推理的准确率。

本文基于YOLOv4，推理预测图像中是否存在紧固线夹，如果存在，则预测引流线穿线位置的中心以及中心与轮廓边缘的距离，故本文YOLOv4中每个Cell预测:

[x，y，w1，w2，h1，h2，confidence]。

其中x、y为引流线穿线位置的中心；w1、w2分别为中心坐标与左边缘和右边缘距离；h1、h2分别为中心坐标与上边缘和下边缘距离；confidence为边框的置信度分数。

3.2 数据收集与处理

本文训练和测试数据通过单目相机在实验场地拍摄采集，共组成4000张图片。为了获得更好的训练效果，采用Mosaic数据增强的方式，对数据集随机选取4张图片，随机缩放，再随机分布进行拼接。这样不仅大大扩充了原始采集的数据集，而且还丰富了图片的背景，因而平衡了原始数据集目标尺度问题，提高了训练网络的鲁棒性。

4 视觉引导实验

4.1 视觉引导导线剥皮作业

通过机械手A上的单目相机，采集到当前时刻待剥皮导线的图像数据(图3)，经过图像的自适应二值化，联通区域筛选等操作，得到直线的二值化图像(图4)。通过最小二乘直线拟合计算得到当前时刻导线的倾斜角分别为14.48°与62.68°(图5)，即绕x轴旋转了14.48°，绕z轴旋转了62.68°。

图3 原始图像

图4 二值化图像

图5 最小二乘直线拟合结果

根据公式R=Rx×Ry×Rz可以计算得到旋转矩阵R为

通过机械手A的控制柜，运动变换矩阵R，此时保证相机平面y轴与导线平行，相机平面x轴与导线垂直。控制机械手沿着x轴方向(垂直导线方向)分别运动10cm和20cm，采集相应的图像数据(图6)。

图6 沿相机x方向机械手平移10cm和20cm的原始图像

同样对图像进行二值化(图7)、最小二乘拟合等操作，得到任意两幅图像间的视差后，根据双目视觉原理估计导线相对于相机的位置信息(表1)。实际测得导线与相机平面距离为68.5cm，导线与相机x轴平均距离为8.6cm。

图7 沿相机x方向机械手平移10cm和20cm的二值图像

表1 平移10cm和20cm双目测距结果

根据估计得到导线与相机平面距离和导线与相机x轴距离以及机械手与相机的装配位置，进一步计算出导线相对于末端作业工具的位置。将计算结果(平移变换向量T)传入机械手控制柜完成相应运动，待机械手运动到指定置位，配合作业工具完成导线剥皮工作，并且记录当前导线剥皮的坐标(X，Y，Z)，即是线夹待安装的位置。

4.2 视觉引导引流线穿入线夹作业

通过机械手B上的单目相机，采集到当前时刻线夹作业工具的图像数据，通过YOLOv4模型推理预测结果。矩形区域(机械结构的喇叭口位置)为模型推理预测结果(图8)。控制机械手B根据w1和w2、h1和h2的大小关系，调节机械手使得w1=w2，h1=h2；然后控制机械手B将引流线穿入线夹内，完成引流线穿线工作；最终机械手A将装有线夹的作业工具运动到导线剥皮步骤记录的坐标(X，Y，Z)处，完成线夹安装与紧固工作。

图8 采集到的原始图像及YOLOv4推理结果

5 结语

文中根据配电网带电接火工作环节的要求，立足于实现视觉引导的带电接火智能化流程，设计了一整套视觉识别与检测方法。通过视觉引导机械手完成导线剥皮和视觉引导机械手完成引流线穿线及线夹紧固实验，验证了本文设计的单目视觉引导机械手智能化作业方法的有效性以及可靠性，也进一步论证了智能化视觉系统在配电网带电接火上的实用价值。