基于改进YOLO与HSV变换的高压线缆识别定位方法

李东宾，翟登辉，刘睿丹，张亚浩，李昭阳

（许继电气股份有限公司，河南 许昌 461000）

0 引 言

近年来，随着国家智能电网建设的稳步推进和对供电稳定性的要求提高，传统配电网维护手段因存在工作强度大、安全风险高以及作业效率低等缺点越来越难以满足实际需求。为遵循配网检修作业“能带不停”的原则，各地供电企业单位正在不断加强配网不停电作业能力建设，不停电作业已成为设备检修维护的重要手段。

带电作业机器人系统依托机械臂控制技术、人工智能算法、视觉传感器等已成为一种较常见的电力维护运维手段，成为替换人工作业的一种重要作业方式。目前，国外以日本、美国为代表的发达国家已经开发出了较为成熟的产品，并进行了实验和应用[1,2]。国内山东鲁能、亿嘉和等公司同样提出了自己的带电作业机器人系统，并进行了初步验证，国网天津电力公司刘召等通过对特征提取骨干网络进行改进，引入跳转连接并调整激活层、卷积层的顺序等，提出了基于改进的Faster R-CNN线缆目标检测方法[3]。广东电电力科学研究院谢龙光等人针对传统带电作业机器人路径跟踪方法稳定性差和路径跟踪效率低的问题提出了基于糊算法的路径跟踪方法，能够在短时间内实现高稳定性的跟踪[4]。云南电力科学研究院蔡晓斌等人在架空线路带电作业机器人的基础上提出了一种基于支持向量机的防震锤和螺栓识别方法[5]。由此可以看出，发展半自主、全自主的带电作业机器人已逐渐成为电力场景检修和维护的必然趋势。然而带电作业机器人在实际应用中还存在各种各样的问题，有待进一步研究。

高压线缆目标识别技术作为带电作业机器人工作流程中的重要步骤，其识别在不同背景下仍存在定位不准确的问题。本文在此基础上提出一种基于目标检测和HSV颜色空间变换的智能高压线缆识别定位方法，利用优化后的YOLO目标检测技术和色彩追踪技术，结合深度相机，实现对高压线缆三维坐标的提取，进而为机械臂动作提供目标空间信息。

1 YOLO v4目标检测算法

1.1 YOLO系列算法

YOLO系列算法作为目标检测领域的典型代表，从REDMON J等人在2016年首次提出就获得了广泛关注，其将特征图分为S×S个单元格，每个单元格负责预测中心点落在该单元格内的目标，并且首次将候选框提取和目标预测合并为一步，将目标检测任务作为回归任务来解决，加快了目标检测的速度[6]。2018年，REDMON J等人再次提出了YOLO v3算法，该算法采用Darknet53作为主干特征提取网络，借鉴复用了ResNet结构，加强了网络特征学习能力，在增加网络深度的同时减小了梯度消失的影响[7]。

YOLO系列算法由Input、Backbone、Neck以及Head共4个部分组成。其中，Input代表输入；Backbone代表特征提取骨干网络，通常可由分类数据集预训练得到；Head代表检测输出头，输出信息为预测得到的目标类别、置信度和坐标信息；Neck通常介于Backbone和Head之间，主要作用为融合不同尺度的Backbone特征图信息，通常有多个上采样层和下采样层组成。如图1所示，Res-block是组成Darknet53的重要组成部分，由一个下采样模块（Con-down）与若干个残差单元（Res-unit）组成。其中Con-down模块由stride=2，卷积核为3*3，激活函数为leaky的卷积组成。Res-unit由卷积核1*1、3*3，stride均为1的两个卷积组成。

图1 Darknet53结构示意图

1.2 YOLO v4网络结构

2020年，Bochkovskiy A等人提出了YOLO v4，相比YOLO v3，其主要在Backbone网络、Neck网络以及训练策略等方面进行了优化[8]。在Backbone上由Darknet53提升为CSPDarknet53，引入了跨阶段部分网络（Cross Stage Partial Network，CSPNet），其可以减小网络训练中的重复梯度信息，有效提升了卷积神经网络提取特征时的效率[9]。Neck网络由SP和路径聚合网络（Path Aggregation Network，PAN）构成[10,11]。SPP由多个不同尺度的最大池化层进行采样，且输出特征图尺度相同，然后对多个池化层进行特征融合。PAN在FPN基础上添加一条自底向上的路径，从而缩短了较低层与最高特征之间的信息路径。Darknet53和CSPDarknet53网络连接示意如图2所示。

图2 Darknet53和CSPdarknet53骨干网络对比图

图2（a）为Darknet53结构示意图，每个下采样阶段由n个Res-unit构成，每次Con-dowd下采样后，特征图尺度缩小1倍。图2（b）为CSPDarknet53结构图，其增加了一个梯度传播通道，由两个数据分支组成，左侧分支由一个下采样模块和n个Res-unit组成，和Darknet53不同的是在最后面加了一个1*1卷积层。右侧分支CSP结构在下采样后仅通过一个1*1卷积操作和左侧分支进行Concate连接。

1.3 YOLO v4网络改进

YOLO v4的设计是面向大规模数据及多类别识别目标，如COCO数据集，拥有80类目标，然而在带电作业环境中，需要识别的目标数量较少且对速度要求较高，因此本文对骨干特征提取网络进行精简，并改进SPP网络[12]。改进后的网络仍使用YOLO v4检测头进行目标类别、置信度以及坐标框回归。

1.3.1 骨干网络简化

CSPDarknet53网络共拥有5个Con-down模块和5个CSPNet结构，CSPNet结构内分别拥有1、2、8、8、4个残差单元Res-unit。本文将CSPNet结构内残差单元个数简化为1、2、4、4、2个残差单元，并利用通道数量减半来进一步缩小模型尺寸。

1.3.2 SPP网络改进

本文在SPP网络的基础上添加Shortcut层，形成一个类似CSP单元的结构，即CSP-SPP模块，如图3所示。

图3 CSP-SPP结构图

图3（a）为YOLO v4的SPP结构，利用不同尺度卷积核进行最大池化操作，然后在通道上进行Concate连接。图3（b）为改进后的SPP结构，其引入了类似CSPNet结构，最后在网络通道上进行Concate连接，即CSP-SPP模块。

2 线缆识别定位方法

2.1 HSV变换原理

彩色模型是在某些标准下，用通常可以接受的方式对彩色加以说明。本质上，彩色模型是坐标系统和子空间的说明，其中位于系统中的每种颜色都由单个点来表示[13]。RGB彩色模型基于笛卡尔坐标系，每种颜色出现在红、绿、蓝的原色光谱分量中，所考虑的彩色子空间如图4（a）所示。HSV彩色模型用H、S、V三参数描述颜色特性，其中H定义颜色的波长（色调）；S表示颜色的深浅程度（饱和度），V表示明亮度，如图4（b）所示。

图4 彩色模型图

相比于RGB模型，HSV模型可以更好地反映人眼对色彩的感知。由RGB模型转换到HSV模型的计算公式为：

式中，R、G、B分别表示RGB空间中各通道像素值；H、S、V表示HSV空间颜色色调、饱和度、明亮度；Tmax、Tmin分别为R、G、B中的最大值和最小值。

2.2 颜色追踪原理

由于在RGB色彩空间中颜色有2563种可能，因此追踪特定色彩目标比较困难，但在HSV色彩空间中颜色仅跟H分量有关，更容易表示一个特定颜色，因此也更容易进行特定颜色跟踪。如表1所示是通用的不同颜色对应的H、S、V三分量范围。

表1 HSV颜色分量范围

由表1可以看出，通过设置H、S、V各通道阈值，即可实现特定颜色的区分和追踪。但值得注意的是，表中仅为一个模糊的阈值，在运用HSV颜色追踪算法时可通过统计待识别目标颜色H、S、V空间分量，自设阈值以达到更好的效果。

2.3 空间三维坐标计算颜色追踪原理

利用深度相机获得深度图图像和RGB图像后，要想获得彩色图像中某一像素点的空间三维坐标，首先必须以RGB图像为基准进行对齐，然后计算相应坐标信息，计算公式为：

式中，depth_image为对齐后的深度图；zz为深度图像上像素坐标点为(yy,xx)对应的深度信息；ppx、ppy为相机标定后的图像坐标系原点；fx、fy为标定后相机焦距。

2.4 线缆识别定位流程

由于表1中的HSV阈值为通用阈值，并不能准确地追踪不同情况的线缆目标，因此本文首先根据不同光照和角度线缆成像特点，统计1 300余个线缆目标像素点HSV值，求得H、S、V变量分布如图5所示。

图5 线缆HSV变量分布示意图

由图5可以看出，线缆目标V值主要位于80以下，H值和V值分布较广。本文选取0≤H≤180、0≤S≤255、0≤V≤80作为线缆目标阈值。

线缆识别定位整体流程定义如下，首先将从深度相机处获得的RGB图像和深度图像以RGB图像为基准进行对齐，然后通过改进后的YOLO v4算法在RGB图像中识别定位出线缆矩形框区域，并将该矩形区域作为感兴趣区域（Region of Interest，ROI）。在ROI区域内利用HSV色彩空间颜色追踪算法，求取包围线缆目标的最小外接矩形，并在该最小包外接矩形较长边上进行n等分，最后利用式（5）求出n等分点上的三维坐标，即线缆上n个点的三维坐标。具体识别流程如图6所示。

图6 线缆识别定位流程

3 实验与分析

为了验证本文提出基于改进的YOLO与HSV变换高压线缆识别定位方法的有效性，使用Intel Realsense d435i深度相机采集了不同场景、不同光照条件下的线缆图像，并利用LabelImg对目标进行了标注，其中训练图像3 000张，测试图像300张。

3.1 模型训练和分析

实验采用的平台为Ubuntu16.04、Cuda10.0和NVIDIA GTX2080Ti显卡，使用Darknet框架进行训练和测试。

为了验证改进后网络的性能，利用标注后的训练集和测试集分别对只简化骨干网络后的模型、简化骨干网络+CSP-SPP和通道减半前后的模型进行训练与测试。训练总迭代次数均为10 000次，初始学习率为0.001，在8 000和9 000迭代次数时调整0.1倍。

选择常用的平均准确率（Average Precision，AP）作为评价指标，其值为准确率P和召回率R围成的面积，即P-R曲线围成的面积，具体公式为：

式中，TP代表真正例，即正确识别为正例的个数；FP代表假正例，即错误识别为正例的个数；FN代表假负例，即错误识别为负例的个数。

统计不同模型的识别结果如表2所示，表中通道不变指该模型通道数和标准yolov4.cfg中通道数相同，通道减半指该模型通道数为标准yolov4.cfg中通道数的0.5倍。

表2 检测模型测试结果

由表2可以看出，相同通道情况下，优化后的CSP-SPP模型在AP值优于SPP模型。通道减半的模型在各项评价指标上优于通道不变模型，并且推理时间缩短3倍左右。对比表中4个模型可以发现，通道减半的CSP-SPP模型在所有指标中均获得最佳识别结果且推理时间较短，仅为6.6 ms。综上，经过YOLO v4骨干模型简化及SPP改进后的模型可以达到精度和速度的最佳平衡。

利用通道减半的CSP-SPP模型检测线缆目标效果如图7所示，可以看出优化后的模型能够较好的识别不同情况下的线缆目标。

图7 改进后YOLO检测效果

3.2 线缆定位分析

利用深度相机采集RGB图像和深度图像，并基于RGB为基准进行对齐，对齐后效果如图8所示。

图8 以RGB为基准对齐的效果

利用优化后的训练模型对RGB图像进行识别，并在图中框出目标区域，如图9（a）所示，结合自定义的线缆HSV阈值及色彩追踪算法求得最小包围轮廓如图9（b）所示。

图9 线缆目标检测效果

实验最后对线缆进行了8等分，并利用空间三维坐标求得7个等分点的三维坐标，如图10所示。

图10 线缆等8等分效果图效果图

所求的线缆中7个等分点的三维坐标信息如表3所示。

表3 线缆8等分点三维坐标

利用线缆上7个等分点坐标的三维信息，可以在带电作业操作中任选一点作为带电作业机器人抓取点，实验证明机械臂可以根据指定线缆点坐标准确运动到该位置，实验效果如图11所示。

图11 机械臂抓取线缆点效果图

4 结 论

针对带电作业机器人在实际作业中对高压线缆目标识别定位的需求，本文利用优化改进后的YOLO v4目标检测算法和HSV色彩追踪算法，结合相机深度信息，对线缆进行了n等分，并求得等分点的三维坐标，为机械臂后续动作提供三维坐标信息。实验结果表明，基于通道减半和CSP-SPP改进后的网络在各项评价指标中均获得最优，可以达到精度和速度的最佳平衡，能够为带电作业机器人提供较好的视觉支撑。