一种基于RefineDet网络和霍夫变换的高速铁路接触网吊弦状态多尺度检测方法

2021-07-29齐冬莲钱佳莹闫云凤曾晓红

电子与信息学报 2021年7期

齐冬莲钱佳莹闫云凤曾晓红

①(浙江大学杭州 310027)

②(西南交通大学成都 611756)

1 引言

接触网是一种向电力机车供电的特殊形式输电线路，其中接触悬挂装置是保证接触网安全供电的重要组成。在链型悬挂接触网中，接触悬挂装置主要由接触线、吊弦整体、承力索、定位装置以及其他连接零件构成。对接触网供电具有重要保障且大量存在的吊弦，其日常检修[1]必不可少，检修工作繁重复杂，耗费大量人力、物力资源。

近年来，随着中国铁路的迅速扩张，繁琐复杂的接触网悬挂系统巡检工作由巡检车辆完成。巡检车辆沿巡检路线行驶时，位于巡检车顶部的相机以固定拍摄角对线路上的吊弦进行触发拍摄。

目前，在巡检中获取的大量高清图像，是通过铁路工作人员逐张察看来判断吊弦受力情况，并根据排查结果对非正常受力吊弦进行更换，以确保接触网的正常供电。人工察看的方式存在以下问题：(1)需在巡检车获取图像后进行，也就意味着图像的获取和非正常受力吊弦的确定之间存在一定的时间延迟；(2)1次巡检获取的图像数量约3×104–105张，需要大量的人员和时间完成察图工作；(3)吊弦仅占接触网图像的1/10～1/4，工作人员在快速察看过程中很可能因为经验不足造成对吊弦状态不准确的判断。因此，本文旨在设计一种吊弦状态高精度定位与识别的自动巡检算法，来代替人工察图的巡检方式。

与此同时，卷积神经网络为图像特征的快速提取提供了有效途径，现有的目标检测算法在准确率和检测速度上都取得了良好的效果[2]。目前主流的目标检测算法主要分为基于锚点的定位算法和无锚点的定位算法[3,4]。相比较而言，后者去除了对冗余先验框的筛选过程，但同时由于失去先验框的约束在训练过程中容易造成训练网络不稳定。为此，工业界的检测定位算法仍以优先选择基于锚点的定位算法为主。

基于锚点的定位算法根据检测阶段可分为1阶段的R-CNN系列[5–8]以及2阶段的YOLO系列[9–11]和SSD[12,13]系列。文献[14]采用Faster RCNN网络对接触网承力索底座部件进行定位，并对定位区域内的图像特点通过Radon和Beamlet变换等处理后完成后续裂纹区域定位和裂纹故障诊断；文献[15]在SSD网络模型的基础上，对先验框加入第5个角度参数，训练过程中同时完成定位框的中心点、长宽及旋转角度的预测，从而实现对绝缘子的定向检测。总体来说，1阶段锚点定位算法在准确度上精于2阶段方法，而2阶段方法则在检测速度上优于1阶段方法。两种算法有各自的优势，但均难以兼顾检测准确度和检测速度。

文献[16]对电气化铁路中绝缘子的故障诊断采用传统的特征匹配算法进行预处理，并根据图像灰度特征进行不良状态的识别；文献[17]采用深度学习中分割的思想，对接触网开口销的两个部分实现分割处理，再通过传统的区域连通匹配算法检测开口销状态。由此可见，传统算法同样可以实现检测定位与识别，但其鲁棒性易受背景像素、无关像素的特征干扰，对图像质量有较高要求。基于深度学习的图像处理方法凭借其庞大的训练数据量和可调参数，可减少传统算法对图像质量的高依赖性；同时传统的图像处理算法可为深度学习网络提供较为归一化的训练数据。

本文充分利用传统算法对图像的归一化能力和深度学习对图像特征提取的高效性、准确性，提出了一种基于RefineDet网络和霍夫变换的吊弦定位与识别方法。在RefineDet检测网络[18]定位到吊弦整体结构的基础上，采用霍夫变换对吊弦中部吊悬线区域进行提取，训练该区域特征得到高效、高准确率的吊弦状态检测模型，并通过实验研究验证了所提方法的有效性。

2 RefineDet吊弦检测网络

对吊弦的整体定位采用具有粗调、精调模块的RefineDet检测网络来完成，其网络结构如图1所示：输入的接触网图像完成特征提取后送入锚点调整模块(Anchor Refinement Module, ARM)；由锚点调整模块完成对4层特征图上输出的先验锚点框前景筛选和坐标调整，获得一批精锚候选框；锚点调整模块中不同尺度的特征图经由传输连接模块(Transfer Connection Block, TCB)完成转换，得到新的4层特征图；最后，由目标检测模块(Object Detection Module, ODM)在新的特征图上完成对精锚候选框的吊弦类别筛选和坐标调整。

图1 吊弦检测定位网络结构

RefineDet检测网络特征提取部分采用VGG16网络[2]进行，即对输入网络的接触网图像进行卷积、ReLU线性变换及池化操作等[19]。传输连接模块将锚点调整模块中用到的前后背景特征图信息转换为目标检测模块中需要的吊弦类别特征信息，具体是对原特征图进行特征再提取，并通过反卷积操作将高维特征与低维特征相融合，借助类似于FPN结构[20]实现不同尺度特征图之间的信息融合，最终通过卷积操作整合获得新的特征图。

在训练过程中，RefineDet检测网络通过计算损失函数数值并反向传播来更新网络参数，学习得到最优的网络模型。检测网络整体损失函数包含锚点调整模块损失函数Larm和目标检测模块损失函数Lodm。

锚点调整模块损失Larm表示锚点框是否属于前景锚点框及其与对应真实框间的回归距离，具体表示为

其中，Lb为前后背景筛选二分类损失函数，Lr为定位框回归损失函数。Narm为锚点调整模块中包含吊弦的锚点框数量。pi为第i个锚点框属于前景的预测概率值，xi为锚点调整模块对第i个锚点框的顶点坐标预测调整值，gi*为第i个锚点框所对应的真实顶点坐标调整值；li*为第i个锚点框属于前后背景的真实标签，当且仅当该锚点框与真实定位框的重叠面积达75%以上时，[li*≥1]输出为1，否则输出为0。根据锚点调整模块损失函数可以看出，该模块主要针对定义为“前景”的锚点框进行损失函数值的计算，而忽略了大量“背景”锚点框的预测偏差值。

目标检测模块损失Lodm表示锚点框是否属于某类目标框及其与对应目标框的回归距离，具体表示为

其中，Lm为吊弦类别的多分类损失，Nodm为目标检测模块中包含吊弦的候选框数量，ci为目标调整模块中第i个候选框的吊弦类别预测标签，ti为目标模块对第i个候选框的顶点坐标预测调整值。可以看到，在目标检测损失函数中，定位框回归损失的计算只针对包含吊弦的候选框进行。

锚点调整模块和目标检测模块的共同存在使RefineDet网络在各个数据集上的检测准确率高于1阶段检测网络，甚至高于大部分2阶段检测网络；而两个模块的平行级联回归使检测速度大大提升，远高于串联回归的二阶段检测网络。检测准确率和速度的平衡使RefineDet网络在众多目标检测网络中脱颖而出。另外，该网络在不同尺度的特征图上进行目标物特征提取，对于目标物大小具有广泛适应性，可以满足接触网图像中吊弦占比不定的情况。

3 基于霍夫变换的吊悬线区域锁定

吊弦检测定位网络针对吊弦整体进行定位，包含吊弦上下线夹以及中部吊悬线，而吊弦状态主要受中部吊悬线影响。图2为EgretⅠ智能3D相机实际拍摄的图像(6250像素×5580像素)，吊弦上下端依靠线夹分别固定在承力索和接触线上，线夹之间即为吊弦中部吊悬线：对于正常受力的吊弦，其中部吊悬线恰为笔直的拉伸状态，如图2(a)所示；当吊弦为非正常受力时，吊悬线会出现弯曲现象，如图2(b)所示。铁路工作人员将“弯曲”吊弦进行更替，以全面保证接触网的正常供电。本文方法同样以此巡检经验为依据，定义吊悬线“笔直”代表吊弦“正常受力”，无需更换；出现“弯曲”代表吊弦“非正常受力”，需要马上更换。

图2 EgretⅠ智能3D相机实际拍摄的接触网图像

由于实际拍摄时有两个固定拍摄角，接触网图像中吊弦在定位框中的位置、朝向并不确定，需要利用霍夫变换对定位框中的吊悬线区域进行锁定。

基于霍夫变换的吊悬线检测算法如表1所示。

表1 基于霍夫变换的吊悬线检测算法伪代码

其中，himage, wimage分别为RefineDet检测定位网络输出图像的长和宽；θstep, γstep分别为角度步长和长度步长；θmax, γmax分别为角度和长度的最大值。

由于霍夫变换是基于边缘图像进行检测，吊悬线受到其他线段干扰或者处于弯曲状态时，其边缘图像上同一直线的像素点少于其他线段，如图3(b)所示。霍夫变换检测结果显示，图3(c)中交叉线共线点数为154，长度为218.6；图3(d)中吊悬线共线点数为150，长度为432.7。因此，通过筛选霍夫变换检测到的所有线段中长度最长的线段即可获得吊悬线线段。

图3 霍夫直线点数与长度对比图

由霍夫变换中最长的线段确定吊悬线两个端点坐标M(x1, y1), N(x2, y2)以及其长度lline。以垂直线作为法线，吊悬线与法线的倾斜角度α为

其中，取向法线右侧倾斜的α为正。若存在吊悬线处于垂直位，即x1＝x2，则对垂直吊悬线区域进行直接裁剪。

根据吊弦结构的特征，吊悬线由多根股线缠绕成1根线段，以较窄的宽度即可覆盖一根线段的区域，因此，裁剪吊悬线周围区域的矩形宽度设为20像素；考虑到检测到的吊悬线长度覆盖了吊弦上下线夹，以拍摄到的线夹占吊弦整体的比例来设置矩形长度，为0.6倍的吊悬线长度。吊悬线周围矩形区域示意图如图4所示。

图4 吊悬线周围矩形区域示意图

吊悬线矩形区域在旋转α角前的4个顶点坐标矩阵为

其中，wrec表示吊悬线区域的矩形宽度，hrec表示吊悬线区域的矩形长度；cx表示吊悬线区域的矩形中心点横坐标，cy为纵坐标，可由端点坐标M(x1,y1), N(x2, y2)得到

根据倾斜角α得到旋转矩阵R(α)

吊悬线矩形区域旋转后的顶点坐标矩阵为

利用霍夫变换对吊悬线周围矩形区域进行提取的流程如图5所示。

图5 吊悬线周围矩形区域提取流程图

4 吊弦状态分类网络

经霍夫变换提取的吊悬线区域需送入分类网络进行吊弦状态分析。

首先，将旋转裁剪后wrec×hrec大小的吊悬线统一到100像素×200像素，缩小长宽比同时对该区域内的异常部分进行放大。其次，将统一尺寸的训练集图片送入ResNet分类网络进行训练。ResNet网络借助残差映射模块[21]，将输入网络的原始信息更好地保留到卷积神经网络深层结构中，避免了因层数过多而造成信息丢失。根据吊悬线区域内“简单直线”的信息内容，本文选择ResNet18网络作为吊弦状态分类网络。假设输入图像像素为P×Q，ResNet18网络具体结构如表2所示。

表2 ResNet18网络结构

ResNet18网络最后由全连接层完成平均池化，网络维度降到1×1×1000维，将其转换成对应类别数目后由Softmax函数Fs输出类别概率

其中，x为分类网络1×C的输出值。Softmax函数将网络输出x转成数值在0-1之间的类别概率，并保证一张图的C维类别概率总和为1。

本文中ResNet18分类网络针对吊弦形态完成正常受力状态和不受力异常状态这两类分析，即网络最终输出的1×2维分别代表受力和不受力的预测概率值，取概率值较大的一类作为该区域吊弦的状态分析结果。

训练过程中，依次对训练集中的接触网图像进行吊弦状态分析，给出预测的分类结果和对应的概率值。预测结果与真实结果之间采用分类损失函数来衡量类别、概率预测误差，通过反向传播重新更新分类网络参数，使网络参数逐渐找到最优解。

在实际的训练集数据中，吊弦处于受力状态的图像远少于不受力状态，在网络模型中采用不同的权重系数以平衡两种类别的数量差异。这里对吊弦受力状态的权重设为1.0，不受力状态的权重设为1.2。分类网络在训练过程中的交叉熵损失函数为

其中，x为网络输出的1×2维预测概率值，c为所属的真实类别，wc为第c类对应的损失权重。

5 实验与分析

5.1 实验条件及数据集

实验所用服务器为Intel Xeon E5 2683v3, 4个Nvidia Titan X(Pascal)GPU和4个DDR4 RAM模块，总容量为62.78162 GB；操作系统为Ubuntu 16.04。

考虑到接触网图像(6250像素×5580像素)过大造成读取图像时占用显存过多、速度慢，因此，输入检测定位网络图像为0.4倍缩放后的原始图像，大小为2500像素×2232像素。

输入分类网络的图像在实验1、实验2中为检测定位模型的输出定位框，由于输出定位框会因吊弦占原始图像的比例不同而尺寸不同，因此，按照吊弦的长宽比对输出定位框进行长宽标准化，得到统一的定位框大小为150像素×450像素；输入分类网络的图像在实验3中为霍夫变换得到的吊悬线区域，由于吊悬线长度不同导致吊悬线提取区域尺寸不一，因此，将该区域标准化为100像素×200像素。对定位框和吊悬线区域进行尺寸标准化并不会改变吊弦在拍摄图像中的状态。吊弦检测定位及状态分析数据集如表3所示。

表3 吊弦检测定位及状态分析数据集

其中德系吊弦具体包括可调整体吊弦(TJB0103A)、压接型整体吊弦(TJB0103)；日系吊弦包括刚性整体吊弦。

检测定位网络输入图像像素大、数量多，训练占用4张显卡；状态分析网络输入图像为裁剪后图片，远小于检测定位网络的输入图像，训练仅占两张显卡。网络训练的具体参数如表4所示。

表4 两个网络训练参数

5.2 吊弦检测定位网络实验

吊弦检测定位结果如图6所示。其中图6(a),(d), (e), (f)为德系-压接型整体吊弦定位图，上下线夹均为由吊悬线构成的载流环；图6(b)为德系-可调整体吊弦，上线夹处吊悬线自然垂挂、没有形成载流环，下线夹处是由吊悬线构成的载流环；图6(c)为日系-刚性整体吊弦，上线夹处为保护罩和预制环，下线夹为螺钉螺母结构。可以看出，两类德系吊弦具有相似载流环结构，日系吊弦与德系吊弦不尽相同；且德系吊弦由于载流环受拍摄角度影响，表现出明显或不明显的环状。图像中存在多根吊弦时，如图6(d)所示，检测定位网络仅对完整吊弦进行定位。

图6 吊弦检测定位网络结果

检测定位网络结果准确率如表5所示。

表5 RefineDet吊弦检测模型定位结果

根据铁路线路列车行驶计划，一般在18:00至凌晨5:00安排巡检任务。铁路沿线大多露天，部分线路包含隧道，因此，拍摄背景大多为黑色天空。对于处在露天环境中的吊弦，其区域平均亮度值高于背景区域，如图6(a)–图6(c)所示；对于处在隧道环境中的吊弦，其区域平均亮度值低于背景区域，如图6(d)所示。当拍摄过程曝光不足时，网络可以完成暗处吊弦定位，如图6(f)所示。

为验证RefineDet网络在吊弦定位上的有效性，本文采用常见的检测网络在吊弦数据集上进行训练，得到网络模型定位结果如表6所示。可以看出，RefineDet网络在测试集上表现最优，达到最高的准确率，召回率远高于CenterNet网络和YOLOv3网络，其检测速度和YOLOv3网络持平。

表6 不同网络模型在吊弦数据集上的定位结果

5.3 吊弦状态分类对比实验

吊弦状态分类实验主要完成3个对比实验。

实验1 将检测定位模型获得的吊弦定位结果统一调整到150像素×450像素，直接送入ResNet18网络进行分类训练。

实验2 在检测定位模型的结果上，先对不同批次图像进行灰度值平衡，再送入ResNet18网络进行分类训练。灰度值平衡具体步骤如下：对RGB图像进行灰度处理，将平均灰度值小于30的图像，各像素点均提高30的灰度值；将平均灰度值大于150的图像进行灰度值反转。实验2较实验1增加了灰度差异处理，以提高分类模型的抗噪声能力。

实验3 在灰度值平衡的图像上，采用霍夫直线变换提取吊悬线区域，如图7所示，将该结果统一调整到100像素×200像素后，送入ResNet18网络进行分类训练。实验3较实验2增加了关键区域提取，排除线夹对分类的影响，以提高分类网络的准确率。提取区域的尺寸统一调整对笔直吊弦无影响，会放大吊弦的弯曲部分。在状态分类数据集中，有3张图像直接得到弯曲的判别结果，无需进入分类网络。

图7 吊悬线区域提取

3个实验在训练过程中的损失函数变化如图8所示，测试结果如表7所示。从实验1和实验2训练过程对比分析可以看出，图像灰度值差异会造成训练过程中损失函数的突增，平衡灰度差异后可以提高训练收敛的速度、降低损失函数数值及突增幅度。实验2所得模型相对实验1所得模型在测试集上的表现为，非正常受力准确率提升了2.5%，正常受力的准确率基本持平。

图8 3个实验训练过程损失函数变化

表7 3个实验测试集结果对比

从实验2和实验3训练过程对比分析可以看出，实验3的训练过程没有出现损失函数反复现象，且训练收敛速度有明显提升、训练达到收敛时损失函数数值明显低于实验2，这意味着分类网络会受线夹影响，排除线夹后，分类模型的速度、准确率均有显著提高。实验3所得模型相对实验2所得模型在测试集上的表现为，非正常受力准确率提升了6.25%，正常受力准确率提升了0.67%。

在相同的网络结构、初始化权重值以及相同学习率、单次训练样本数量、Epoch的情况下，本文采用的灰度差异处理以及霍夫变换处理方法，可有效提升分类网络的训练效率和分类模型的准确率。

5.4 算法鲁棒性分析

铁路沿线环境较为空旷，吊弦拍摄角度为仰拍，接触网图像背景中几乎没有其他物体，背景产生的干扰内容主要来自隧道环境和非吊弦连接件。表5的实验结果显示，存在背景干扰的情况下，吊弦定位准确率良好，背景干扰对RefineDet检测网络没有明显影响。

在吊弦状态分析网络中，背景干扰来自线夹和少量背景，图9给出状态分析网络在定位图、经霍夫变换后的响应图。吊弦状态分析网络应依据吊悬线区域做出判断，反映为热力响应图的红色区域。图9(a)中分类网络对检测定位结果图的上、下线夹产生响应，图9(b)则对上线夹产生响应，均为错误响应。可以看到，本文所提算法保证了热力响应仅出现在吊悬线部分，大大提高了分类网络对抗背景干扰的能力。