红外热成像在电连接温度监测中的应用

涂冬明，谭 平，李旭峰，李裕智，丁 进

(浙江科技学院 a.机械与能源工程学院; b.自动化与电气工程学院，杭州 310023)

近几年来中国铁路建设发展迅速，其运营总里程达到12.4×104km，电气化率高达64.8%。要保障如此庞大的电气化铁路网安全运营，需要能够对各个系统进行可靠有效的在线监测。电连接[1]是指提供接触网接触悬挂某些点电气连接的构件。目前电连接的状态监测主要是通过测量电连接的温度来判断其是否处于松脱等不正常状态，以避免造成线路拉弧、短路等危害影响列车行车安全。测量电连接的温度主要有接触式[2]与非接触式[3]等方法，如王根[4]提出利用PT100热电阻测量电连接的温度；孟新安等[5]提出基于微处理编程技术和传感技术的电连接温度监控装置，实现了电连接的在线监测。考虑到电连接一般都位于轨道的正上方，采用接触式传感器测温的方式很可能由于安装及其他原因影响行车安全。近年来红外热成像技术及其图像处理技术这种非接触式的测量方式在电力系统中得到广泛应用，如林群武等[6-9]利用NSCT图像增强技术与PCNN的图像分割法以及SIFT特征提取技术等处理红外热图像，实现了电气设备的故障诊断和分析。但在红外热成像技术的实际应用中，接触网振动、背景热源、季节变化等扰动因素造成了使用传统的图像检测方法无法在热像图准确定位出电连接的位置。深度学习[10]是近年来机器视觉领域的研究热点，研究人员利用深度学习神经网络解决了大部分传统图像检测手段无法解决的问题。

基于上述研究，针对传统目标检测方法因难以提取出高精度、通用性的特征描述算子使得分类检测效果差的问题，同时考虑到硬件平台计算资源有限，笔者提出一种基于深度学习YOLO2模型的电连接定位方法，在粗定位的基础上利用K-means聚类去除背景干扰，实现电连接精定位，最终在全幅数据图上获取电连接各个像素点对应的温度值。

1 基于深度学习的电连接检测定位

YOLO2是Redmon等[11-12]基于YOLO做出的改进版本。YOLO2的目标检测所有流程是在一个网络里完成的，一整帧图片输入网络，经过卷积特征提取、候选框提取，直接输出目标的类别和位置，因此

表1 常用的深度学习目标检测框架对比Table 1 Comparison of common target detection framework for deep learning

注：数据来源《YOLO9000:Better, Faster, Stronger》。

YOLO2具有更快的速度。YOLO2的优点之一是,由于去除了网络中的全连接层，改变输入的图片尺寸，使得模型可以适应不同的输入分辨率。使用不同分辨率的图片训练模型，可以使模型提高对小尺寸输入的处理速度，提高对大尺寸输入的准确率。如表1所示，YOLO2与常用的端到端深度学习目标检测框架相比，YOLO2在保证准确率的基础上具有更快的速度。

本研究基于YOLO2模型的电连接检测定位，目的是在热像图上获取电连接的感兴趣区域，如图1所示，检测定位过程主要分为卷积特征提取、候选框提取、输出电连接位置等步骤。

图1 电连接检测流程Fig.1 Detection process of electrical connection

1.1 卷积特征提取

YOLO2使用包含19个卷积层和5个最大池化层的Darknet-19分类网络提取目标特征，经过卷积层32倍降采样，最终输出的特征图尺寸为输入图像的1/32。在实际检测场景，对小尺寸目标进行检测，需要用到浅层次的特征图。对大尺寸目标进行检测，需要用到深层次的特征图。将尺寸为输入图像1/16的特征图进行叠加，并与尺寸为输入图像1/32的特征图进行连接，使其具有细粒度特征提高模型的性能。

1.2 候选框提取

YOLO2借鉴了Faster-RCNN[13]的anchor思想，使用anchor box在特征图上进行滑窗采样，直接预测候选框，因此anchor box设计的好坏直接影响最后的检测结果。Joseph Redmon等对数据集中标记的目标框进行维度聚类，以聚类个数k作为anchor box个数，以k个聚类中心box的维度作为anchor box的维度，避免了因手工设计的先验anchor box对最终的预测位置造成偏差。在实际应用中针对特定的检测任务，需要对数据集进行重新聚类。每个预测候选框包含中心点横坐标(x)、中心点纵坐标(y)、框宽、框高及置信度。

1.3 输出电连接位置

首先在训练的过程中，每个候选框都包含有目标的置信度Conf(Object),计算公式为

(1)

对存在目标物的候选框进行电连接的检测定位，每个候选框的置信度与每个网格预测的电连接类别概率相乘，会得到每个候选框包含电连接的置信度Conf(E)，计算公式如下：

(2)

式(2)中：Pr(CE)为电连接的类别概率。

最终算法会输出大量目标框，利用非极大值抑制(non-maximum suppression, NMS)去除分数较低的目标框，找到最佳的电连接检测位置。

1.4 结果评价

在测试中一般使用查准率(Precision)、查全率(Recall)以及F1-Measure综合评价指标来评价结果[14]。查准率指检出的准确目标占检出的目标总数的比率,是衡量网络检出目标准确度的尺度。查全率指检出的目标占待检全部目标总数的比率，是衡量网络检出目标的能力。F1-Measure是查全率和查准率的加权调和平均，用来衡量网络综合检出能力的指标。

(3)

(4)

(5)

式(3)～(4)中：TP为真正例；FP为假正例；FN为假反例。

在本研究中检测速度也是一个很重要的指标，由于整个算法运行在类似树莓派这种单板微机上，完成检测一帧图的时间基本上在30 s以上，因此，本研究通过记录完成检测一帧图的平均时间来评价检测速度。

2 基于K-means的电连接背景分割

如图2所示，YOLO2最后输出的目标框为矩形框，电连接的周围还包含了大量的背景噪声，因此还需要对图像作进一步的分割。目前图像分割方面有很多经典的分割方法，例如阈值分割、边缘分割等。最大类间方差法[15]在自适应阈值二值化去背景中有着广泛应用，且计算不复杂，但它对噪声和目标尺寸十分敏感，仅对类间方差为单峰的图像产生较好的分割效果，在不同场景下，由于电连接热像图拍摄角度、距离及其他影响，类间方差准则函数可能为多峰，从而影响分割效果。其他分割方法因计算复杂对硬件计算能力有一定的要求。因此，本研究提出了利用K-means对粗定位之后的电连接图像进行分割，这在一定程度上可以避免因阈值的问题造成最后的测量误差。

图2 经YOLO2粗定位后的电连接局部图Fig.2 Partial electrical connection graph after YOLO2 rough positioning

2.1 K-means算法

K-means[16]是一种典型的基于距离的动态聚类算法，它具有简单、快速的优点。其主要步骤是：随机选定K个数据作为需要划分的数据集的初始聚类中心；计算其余每个数据到各个初始聚类中心的距离，把距离该数据最近的聚类中心所处的类作为归属类；重新计算出K个类的中心，划分每个数据的簇类，不断重复，直至误差平方和准则函数满足收敛条件，评价指标J最小。

(6)

式(6)中：xi为第k个簇包含的数据；uk为第k个聚类中心的位置。

在不同的应用场景下，不同数据集中的研究对象以不同的方式逼近聚类中心时，需要选择不同的距离函数。常见的距离计算公式有最常用的欧氏距离公式、市郊区距离公式，以及常用于文本聚类的余弦距离公式。

(7)

(8)

(9)

式(7)～(9)中：xi和xj分别为N维欧氏空间中的两个点。

在热像图上电连接分布接近长条形，因此选择式(7)计算距离较为合适。使用K-Means时需要确定K值。研究的电连接热像图是经过YOLO2定位之后的图片，只需要划分出电连接和背景干扰这两种簇类，因此聚类分析的类别数K=2，在确定了距离公式和类别数后进行聚类操作切割图片。

2.2 图像切割性能评价

图像切割性能评价[17]有两种基本方法，一是通过对分割后图像的质量参数来评价相应切割算法的无监督评价法；二是通过对分割后图像与理想算法分割的参考图像进行对比的有监督评价法。无监督评价的指标一般有区域内一致性指标、区域间差异性指标、语义性指标等。在测试过程中，使用这三大指标来评价K-means在电连接图像分割上的性能。在具体的量化指标之外，还可以用主观比对的方法来定性判断图片前景与背景分割的好坏。

考虑到在实际局部电连接图切割的应用场景中，无法通过现有手段获取理想的参考图像，而且进行图像切割的目的是将电连接与背景分割开来，本质上是一个二值化问题，无监督的评价方法并不适用。故本研究在大样本测试的基础上进行主观比对来判断算法性能的好坏。

3 试验结果及讨论

3.1 数据集来源

数据集来自上海铁路局杭州工务段基地普速线路现场拍摄的不同角度不同距离的电连接红外图片，经过旋转、添加高斯噪声等数据增强[18]方法后，总共在尺寸为480 pixel×480 pixel的热像图上获取4 720个如图3所示的电连接样本，其中2 060个样本为训练集，2 020个为测试集。

图3 测试集包含的样本图片Fig.3 Sample picture contained in test set

3.2 基于YOLO2的电连接检测定位

由于电连接的实际尺度较小，而且整个目标检测框架运行在单板微机上，要满足一定的检测效率和检测准确率则需要对YOLO2进行调整。前文提到，针对当前电连接训练集重新进行聚类操作，可以提高目标检测的速度和候选目标框位置的精度。同时利用YOLO2支持多尺度训练的特性，在训练过程中改变输入的图像尺寸，以提高小尺寸图像的检测速度和大尺寸图像的检测准确率。

3.2.1 计算anchor box

图4 不同K值聚类情况分析Fig.4 Analysis of different K value clustering

对当前训练集手工标记的目标框进行聚类操作，使用K-means++计算出当前训练集的最佳anchor box。不同的聚类个数对生成anchor box会有很大的影响，本研究中使用平方误差和(SSE)和平均交并比(ArgIOU)是否大于0.8来综合评估聚类结果的好坏。由于受平均复杂度和ArgIOU的影响，在anchor box的维度聚类中只进行了9次聚类尝试。聚类过程如图4所示，K表示聚类中心个数，K值越大,SSE越小，ArgIOU越大。当K=2时，SSE变化最大，但ArgIOU<0.8；当K>6时，SSE变化也较大，ArgIOU>0.8；根据手肘法[19]判断6为最佳的聚类个数。当K=6时，聚类分布如图5所示(横、纵坐标分别表示真实标准框归一化后的宽度和高度)，不同的形状代表不同聚类中心的簇,其簇中心尺寸如表2所示。

图5 K=6时的聚类分布Fig.5 Clustering distribution when K=6

3.2.2 多尺度训练

由于YOLO2输入的图片需要经过32倍降采样，因此调整图片大小均为32的倍数。故将训练集中样本的尺寸调整为224 pixel×224 pixel，320 pixel×320 pixel, 416 pixel×416 pixel。在训练过程中每隔10轮即改变输入图像的尺寸。

3.2.3 检测结果

试验中，模型训练放在台式计算机进行，台式计算机的配置为INTEL I7-7700中央处理，TITAN-XP显卡，32 GB内存。模型测试放在树莓派Raspberry Pi3，均运行Linux系统和Python2.7测试环境。经过10 000次训练迭代，YOLO2调整前后的测试结果如表3、图6所示。

表3 YOLO2调整前后结果对比Table 3 Comparison of results before and after YOLO2 adjustment

图6 检测结果Fig.6 Detection result

从表3可以看出，在热像图上使用YOLO2检测定位电连接都能达到较高的查全率和查准率，F1-Measure综合性能也能达到97%以上,在树莓派上能在4 min之内完成一帧图的检测任务，满足10 min温度监测间隔的需求。YOLO2调整后较调整前各项评价指标均提高了约1%，同时在检测速度上也有一定的提升。从图6中可以看出调整前的模型检测结果有重叠目标框的出现，调整后的网络则没有这种情况出现，总体来讲调整后的YOLO2能较好地完成电连接定位任务。

3.3 基于K-means的电连接背景分割

为了验证K-means算法在电连接背景分割中是否有效，将本研究使用的K-means算法与基于大律法的自适应阈值二值化进行大量样本对比试验，试验结果如图7～8所示。从图中可以看出，自适应阈值二值化处理后图片并不能完全去除背景，反而把部分背景归为了电连接这一类；在K-means聚类后的二值化图片可以将背景完全去除，虽然损失了部分像素点，但这对后续的温度计算影响并不是很大。因此可以使用K-means算法将电连接从局部图中分割出来。

图7 样本1两种算法处理结果对比Fig.7 Result comparison of two algorithms of sample 1

图8 样本2两种算法处理结果对比Fig.8 Result comparison of two algorithms of sample 2

4 结 论

为解决红外热像技术在电连接温度监测中无法准确获取电连接温度值的问题，本研究应用了深度学习YOLO2模型实现了在热像图中电连接的检测和定位，同时保证了较高的检测准确率和检测速度。在定位的基础上利用K-means聚类基本实现了电连接与背景的分割，为后续的计算过程打下了基础，给铁路接触网电连接温度在线监测提供了一种方法。