基于知识模型的接触网缺陷智能视觉辨识

唐 鹏，金炜东，张兴斌，张志军，邢铠鹏，霍志浩

（西南交通大学 电气工程学院，四川 成都 611756）

0 引言

电气化铁路的接触网具有机电合一、露天架设、动态工作且无备用系统的特点，其面临风险较高，是牵引供电系统中的薄弱环节之一[1]。接触网一旦发生故障，将直接影响牵引供电系统运行，危及行车安全甚至中断行车，因此对接触网缺陷部位进行检测与排查至关重要。

接触网运维检修已成为高铁后期运营维护的重要工作内容之一。对此，国内外的研究机构和科研院所开展了一系列基于视觉技术的接触网故障辨识方面的研究。日本于2007年利用序列图像处理技术研制了面向弓网的高频检测系统[2]。文献[3]用Hough直线检测算法对弓网实施检测。针对绝缘子异物的辨识，文献[4]用模板匹配法定位接触网绝缘子，并用小波奇异性特性实现绝缘子异物的识别；文献[5]通过多类型绝缘子的仿射不变矩定位绝缘子，再用形态学滤波和灰阶统计完成多类型和多种悬挂方式的绝缘子异物检测。针对支柱检测问题，文献[6]使用Lucas-Kanade光流构建的运动视差分割算法，并结合边缘检测和概率Hough变换实现了支柱的定位及腕臂结构的检测；文献[7]针对户外环境中复杂光照条件和低质量图像，提出了一种T型结构的目标检测法，并以此实现了定位线夹的检测与定位。尽管目前针对接触网故障辨识方面的研究已取得一系列进展[8]，但由于我国铁路运行环境多样、接触网巡检任务场景透视成像形式特殊，既有研究成果尚不足以支撑复杂环境下的接触网视频巡检的实际应用需求。

车载接触网运行状态检测系统（3C）被适时提出，旨在通过分析列车行进中采集的图像实现对接触网设备的智能识别定位及异常状态（包括接触网吊弦松弛及脱落、接触线硬弯、弓网燃弧、硬横梁及支架鸟巢等）检测，其批量化检测速度快，无须介入既有系统，可部分代替低效、主观性强、依赖经验且误差较大的人工巡检模式。

本文立足于C3系统实际应用需求，以接触网吊弦状态为主要关注对象，首先从数据样本、关注对象及评价指标等方面分析了C3系统中问题的特殊性；其次结合项目中的实际案例提出了接触网目标状态视觉辨识研究思想和关键技术的解决方案；最后结合项目经验对未来技术的发展进行了展望。

1 C3系统视觉辨识问题的特殊性分析

为进一步提高接触网视频巡检任务在实际应用中的鲁棒性，在项目的实施过程中，对C3系统视觉辨识问题的特殊性进行了分析。

1.1 样本空间分布的特殊性

首先，数据样本表达具有有偏性。接触网部件不同工作状态所表达的特征具有有偏性。如因拍摄位置或吊弦位置的原因使得部分正常吊弦在图像中存在较大斜率，见图1(a)，此特征与断裂吊弦(图1(b))特征相似；松脱吊弦(图1(c))与电线(图1(d))的形态相似，使用此类数据训练可能导致不同状态的特征在模型中的表达相似。

图1 不同状态吊弦对比图Fig. 1 Comparison of hanging strings in different states

其次，数据样本分布存在显著的非均衡性，且无法避免。由于接触网部件故障为偶发事件，因此故障样本稀少。如吊弦、鸟巢等数据，样本基数较大，即正常吊弦数据量大、无鸟巢的支架与硬横梁样本充足，但故障吊弦与鸟巢的样本量极少，造成了数据的不平衡，而使用不均衡数据将造成模型训练偏差。

1.2 监测对象的多样性和外观特殊性

铁路接触网巡检关注对象包括接触线、吊弦、承力索、电连接线及支架等众多设施，其外观形状、区域分布、尺度范围和状态演化具有显著特殊性，导致目前广泛研究的一般性视频目标检测算法在接触网视频巡检中并不适用。具体而言，监测对象的外观特殊性包括：

（1）监测对象在图像区域中占比极小，而背景占比很高。若将背景视为干扰信号，那么从铁路接触网巡检视频中搜寻检测对象是极低信噪比的目标发现任务。若定义目标轮廓面积s与其轮廓凸包面积h的比率为指标t，则一般性目标检测的t值范围不小于50%，而接触网目标的t值约为10%。例如，吊弦细长，尺寸一般不超500个像素，coco数据集中对于微小目标的定义为32×32（1 024个像素），硬弯与鸟巢的尺寸更小，在检测过程中更不易被发现。

（2）接触网关注目标尺度微小且状态渐变，属于高分辨率下的小目标检测问题。在接触网异常状态检测中，如硬弯、吊弦故障等异常状态难以被辨别，尤其是接触线出现的硬弯故障，其故障本身目标微小，且由正常状态逐渐过渡至异常状态，导致接触线异常状态与正常状态无明显可辨别特征，这对检测算法提出更高要求。

1.3 设备异常状态的偶发性

接触网监测对象的缺陷和故障状态存在偶发性。一方面，由于机车运行、环境及材料等因素造成接触网状态异常，此类故障不常发，却需要被及时发现并维护；另一方面，因为此类视频数据中故障样本相比正常样本不仅数量更为稀少，而且数据对故障情况的代表性极为有限，难以使模型获取“触类旁通”的泛化性检测能力。因此，缺陷和故障的偶发性也导致监测任务本质是异常检测，其数据存在显著不平衡性。此外，数据非均衡性也导致接触网视觉辨识问题与一般性的模式分类问题有所不同，诸如用精准度、查全率等指标无法完整概括其性能情况，其指标评价也需特殊考虑。

1.4 工程难题背后的科学性问题

接触网视频巡检中的技术难题源于其背后的科学性问题有待突破，主要包括：

（1）小样本情况下的弱监督学习。小样本学习旨在实现极少量的样本情况下建立对新类别的机器认知任务，突破当前机器学习算法对样本需求量级的局限性。其本质是元学习（meta learning）在监督学习领域的应用，即重复利用既有数据学习事物特征的共性，在此基础上对于新的类别只需要少量的样本就能快速学习[9]。少样本模型大致可分为基于模型（model based）的方法、基于测度（metrics based）的方法和基于优化（optimization based）的方法[10]。

（2）结合专家经验的自监督学习。自监督学习通常利用辅助任务（称为“pretext”）从大量的未标注数据中抽取数据本身的可监督信息，并将其用于网络模型训练，以学习到海量数据分布的高效表达[11]。因此，自监督学习的标签信息不由人工标注，而针对数据特点设计pretext算法从数据中自动构建监督信息，从而进行监督方式的模型训练。自监督学习主要分为3类，即基于上下文（context based）、基于时序（temporal based）和基于差异性（contrastive Based）的方法[12]。

2 研究思想与案例分析

本文针对上述C3系统视觉辨识问题特殊性的分析，结合3个实际工程案例背景，阐述了相应的研究思想并提出了关键技术的解决方案。

2.1 结合专家经验的吊弦缺陷在线仿真训练

为解决吊弦故障样本相对于正常样本极其稀少的问题，本文提出了一种吊弦独立形变控制的数据仿真方法（图2）。普通的图像增强会使图像所有的部位都发生形变，造成图像失真，并且不能控制图像的变化趋势。本文所提出的故障吊弦仿真方法能够仿真出各种类型的故障吊弦，包括普通松脱吊弦、C型松脱吊弦、下部断脱吊弦及受流环断脱吊弦等类型。其首先利用直线检测法提取正常吊弦图像中的直线，通过先验知识提取吊弦直线并将吊弦提取出来；接着，利用图像修复技术将吊弦区域进行修复，得到不含吊弦的背景图，再根据故障吊弦形态特征单独对提取出来的吊弦进行改进弹性形变处理，得到相应类型的故障吊弦区域；最后再将故障吊弦区域与背景图融合，得到故障吊弦仿真样本。

图2 故障吊弦仿真算法在线仿真训练流程示意Fig. 2 Schematic diagram of online simulation training flow of fault hanger simulated algorithm

在此基础上，本文提出一种在线样本仿真的混合训练方法。首先，随机进行故障吊弦仿真，增加吊弦数据集中的正样本，让目标提取网络能够学习到更多类型的吊弦样本；接着，利用训练好的目标提取网络对吊弦图像进行目标提取，得到吊弦目标；然后，通过故障吊弦仿真算法获取故障吊弦（图3），包括普通松脱吊弦、C型松脱吊弦、下部断脱吊弦和受流环断脱吊弦；最后，筛选出符合实情的故障吊弦，并将吊弦状态分类为正常、松脱、断裂和其他4类。增加“其他”类的目的是为了进一步剔除错误检测为吊弦的非吊弦目标。

图3 故障吊弦仿真样本Fig. 3 Simulation samples of failure hanger

故障吊弦样本的仿真流程具体如下：

（1）手工给定逐行形变的控制函数f(y)，0≤y＜h。其中y表示像素纵坐标，h是图像高度，f(y)反映了第y行像素的横向偏移强度。

（2）根据f(y)生成与吊弦原图大小一致的位移矩阵 ΔD(x,y)=f(y)，其中 0 ≤y＜h，0 ≤x＜w。

（3）利用 对图像进行形变处理：

式中：I(x,y)——原图像在(x,y)处的像素值；I′(x,y)——新图像在(x,y)处的像素值；[]——向下取整数；x′=x-ΔD(x,y)。

不同形变函数f(y)的效果如图4所示。

图4 故障吊弦仿真样本形变过程Fig. 4 Deformation process of simulated fault hanger sample

2.2 多尺度注意力强化的吊弦缺陷识别

吊弦状态辨识有两大困难：首先吊弦图像的背景占比大且复杂多变[13]；其次吊弦故障状态与正常状态形态差异很小，甚至为渐变而来，使得状态识别难度较高。为解决此问题，本文提出一种多尺度注意力强化的缺陷识别方法，使算法着眼于局部微变特征。该方法具体如下：

（1）针对吊弦数据特点，采用宽残差结构的网络拓扑[14]，见图5(a)，以降低模型复杂度；VR(VGG-WRN)模块中的in_ch为输入通道数，其通道数量较其他网络多，因此可以更加全面地理解吊弦特征，实现多通道尺度信息的自适应融合，减少特征损失。

图5 吊弦样本状态辨识Fig. 5 State identification of hanging string samples

（2）利用SE（squeeze & excitation）注意力机制[15]，见图5(b)，使用全局信息来选择性地突出有价值的通道特征，弱化无用通道特征。

（3）将宽残差结构与SE多尺度注意力机制融合，形成适合处理吊弦数据的特征提取模块，同时实现突出吊弦信息及故障特征的弱化背景信息，进一步提升吊弦状态识别精度，其处理流程如图5(c)所示。

加入注意力机制前后检测效果对比如图6所示。图中，吊弦被受电弓与支架遮挡，背景较复杂，吊弦状态为松脱，识别难度较大。加入注意力模块后，故障可被准确识别。

图6 加入注意力模型前后的检测效果对比图（红框代表检测为故障）Fig. 6 Comparison of detection effects before and after adding attention model (red box represents failure detection)

本次实验通过案例1中的故障仿真方法获取数据集。通过筛选，最后得到了7 539例分布均匀的数据集，其中正常吊弦2 064例，松脱吊弦1 837例，断裂吊弦1 953例，其他(非吊弦)1 685例。采用其中6 000例作为训练集，其余1 539例作为测试集。最终，采用所提注意力模型网络方法在测试集上取得了97%的准确率，而经典分类网络VGG16网络和ResNet-50网络在测试集上的准确率仅为94.4%和91.6%，可见该网络在吊弦缺陷识别任务中精度远高于经典分类网络的。

2.3 曝光异常数据的高速甄别技术

在吊弦状态辨识过程中，难免逆光过曝或欠曝处理等成像异常情况，因此有必要甄别出过曝和欠曝的数据。异常曝光时，图像细节会因曝光过度或不足导致缺失，从而导致被误检。由于异常曝光的图像本质是进入了AD转换的饱和区，已丢失了信息，故没有进一步分析的价值。本文提出曝光异常数据的高速甄别技术实现如下：首先，通过计算图像的曝光度，判断出此时图像是否处于黑暗状态；其次，通过计算图像行最小灰度最大值以及行最小灰度均值，判断出图像的吊弦区域是否出现曝光过度；最后，将上述3个特征值输入到随机森林模型，图像状态被分为黑暗、正常、微曝光以及强曝光4类，通过模型对曝光异常数据进行甄别。异常曝光吊弦筛选具体流程如图7所示。

图7 异常曝光吊弦筛选流程Fig. 7 Screening process of abnormal exposure hanger

在本次试验收集了2 988张图像数据作为随机森林模型的训练样本；为了检测该模型的泛用性与优越性，另外收集400张异常曝光数据作为该模型的测试集。通过对随机森林参数的调整，最终在2 988张训练样本中对该模型进行交叉验证，得到的随机森林模型对于异常曝光吊弦检测的准确率为96.28%。用400张测试样本对该模型进行测试，得到的测试准确率为96.5%。

在对含有7 500帧的视频进行整体测试后发现，未加入曝光异常状态甄别技术时，存在462张图像因曝光异常而被误检的情况。而在加入该技术后，仅有10张图像因曝光异常而被误检。因此通过该方法可以达到快速甄别数据的效果，从而降低故障分类的误检率，其具体检测效果如图8所示。

图8 吊弦故障分类检测Fig. 8 Classification and detection of hanger faults

3 结语

C3系统中的接触网目标状态视觉辨识不仅是一种极具现实意义的应用技术，也是一项极具学术挑战性的研究任务。其技术难度既源于样本标记和模型训练等繁重琐碎的技术层面工作，也源于铁路场景目标的视觉感知机理分析、辨识算法设计等前沿科学研究问题。由于接触网视频巡检任务问题的复杂度已超越了数据驱动监督模型的适用范畴，需引入专家经验、典型样例和电气语义等知识驱动的模型方式。文中以吊弦为对象开展了吊弦松脱与断裂仿真、状态辨别和图像质量甄别的探索性研究，并通过实验验证了本文技术思路的正确性和有效性。本文成果揭示了知识模型与数据模型相结合是解决接触网巡检任务的重要方向，其结合机制和评价方式还有待进一步深入探究。