基于全景图像拼接的铁路护栏缺损检测*

2017-04-27王胜春罗四维黄雅平

数据采集与处理 2017年2期

王胜春罗四维王旭黄雅平戴鹏

(1.北京交通大学交通数据分析与挖掘北京市重点实验室，北京,100044; 2.济南铁路局工务检测所，济南,250001; 3.中国铁道科学研究院基础设施检测所，北京,100081)

基于全景图像拼接的铁路护栏缺损检测*

王胜春1罗四维1王旭2黄雅平1戴鹏3

虽然基于机器视觉的铁路基础设施的自动化检测技术已经被广泛使用，然而护栏作为保障列车安全运行免受异物入侵的重要组成部分，针对护栏的缺失检测仍依靠传统的人工检视方法。本文基于全景拼接技术，获取了铁路沿线护栏的全景图，并通过提取护栏全景图的灰度均值和方差等统计特征构建了全景图像的二维直方图，在此基础上提出了基于灰度-方差的二维直方图的最大熵值分割方法，从而实现了栏杆位置的自动识别和缺损检测。实验结果验证了该方法的准确性和有效性，且取得了87.5%的查准率和92.1%的查全率。

缺损检测；全景拼接；二维直方图；阈值分割；熵；铁路护栏

引言

图1 铁路护栏缺损Fig.1 Fence defect of railway line

装配有视频采集设备的综合检测列车已经被用来获取铁路沿途的环境信息，作为环境状况的一种记录，为后期的人工检测提供环境信息。但传统的人工检测方法由于太主观、效率低和劳动密集等缺点，已经不能满足现代铁路检测任务“更准，更快，更简洁”的要求。安装在移动列车不同位置的摄像设备已经被用来执行不同的铁路巡检任务，例如轨道轮廓测量，钢轨表面缺陷检测，扣件异常检测以及弓网接触系统检测等[1-4]，然而很少有工作关注于铁路护栏的检测。为了确保高速行车安全，列车运行在由护栏包围的封闭的铁路环境中，缺损的护栏引起的异物入侵将导致严重的后果。因此，对铁路护栏进行检测是确保列车安全运行的一个必要任务。图1为常见的护栏缺损的实例，从图中可以看到护栏中相邻的栏杆(这里主要指竖直的栏杆)之间的距离大致固定，破损的护栏将引起相邻栏杆之间的间距发生变化，可以通过定位栏杆的位置，并分析栏杆之间的间隔变化来进行护栏缺损判别。因此，如何从综合检测列车获取的大量视频图像中快速自动地识别护栏中栏杆的位置信息，是进行护栏缺损检测的关键。

全景拼接是获取宽阔视角物理场景的一个有效方法，它容易实现，显示逼真，将场景的全部信息存储在一张全景图像中，已经被广泛应用于视频会议、空中摄影、军事监控和虚拟的场景绘制等[5-10]。文献[11,12]提出了从前向运动的列车车载视频中生成铁路场景的全景图的方法，并基于全景图绘制了虚拟的铁路场景。与原始的视频数据相比，生成的全景图是一个完整且无冗余信息的连续图像，且具有更小的数据量。全景图可以作为视频的完整索引帮助快速地定位护栏目标，且在全景图像上执行自动检测算法更加简单可行。

本文提出了一种基于全景拼接的铁路护栏自动检测方法。首先对生成的铁路护栏全景图的图像特征进行分析，沿着护栏全景图的竖直方向统计图像像素的灰度均值和灰度方差，提取栏杆的统计特征。在此基础上提出了基于灰度均值-方差的二维直方图的最大熵阈值分割方法，从而实现了栏杆位置的自动识别和缺损检测。

1 基于全景拼接的护栏检测原理

文献[11,12]提出了从前向运动的列车车载视频中生成铁路场景全景图的方法，并首次成功获取了铁路场景的全景图。首先通过在综合巡检列车的前端安装一个正对前方的视频采集设备，来获取整个铁路场景的环境信息(包括铁道两侧环境、护栏、电杆、铁道和接触网等)。由于铁路场景包含的信息简单以及道床、护栏等重复出现的图像模式，因此没有足够的显著特征实现图像帧之间的配准，而图像配准是实现图像拼接的关键步骤。文中提出的拼接方法只需要按照列车速度和一些已知的几何约束来决定每一帧中抽取的拼接窄带的宽度，实现了图像之间的对齐，避免了基于特征提取的图像配准。提出的方法可以快速简洁地生成道路全景图，没有执行复杂的图像匹配和拼接，仅仅依靠传感器记录的列车速度、标定的相机参数和一些已知的铁路场景的几何信息。

图2 铁路全景图的生成原理图Fig.2 Schematic diagram generating railway panorama

如图2所示，铁路全景图的获取包含以下3个步骤：

(1)前向视频的采集。安装在车前端的摄像机正对前方移动，即相机的光轴平行于运动方向。采集到的视频序列中，帧图像中包括大量重复的场景信息，且在不同的深度层具有非均匀的分辨率。相邻帧之间出现的高度重复的图像信息使得当前正在监测的场景与已监测的部分相混淆，因此通过检索整个视频去发现铁路护栏缺损极其低效。

(2)构造拼接区域。文献[11,12]中的工作详细地给出了拼接区域的构造方法，基于场景的几何先验和已知的相机参数从视频序列中连续地抽取一组梯形条带作为“完全采样”的拼接区域，条带的宽度根据列车速度自动调节。

全景拼接将冗余的视频数据转换成了包含全部场景信息的图像格式，与视频格式相比，对全景图像进行分析更加简单高效，而且许多基于图像处理的自动化检测算法也可以直接应用到全景图像分析中。

生成的全景图IM记为

(1)

在前向运动拍摄的视频图像中，由于具有随深度改变的不均匀的分辨率，因此护栏的大小不一致，具体表现在离摄像机近的护栏较大，而远处的护栏较小。而生成的全景图中的各护栏具有统一的尺度大小，因此很容易将完整的护栏从全景图像中提取出来，称之为护栏全景图，记作

(2)

式中：th，bh分别为护栏的顶部和底部在全景图IM中沿竖直方向的像素坐标。

生成的全景图也实现了整个铁路场景的可视化索引，若在护栏全景图像中定位到护栏的缺损，则可以快速地跳转到原视频中相应的帧中进行进一步的观察。

2 护栏全景图像的灰度统计特征

图3 铁路护栏全景图Fig.3 Panorama of railway fence

如图3所示，生成的护栏全景图中，各栏杆在竖直方向上具有近似的亮度值以及均匀的亮度分布，而护栏之间的背景区域则是一些亮度不规则分布的场景(如树木、建筑和地貌等)。因此，可通过统计护栏全景图在竖直方向上的像素平均值和方差来识别护栏位置。

令p(i,j)为护栏全景图中像素点Pi,j的灰度值，则每列像素的灰度平均值和方差分别记作

(3)

(4)

沿着FP竖直方向进行灰度统计特征提取后将得到一个二维一元的数列，记作

(5)

式中：1≤j≤N,N为FP中像素的总列数；M(1,j)表示每列像素的灰度均值；V(1,j)表示每列像素的灰度方差；F(j)表示每列像素的二维统计特征分布，由N个两维的特征向量(M(1,j),V(1,j))构成。

栏杆处的灰度统计特征满足：M(1,j)<ε,V(1,j)<ξ，这里ε和ξ为用于分割护栏前景即定位护栏栏杆位置的二值化阈值。由于背景区域的干扰，某些背景区域垂直方向的均值也可能处在护栏区域的灰度分布区间之内，因此仅依靠灰度均值阈值ε特征无法有效地提取栏杆的位置。注意到背景区域的像素值分布往往并不均匀，因此利用灰度方差阈值ξ可将亮度分布均匀的护栏位置识别出来，从而排除背景噪声的干扰。

利用灰度统计特征从全景图中提取护栏的算法如下：

Input: Fence panorama

Output: Position coordinates of the fences

for each columnj,j=1， …，N, from the fence panorama

Calculate the meanM(1,j) standard deviationV(1,j);

ifM(1,j)<εandV(1,j)<ξ

F(j)=1;

else

F(j)=0;

end if

end for

利用算法1可以快速地将铁路场景中的护栏和背景位置定位出来。F(j)=1处的像素坐标表示护栏位置，而F(j)=0处的像素坐标表示背景位置。若护栏存在缺损，则两护栏之间背景区域的像素宽度Dcur必然大于护栏之间的正常像素间隔d，因此若Dcur>k·d(k为调节参数)，则该区域存在缺损。算法2用来检测存在缺损的护栏位置。

Input: Position coordinates of the fences

Output: The position of the fence defect

intcur,m=0

for each columnj,j=2， …，N

ifF(j-1)=1 andF(j)=0

cur++

else ifF(j-1)=0 andF(j)=0

m++;

elseF(j-1)=0 andF(j)=1

D[cur]=m;

ifm>k·d

printf (“The cur-th defect has been found between thej-mandj”);

end if

m=0;

end if

end for

综上所述，定位栏杆位置的关键在于确定合适的二值化阈值ε和ξ。基于以上对护栏全景图的灰度统计特征的描述，本文建立了相应的灰度均值-方差二维直方图，并提出了基于二维直方图的最大熵阈值分割方法。

3 基于灰度均值-方差的二维直方图的最大熵阈值分割方法

在众多的阈值分割算法中，基于信息熵的自动化阈值分割方法逐渐成为最受欢迎的算法之一。T.Pun于20世纪80 年代首先开始运用信息论中的“熵”这一概念来实现图像阈值分割, 引入了最大后验熵上限法[13]。1985 年, J.N.Kapur等[14]提出了最大Shannon熵阈值分割算法, 受到普遍关注。传统的最大熵阈值分割算法只基于像素灰度值一个维度，容易受背景噪声干扰。为了克服这一缺点，一些学者相继提出了二维直方图及三维直方图的最大熵分割法[15-17]，并取得了更好的效果。本文的分割对象护栏栏杆具有显著的列向灰度均值和方差的统计特征，因此可以通过建立灰度均值-方差的二维直方图，再根据熵值最大化理论[14]寻找最优分割点。

对于从FP中提取的护栏栏杆的特征分布F(j)，灰度均值-方差的二维直方图HMV定义为

HMV(x,y)=pxy=number of tuples(M(1,j)=x,V(1,j)=y)/N

(6)

式中：x∈{0,1,…，255}，y∈{0,1,…，255}。为了便于计算，将方差y的取值范围归到区间[0,255]之间。pxy为二维直方图的值，表示二元组(x,y)在整个F(j)中出现的频率，因此有

(7)

若给定任意一个阈值(ε,ξ)来对护栏栏杆的特征分布F(j)进行分割，则F(j)中任意一个特征向量位于护栏区域或者背景区域的概率为

(8)

(9)

根据熵的定义，护栏区域与背景区域的二维熵分别定义为

(10)

(11)

F(j)的总体二维熵为

(12)

(13)

(14)

4 实验结果与分析

图4为综合检测列车采集的前向运动视频图像，像素总数为1 280×768，摄像机的采集帧率为25帧/s。列车在某一时间段内保持相对匀速，车速为120 km/h。图4(a)为护栏无缺损的铁路场景，图4(b)为存在护栏缺损的铁路场景。由于前向运动模式下，图像中护栏的大小尺度不统一，远处的护栏小，近处的护栏大，而且随着时间不断发生变化，因此从尺度变化的视频图像中识别缺损非常困难。

图4 综合检测列车采集的视频图像Fig.4 Video image captured from inspection train

生成的部分铁路全景图(左侧)如图5(a)所示，可以看出图像中的护栏和电杆高度相同，大小一致，因此从全景图中检测护栏缺损更加简单可行。图5(b)为从图5(a)所示的全景图像中提取的部分护栏全景图(i∈[405,490],j∈[2 500,3 000])。从图中可以直观地观察到，护栏上的亮度分布均匀，且大小一致，通过式(3，4)可以从护栏全景图中提取出反映护栏亮度大小的均值统计特征和反映护栏亮度分布的方差统计特征。

图5 部分铁路全景图Fig.5 Partial railway panorama

护栏全景图的灰度均值分布曲线如图6(a)所示，从图中可以看到，护栏的灰度均值集中分布在区间[35,45]之间。某些背景处的灰度均值也近似位于该区间内，如图5(b)中像素坐标取3 100左右时，该处背景的亮度整体较低，在图像中的像素灰度均值位于区间[40,45](如图6(a))。因此仅统计像素的灰度均值是不够的，某些与护栏处的灰度均值相同的背景区域难以区分。图6(b)为护栏全景图的灰度方差分布曲线，从中可以看到，护栏处的灰度方差集中分布在区间[0,75], 而背景处的方差则分布在区间[150,750]。增加了方差约束后，与护栏的灰度均值相同而难以区分的背景区域由于具有较大的方差，因而可以被进一步正确地区分出来。

图6 图5(b)所示的护栏全景图的灰度统计特征Fig.6 Gray-level statistical feature from fence panorama shown in Fig.5(b)

图7为按照算法1将图5(b)中的护栏全景图进行二值化后的结果。图7(a)为仅根据灰度均值的一维直方图进行二值化的结果，图7(b)为增加了方差约束即基于灰度均值-方差二维直方图的二值化结果。通过与图5(b)中所示护栏的实际位置相比较可以看出，基于灰度和方差的统计特征从护栏全景图中提取的护栏位置更加准确。

提取到护栏的位置后，利用算法2沿着像素坐标方向统计护栏之间的宽度，若宽度较大，超过预设的阈值，则认为该位置存在护栏缺损。如图7(b)所示，[2 500,3 500]像素范围内存在3处明显的护栏缺损的区域，分别位于区间[3 000,3 138]，[3 180,3 268]和[3 290,3 500]处。

图7 灰度统计特征二值化Fig.7 Binaryzation map of statistical feature

整个实验数据为时长约1 h，数据量为1.35 GB的avi格式的视频，像素总数为(1 024×768)/帧×85 500帧。实验计算平台配置如下：Intel(R) Core(TM) i5-2500@3.30 GHz处理器, 8 GB内存, Windows 7操作系统, NVIDIA GeForce GTX 570显卡。利用全景拼接生成了数据量为84 MB的jpg格式的图像，像素总数为267 500×600(水平方向的像素总数×竖直方向的像素总数)，在压缩了的图像中执行检测算法更加快速高效。视频拼接速度为42帧/s，远大于图像采集的速度25帧/s，因此可以满足实时的拼接和检测。由于列车全天候运行，天气，环境和朝向等因素引起的光照变化是不可避免的。因此，在整个FP上执行全局二值化并不合理。一个可行的方案是将整个FP分割成K个子图，并为每幅子图计算一对合适的局部阈值(εk,ξk)，这里k=1,2,3,…,K。该操作可以降低全局光照变化对FP二值化的影响，从而得到更好的二值化结果。本文定义了查准率(误检的缺损个数/实际的缺损个数)和查全率(漏检的缺损个数/实际的缺损个数)来验证本文所提算法的准确性和有效性。本实验使用的视频数据中，铁路沿线的护栏实际存在38处缺损，而在检测结果中，有5处正常的栏杆位置被错误地检为缺损以及3处漏掉的缺损没有检出，即查准率和查全率分别为87.5%和92.1%。

5 结束语

本文提出了一种基于全景图拼接的铁路护栏检测方法。首先利用全景图拼接技术将采集到的前向运动视频转换为更易执行自动化检测算法的全景图，然后根据全景图中护栏的像素灰度的均值和方差统计特征构建了灰度均值-方差的二维直方图，并按照最大熵分割原理得到的最优分割阈值从护栏全景图中提取护栏中竖直栏杆的位置信息，最后通过分析相邻栏杆之间的距离变化来进行缺损的识别。未来的工作将进一步对全景图中护栏的特征进行系统化的分析，提取更丰富的护栏的内在特征，进一步降低背景区域噪声对检测结果的影响。

[1] Alippi C, Casagrande E, Scotti F. Composite real-time image processing for track profile measurement[J]. IEEE Trans Instrumentation and Measurement, 2000,49(3):559-564.

[2] Lin J, Luo S W, Li Q Y. Real-time rail head surface defect detection: A geometrical approach[C]//The IEEE International Symposium on Industrial Electronics. Seoul, South Korea: IEEE, 2009:769-774.

[3] Li Q Y, Ren S W. A visual detection system for rail surface defects[J]. IEEE Trans System, Man, and Cybernetics, 2012,42(6):1531-1542.

[4] Rubaai A. A neural-net-based device for monitoring Amtrak railroad track system[J]. IEEE Trans Industry Applications, 2003,39(2):374-381.

[5] 廖超，王贵锦，沈永玲，等.航拍视频的多向条带拼接算法[J].宇航学报，2012,33(11):2065-2073.

Liao Chao, Wang Guijin, Sheng Yongling, et al. Aerial video stitchign via multi-direction strips[J]. Acta Aeronautica et Astronautica Sinica, 2012,33(11):2065-2073.

[6] 吴宪祥，郭宝龙，王娟.基于相位相关的柱面全景图像自动拼接算法[J].光学学报，2009,29(7):1824-1829.

Wu Xianxiang, Guo Baolong, Wang Juan. Cylindrical panoramic image automatic Mosaic algorithm based on phase correlation[J]. Acta Optica Sinica, 2009,29(7):1824-1829.

[7] 王会峰，刘上乾，汪大宝，等.旋转扫描序列图像的全景图拼接方法[J].光学学报,2009,29(5):1211-1215.

Wang Huifeng, Liu Shangqian, Wang Dabao, et al. Panoramic image Mosaic method for rotary scanning serial image[J]. Acta Optica Sinica, 2009,29(5):1211-1215.

[8] 刘畅，金立左，费树岷，等.固定多摄像头的视频拼接技术[J].数据采集与处理，2014,29(1):126-133.

Liu Chang, Jin Lizuo, Fei Shumin, et al. Video stitching technology based on fixed multi-camera[J]. Journal of Data Acquisition and Processing, 2014,29(1):126-133.

[9] Abbassallal K, Abdul M S R. Generation of video panorama system[J]. International Journal of Computer Applications, 2013,73(5):20-26.

[10]张海滨，孔凡让，袁仲洲，等.一种基于小波变换和自适应滤波的图像拼接算法[J]. 数据采集与处理，2014,29(5):809-814.

Zhang Haibin, Kong Fanrang, Yuan Zhongzhou, et al. Algorithm of image splice based on adaptive filtering in wavelet domain[J]. Journal of Data Acquisition and Processing, 2014,29(5):809-814.

[11]Wang S C, Zheng J Y, Luo S W, et al. Route panorama acquisition and rendering for high-speed railway monitoring[C]//The IEEE International Conference on Multimedia and Expo. San Jose, USA: IEEE, 2013:1-6.

[12]Wang S C, Luo S W, Huang Y P, et al. Railroad online: Acquiring and visualizing route panoramas of rail scenes[J]. The Visual Computer, 2014,30(9):1045-1057.

[13]Pun T. Entropic thresholding : A new approach[J]. Computer Graphics and Image Processing, 1981,16:216-239.

[14]Kapur J N, Sahoo P K, Wong A K C. A new method for gray level picture thresholding using the entropy of the histogram[J]. Computer Vision, Graphics and Image Processing, 1985,29:273-285.

[15]魏巍,申铉京,千庆姬,等.三维最大Renyi 熵的灰度图像阈值分割算法[J]. 吉林大学学报:工学版，2011,41(4):1083-1088.

Wei Wei, Shen Xuanjing, Qian Qingji, et al. Thresholding algorithm based on three-dimensional Renyi′s entropy[J]. Journal of Jilin University: Engineering and Technology Edition, 2011,41(4):1083-1088.

[16]Sahoo P K, Arora G. Image thresholding using two-dimensional Tsallis-Havrda-Charvát entropy[J]. Pattern Recognition Letters, 2006,27(6):520-528.

[17]Xiao Y, Cao Z G, Yuan J S. Entropic image thresholding based on GLGM histogram[J]. Pattern Recognition Letters, 2014,40:47-55.

Railway Fence Defect Detection Based on Panoramic Image Mosaic

Wang Shengchun1, Luo Siwei1, Wang Xu2, Huang Yaping1, Dai Peng3

(1.Beijing Key Lab of Traffic Data Analysis and Mining, Beijing Jiaotong University, Beijing, 100044, China; 2.Railway Maintenance Inspection Station, Jinan Railway Administration, Jinan, 250001, China; 3.Infrastructure Inspection Research Institute, China Academy of Railway Sciences, Beijing, 100081, China)

Although automatic detection technology based on machine vision for railway infrastructure has been widely used, fence, as an important safeguard against foreign invasion to ensure safe running of train, has not been detected automaticaly yet, but manually as in traditional inspection. Based on panoramic stitching techniques, we acquire the panorama of the fence along the railway, and then extract gray-level statistical features such as the mean and variance values to construct the two-dimensional statistical histogram of panoramic image. On the bases of these data, we propose a segment method using the maximum entropy of two-dimensional gray mean-variance histogram to achieve rapid fence defect detection from the fence panorama. Experimental results verify the validity and accuracy of the proposed approach and it has the precision ratio of 87.5% and recall ration of 92.1%.

defect detection; panoramic image mosaic; two-dimensional histogram; threshold segmentation; entropy; railway fence

国家自然科学基金(61272354，61273364，61105119，61300176)资助项目；北京市自然科学青年基金(9144022)资助项目。

2015-05-10；

2015-08-21

TP391