基于激光摄像技术的设备限界检测与图像融合拼接

李甍，于龙，张冬凯

(西南交通大学 电气工程学院，四川 成都 610031)



基于激光摄像技术的设备限界检测与图像融合拼接

李甍，于龙，张冬凯

(西南交通大学 电气工程学院，四川 成都 610031)

摘要:将激光摄像技术运用到地铁设备限界检测，对相邻摄像机不重合、不完整的检测轮廓进行融合拼接。根据分析所得到标定精度较差摄像机与相邻摄像机视觉重合远处出现检测轮廓数据出现不重合、完整的原因，采用迭代最近点(ICP)算法并结合杭州地铁二号线地铁设备限界的检测轮廓数据，对所检测设备限界不完整的轮廓进行融合拼接。研究结果表明：基于激光摄像技术检测技术能够更加快速、高效的实现设备限界的非接触式检测；采用ICP算法实现精度较差摄像机与相邻摄像机视觉重合远处设备限界检测轮廓的融合拼接，可以使设备限界检测更加完整、可靠，对保障地铁的安全运行具有现实意义。

关键词：设备限界；激光；检测；融合拼接

地铁是解决我国各大城市公共交通问题的重要工具。地铁的安全运行，需要在特定的空间中安全的行驶，这个特定的空间就是地铁限界。根据不同的功能，可以分为车辆限界、设备限界、建筑限界。地铁设备限界是保障地铁安全运行、限制沿线设备安装尺寸的有效净空图形，设备限界的检测是地铁工程建设、竣工验收及日常运行维护等都需要的关键环节。我国地铁设备限界检测最常用的是断面检测法[1]，这种检测耗费较多的人力而且效率低，对误差的控制能力差。随着机器视觉技术的发展，激光摄像技术开始逐步用于轨道交通检测中，如：占栋等[2]利用激光摄像技术对接触网几何参数的高速动测量；同磊[3]的基于机器视觉的轨道交通线路异物检测；占栋等[4]基于激光摄像技术的钢轨磨耗截面积测量等。为了克服设备限界断面检测法接触式检测相关缺点，近年来基于激光摄像技术的地铁设备限界非接触式测量逐渐开始运用。基于激光摄像技术的地铁设备限界检测，单一摄像机视觉范围有限，需要多个摄像机组成设备限界检测系统，故要对各个摄像机进行大视场全局标定[5-9]。由于各摄像机标定误差不同、地铁空间尺寸大、设备安装误差等各种因素，精度较差摄像机与相邻摄像机视觉重叠远处，图像轮廓出现不完整、不重合的现象。鉴于目前国内限界接触式检测所存在的缺点，本文基于激光摄像测量方法，采用多摄像机实现对地铁设备限界的非接触式检测；同时考虑到激光摄像技术在地铁设备限界检测中，图像不完整等现象，引入迭代最近点(Iterative Closest Point，ICP)算法[10-11]对检测后的设备限界数据图像进行融合拼接，得到更加完整、可靠的设备限界轮廓。

1地铁设备限界

设备限界是车辆限界外加未涉及因素和安全距离的限界，设备限界外安装的任何设备均不得入侵的限界。《地铁限界标准》(CJJ96—2003)[5]指出，直线地段与设备限界与车辆限界之间，应预留安全距离。水平曲线地段的设备限界应在直线设备限界的基础上加宽和加高。设X设备和Y设备分别为直线段设备限界轮廓上某点的横坐标与纵坐标；X车辆和Y车辆为对应点的车辆限界坐标；Δx为该点设备限界横向偏移量，Δy为该点设备限界纵向偏移量；ΔX车辆为该点车辆限界横向偏移，ΔY车辆为该点车辆限界纵向偏移量。因车辆限界是由计算车辆轮廓线各点坐标加横向及竖向车辆偏移量得到[1]，故由上所述可得该点设备限界：

X设备=X车辆+Δx=X+ΔX车辆+Δx

(1)

Y设备=Y车辆+Δy=Y+ΔY车辆+Δy

(2)

式中：X为车辆轮廓线横坐标；Y为车辆轮廓线纵坐标；ΔX车辆为车辆限界横向偏移；ΔY车辆为车辆限界纵向偏移；Δx为设备限界横向偏移量；Δy为设备限界纵向偏移量。

根据《地铁限界标准》(CJJ96—2003)，设备限界与车辆限界的间距(Δx和Δy的取值)，具体取值方法详见《地铁限界标准》(CJJ96—2003)。

2基于激光摄像技术的多像机地铁设备限界检测方法

2.1　检测原理

激光摄像式地铁限界检测系统，采用计算机视觉测量技术。当激光器在隧道断面上形成一条高亮度的激光轮廓线，摄像式传感器实时采集获取隧道断面激光轮廓图像，利用图像处理技术与三角测距原理，对隧道断面内的轮廓特征进行识别、定位。检测设备由7个摄像机及激光器组成，由每个摄像机分别负责该区域的设备限界检测。

2.2　基于激光摄像技术的多摄像机全局标定

单一摄像机模型[6]中空间任一点P在世界坐标系与摄像机坐标系下的坐标分别为(xw,yw,zw)T和(xc,yc,zc)T，其在图像像素坐标系中的理想坐标为(UE,VE)T。由文献[6]可知图像像素坐标(UE,VE)T与摄像机坐标(xc,yc,zc)T关系如式(3)所示。式中(ax,ay,u0,v0)为摄像机内部参数，其中ax和ay为尺度因子；(u0,v0)为摄像机主点图像像素坐标；s为比例因子：

(3)

任一点P由世界坐标(xw,yw,zw)T转换到摄像机坐标(xc,yc,zc)T需要通过平移和旋转变换[6]，如式(4)所示。其中R为旋转矩阵，T为平移矢量，R和T为摄像机外部参数：

(4)

摄像机模型中，世界坐标系Owxwzwyw，激光切面决定测量时世界参考坐标系只存在2个自由度，故可令zw=0，结合式(3)和式(4)可得式(5)：

(5)

由于摄像机镜头存在径向畸变、薄棱畸变、偏心畸变，设畸变后的图像像素坐标为(UD,VD)T。畸变前后关系如式(6)：

(6)

δ1和δ2为摄像机畸变因子，满足文献[7]和[8]中关系，同时结合式(5)和式(6)，即可得到世界坐标(xw,yw)与畸变后的图像像素坐标(UD,VD)的关系，如式(7)所示。式中，r为自定义式子；(u0,v0)作为摄像机主点坐标一般作为已知条件给出；k1和k2为镜头径向畸变系数；p1和p2为镜头薄棱畸变系数；s1和s2为镜头偏心畸变系数：

(7)

摄像式传感器的标定，就是建立畸变后的图像像素坐标(UD,VD)与世界坐标系中的距离坐标(xw,yw)的关系，及求解式(7)中摄像机模型(a1,a2 ,…,a8,k1, …,s2)的各参数。由于地铁设备限界检测范围较大，单一摄像机传感器的视觉空间不能满足其检测要求，需要过个摄像机传感器同时进行视觉检测任务，所以需要对多摄像机进行大视场的全局标定。全局标定就是把各个摄像机感器的测量数据统一到一个总体世界坐标系中。即求出各个摄像机世界坐标系下的模型参数。本文采用世界坐标唯一法[6]，直接利用世界总体坐标系下的标定点对各个视觉传感器进行局部标定，将局部标定和全局标定统一到了一起，保证了标定状态与测量状态的一致性，一定程度上提高了标定的精度。建立6 000mm×6 000mm的拉丝平面靶标，将所需要标定的各个摄像机传感器置于靶标之中并固定位置。所建立标定平台中，由于局部标定的标定点已经统一到了世界总体坐标下，因而通过前面所述摄像机模型局部标定的每一个摄像机传感器已经实现了全局的统一。每个摄像机传感器在全局靶标中进行局部标定，通过所搭建的平面靶标获得该摄像机在全局标定中的世界坐标，再通过各摄像机画面中获得世界坐标对应的图像坐标(如图1所示)。各个摄像机采集数千组点后，带入式(7)并采用文献[9]中所述方法与算法，得到每个摄像机a1,a2 ,…,a8,k1, …,s2各标定参数值。参数名称参见本文2.2.1所述，标定数值如表1和表2所示。

图1　摄像机图像坐标获取Fig.1 Image coordinates obtain

2.3　多摄像机摄像传感器视觉重合区域误差分析

本文全局标定采用世界坐标唯一法，对靶标之中每个像机进行单独标定，求解a1,a2 ,…,a8,k1, …,s2各参数。由于靶标制作和标定人员技术能力等误差，直接影响着标定精度。由于标定需要获取靶标的世界坐标(xw,yw,1)T与图像像素坐标。根据式(5)可知，由于靶标世界坐标(xw,yw,zw)T误差，标定得到参数矩阵(a1,a2 ,…,a8)T也存在误差。可得式(8)，其中UB和VB为标定时的图像坐标，W和ΔW为标定时靶标世界坐标真实值与误差，A和ΔA分别为参数矩阵(a1,a2 ,…,a8)T的真实值与误差。

(8)

由式(8)可知，当靶标精度越低，标定得到参数矩阵(a1,a2 ,…,a8)T误差就越大。全局标定中，6 000mm×6 000mm为靶标，范围大，精度不高，标定误差增大。检测中，通过摄像机传感器获得设备限界图像坐标与标定所得参数矩阵(a1,a2 ,…,a8)T，当不考虑图像误差与摄像机畸变时，结合式(5)得到被检测设备限界实际世界坐标(xSB,ySB,1)T，如式(9)所示。

表1　各摄像机标定参数(a1,a2 ,…,a8)

表2　各摄像机畸变参数(k1, …, s2 )

(9)

式中:USB和VSB为检测时的图像坐标；WSB和ΔWSB分别为运算得到实际检测设备限界世界坐标真实值和误差值。

由于各摄像机全局标定后误差不同，当检测范围越大，各摄像机视觉重合处检测所得到的世界坐标重合度越差，因此由式(8)和式(9)可以得到图2所示关系。

图2　关系图Fig.2 Relationship diagram

摄像机传感器标定与设备限界检测中存在着靶标误、图像、算法、环境和人员等多种误差影响，当摄像机标定误差较大时使得设备限界检测中，两摄像机视觉重合区域在测量范围较远时，检测数据出现明显的不重合现象。

3设备限界检测轮廓图像融合拼接方法

3.1　ICP算法

因地铁空间尺寸大、摄像机标定误差和设备安装误差等各种因素，各摄像机视觉重叠处，图像轮廓出现不完整、不重合的现象，故采用最近迭代点(ICP)算法，对摄像机视觉重叠区域出现的上述情况进行轮廓融合拼接，以得到更加完整的设备限界检测轮廓，使检测更精确。由Bels等[10-11]提出来的迭代最近点(IterativeClosestPoint，ICP)算法，对待拼接的2片点云，首先根据一定准则确立对应的点集P与Q，其对应点对数为n。通过最小二乘法迭代计算最优坐标变换，即旋转矩阵R与平移矩阵t，使误差函数

(10)

最小。通过得到的平移与旋转矩阵，对所检测设备限界轮廓中，出现不完整、不重合的部分进行融合拼接，以得到可靠、完整的设备限界检测轮廓图形。

ICP算法对于两摄像机视觉重合部位确定的点集P与Q(其对应点对数为n)，计算旋转矩阵R与平移矩阵t。考虑计算效率，采用奇异值分解(SVD)方法[8]：

Step 1：计算P与Q的质心

(11)

Step 2：求令矩阵

(12)

Step 3：对矩阵H进行奇异值分解

H=UDVT

(13)

Step4：令

(14)

R=UAVT

(15)

Step5：根据旋转矩阵R与点集中点求得平移适量

t=uq-Rup

(16)

结合式(10)和式(16)，进行多次迭代，求出满足最小二乘误差函数的最优平移量t。将点集P中个点与最优R和t的解代入式(17)，得到点集P向点集Q融合拼接的新坐标。

up*=Rup+t

(17)

3.2　基于ICP算法的设备限界检测轮廓融合拼接

1)首先采用检测装置对线路进行设备限界检测，得到检测数据；

2)由于各摄像机安装定位后，位置、角度固定，选择标定误差较大、两摄像机检测重合效果较差的数据，对摄像机视觉重合区域轮廓数据进行提取；在重合区域出，建立相同点数的点集，其中像机标定精度低的各点放入点集P中，像机机标定精度高的各点放入点集Q中；

3)将点集P和Q带入IPC算法中，迭代求解满足式(10)和式(16)，最小二乘误差函数的最优转转、平移量R和t；

4)结合式(17)，将两摄像机中，其中低精度摄像机检测数据融合拼接到另一高精度像机数据。

基于IPC算法的设备限界检测轮廓的融合拼接流程如图3所示。

图3　融合拼接流程图Fig.3 Fusion and splicing flowchart

4实验

4.1　激光摄像设备限界检测

根据《地铁限界标准》(CJJ96—2003)及相关参数，采用本文第一部分所述，计算出各部位的设备限界；利用所标定好的摄像机传感器，组建基于激光摄像的TDXJ—1地铁设备限界检测系统，对杭州地铁2号线区间隧道段进行设备限界检测如图4所示。

图4　激光限界检测Fig.4 Laser gauge detection

杭州地铁2号线激光摄像设备限界非接触式检测概览情况如表3所示；参考以前限界检测，使用传统接触式限界检测车检测相同路段，检测概况如表4所示。

表3　杭州地铁二号线激光摄像设备限界检测概览

表4　传统接触式限界检测车检测概览

由此可见，基于激光摄像设备限界非接触式检测，检测线路长，耗时少，可以快速的了解线路设备限界的情况、公里标位置、具体部位，运营人员可按照检测结果，进行逐一核对，极大提高了地铁运营维护效率。由于曲线段设备限界检测比较困难，特别选取曲线中，入侵设备限界检测结果，该入侵设备限界处为杭州地铁2号线人民广场站—建设一路站下行区间，公里标K7+046.8 - K7+046.3。如图5所示，图中外部圆形轮廓为检测出的地铁轮廓，中间部分为设备限界计算断面图。

4.2　设备限界检测轮廓图像融合拼接

由于各摄像机标定情况不同和设备安装误差等各种因素，标定精度较差的像机视觉重叠处，图像轮廓难免出现不重合和不完整等现象(如2.3中所述)。图5的检测结果中，有3处摄像机，如图6所示。

采用本文3.1所述算法，利用图4中重叠区域求取最优量R和t，并对重合区域进行融合拼接；并根据式(9)对比起函数误差，如图7~9和表5所示。

图5　曲线段入侵限界时的设备限界检测Fig.5 Gauge invasion of curve segments

图6　轮廓边缘不完整、错位Fig.6 Contour edge incomplete and dislocation

表5　误差分析

图7~9中，左图为实际现场检测数据，右图为经过算法处理后的融合拼接图。通过表5和图7~9可以看出，经过该算法融合拼接后的数据更加完整、精确。利用所求取的R和t，对图8误差较大的3部分检测数据采用3.2中所述方法进行融合拼接，如图10所示。通过与图5的比较，经过融合拼接后的检测轮廓数据更加完成、可靠。

单位:mm图7　融合拼接1Fig.7 Fusion and splicing(1)

单位:mm图8　融合拼接2Fig.8 Fusion and splicing(2)

单位:mm图9　融合拼接3Fig.9 Fusion and splicing(3)

图10　融合拼接后的设备限界检测轮廓Fig.10 Detection contour equipment gauge after fusion and splicing

5结论

1)基于激光摄像设备限界非接触式检测检测效率高，极大提高了地铁运营维护效率。

2)引入最近迭代点(ICP)算法，可以较好解决基于激光摄像技术的地铁设备限界检测中由于标定、安装等误差所引起相邻摄像机视觉重合远处设备限界轮廓出现不完整、不重合的情况；进行数据融合拼接，最终得到更加可靠、精确的设备限界检测数据。

参考文献:

[1] 谢文军.限界检测车在城市轨道工程中的应用[J].城市勘测,2013,4(4):145-148.

XIE Wenjun.Gauge testing vehicles in urban rail project[J].Urban Geotechnical Investigation & Surveying,2013,4(4):145-148.

[2] 占栋, 于龙, 肖建,等.接触网几何参数高速动态视觉测量方法研究[J].仪器仪表学报, 2014,35(8):1852-1859.

ZHAN Dong,YU Long, XIAO Jian, et al.Study on high-speed dynamic vision measurement approach for overhead catenary system geometric parameter inspection[J].Chinese Journal of Scientific Instrument, 2014,35(8):1852-1859.

[3] 同磊.基于机器视觉的轨道交通线路异物检测技术研究[D].北京：北京交通大学, 2012.

TONG Lei.Study on rail line foreign object detection technique of machine vision[D].Beijing:Beijing Jiaotong University,2012.

[4] 占栋, 于龙, 肖建,等.基于激光摄像技术的钢轨磨耗截面积测量方法研究[J].铁道学报, 2014,36(4):32-37.

ZHAN Dong, YU Long, XIAO Jian, et al.Study on Track wear cross-section measurement utilizing laser-photogrammetric technique[J].Journal of the China Railway Society, 2014,36(4):32-37.

[5] CJJ96—2003,地铁限界标准[S].

CJJ96—2003, Standard of metro gauges[S].

[6] 张广军.机器视觉[M].北京:科学出版社,2005.

ZHANG Guangjun.Machine vision[M].Beijing: Science Press,2005.

[7] Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000, 22(11): 1330-1334.

[8] Wang J, Shi F, Zhang J, et al.A new calibration model of camera lens distortion[J].Pattern Recognition, 2008, 41(2): 607-615.

[9] 占栋, 于龙, 肖建, 等.轨道检测中激光摄像式传感器标定方法研究[J].机械工程学报, 2013, 49(16): 39-47.

ZHAN Dong, YU Long, XIAO Jian, et al.Calibration approach study for the laser camera transducer of track inspection[J].Mechanical Engineering, 2013, 49(16): 39-47.

[10] Besl P J, McKay N D.Method for registration of 3-D shapes[C]//Robotics-DL tentative.International Society for Optics and Photonics, 1992: 586-606.

[11] Chen Y, Medioni G.Object modeling by registration of multiple range images[C]//Robotics and Automation, 1991.Proceedings., 1991 IEEE International Conference on.IEEE, 1991: 2724-2729.

[12] Arun K S, Huang T S, Blostein S D.Least-squares fitting of two 3-D point sets[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1987(5): 698-700.

[13] 李甍,于龙,张冬凯.地铁设备限界随机因素分析[J].铁道科学与工程学报, 2015，12(3):657-662.

LI Meng, YU Long，ZHANG Dongkai.An analysis of metro equipment gauge random factors[J].Journal of Railway Science and Engineering, 2015,12(3):657-662.

[14] 贾倩倩, 王伯雄, 史辉, 等.基于特征点图像序列的多摄像机全局标定[J].清华大学学报(自然科学版), 2009, 49(5): 676-679.

JIA Qianqian,WANG Boxiong, SHI Hui, et al.Global calibration of multiple cameras based on an image sequence with feature points[J].Journal of Tsinghua University(Natural Science), 2009,49(5): 676-679.

[15] Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics and Automation, IEEE Journal of, 1987, 3(4): 323-344.

[16] 徐尚.三维点云数据拼接与精简技术的研究[D].青岛: 中国海洋大学, 2009.

XUE Shang.Study on data registration and reduction for 3D point clouds[D].Qingdao: China Ocean University, 2009.

[17] 刘永中.地铁设备限界的检测方法[J].隧道建设, 2005, 25(4): 70-71.

LIU Yongzhong.Subway equipment clearance detection[J].Tunnel Construction, 2005,25 (4): 70-71.

[18] 孟国强, 郑锐.基于激光摄影测量方法的地铁限界检测系统研究[J].兰州交通大学学报, 2013, 32(4): 5-8.

MENG Guoqiang, ZHENG Rui.Based on laser photogrammetry metro clearance detection system[J].Lanzhou Jiaotong University, 2013, 32 (4): 5-8.

[19] 李儒英.地铁限界检测系统研究[D].成都: 西南交通大学, 2008.

LI Ruying.Metro gauge detection system[D].Chengdu: Southwest Jiaotong University, 2008.

(编辑阳丽霞)

Metro equipment gauge detection and image fusion and splicing based on laser video camera technique

LI Meng, YU Long, ZHANG Dongkai

(School of Electrical Engineering, Southwest Jiaotong University, Chengdu 610031, China)

Abstract：Metro Equipment Gauge Detection based on Laser video camera technique was used in this paper, and achieved no overlap and incomplete equipment gauge contour data fusion and splicing.According to the analyzed reason of distance overlap visual of bad calibration accuracy video camera and adjacent video camera detecting contour data appear no overlap and incomplete.Combining with equipment gauge contour data of Hangzhou Metro Line 2, and using ICP algorithm to achieve equipment gauge contour data fusion and splicing.The results show that laser video camera technique can achieve faster and more efficient non-contact equipment gauge detection.ICP algorithm complete image fusion and splicing of distance overlap visual of bad calibration accuracy video camera and adjacent video camera detecting contour data can make the detection of equipment gauge more complete and reliable.The conclusions have practical significance for the safe operation of the metro security.

Key words：metro equipment; laser; detection; fusion and splicing

通讯作者：于龙(1980-)，男，辽宁沈阳人，副教授，博士，从事轨道交通自动化研究；E-mail: yulong.swjtu@163.com

基金项目：国家自然科学基金资助项目(61170030；U1234203)；四川省科技支撑计划资助项目(2015GZ0148)

收稿日期：2015-04-09

中图分类号：U260.2

文献标志码：A

文章编号：1672-7029(2015)06-1485-08