机器视觉与惯性信息融合的轨道线形检测*
2018-05-04郑树彬彭乐乐李立明柴晓冬
郑树彬， 彭乐乐， 李立明， 柴晓冬
(上海工程技术大学城市轨道交通学院 上海，201620)
引 言
轨道线路是保障列车高密度运行及繁重运输任务的基础设施[1]，由于受车轨相互耦合作用和地基沉降等因素的影响，造成轨道线路的不平顺，直接影响到列车运行的安全性、平稳性及舒适性[2-3]。因此，如何实现对轨道线路的高精度检测已成为维护列车安全运行的必要手段之一[4-5]。
对轨道线路的不平顺的检测主要表现为轨道空间线形的检测[6]，目前的检测方法主要分为静态检测与基于轨检车的动态检测。其中，静态检测方法往往是通过人工测量，或借助全站仪、精测网等非连续测量方法[7-8]。该类方法的主要缺点是效率低，成本高，同时还带来漏检、检测周期长等问题。利用惯性单元测量方法的轨检车动态检测技术，是目前高速铁路线路检测的常规方法[9]，如美国Ensco公司研制的T10型轨检车和ImageMap公司研制的Laserail型轨检车和国内最新的GJ-6型高速轨检测车等[10-11]。然而，该类检测方法易受速度的影响，且在低速状态下，惯性测量单元所测的加速度信号较为微弱，在进行位移积分运算时容易出现积分饱和造成测量精度较低，同时陀螺仪等传感器在长时间运行下往往存在累积静态偏差，这进一步降低了测量的精度[12-13]。
为了实现在低速状态下的高精度轨道线形动态检测，笔者提出一种基于机器视觉与惯性信息多传感器融合的轨道空间线形检测方法。基于手眼定标算法建立了双目立体视觉及惯性信息多传感器融合定标模型，利用扩展卡尔曼滤波算法，将机器视觉与惯性信息进行融合。实验表明，该方法的测量精度小于0.5 mm且具有良好的重复性。与常规惯性测量方法相比，测量精度提高近10倍。
1 检测系统结构及工作原理
图1给出了基于机器视觉与惯性信息融合的轨道空间线形检测系统结构,该系统主要由两个摄像机构成的机器视觉系统和陀螺仪、加速度计和倾角仪组成的惯性测量单元组成的。为了实现轨道空间线形的长距离、高精度检测，采用双目立体视觉与惯性测量的多传感融合定标算法，建立动态坐标系与静态基准点之间转换矩阵，将动态测量数据转换到初始位置的世界坐标系下，利用扩展卡尔曼滤波将机器视觉与惯性信息进行融合实现，从而获取检测平台的空间运动曲线及轨道空间线形，实现一种长距离、高精度连续运动测量轨道参数的新方法。
图1 基于机器视觉与惯性信息融合的轨道空间线形检测系统结构Fig.1 The structure of track linear detection system based on machine vision and inertial measurement
2 机器视觉及惯性信息多传感融合定标算法
机器视觉与惯性信息多传感融合定标是为了确定惯性测量单元、倾角仪和视觉传感之间相对坐标转换关系，从而将动态测量数据转换到世界坐标下，实现长距离、高精度连续运动测量。根据图1所示结构，分别建立惯性测量单元与机器视觉及测量仪之间的旋转矩阵和惯性测量单元与机器视觉平移关系矩阵。
2.1 惯性测量单元与机器视觉旋转矩阵求解
利用手眼定标算法，建立世界坐标系、相机坐标系、惯性传感器坐标系和惯性传感器欧拉角坐标系。分别设定Rw-c为世界坐标系到相机坐标系的旋转矩阵，Re-m为惯性传感器欧拉角坐标系到惯性传感器坐标系的旋转矩阵以及Rm-c为惯性传感器坐标系到相机坐标系的旋转矩阵。针对测量系统中任意两张图像Ii和Ij，利用手眼标定方程可得
Rw-c,ijRm-c=Rm-cRe-m,ij
(1)
其中：Rw-c,ij为相机坐标系在i，j两时刻之间的旋转矩阵；Re-m,ij为惯性传感器坐标系在i，j两时刻之间的旋转矩阵，可以表示为
(2)
其中:α为惯性传感器的俯仰角；β为惯性传感器的侧倾角；γ为惯性传感器的航向角。
将式(2)代入式(1)可得
(3)
为消除γ误差，对式(3)两边同时乘以向量[0 0 1]并整理得
(4)
令Vw-c为旋转矩阵Rm-c的向量化表示形式，由式(4)可得
Ai,jVm-c=0
(5)
其中:Ai,j为Vm-c的系数矩阵。
(6)
(7)
式(4)的增量拉格朗日函数为
(8)
其中:Y为线性约束乘子；μ>0为惩罚参数；MTM=E3。
利用增广拉格朗日乘子法可以迭代求解出Rm-c
其中:ρ为调制参数。
2.2 倾角仪与惯性测量单元旋转矩阵求解
由于检测系统中倾角仪、惯性测量单元与相机的位置是相对固定的，且惯性测量单元与相机之间的旋转矩阵可以通过式(9～12)获取。因此，为了简化求解过程，可以通过先求解倾角仪与机器视觉旋转矩阵的方法获取。根据倾角仪输出x,y轴的角度信号构建手眼定标方程式
(13)
其中：xi，xj分别为i，j时刻倾角仪x轴输出的角度；yi，yj分别为i，j时刻倾角仪y轴输出的角度；Rin-c为倾角仪坐标系与相机坐标系旋转矩阵。
(14)
通过增广拉格朗日乘子法优化算法，解算出旋转矩阵Rin-c。利用Rm-c，可得倾角仪与惯性单元转换矩阵Rin-m
(15)
2.3 惯性测量单元与机器视觉平移关系求解
基于手眼标定模型，令Rw-c,ij表示相机坐标系在i,j两时刻之间的旋转矩阵;tw-c,ij表示相机坐标系在i，j两时刻之间的平移向量;Rm,ij表示惯性传感器坐标系在i，j两时刻之间的旋转矩阵;tm,ij表示惯性传感器坐标系在i，j两时刻之间的平移向量。则有
(16)
将式(16)展开可得
(Rw-c,ij-E3)tm-c=Rm-ctm,ij-tw-c,ij
(17)
tm,ij可以采用以下方法获取
其中：am,k表示在运动过程中惯性测量单元在k时刻输出的三轴加速度信号；Rm,i表示惯性测量单元在i时刻的旋转矩阵；Rm,k表示惯性测量单元在k时刻的旋转矩阵。
根据式(17)，通过建立如下约束方程
Ctm-c=D
(21)
通过求解式(21)，可以获得惯性测量单元与机器视觉平移关系矩阵。
3 基于扩展卡尔曼滤波空间线形融合
根据检测系统结构，设状态方程可以表示为
(22)
利用扩展卡尔曼滤波算法，可得任意时刻的轨道线的状态方程为
(23)
其中:aG为惯性测量单元加速度到世界坐标系下的转换关系，可以通过惯性测量单元的加速度aI表示
(24)
(25)
针对空间任意一点在摄像机坐标系下的坐标为(xi,yi,zi)，其对应的像素坐标为(ui,vi)，对于测量点方程可由n个特征点构成
(26)
其中
(27)
其中:pFG为测量点在世界坐标系下的坐标;K为3×3矩阵;f为相机焦距。
(28)
由式(22)和式(27)，利用扩展卡尔曼滤波的5个核心公式便可以递推出最优轨道空间线形[14]。
4 实验验证
为了验证笔者所提方法的正确性，搭建了六自由度空间线形检测平台(如图2)，该平台由标定板、六自由度运动平台、机器视觉及惯性测量单元和数据采集设备组成。通过设12段控制曲线，其对应的控制节点坐标如表1所示，分别采用常规的基于惯性测量单元检测方法和基于机器视觉与惯性信息融合的检测方法，进行实验对比验证。同时，利用偏差Ei和标准差σ的大小来衡量检测精度
Ei=Vri-Vci
(29)
其中：i为采样点数；Vri为检测数据；Vci为设定值。
图2 六自由度空间线形检测平台Fig.2 Six degrees of freedom platform for track linear
序号坐标点/mm1(1000.0,1200.0,-13450.0)2(977.7,1260.0,-13270.0)3(971.2,1302.0,-13160.0)4(972.0,1337.0,-13080.0)5(978.1,1369.0,-13030.0)6(1041.0,1632.0,-12910.0)7(1062.0,1757.0,-12850.0)8(1065.0,1826.0,-12810.0)9(1058.0,1885.0,-12760.0)10(1070.0,1935.0,-12710.0)11(1160.0,2037.0,-12580.0)
图3给出了采用常规惯性测量方法与文中所提方法的空间线形曲线图，从图中可以看出，通过运动控制平台设计的空间线形曲线与采用机器视觉和惯性信息多传感器融合检测方法获得的空间线形曲线之间几乎保持一致。且与常规的惯性检测方法相比，机器视觉与惯性信息融合方法更加靠近设定值。图4中的(a)(b)(c)为采用不同方法获取的空间线形曲线在X轴、Y轴及Z轴上三个方向上线路s的偏差值L，从图中可以看出两种方法在X轴、Y轴及Z轴三个坐标轴上的波动情况，惯性测量方法获取的折线都比新方法获取的波动要大，因此采用机器视觉与惯性融合的检测方法在三个轴上的偏差值明显小于常规惯性检测方法。表2给出了这两种检测方法的检测精度，可以看出，采用机器视觉与惯性融合的检测方法在X轴的最大偏差小于0.5 mm，Y轴的最大偏差小于0.4 mm，Z轴的最大偏差小于0.5 mm，可以较为有效地提高测量精度。同时，新方法对应的X轴、Y轴和Z轴的对应标准差分别为0.3,0.3和0.1 mm，这说明该算法具有较高的准确性和重复性。
图3 不同检测方法的输出线形曲线Fig.3 The output curves by different detection methods
图4 不同检测方法的输出偏差Fig.4 The output deviation by different detection methods
方 法惯性测量方法新方法X轴最大绝对偏差/mm5.00.5Y轴最大绝对偏差/mm4.20.4Z轴最大绝对偏差/mm4.80.5X轴方差2.60.3Y轴方差2.90.3Z轴方差2.80.1
为了进一步证明算法的有效性，于上海轨道交通试验线龙阳路基地进行轨道线形检测，该线路总长为1.6 km，具有“三站三区间”线路形态，可以进行多种形式的轨道线路与结构试验。线路及实验样机如图5所示，其样机的关键传感器型号如表3所示，采用机器视觉与惯性融合的检测方法获得的轨道线形如图6所示。图6表明,采用机器视觉与多传感信息融合算法测量的线路空间线形与实际线路本身的几何状态参数基本一致，并且同一个方向的两次测量的结果重复性较高。图7中的(a)(b)(c)给出了测量结果X轴，Y轴及Z轴上三个方向上线路s偏差值L的大小，从图7中可以看出，在三个坐标X轴，Y轴及Z轴中，两条曲线的变化趋势基本吻合，说明了在相同坐标点的偏差值基本相当。表4给出了实际输出结果的统计值，可以得出两次测量的最大偏差在三个轴上的大小均小于0.1，0.3和0.5 mm，这与表2中最大偏差结果相符。
图5 实验线路及测试样车Fig.5 Experimental line and prototype car
表3 实验样机关键传感器型号
Tab.3 The parameters of key sensors for prototype car
倾角传感器加速度计陀螺仪HCA510TLC0709A-2STIM202
图6 实际输出线形曲线Fig.6 Experimental linear curve
图7 实际输出线形偏差值Fig.7 The output deviation of experimental linear curve
表4 实际输出线形的输出统计结果
Tab.4Theoutputstatisticalresultsofexperimentallinearcurve
mm
5 结束语
基于常规的惯性单元的轨道线形检测方法若受到陀螺仪及加速度计的累计误差的影响，会使得该方法在低速连续运动测量下精度较低。为了提高检测精度，笔者提出一种基于机器视觉与惯性信息多传感器融合的轨道空间线形检测方法。通过搭建测量平台进行实验验证，结果表明该方法可以精确测量出轨道空间线形，其最大测量偏差小于0.5 mm，对应的标准偏差低于0.3。相比惯性测量单元测量方法，该方法的测量精度提高10倍。
[1] 乔小雷.轨检车检测技术的比较研究[J]. 城市轨道交通研究, 2009, 2009(6):33-39.
Qiao Xiaolei. Comparative study on the detection technology of track inspection car[J]. Urban Rail Transit Research, 2009, 2009(6): 33-39. (in Chinese)
[2] Gibert X, Patel V M, Chellappa R. Deep Multitask Learning for Railway Track Inspection [J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 2015(99):1-12.
[3] 赵才友，王平. 钢轨-扣件耦联系统的动力特性试验[J].振动、测试与诊断, 2014,34(4):680-687.
Zhao Caiyou, Wang Ping. Experimental study on dynamic characteristics of rail-fastener coupled system[J]. Journal of Vibration,Measurement & Diagnosis, 2014,34 (4): 680-687. (in Chinese)
[4] 陈强，刘丽瑶，杨莹辉，等. 基于双向近景摄影测量检测轨道不顺度的计算模型[J].铁道学报， 2012,34(12):83-89.
Chen Qiang, Liu Liyao, Yang Yinghui, et al. Computational model for detecting orbit irregularity based on bidirectional close-range photogrammetry[J]. Journal of the China Railway Society, 2012,34 (12): 83-89. (in Chinese)
[5] 李阳腾龙，岑敏仪，马国治. 高速铁路轨道中长波不平顺检测模型研究 [J].铁道学报， 2017,39(2):112-118.
LI Yangtenglong, Cen Minyi, Ma Guozhi. Study on longitudinal wave irregularity detection model in high speed railway[J]. Journal of Railway Society, 2017,39 (2): 112-118. (in Chinese).
[6] 罗伟,郑树彬. 轨道空间线形的运动检测算法[J].上海工程技术大学学报， 2014,28 (3):202-206.
Luo Wei, Zheng Shubin. Motion detection algorithm of orbital space linear[J]. Journal of Shanghai University of Engineering Science,2014,28 (3):202-206. (in Chinese)
[7] 魏晖，朱洪涛，吴维均，等. 高速铁路长波不平顺的相对测量整道[J].铁道学报， 2014 (8):95-98.
Wei Hui, Zhu Hongtao, Wu Weijun, et al. The relative measurement of long-wave irregularities in high speed railway[J]. Journal of the China Railway Society, 2014 (8): 95-98. (in Chinese)
[8] 刘志，刘成龙，白建国,等. CPIII平面网半盘位测量及其应用试验研究[J].铁道科学与工程学报, 2016, 13(11):2143-2147.
Liu Zhi, Liu Chenglong, Bai Jianguo, et al. Study on half disk measurement of CPIII plane network and its application test[J]. Journal of Railway Science and Engineering, 2016, 13 (11): 2143-2147. (in Chinese)
[9] 王志勇，朱洪涛，胡立峰，等. 便携式轨检仪研究[J].铁道建筑, 2014, 2014(9):117-120.
Wang Zhiyong, Zhu Hongtao, Hu Lifeng, et al. Research on portable track instrument[J]. Railway Construction, 2014, 2014(9): 117-120. (in Chinese)
[10] 魏世斌，刘伶萍，赵延峰,等. GJ-6 型轨道检测系统[J]. 铁道建筑, 2011,2011(11):1-4.
Wei Shibin, Liu Lingping, Zhao Yanfeng, et al. GJ-6 type orbit detection system[J]. Railway Construction, 2011, 2011(11): 1-4. (in Chinese)
[11] 程志全. 轨道检测车的运用[J]. 技术与应用, 2015,2015(5):82-85.
Cheng Zhiquan. Application of track detection vehicle [J]. Technology and Application, 2015, 2015(5): 82-85. (in Chinese)
[12] 李珊珊，陈起金，旷俭，等. 铁路轨道线形智能分段[J].科学技术与工程， 2016,16(34):276-279.
Li Shanshan, Chen Qijin, Kuang Jian, et al. Railway track linear intelligent segmentation [J]. Science Technology and Engineering, 2016,16(34):276-279. (in Chinese)
[13] 刘新厂，柴晓冬，郑树彬，等. 惯性测量单元中加速度信号的去燥处理[J].仪表技术与传感器， 2013, 2013(10):117-120.
Liu Xinchang, Chai Xiaodong, Zheng Shubin, et al. The de-drying of the accleration signal in inertial measurement unit[J]. Instrument Technique and Sensor, 2013, 2013(10): 117-120. (in Chinese)
[14] 毛秀华，吴健. 卡尔曼滤波算法研究[J].舰船电子对抗， 2017,40(3):64-68.
Mao Xiuhua, Wu Jian. Research into Kalman filtering algorithm [J]. Shipboard Electronic Countermeasure, 2017,40(3):64-68. (in Chinese)
