变焦双目立体视觉系统在地铁轨道检测中的应用研究

汤文亮，马浩航*，钟 桦，樊晓东，袁 柯

（1.华东交通大学 信息工程学院，南昌 330013；2.西安电子科技大学 电子工程学院，西安 710071；3.南京火眼猴信息科技有限公司，南京 210000）

0 引言

城市轨道交通作为国家重要基础设施，对推进城市现代化进程、改善交通运输环境、引导优化城市空间布局、带动城市经济创新发展具有巨大推动作用[1，2]。轨道作为城市轨道交通重要组成部分，其出现安全隐患将严重威胁轨道交通安全运营及人民群众的生命财产安全，必须及时检测并排除[3，4]。

对于轨道检测而言，我国目前多采用人工巡检模式，需考虑列车运行时间及工作人员安全，且劳动量巨大，漏检率高。当前，地铁轨道检测研究向非接触式、智能化、集成化、自动化发展。其中，候智雄[5]等人提出借助物联网及移动互联网技术，设计一种嵌入智能检测系统的设备使其搭载在运营客车上，设备具有小型化、低成本等特点，但随着列车高速运行，很难实现高精度检测；候涛[6]等人通过改进 MOG-LRMF算法，提升铁路环境下动态入侵异物检测的检测精确度，同时算法具有较好的抗干扰性和快速性，但其对于高精度轨面检测（如轨面擦伤等）并不适用；李欢[7]等人设计了轨道扣件检测系统，通过有限元分析，得到轨道扣件车载检测系统具有良好的稳定性和刚度，实验室阶段符合扣件检测的精度要求，但并没有进行实地测试；文献[8～11]主要研究激光测距仪用于轨道检测，检测系统发射激光光束，若轨检车前方异物会反射激光，接受装置通过获取激光判断异物位置，系统具有高抗干扰、探测能力强等优点，但无法用于高精度轨道病害检测。

双目立体视觉在工业测量、机器人、生物医学等方面有着非常广泛的研究和应用[12～14]，但对于地铁轨道检测而言，检测范围较大，如果采用传统的定焦双目系统会出现检测精度不高、图像不清、出现块效应等问题。本文提出的双目变焦系统能有效解决上述问题。

1 地铁轨道检测目标分析

1）钢轨擦伤。钢轨擦伤多由车轮空转引起，易发生在内燃、电力牵引阶段，长度20mm～100mm不等，擦伤处会产生堆高，不及时排除易引发钢轨其他隐患如裂纹、核伤等。

2）扣件缺失和歪斜。一般由列车运行振动引起，易导致列车运行平稳性降低、轮轨相互作用加剧。

3）轨枕开裂。由施工缺陷、列车运行、环境温度等多种因素引发，不加修补会进一步开裂，危害列车平稳运行。

4）道床异物。一般包括钢轨上断裂的部件、碎石块等，随着列车高速引起，可能引发异物弹起击穿列车，对列车安全运行危害巨大。

2 双目变焦基本原理

双目变焦就是把两个摄像机更大程度化模拟人眼以获得更清晰的图像，然后通过计算左右相机的图像位置点差异，结合视差原理以求取监测目标的几何信息[15]。双目变焦原理模型如图1所示。

图1 双目变焦原理

理想状态下，把两个摄像机看作是在同一水平线上，其中OL和OR表示左右摄像机的光心，其连线为基线b，左右像平面到光心的距离为焦距f，PR和PL分别为点P在左右摄像机的投影点，两点间横坐标差值为视差d。随着焦距的改变，左右光心变为O`L和O`R，P在像平面的投影点变为P`L和P`R，左右像素坐标系OL-xlyl和OR-xryr变成O`L-x`l y`l和O`R-x`ry`r，相机坐标系OL-XLYLZL和OR-XRYRZR变成了OL-X`LY`LZ`L和OR-X`RY`RZ`R，世界坐标系为OW-XWYWZW，以初始焦距下右像平面为例，设PR在右像平面坐标为（ur，vr），根据右像平面坐标和世界坐标系的映射关系有：

其中，s为比例系数，dx，dy为相元在x，y方向的单位长度，R为旋转矩阵，T为平移矩阵，XW，YW，ZW即为空间点P的坐标，M为内参矩阵，A为外参矩阵，同理可以根据点P在左平面的的坐标PL（ul，vl），得出映射关系。由于理想状态下，左右摄像机严格水平放置，然后根据视差原理：

整理后得到空间中点P与在左右像平面的投影PL和PR的关系有：

根据式(1)、式(3)，结合实时测量获得的PL和PR的坐标，即可获得空间中点P的三维坐标。

3 变焦双目轨道检测系统组成

双目变焦系统可以安装在轨检车上，系统主要由图像采集模块、相机标定模块、特征提取模块、立体匹配模块、三维重建模块五部分组成。如图2所示。

图2 双目变焦系统组成

图像采集模块，即通过双目变焦系统中的摄像头、数字相机即图像采集卡获取检测区域图像。采集时需考虑系统应用的实时性，及不同位置相机的性能、环境光照、视点差别等。

相机标定模块，是确定相机内外部参数，找到像平面与三维空间映射关系的过程[16]，对于双目而言，标定还需确定左右相机的相对位置关系。相机标定的准确性直接影响后续三维重建的精度。本系统采用MATLAB Stereo Camera Calibrator工具箱进行标定，这种标定方法基于张氏标定法，具有方便快捷，鲁棒性强，精度高的优点。

特征提取模块，特征提取的特征点一般为图像关键点，在进行特征提取前，由于图像采集模块获取的图像会存在噪声和畸变，首先需要对采集的图像进行预处理，然后根据特征提取算法如SIFT算法、SURF算法等进行特征点提取。

立体匹配模块，由于左右相机的位置不同、角度不同及焦距变化导致两幅图像存在差异，需通过匹配左右摄像机的相同点消除差异。在匹配相同点时一般假定两个摄像机严格水平放置，即左图像上的特征点沿着极线平移能与右图像的相对特征点重合，左右图像的视差变化是连续的。

三维重建模块，基于前四个模块的工作，重构检测区域的三维景象。

4 硬件组成

双目变焦轨道检测系统硬件部分主要包括左右变焦摄像机，工业笔记本，车体。主要以轨检车的形式，有利于检测系统实用性，其结构如图3所示，主要参数如表1所示。

图3 检测系统硬件组成

表1 系统主要硬件参数

5 实验分析

5.1 变焦双目系统标定实验

标定的一般流程如图所示，首先自制8×8棋盘格标定模板，模板上每个正方形格子边长为15mm，分别设定左右相机在25mm、30mm、35mm、40mm、45mm、50mm六种焦距，各拍摄15组不同角度图片。

图4 双目标定步骤

然后将图片输入MATLAB Stereo Camera Calibrator工具箱中，工具箱自动进行图像角点检测，省去了传统标定手动设置角点步骤，提高标定效率，部分角点检测图如图5所示。

图5 部分焦距的角点检测图（图a f=45mm,图b f=35mm）

将标定不同焦距下的15组标定结果取平均值，得到相机的内参数，如表2所示。

表2 不同焦距下标定结果

根据所得出的标定结果，算出不同焦距下的相对误差如图6所示。

图6 不同焦距下的相对误差

如图可以看出不同焦距下的fl，fr，ul，vl，ur，vr的相对误差都低于0.05，可以看出借助Stereo Camera Calibrator工具箱进行不同焦距下双目标定，标定精度高，鲁棒性强，且操作简便，未来应用前景广阔。

5.2 应用实例

将搭载变焦双目系统的轨检车进行实地测试，结果表明搭载变焦双目系统的轨检车能够准确地确定轨道关键部件的位置，并且快速地调整相机焦距以获取清晰的细节图像。

短焦镜头下图像视野较大便于目标检测。图7所示为较短焦距参数下某段铁轨的实地采集双目图像，其中四个扣件可以出现在同一场景中，但是其分辨率均较低不利于后续的细节分析和病害发现。

在本文变焦双目系统中，通过自动快速拉长焦距可以进一步获得扣件的高清晰细节图像，如图8所示，对应图7左图中方框表示扣件目标。图像质量充分证明了本文变焦双目系统的有效性。

图7 较短焦距下获取的左右双目图像

图8 较长焦距下获取的清晰细节图像

图9和图10进一步展示了上述两种焦距下三维重建点云的对比结果。图9所示点云由图7双目图像所生成，在整体三维结构上视觉效果较好，能够与图像中的二维场景相互映证，但是在目标扣件处的点云仍然较稀疏，三维结构细节不足。

图9 整体三维点云投影

图10是较长焦距下图8所示扣件的三维重建点云。可以明显发现，图8中包含的目标扣件细节信息更丰富。这对于后续的病害发现和分析尤其重要。

图10 变焦后扣件的三维点云在不同视角下的投影

由于搭载在轨检车上的变焦双目仅有俯视拍摄角度，从其他角度观察会发现点云空洞，这在一定程度上会影响检测结果。这一问题可以根据实际需求通过增加拍摄角度来解决。

6 结语

本文提出将双目变焦系统放置于轨检车上以进行快速、高精度的轨道检测，研究结果表明，标定过程借助Stereo Camera Calibrator工具箱进行不同焦距下双目标定，能有效增加标定精度、稳定性，且操作方便快捷；系统在实地操作的过程中能够准确地确定轨道关键部件的位置，并快速调整到最佳焦距来获取清晰的细节图像，图像满足后续的病害发现和分析要求；实验过程中，搭载在轨检车上的变焦双目仅有俯视拍摄角度，从其他角度观察会发现点云空洞，这在一定程度上会影响检测结果，但可以根据实际需求通过增加拍摄角度来解决。