基于单目视觉三维重建的货运列车超限检测方法研究

杜伦平，朱天赐，刘期柏，梁力东，王泉东，傅勤毅，刘斯斯

基于单目视觉三维重建的货运列车超限检测方法研究

杜伦平1，朱天赐1，刘期柏2，梁力东2，王泉东1，傅勤毅1，刘斯斯1

(1. 中南大学 交通运输工程学院，湖南 长沙 410072；2. 广州局集团公司货运部，广东 广州 510088)

针对基于雷达和激光等技术的货运列车超限检测系统存在检测区域不完整及只能在列车移动状态下进行测量的缺陷，提出一种基于单目视觉三维重建的货运列车超限检测方法。通过单目视觉三维重建算法对获取的序列图像进行建模处理得到目标货运列车的三维点云模型。对三维点云模型进行全局坐标系转换与切片投影，得到目标货运列车若干横截面二维点云图形。结合铁路货运列车超限检测标准，构建标准界限图形。将获得的二维点云图形代入标准界限图形中进行超限检测判别。实验结果显示，该方法具有较高的检测精度和检测效率，能够满足铁路货运列车超限检测作业要求。

货运列车；超限检测；单目视觉；三维重建；点云模型处理

1 货运列车超限检测设备系统

设备系统包括无人机系统和计算机系统2个部分。无人机系统用于图像数据采集和传输；计算机系统用于三维点云模型生成以及点云数据超限检测处理。

如图1中所示，无人机系统主要包括无人机、RTK(Real Time Kinematic，实时动态载波相位差分技术)定位单元、单目相机和数据存储设备。无人机用于提供飞行平台；RTK定位单元系统用于辅助设定无人机飞行路径；单目相机用于获取目标货运列车图像数据；数据存储设备用于存储相机获取的数据。计算机系统由一台安装ubuntu16和ROS系统的工作站组成；图像的识别和处理采用的是Python和OpenCV图像处理库，嵌入到了ROS环境。

图1 硬件系统结构图

本文中对无人机的选型并无特殊要求，市场上商用的小型无人机可以满足对图像视频采集的稳定性要求。在本实验中，采用的是 DJI Phantom Pro 4，但本文提出的算法对采集的图像重合度要求较高，因此需要对无人机进行飞行路线规划[13]以选取合适的飞行路线。路径规划的主要参数包括飞行路线及飞行高度。结合待测目标货运列车(静止)尺寸信息，采用飞行高度分别为6，8和10 m。如图2所示，飞行路线分直线型和U型2种。

(a) U形路径；(b) 直线型形路径

2 基于单目视觉三维重建的货运列车超限检测方法

本文提出的基于单目视觉三维重建的货运列车超限检测方法主要包含2部分：货运列车的三维点云模型生成和货运列车超限检测判段。主要过程如下：利用计算机系统读取数据存储设备中所获取的视频数据，将视频数据利用OpenCV解帧成序列图像。序列图像作为输入，采用单目视觉三维重建算法进行三维点云模型重建，生成目标货运列车三维点云模型。对目标货运列车点云模型进行坐标系转化和切片处理，获得横截面图形，并与标准界限图形进行图形运算，根据运算结果判断是否超限。图3为完整货运列车超限检测流程。

2.1 单目视觉三维重建算法

本文提出的单目视觉三维重建算法主要分为5部分：传感器数据读取, 前端视觉里程计计算, 后端非线性优化，回环检测和三维点云模型建立。图4为三维模型重建流程。

1) 传感器信息读取。利用计算机系统读取视频信息，并解帧序列图像。

其中e1和e2为当前设计点及MPP的Kriging预测误差。通过比较当前设计点可靠度指标与目标可靠度，并考虑关键点建模误差，可避免对概率约束有效性的误判。

2) 前端视觉里程计计算。通过构建视觉里程计，能够计算出相机在相邻帧图像之间的运动状况并实现局部场景的构成推算。

3) 后端非线性优化。不同时刻的视觉里程计测量的相机位姿和回环检测的信息传入到后端进行优化，确保场景点云和轨迹满足全图一致。

图3 货运列车超限检测流程图

4) 回环检测。如果检测到回环，即该位置相机先前曾经到达过，算法利用后端处理回环信息，实现结果的优化和改进。

5) 三维点云模型建立。根据估计的相机轨迹，建立目标场景三维点云图。

图4 三维模型重建流程

前端视觉里程计环节的实现主要包括图像特征点提取、及多幅图像中特征点匹配、利用对极几何的约束恢复图像之间的相机的三维运动、利用三角测量方法估计场景点深度。

利用张正友法标定法[14]确定单目相机的内外参数和畸变系数。图像特征点采用ORB (Oriented FAST and rotated BRIEF) 特征。ORB特征中的关键点提取过程：在图像中选取像素p，假设它的亮度为p。设置一个阈值=0.2p。以像素p为中心，16个像素点分布在以3为半径的圆上。对像素点预检测，邻域圆上的第 2，6，10，14个像素点检测其亮度，如果4个像素中有3个同时大于p+，进行下一步骤；否则直接删除。计算出选取的圆上亮度大于p+的连续点的个数。若≥12，将该点储存为角点，如图5中所示。循环以上4步来处理所有像素点。构建图像金字塔，对金字塔上各层图像进行角点检测。当金字塔上层和下层得到的角点匹配时，将该角点作为关键点(特征点)保留，否则剔除。在原始图像上计算特征点附近的图像块灰度质心，将连接图像块集合中心和质心得到的一个方向向量特征点的方向。

图5 角点检测

ORB特征中的BRIEF描述子提取过程：通过高斯概率分布在关键点附近随机选取128对2个像素，分别为和。若>，则取1，反之取0。得到128维由0，1组成的向量。

多幅图像特征匹配中，主要运用暴力匹配法。计算一张图像上每一个特征点与相邻帧图像上所有的特征点的描述子距离，排序后选取最近点作为匹配点。利用汉明距离，即计算2个二进制串不同位数的个数，来处理ORB特征中的BRIEF描述子。第1张图像上特征点的匹配点满足汉明距离最短的条件。

图像之间相机的三维运动通过对极几何的约束进行恢复。利用对极约束条件，根据配对点的像素位置，计算出基础矩阵和本质矩阵，进而可以求出相机旋转和平移矩阵。

场景点的深度估计主要是利用三角测量法。利用已知相机位置参数，计算出同一特征点在2张不同图像中位置。理论上2张图片中各自光心与特征点在图像中的像素点位置连线相交于一点，该点即为特征点位置。由于噪声的影响，2条直线往往无法相交，通过最小二乘法求解近似值。

后端非线性优化。每个相机位姿与特征点位置利用BA(Bundle Adjustment, 光束调整优化)进行优化，求出一个姿态后验概率最大化的最优估计。

回环检测中，2张图像的匹配主要通过K-means对ORB特征进行处理并聚类生成ORB特征分类结果。具体过程：随机选取个中心点：1…,c；计算每一个样本与每个中心点之间的距离，求出最小值所在对应的中心点作为它的归类；重新计算每个类的中心点；如果每个中心点变化小于一定的阈值，则算法收敛，退出；否则返回起始步骤。

对任意2幅图像进行相似性评分，取一个先验相似度，其他图像相似性检验参照该值进行归 一化。

三维点云模型建立。单目稠密重建中，利用极线搜索和块匹配确定投影点位置。预先假定某个初始的高斯分布能够用来描述所有像素的深度的分布；利用极线搜索和块匹配处理产生的新数据来确定投影点位置；三角化后的深度以及不确定性通过几何关系计算可以获得；上一次的估计结果利用当前观测值进行融合优化。若收敛则停止计算，否则返回第2步。

2.2 货车超限检测判定算法

这部分的算法主要包括3个部分：1) 三维点云模型预处理；2) 货车切片处理；3) 重建外表面投影超限判断。

三维点云模型预处理。利用三维重建算法生成场景点云，该场景点云中包含了目标货运列车以及列车周围物体(如灯柱、行人等)。为了获取所需进一步处理的目标货运列车处点云，利用点云滤波函数去除场景中非目标货运列车部分的点云。主要滤波过程如下：首先运用直通滤波[15]保留场景中包含目标货运列车部分的点云范围；其次选用半径滤波器和统计滤波器，设定合理阈值，过滤掉小型团簇状干扰点云；最后利用体素滤波器[16]对目标货运列车点云总体稀疏程度进行调整。处理前后的点云如图6(a)和6(b)所示。

(a) 滤波前点云；(b) 滤波后点云；(c) 轨道平面提取

利用平面提取算法提取出目标货运点云中2条铁轨所在的轨道平面，如图6(c)所示。利用随机抽样一致算法，设定大范围半径，计算出该轨道平面上每个点的法向量，将平面上所有点的法向量相加并单位化，将单位化后的法向量作为新坐标系的轴方向，利用旋转矩阵对原坐标系点云坐标进行变换。运用点云库中的分割算法，分割出2条轨道处的点云。利用最小二乘法，提取出2条轨道的中心线。将该中心线方向作为新坐标系的方向，求出将原坐标系方向变换为新坐标系方向的旋转矩阵通过上述转换过程，确定了以轨道面为基准，以目标货运列车高度方向为轴的新坐标系。利用旋转矩阵和平移矩阵，对点云中所有点进行坐标转换。

货运列车切片处理。在新建立的坐标系中，确定目标货运列车车身长度方向，即轴方向上的分布长度。沿轴(即车身方向)方向，将目标货运列车均匀划分为若干(此处取1 000)份。每份点云标记为P，∈(1,1 000)。在每份点云中，将每个点的轴坐标导出，可以生成平面二维点云图形(二维点云指的是三维点云的在制定平面的投影)。由于每份长度足够小，平面上生成的二位点云图形近似于货运列车横截面形状。平面上的二维点云图形如图7(a)所示。

重建外表面和投影来进行超限判断。过滤掉路基形成的的二维点云后，将二维横截面点云图形与标准界限图形在同一坐标系中进行图形运算。图中各个点为实际横截面形状，虚点线段和和点划线段分别表示一级和二级标准界限图形。图7(b)中为一级和二级标准界限图形。通过判断二维点云图中各个点与标准界限图形之间的关系，得到对应的超限等级。未超限的点云、一级超限点云和二级超限点云将被系统分别标记(如图7(c))。

(a) 点云投影；(b) 标准界限图形；(c) 标准界限图形检测

3 铁路现场试验及结果分析

中南大学铁道学院现有机车宽为4.70 m，高为3.37 m，全车长19 m。铁路货车最大宽度和高度都在3～4 m之间，装载货物后最大宽度高度会略有增加。该机车尺寸和装载货物的货运列车尺寸接近，形状相较于货车更加复杂，因此可以将该货运列车作为铁路装载货车的代替物进行检测技术 验证。

在本次实验采取的方案中，飞行高度为10 m，飞行路径为U型路线。图8为解帧处理得到的图片以及最终的目标货运列车三维点云模型。

对生成的三维点云模型进行超限检验。在对点云进行坐标系转换后，沿着轴将点云均匀分解成若干份(此处取20)。将所有二维点云横截面图形与标准界限图形进行对比。如图10中所示，纵轴表示超限等级。0，1和2分别表示未超限，一级超限，二级超限。横坐标表示横截面图形序列号。

从图9可以看出，第5和6横截面对应的地方满足一级超限；第7，13和14横截面对应的地方满足二级超限；

为了进一步核准上述方法的测量精度，需要进行多次误差实验。精度检测主要分为长度检测和高度检测2个方面。在机车车身长度和高度方向分别设置4个标志物长度，做4组实验。实际长度由实际人工测量获得；测量距离由模型上像素距离比例测得。精度结果如表1所示。

(a) 解帧图片；(b) 三维点云模型

图9 货运列车多个截面检测

表1 精度检验实验结果

由表1数据可知，在复杂的现场环境下，所建立的模型上沿长度和高度方向的绝对误差在30 mm之间，总标准差为14.173 mm。外场实验中，整节列车的测量时间为5 min。总体性能参数能够满足铁路货车超限检测的作业标准要求。

4 结论

1) 基于单目视觉三维重建的货运列车超限检测方法能够提升检测效率，降低系统成本。

2) 利用单目视觉三维重建方法能够简单、快速、有效的构建出货车的三维点云模型且模型精度较高。

3) 将三维物体超限问题转化为二维空间上的点云横截面图形和标准界限图形之间的关系问题，能够节省计算资源，快速得出超限结论。

[1] 李晓冰. 红外目标测量图像高精度定位方法[J]. 兵工自动化, 2018, 37(5): 31−34.LI Xiaobing. High precision location method for infrared target measurement image[J]. Ordnance Industry Automation, 2018, 37(5): 31−34.

[2] 韩丽茹. 提高超声波测距精度方法综述[J]. 电讯技术, 2010, 50(9):132−136. HAN Liru. A survey of methods for improving ultrasonic ranging precision[J]. Telecommunication Engineering, 2010, 50(9):132−136.

[3] 王世和, 陈远金, 刘彬. CCD与CMOS国内外技术发展综述[J].内燃机与配件, 2017, 1(13): 112−114.WANG Shihe, CHEN Yuanjin, LIU Bin. Summary of the development of CCD and CMOS technology at home and abroad[J]. Internal Combustion Engine & Parts, 2017, 1(13): 112−114.

[4] 张光远, 丁小东, 鲁工圆，等. 基于红外与高速摄像技术相结合的铁路超限检测系统实验分析[J]. 综合运输, 2017, 39(7): 54−59. ZHANG Guangyuan, DING Xiaodong, LU Gongyuan, et al. Railway out-of-gauge detection system establishment and experiment research based on combination of infrared and high-speed video camera technology[J]. Comprehensive Transportation, 2017, 39(7): 54−59.

[5] 张益昕, 汪家其, 王顺, 等. 基于大尺度三维几何视觉的货运列车超限检测方法研究[J]. 仪器仪表学报, 2012, 33(1): 181−187. ZHANG Yixin, WANG Jiaqi, WANG Shun, et al. Freight train gauge-exceeding detection based on large scale 3D geometric vision measurement[J]. Chinese Journal of Scientific Instrument, 2012, 33(1): 181−187.

[6] 杜津玲, 勾长虹. 基于激光雷达的铁路超限货物测量方法[J]. 军事交通学院学报, 2009, 1(1): 89−91.DU Jinling, GOU Changhong. Measure method of railway overload cargo based on Lindar[J]. Journal of Military Transportation University, 2009, 1(1): 89−91.

[7] Geiger A, Ziegler J, Stiller C. Stereoscan: Dense 3D reconstruction in real-time[J]. IEEE Intelligent Vehicles Symposium, 2012, 32(14): 963−968.

[8] Hassner T, Basri R. Example based 3D reconstruction from single 2D images[C]// 2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW’06). IEEE, 2006: 15−15.

[9] Mouragnon E, Lhuilllier M, Dhome M, et al. Real time localization and 3D reconstruction[C]// 2006 Conference on Computer Vision and Pattern Recognition (CVPR’06). IEEE, 2006, 1: 37−44.

[10] YANG L, PENG X, ZHOU W, et al. Template-based 3D reconstruction of non-rigid deformable object from monocular video[J]. 3D Research, 2018, 9(2): 21−21.

[11] Hamzah R A, Kadmin A F, Hamid M S, et al. Improvement of stereo matching algorithm for 3D surface reconstruction[J]. Signal Processing: Image Communication, 2018, 65: 165−172.

[12] Avidan S, Shashua A. Trajectory triangulation: 3D reconstruction of moving points from a monocular image sequence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(4): 348−357.

[13] 王泉东, 伍道乐, 杨岳, 等. 面向铁路巡检的无人机飞行路径规划方法[J]. 铁路计算机应用, 2019, 1(6): 73− 77.WANG Quandong, WU Daole, YANG Yue, et al. UAV flight path planning method for railway lines patrol inspection[J].Railway Computer Application, 2019, 1(6): 73−77.

[14] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330−1334.

[15] 郭保青, 余祖俊, 张楠, 等. 铁路场景三维点云分割与分类识别算法[J]. 仪器仪表学报, 2017, 38(9): 2103− 2111.GUO Baoqing, YU Zujun, ZHANG Nan, et al. 3D point cloud segmentation, classification and recognition algorithm of railway scene[J].Chinese Journal of Scientific Instrument, 2017, 38(9): 2103−2111.

[16] 吉长东, 刘亚南, 廖世愉. 基于局部特征的四点一致集配准算法研究[J]. 测绘与空间地理信息, 2020(5): 15−18 . JI Changdong, LIU Yanan, LIAO Shiyu. Research on four-point consensus set registration algorithm based on local features[J]. Surveying and Spatial Geographic Information, 2020(5): 15−18.

Research on detection method of freight train gauge-exceeding based on 3D reconstruction of monocular vision

DU Lunping1, ZHU Tianci1, LIU Qibai2, LIANG Lidong2, WANG Quandong1, FU Qinyi1, LIU Sisi1

(1. School of Traffic and Transportation Engineering, Central South University, Changsha 410075, China;2. Freight Department of China Railway Guangzhou Group Co., Ltd., Guangzhou 510088, China)

In view of the defects of the detection system of freight train gauge-exceeding based on radar and laser technology that the detection area is incomplete and can only be measured in the moving state of the train, a method of gauge-exceeding detection of freight train based on monocular visual 3D reconstruction was proposed. The 3D point cloud model of the target freight train was obtained by modeling and processing the acquired sequence images through the monocular visual 3D reconstruction algorithm. The global coordinate system conversion and slice projection were performed on the three-dimensional point cloud model to obtain two-dimensional point cloud graphics of several cross sections of the target freight train. Combined with the railway freight train gauge-exceeding detection standard, a standard limit graph was constructed. The obtained two-dimensional point cloud graphics were substituted into the standard boundary graphics for gauge-exceeding detection and discrimination. Experimental results show that the method has high detection accuracy and efficiency, and can meet the requirements of railway freight train gauge-exceeding detection.

freight train; gauge-exceeding detection; monocular vision; three-dimensional reconstruction; point cloud model processing

10.19713/j.cnki.43−1423/u.T20200583

TP29

A

1672 − 7029(2021)04 − 1009 − 08

2020−06−24

广州铁路局科研项目(广铁合货运部(2019)0002)；国家自然科学基金青年基金资助项目((2018)61806222)

刘斯斯(1988−)，女，湖南长沙人，讲师，博士，从事计算机视觉、大数据挖掘技术研究；E−mail：scarlett.liu@csu.edu.cn

(编辑 阳丽霞)