无砟道床板间相对位移测量中感兴趣区域自动提取方法

2022-03-30王鲁明李再帏赵彦旭路宏遥何越磊

铁道科学与工程学报 2022年2期

王鲁明，李再帏，赵彦旭，路宏遥，何越磊

(1. 上海工程技术大学城市轨道交通学院，上海 201620；2. 中铁二十一局集团有限公司，甘肃兰州 730070)

双块式无砟轨道是中国高铁轨道主要结构形式之一，累计已铺设1万余公里。随着轨道结构服役时间的不断增加，其服役性能日益恶化，需要建立结构性能参数监测系统，以便及时有效地确定无砟轨道结构服役状态。现场生产实践表明：西北某高铁所采用19.5 m 单元板道床结构受外界环境影响显著，灌注于道床板间伸缩缝的高分子材料，易于出现脱离、失效等结构病害[1]。因此，为了保证双块式无砟轨道结构服役状态，有必要对双块式无砟道床板间位移进行有效监测，以便制定合理的无砟轨道养护维修策略。目前，无砟轨道结构位移监测主要有接触式和非接触式2种方法。接触式方法通常利用轨道结构上布线、打孔等工序来实现传感器固定，已应用于部分高铁轨道监测中[2−4]，但此种方法相比于非接触式安装较为复杂，对安装人员要求较高，同样也有破坏轨道结构表面，测点无法重复利用的问题。非接触式则需要在线路结构旁安装光学感光元件，通过相应的数字图像处理方法实现无砟轨道位移测量，由于此种方法无须对轨道结构进行施工作业，避免了接触式方法存在的缺点，已初步应用于位移监测中。苗壮等[5]通过在道旁布设摄像单元实现了轨道板层间位移的测量；魏秀琨等[6]给出了机器视觉在轨道检查各个方面具体应用的现状；闵永智等[7-9]则利用单目视觉系统结合靶面特征几何信息实现了无砟道床结构沉降的有效监测。这些研究中对于测量目标的定位与提取往往采用套用灰度模板，并辅助人工标记的方法进行，此类方法对于拍摄图像质量不佳以及测量目标位移过大时，无法实现目标定位，且操作较为繁琐，图像处理速度较慢。目前基于深度学习实现目标定位技术已开始应用于轨道领域，尤其是在轨道结构部件定位方面取得了良好的效果[10-14]，但此类算法目前尚无应用于位移测量的先例，将其直接应用于位移测量尚存在诸多问题，如对于不同光照条件、不同拍摄角度等情况的适用性不强，精度也不能满足要求等。因此在进行位移测量时，对于有标靶的无砟轨道目标图像，研究可用于位移测量的基于深度学习目标追踪算法，实现感兴趣区域(Re‐gion of interest,ROI)的自动有效提取是必要的。基于此，本文提出一种基于Faster R-CNN(Faster Re‐gions with CNN)的ROI区域自动提取方法。根据双块式无砟道床板间纵向相对位移监测特点，利用人工标靶图片作为基础，基于Keras 深度学习库对样本集进行有针对性的图像数据增强，丰富样本类型，建立适用于西北地区复杂环境的人工标靶数据集。另外对Faster R-CNN 算法模型进行优化，提高对于小目标检测的精度与效率，可自动识别人工标靶在图片中的位置，对ROI 区域进行快速准确提取，最后基于机器视觉测量技术得到无砟道床板间纵向相对位移，为无砟轨道位移测量、结构状态检测打下基础，对保障高铁列车安全运行具有实际意义。

1 无砟道床板间相对位移非接触式测量原理

1.1 基本原理

本文所量测对象为双块式无砟道床板间纵向相对位移，图1 为基本检测原理，点P(X,Y,Z)为固定在轨道结构上的人工标靶的中心坐标，在无砟道床侧方向路基上安装摄像机，定时获取包含标靶的图片，该标靶中心在图像坐标系中坐标为p(u,v)，Oc为摄像机光心。

图1 道床板间纵向相对位移测量原理Fig.1 Measurement principle of longitudinal relative displacement between ballast slabs

为了有效地获取P点坐标，需要将图像坐标映射到轨道坐标，有：

其中：Zc为人工标靶到摄像机光心之间的距离在光轴上的投影长度，在测量过程中是已知的；M为参数矩阵，其值为：

式中：第1 个矩阵为内参数矩阵，Fx，Fy分别为图像平面中x，y方向的等效焦距，Cx，Cy分别为光轴与像面焦点在图像平面中x，y方向的图像坐标；第2个矩阵为外参数矩阵，R，T分别为3×3旋转矩阵和3×1平移矩阵[5]。

在视觉测量模型中，标记点中心坐标单位是像素(pixel)，道床板间纵向相对位移单位是mm，需要通过标定将像素单位转换为长度单位。初始标定中，将已知2个圆心距离的标定板固定于道床板上，若忽略外界环境因素，设2 个圆心(中心坐标(x1,y1)和(x0,y0))的实际距离为L，则标定系数k为：其中：j表示第j个圆形标记点，取1～4，n表示第n张图像。

1.2 无砟道床板间相对位移测量方法

根据上述原理，现给出无砟道床板间相对位移有效测量计算流程，如图3所示。

图3 无砟道床板间纵向相对位移测量流程Fig.3 Measurement process of longitudinal relative displacement between bed plates of ballastless track

Step 1：基于图像增强技术扩充样本数量，标注无砟道床板图片建立数据集，结合Faster R-CNN 网络结构进行位移检测模型的训练；

Step 2：在检测模型训练完成后，输入待检测图片，自动提取目标ROI区域；

第三，充分利用互联网和新兴媒体，开通多层次、多渠道的营销网络，加大互联网促销力度，形成直销和代理相结合的特色营销渠道。

Step 3：对ROI 区域图像进行处理，如二值化、滤波降噪、提取标定圆等，利用式(4)计算无砟道床板间纵向相对位移。

图2 标记点的位移测量Fig.2 Displacement measurement of marked points

2 基于Faster R-CNN 的ROI 区域自动提取算法

2.1 样本集扩充与构建

鉴于西北地区无砟道床板服役环境的复杂性，风雨雷电等因素影响显著，由于前期测试中仅有少量图片样本，而通常为了实现样本有效提取，避免算法中过拟合问题，作为目标识别的深度学习样本数量要求至少为2 000 个。所以，本文基于Keras 深度学习库[8−9]，对样本集进行有针对性的图像数据增强，使之适用于西北地区复杂环境中拍摄的变化较大图片，建立适用于西北地区环境的样本库。根据图1中无砟道床板间纵向相对位移测量特点，由于测量对象中目标方向的改变不会影响识别结果，可以通过对现有无砟道床板图片样本集进行采用翻转和旋转方法，生成新的无砟道床板图片样本库，使其满足目标检测样本数量要求。

这里采用以TensorFlow 平台作为后端，通过调用内嵌的Keras图像数据增强Image Data Genera‐tor软件包，建立图像生成迭代器，经过样本试算，令旋转最大角度为30°，亮度参数为0.1～5，可将现有700 余张采样样本，扩展为样本数量为5 622的样本库，满足了深度学习对于样本数量的要求。在此基础上，进行数据集的构建，利用手工框选定位图像中标靶位置，并标注目标检测所需数据，如图4 所示。将标注信息保存为xml 文件，然后使用TensorFlow 平台将xml 文件转为二进制数据TFrecord文件，以便后续进行数据处理。

图4 图像标注Fig.4 Image annotation

2.2 人工标靶目标检测

本文参考了原始的Faster R-CNN 算法模型，对模型进行优化，提高对于本文使用的人工标靶一类小目标检测的精度与效率。然后基于优化的Faster R-CNN模型对无砟道床板间纵向相对位移测量图像中人工标靶ROI 区域进行目标检测。主要思路是先通过CNN 中卷积层对任意一张原始图像进行特征映射图提取；再经过区域建议网络(Re‐gional proposal net，RPN)中softmax 激活函数计算映射图中每个特征点的概率，生成若干候选域；最后利用综合卷积层提取特征映射图与候选域，进行感兴趣区域池化提取候选特征图，通过分类和边框回归，精确标记图中的人工标靶。本文所用Faster R-CNN模型如图5所示，具体方法如下。

图5 Faster R-CNN模型结构Fig.5 Faster R-CNN model structure

Step 1：利用CNN 网络卷积层进行位移图像特征提取，采用VGG16 模型，具体参数为13 个卷积层、13个ReLu激活层以及4个池化层。

Step 3：用3×3 卷积核滑窗对特征图进行搜索，然后利用softmax 激活函数计算映射图中每个特征点的概率P，提取概率前300 的区域作为目标ROI 候选域。

Step 4：将交并比IoU(Intersection over Union)作为衡量ROI候选域准确度的指标：

A 和B 为2 个候选域面积。利用IoU 作为指标修正原始目标ROI 候选区域的边框，从而获取真实的ROI区域。

3 实例验证

3.1 样本来源

为了验证所提方法的有效性，本文在某250 km/h的双块式无砟轨道线路上安装了基于Am‐link-Temolin 的道床板间纵向相对位移监测系统，可实现24 h 在线监测；其中，人工标靶粘贴于道床板侧表面，材质为氧化铝，表面光滑且垂直于地面，一般情况下不会受到污染；必要时也可通过更换新的人工标记点或更新后续图像的样本集来保证测量系统长期监测的准确性；摄像单元采用CMOS传感器，镜头分辨率为400万像素，图片分辨率为2 560×1 440。设备安装和人工标靶如图6所示，摄像单元拍摄图像如图7所示。

图6 监测设备现场安装情况Fig.6 Monitoring equipment installation on site

图7 现场拍摄图像Fig.7 Live images

3.2 方法有效性

采用前文所提算法，采用基于python3.6 的TensorFlow平台，TensorFlow版本为1.3.0，系统环境为64 位Windows10，利用Faster R-CNN 模型对实际无砟道床板间纵向相对位移检测图像进行识别。考虑到标靶大小固定，实践中将RPN 网络的批处理尺寸固定为256；同时，为使网络模型更加全面、减小过拟合，设置随机失活值为0.5；模型训练时设置最大迭代次数为20 000 次，优化器为Adam，权值衰减系数为0.000 5，学习率为0.001。结果如图8 所示，图中98%，99%即准确率，意味着正确检出样本的概率，可直观反映模型的效果。

图8 目标检测效果Fig.8 Target detection rendering

为评价检测结果，这里采用召回率(Recall，R)、准确率(Precision，P)以及多类别平均准确率(mean Average Precision，mAP)3 个指标[8]进行说明。召回率R是指检出样本占所有样本的比例；准确率P是指检出中正确样本的占检出样本的比例；mAP值是多类别AP(Average Precision)值的平均值，AP值越大模型效果越好，反之越差。

本文所用方法在经过20 000 次迭代之后的召回率R为99.16%(成功检测出2 790 个，未检测出21 个)样本检出结果如图9 所示，准确率P为98.91%(正确检测2 761 个，错误检测29 个)；未检测出及错误检测的主要原因是训练使用的样本集中缺少与之相近的样本图像，这也是本文算法可改进的地方，可通过增加样本集数量、提高样本集多样性、增加训练次数等减少此类情况；另外由于个别图像拍摄时的环境恶劣等客观原因导致图像质量较差，也可能导致无法识别人工标靶。mAP值为0.891 2，模型综合素质较好。这说明基于Faster R-CNN 的ROI 区域自动提取算法可以实现无砟道床板间纵向相对位移测量中靶点ROI 区域的准确提取。

图9 样本检出结果Fig.9 Sample test results

为验证本文所用的机器视觉位移测量方法的准确性，设备在现场安装之前，先设计进行了室内相关试验，确定方法的测量精度进而证实其有效性。经过对比试验，最终确定参数为镜头与标靶距离5 m，人工标靶边长60 mm，标记圆直径18 mm，镜头使用M12 标准50 mm 长焦距镜头，夜间补光采用功率3 W 的LED 灯珠作为光源，左右倾角为0°。通过试验设备精确控制标靶位移，单次位移值1 mm，共计10 次，总位移为10 mm。使用本文机器视觉位移测量方法计算标靶位移变化，分析测量精度，结果如表1所示。

表1 测量位移与实际位移对比Table 1 Comparison of measured displacement and actual displacement

由表1 可知，本文方法在测量1 mm 位移时误差均小于1.5%，即0.015 mm，在误差的允许范围之内，且精度较高，满足无砟道床板间纵向相对位移测量需求。

3.3 方法效果验证

为验证本文方法效果，将现有常用目标识别算法YOLO v3[10]，SSD[11]，Fast R-CNN 算法[12-13]进行比较，其中，YOLO v3 模型根据文献[10]在Darknet-53 网络结构基础上添加1 个步长为2 的卷积核，增加4 组残差组件，采用K-means 聚类的方法来确定先验框参数；SSD 模型根据文献[11]以Densenet 网络结构为基础，对19×19 分辨率的特征图采用卷积核为2×2，步长为2 的转置卷积参数，对38×38 分辨率的特征图采用卷积核为3×3，步长为2，扩充边缘为1 的转置卷积参数。Fast R-CNN模型参数与文献[12]保持一致。

将2.1 中数量为5 622 的样本库，输入以上几种常用目标识别算法模型中进行训练；经20 000次迭代之后，结果图10和图11所示。

图10 目标检测结果对比Fig.10 Comparison of target detection results

图11 不同算法的mAP值随迭代次数变化情况Fig.11 mAP values of different algorithms vary

由图10 可知，本文方法准确率最高，计算效率较好，满足实际监测的需求；基于Fast R-CNN的检测方法检测准确率较高，但是计算速度最慢；SSD 算法将目标检测任务转换成回归问题，降低计算量提高了计算效率，但检测准确性较低；YO‐LO v3 模型具有最快的处理速度，但其检测精度最低。

对比分析图11 可知，在前5 000 次迭代过程中不同算法的mAP值均提升较快、后趋于平稳，本文方法、Fast R-CNN，SSD，YOLO v3 的mAP值分别为0.891 2，0.869 7，0.832 6 和0.808 1，说明本文方法在模型整体性上有一定优势，可有效提高非接触式无砟道床板间相对位移测量的准确度与效率，具有实用价值。