基于综合卫星遥感的典型铁路设施提取方法研究

袁慕策 姚京川 简国辉 郭继亮 解志峰

（1 中国铁道科学研究院集团有限公司铁道建筑研究所，北京 100081）

（2 中国铁道科学研究院集团有限公司高速铁路轨道系统全国重点实验室，北京 100081）

（3 铁科检测有限公司，北京 100081）

0 引言

中国铁路运行里程逐年增长，截至2023 年11 月30 日，铁路运营总里程达到15.55×104km，其中高铁运营里程达到4.37×104km。由于运行时速高，高速铁路对基础设施性能及状态要求极高，大范围的铁路基础设施形位变化是表征铁路基础设施运营状态的重要参数。铁路设施种类多且呈长大线状分布，其形变监测要求持续周期长、精度高。目前铁路设施形变监测主要利用全站仪、物位计、移动检测车等进行监测，观测方法多为局部观测且连续性差，作业需要申请天窗点，传统的地面测量方法难以满足线路级别的铁路设施形变监测要求。

近年，中国卫星遥感技术取得了重大进展，卫星星座不断完善，遥感影像质量、空间分辨率也不断提升，重访周期缩短。遥感观测具有大范围、周期性、可溯源等优势，被广泛应用于铁路工程地质监测[1]、生态环境监测[2]、外部环境监测[3]、地质灾害监测[4]、铁路区域[5]及设施形变监测等定量化观测领域[6]。尤其在桥梁形变观测领域，高分辨率InSAR 结果应用于桥梁形变评估的关键在于如何确定微波散射点与实际铁路设施的对应关系[7-8]。

应用InSAR 技术对铁路设施形变监测结果只包含铁路设施形变信息，不包含铁路设施类别、位置等信息，无法进一步对铁路设施形变进行定量化评估，利用目标检测技术对铁路设施进行提取，能够为铁路设施的形变定量化评估提供类别与位置等参考信息。光学遥感影像空间分辨率高，光谱信息更加丰富[9]，铁路基础设施大部分为标准化结构件，在光学影像中具有特定的纹理特征与光谱特征。光学遥感的劣势在于为被动式遥感，成像质量受天气、地表覆盖等影响。SAR 遥感为主动式遥感，不受云雨天气的限制并且穿透性强[10]。综合铁路设施在光学遥感影像中特定的几何结构与背景等特征，以及在SAR 影像强度图中的特异性散射和散射差异进行提取。本文综合铁路设施在光学影像与SAR 影像中的特征，对接触网立柱进行提取，提高铁路设施提取的准确率，为InSAR 技术设施形变监测的定量化评估提供参考。

1 基于单一遥感影像源的典型铁路设施提取技术

1.1 基于光学影像的典型铁路设施提取技术

基于光学影像的铁路设施自动提取技术主要是对光学遥感影像中的铁路设施进行自动化检测，给出铁路设施的类别、位置等信息。本文以接触网立柱为例进行自动提取，由于接触网立柱尺寸较小，背景复杂，对其轮廓的精确提取造成干扰，因此对接触网立柱的自动提取研究工作主要是将其以最小范围圈定，用矩形包围框或中心点表示，这即是计算机视觉领域中的目标检测问题。基于深度学习的目标检测算法不依赖于人工设计特征提取因子，因此本文选取基于深度学习的目标检测算法对光学影像中的接触网立柱进行提取。

基于深度学习的目标检测算法分为单阶段目标检测和双阶段阶段目标检测。单阶段目标检测算法的特点是仅需将遥感影像送入网络一次就可以预测出目标的类别与位置，速度相对较快，但精度稍逊，代表算法有YOLO 系列[11]与SSD[12]等；双阶段目标检测要先生成预选框，然后进行细粒度的物体检测，速度较慢但精度较高，代表算法有RCNN 系列算法[13-15]等。考虑到要检测的目标是接触网立柱，属于小尺度目标，因此采用包含多尺度特征融合与池化精度更高的Mask R-CNN 作为目标检测算法。

Mask R-CNN 是通过Faster R-CNN 网络结构改进而来，区域生成网络（Region Proposal Network，RPN）与Faster R-CNN 相同，其在Faster R-CNN 的基础上，增加了第三个分支，输出每个ROI 的Mask掩膜，用于对目标的分割。Mask R-CNN 的损失函数L为

式中Lcls为分类损失函数；Lbox为目标检测损失函数；Lmask为分割损失函数。

Mask R-CNN 将Faster R-CNN 的ROI pooling改为ROI Align，使得目标的范围与轮廓更精确。Mask R-CNN 的整体架构如图1 所示。

1.2 基于SAR 影像的典型铁路设施提取技术

基于SAR 影像的铁路设施提取技术主要是根据不同地物微波散射特性的不同来完成特定铁路设施目标的提取工作。SAR 可以穿透云层、雨雪以及夜晚等复杂环境，并且对于不同地物具有不同的散射特性，在目标检测和识别方面具有独特的优势。通过对SAR 影像中铁路设施进行检测与识别，最终达到对特定铁路目标的定位和识别。基于SAR 影像的目标检测与识别流程主要包括：1）数据准备。获取SAR 图像数据，并进行预处理操作，如去噪、辐射校正、几何校正等，以提高图像质量和一致性。2）目标识别。首先是进行特征提取，对于检测到的目标，进一步提取详细的特征描述信息，如形状、尺寸、纹理、角点、极化信息等，这些特征信息有助于进一步区分和识别不同类型的目标；然后应用适当的目标分类算法对目标进行识别，如支持向量机（Support Vector Machine, SVM）、卷积神经网络（Convolutional Neural Networks, CNN）等。利用这些算法通过学习和训练可以识别不同的目标类别。3）结果评估。采用准确率、召回率等指标或现场验证的方式对检测和识别结果进行评估，以验证算法的性能和效果。

2 基于多源遥感影像铁路设施提取技术

2.1 光学影像与SAR 影像融合技术

光学遥感影像空间分辨率高，影像中铁路设施具有丰富纹理以及光谱等信息，但是光学遥感为被动式遥感，成像质量受天气、地表覆盖等影响，从而造成部分目标检测精度低或无法检测；SAR 影像为主动式遥感，具有一定的穿透能力，且对铁路设施具有特异性散射的特征，若融合光学影像与SAR 影像，则能够保留铁路设施在两类影像中的特征，提高铁路设施提取的准确率。

铁路场景下的影像融合是对观测区域内的多幅遥感影像进行融合，形成满足铁路观测任务需求的单幅遥感影像。遥感影像融合可分为像元级融合、特征级融合及决策级融合。像元级融合是从像元层级对光学影像与SAR 影像融合，可以保持铁路设施的散射特征，同时保留更高的空间分辨率及高精度的位置信息。特征级融合是对预处理和特征提取后的边缘、形状、纹理等进行融合处理，相较于像元级融合，对原始图像的利用率较低。决策级融合是对提取到的目标进行融合处理，需要设定准则与决策对有价值的复合数据（图像特征数据和辅助信息）的可信度进行综合评估，需要强大的外部知识库来进行决策评估。因此采用保留更多细节信息的像元级的融合方法对光学影像与SAR 影像进行融合。像元级的光学与SAR 影像融合方法包括：基于成分替换的图像融合、基于多尺度变换的图像融合以及基于PCNN 模型的图像融合[16]。

基于多尺度变换的图像融合是对图像进行多级、多尺度分解，中间数据较多，计算过程和处理难度要明显高于基于成分替换的图像融合方法，但是能够提供空间域与频率域定位，同时融合影像会保留源图像的近似信息和细节信息，如目标地物与周边地物的纹理特征与梯度信息等。

多尺度变换主要有金字塔分解、小波分解等，离散小波变换是小波变换的一种，具有良好的时频特性，被广泛应用于图像融合。

2.1.1 二维图像DWT 变换

离散小波变换（Discraete Wavelet Transform，DWT）是一种典型的基于多尺度变换的图像融合方法。DWT 变换将二维图像进行多层级分解（见图2），每一层级的分解，都可以获得一个低频子图像（LL）与3 个方向（水平HL、垂直LH、对角线HH）的高频子图像，经过N次分解后，源图像被分解为1 个低频子图像和3N个高频子图像。

图2 二维图像小波分解Fig.2 The discrete wavelet decomposition of 2D image

二维图像的DWT 分解与重构方法根据一维小波分解与重构方法转化而来。分别设置一维纵向低通滤波器Hc与高通滤波器Gc，横向低通滤波器Hr与高通滤波器Gr，则按照Mallat 算法，在二维图像分解尺度为j时，低频图像和高频图像的分解公式如下：

式中Cj为第j-1 级分解后图像的低频图像；Dj1，Dj2，Dj3分别为第j-1 级分解后的垂直方向、水平方向和对角线方向上的高频图像。根据Mallat 算法，二维图像DWT 重构方式可表示为

式中Hr∗和G∗r分别为Hr和Gr的共轭转置矩阵；Hc∗和G∗c分别为Hc和Gc的共轭转置矩阵。

2.1.2 基于DWT 变换的影像融合

选择“北京三号”A 卫星影像与TerraSAR-X 影像作为源图像进行融合处理。主要过程包括：1）数据预处理。对待融合的光学影像与SAR 影像进行预处理，使得两幅影像具有相同的投影系统、地理范围等。2）DWT 分解。对预处理得到的光学遥感影像与SAR 影像分别进行3 级分解，得到光学遥感影像与SAR 影像的低频部分与高频部分。3）低频和高频部分融合。选择特定的融合方法与策略，分别对SAR影像与光学影像的低频部分与高频部分融合。4）DWT 重构。将光学影像低频部分与SAR 影像的低频部分采用局部能量最大规则进行融合，得到融合图像的低频部分，将光学影像高频部分与SAR 影像高频部分采用局部方差最大规则进行融合，再将低频部分与高频部分通过式（3）进行DWT 重构，获得最终的融合影像。

上述过程中，低频部分和高频部分的融合分两个步骤进行：

1）影像低频部分能量计算。SAR 影像和光学影像的p行q列处低频部分的局部能量ESAR(p,q)、E光(p,q)的计算公式分别为：

式中 ω (m,n) 为权重系数矩阵在滑动窗口区域 (m,n) 处的权重值；C0,SAR(p+m,q+n) 和C0,光(p+m,q+n)分别为SAR 和光学影像DWT 分解后的低频图像在 (p+m,q+n)处的像元值。根据局部能量最大原则，则融合后的低频子影像在 (p,q) 处的像元值C0,F(p,q)为：

式中C0,SAR(p,q)和C0,光分别为SAR 和光学影像DWT 分解后的低频图像在 (p,q)处的像元值。

2）高频部分包含光学影像与SAR 影像原始图像的形状、边缘、角点等信息，采用局部方差最大规则进行融合。SAR 影像和光学影像原始图像的方差计算公式分别为：

式中Djk,SAR(p+m,q+n) 和Djk,光(p+m,q+n)分别为SAR 影像和光学影像第j层DWT 高频分解的图像，其中k=1, 2, 3 分别对应高频图像水平、垂直、对角线三个方向； σjk,SAR(p,q) 和 σjk,光(p,q)分别为Djk,SAR(p,q) 和Djk,光(p,q) 在以 (p,q)为中心的窗口区域内的局部方差；jk,SAR(p,q) 和jk,光(p,q)分别为Djk,SAR(p,q)和Djk,光(p,q) 在以 (p,q)为中心的窗口区域内的像元值均值。

融合后第j级分解的高频图像在 (p,q) 处的像元值Djk,F(p,q)为：

2.2 多源遥感影像典型铁路设施提取技术

融合影像的铁路设施提取算法及流程与1.2 节中提到的SAR 影像铁路设施提取过程类似，首先计算铁路设施在融合影像中的特征，再利用分类器对特征进行分类，从而完成铁路设施的提取。

本文采用DWT 对光学影像与SAR 影像进行融合，DWT 将光学影像与SAR 影像进行低频与高频分解，保留图像中的低频与高频信息。高频信息代表图像变化剧烈的部分，如物体的边缘、角点等。由于接触网立柱尺寸较小，通常在SAR 影像表现为一个或几个像元，因此采用角点检测与SVM[17]方法对接触网立柱进行提取。

角点检测算法主要包括基于灰度图像的角点检测、基于二值图像的角点检测和基于轮廓曲线的角点检测这3 类方法。利用接触网立柱与周围地物的梯度差异进行角点检测一般采用Harris 角点检测算法，该算法是典型的基于灰度图像梯度的角点检测算法，对二维平移、少量的光照及视角的变化具有鲁棒性。

2.2.1 Harris 算子

Harris 算子[18]是Harris 和Stephenes 提出的特征点提取算子，应用微分方程和像元的自相关函数来检测图像中存在的角点。图像中，若某点的像元值与周围像元值差异较大时，被判定为角点。在检测过程中，向x方向与y方向移动检测窗口，在这两个方向分别产生u和v的像元值变化量，对应产生的灰度值变化的自相关函数E(u,v)可描述为：

式中 φ (x,y) 为权重系数矩阵在滑动窗口区域 (x,y) 处的权重值；I(x+u,y+v)与I(x,y) 分别代表检测窗口移动前后的像元值。

用泰勒公式展开并简化后，形成自相关矩阵，其特征值为自相关函数的一阶曲率，用于计算角点响应值，自相关矩阵M为

式中Ix、Iy分别为图像在水平、垂直方向的偏导函数。

则角点响应函数R的数学定义为

式中k是设置的经验参数； λ1与 λ2为自相关矩阵的特征值，特征值反映了像元之间的变化程度。通过设置角点响应阈值T，若R≥T，则判定该像元点为角点。

2.2.2 SVM

SVM 是一种用于二分类学习的监督分类算法，通过寻找两类目标间隔最大的分割超平面完成目标的二分类。该分类方法在一组类别已知的数据集中，通过特征向量与标签值训练分类器，获得目标分类的参数与边界，从而更好地对测试数据进行分类。

线性二分类是对特征向量χ的线性组合。存在一组线性变化参数(w,b)（其中w为线性映射向量，b为平移参数），使得其线性变化值与标签值符号一致，若χ的线性组合值大于0，其值取1，若小于0，其值取-1，用数学形式可表示为

式中t为向量χ的线性组合值的符号值。

当目标向量线性可分时，需要训练获得一组参数(w,b)，使得数据线性变化之后的值与标签值乘积k(χ)>0，即：

当目标向量线性不可分时，无法找到超平面将数据集分开，需要利用核函数对目标向量进行高维空间变化，使得目标向量在高维空间线性可分。

3 试验与分析

3.1 试验区域

选取某铁路作为试验区域，该铁路位于华北平原，于2020 年12 月27 日全线运营，全长106 km，设6 座车站，运营速度按250 km/h 与350 km/h 分段设计。试验区域内有接触网立柱约950 根，常用接触网立柱尺寸如表1 所示。根据《铁路电力牵引供电设计规范》（TB10009—2016）要求，接触网线距轨面的最高高度不应大于6 500 mm[19]，接触网立柱的整体高度通常在7.5 m 以上，在分辨率为3.5 m×3.5 m的SAR 影像中，表现为一个或几个像元；在分辨率为0.5 m×0.5 m 的光学影像中，其包围框大于3 像元×3 像元。

表1 常用接触网立柱尺寸Tab.1 Common dimensions of overhead contact line pillars

3.2 试验数据

选取2022 年4 月“北京三号”A 卫星光学影像、TerraSAR-X 影像强度图像以及两者的融合影像作为试验数据，对铁路接触网立柱进行提取。

“北京三号”A 卫星和TerraSAR-X 光学影像的参数如表2 所示，影像如图3 所示。

表2 “北京三号”A 卫星和TerraSAR-X 卫星参数Tab.2 Beijing 3A satellite and TerraSAR-X satellite parameters

图3 试验区域的光学遥感影像和SAR 影像Fig.3 Optical remote sensing image and SAR image of the experimental area

3.3 目标提取试验

在试验区域内开展基于光学影像、SAR 影像以及融合影像的接触网立柱提取试验，获得接触网立柱的类别与位置信息，该区域内有接触网立柱约950 根，考虑工程实际需求，通过现场验证的方式，对提取结果进行分析，为铁路设施InSAR 形变定量化评估提供参考。

（1）光学遥感影像接触网立柱提取

1）数据准备。首先进行缓冲区分析，建立铁路线路2 000 m 缓冲区，利用缓冲区对光学遥感影像进行裁剪；然后进行数据集制备，将“北京三号”A 卫星R，G，B 三个波段的遥感影像裁剪为256×256 大小，横向重叠度与纵向重叠度为25%，对影像中的接触网立柱进行标注，并按照7∶2∶1 划分训练集、验证集与测试集。数据集影像与标签如图4 所示。

图4 数据集影像与标签Fig.4 Dataset images and labels

2）模型训练与测试。首先用特征提取网络处理原始图像，得到特征图像，同时将特征提取网络输出的特征输入到RPN 网络中，得到相应的锚框。得到锚框和特征图后，采用ROI Align 算法，将每个锚框对应的特征图归一为相同尺寸。在得到每个锚框的特征图之后，将该特征图输入到全连接层中，再分别经过回归层和分类层得到Box Regression，也就是锚框位置矫正和分类，从而获得该锚框中目标划归为每一类的概率。铁路线路接触网立柱样本较少，训练过程中模型权重不易收敛，所以采用了迁移学习的策略，将其他线路的接触网立柱样本[20]训练权重作为初始权重，利用试验区域内的接触网立柱样本进行训练微调，直至模型权重收敛；对数据集中的所有接触网立柱进行提取测试，得到试验区域的接触网立柱提取结果。

3）提取结果后处理。将所有接触网立柱提取结果赋予投影并进行拼接，得到试验区域内接触网立柱的提取结果。对于影像重叠区域内的提取结果，若两个识别框交叠度大于60%，则认定为一个接触网立柱。

（2）SAR 影像接触网立柱提取

1）数据准备。首先进行数据预处理，对SAR 影像进行辐射校正与几何校正，得到SAR 影像的强度图像；然后进行重投影与缓冲区分析，将SAR 影像投影到与光学影像相同的坐标系，并利用2 000 m 的缓冲区对SAR 影像进行裁剪。

2）特征提取。SAR 影像空间分辨率较低，接触网立柱在影像中只占据一个或几个像元，现有算法难以对其轮廓及范围进行检测，利用接触网立柱与周围地物的梯度差异，通过Harris 算子对整个影像进行角点检测，同时利用线路的位置及范围对线路中的角点进行筛选检测，从而获得铁路线路在SAR 影像中的角点特征。

3）接触网立柱提取。构建影像中接触网立柱的角点数据集，按7∶3 的比例将数据集划分为训练集、测试集，其中训练集数据用于对支持向量机进行分类训练，测试集用于对支持向量机的分类性能进行测试。测试直至支持向量机收敛，此时得到SAR 影像中接触网立柱角点的分类边界，即获取式（13）中的线性变化参数(w,b)，利用该组参数对试验区域内的接触网立柱进行提取。

（3）光学影像与SAR 影像融合影像接触网立柱提取

1）数据准备。光学遥感影像与SAR 影像融合需将光学遥感影像与SAR 影像进行裁剪与重投影，使待融合影像具有相同的投影系统与地理范围。以光学遥感影像为基准，将两幅影像进行几何精校正，在校正过程中，对铁路区域进行配准点加密，使得铁路设施在两幅影像中具有良好的空间对应关系。

2）光学影像与SAR 影像融合。对光学遥感影像与SAR 影像利用DWT 算法进行三级分解，得到光学影像与SAR 影像的低频部分与高频部分；然后根据局部能量最大原则，利用式（6），对光学影像与SAR 影像的低频部分进行融合，从而得到融合影像的低频部分；再根据局部方差最大原则，利用式（9）将光学影像与SAR 影像的高频部分融合，从而得到融合图像的高频部分；最后对融合图像的低频部分与高频部分进行DWT 重构，获得试验区域内光SAR 融合影像。

3）特征提取。融合影像空间分辨率高，同时具有对铁路设施的特异性散射特征，接触网立柱特征明显。与SAR 影像接触网立柱提取的方法相同，首先利用Harris 算子对融合影像中的角点进行检测，然后，利用线路的位置及范围对影像中的角点进行筛选，从而获得铁路线路在光SAR 融合影像中的角点特征。

4）接触网立柱提取。融合影像的接触网立柱提取与SAR 影像相同，首先构建接触网立柱的角点数据集，并对数据集按7∶3 进行划分，得到训练集与测试集，然后分别利用训练集和测试集对支持向量机进行训练和分类性能测试，直至支持向量机收敛，得到光SAR 融合影像中接触网立柱角点的分类边界，最后利用分类边界对接触网立柱的角点尽心提取。

3.4 试验结果分析

选取3 个典型验证区域，主要包括路基区域、桥梁区域以及多桥梁跨穿区域，对提取结果进行现场验证，光学影像、SAR 影像以及光SAR 融合影像在验证区域内的提取结果如表3 所示。

表3 不同影像在验证区域内提取结果Tab.3 Extracting results from different images within the validation area

现场验证区域为包含路基、桥梁以及多桥梁跨穿等典型背景环境的铁路区域，在验证区域内有接触网立柱120 根。其中光学影像中有107 根接触网立柱被正确提取，准确率可达到89.17%，在区域背景不复杂的桥梁以及路基部分的接触网立柱检测结果较好；SAR 影像中有100 根接触网立柱被正确提取，准确率可达到83.33%，在南北向或近南北向铁路的接触网立柱检测结果较好，主要与线路方向、卫星观测角度以及角点检测算法的梯度计算方向有关；光SAR 融合影像中有111 根接触网立柱被正确提取，准确率达到92.50%，融合后的影像综合了光学影像的高分辨率特征及SAR 影像对铁路设施的散射特征，在该区域内检测结果精度较高，同时根据线路以及接触网在影像中的位置可以看出，光SAR 融合影像较SAR 影像的接触网立柱位置更准确。不同影像针对不同背景环境的提取结果如图5 所示。

图5 某铁路光学影像、SAR 影像、光SAR 融合影像的接触网立柱提取结果Fig.5 The extraction results of a railway optical image, SAR image and the optical SAR fusion image catenary column

4 结论

本文针对InSAR 在铁路设施沉降定量化评估工作中对铁路设施类别与位置信息的需求，利用深度学习的方法对光学遥感影像解译，利用角点检测结合支持向量机分类的方法对SAR 影像及光SAR 融合影像进行解译，得到铁路设施的类别及位置信息；再选取某铁路试验区域，以铁路设施中的接触网立柱为目标进行提取与现场验证。3 个典型区域中120 根接触网立柱的现场验证结果表明：

1）光学遥感影像的接触网立柱提取准确率为89.17%，SAR 影像的接触网立柱提取准确率为83.33%，光SAR 融合影像的接触网立柱提取准确率为92.50%。

2）光SAR 融合影像综合光学遥感影像的高分辨率特征及SAR 影像对铁路设施的特异性散射特征，可以提高铁路设施提取的准确率，同时可对SAR 影像提取的铁路设施位置结果进行校正。

3）在实际工程应用中，可以对光学遥感影像提取结果与光SAR 融合影像的提取结果进行决策级融合，提高铁路设施的提取准确率，同时为铁路设施InSAR 定量化评估提供类别与位置等参考信息，提高设施监测的准确度。

4）光学遥感和SAR 遥感由于成像性能的差异，本身采用像元级配准融合并不适应于所有铁路设施提取，后续应根据铁路设施自身特性与成像特征，选取适当的方法进行提取。

对于铁路设施沉降定量化评估，漏检与错检会导致设施定量化评估不准确，影响列车行车安全，应进一步分析不同铁路设施在融合影像中的特征，设计针对不同设施的提取算法、参数以及提取结果应用策略，提高铁路设施提取的准确率与鲁棒性。

致谢 感谢国家遥感数据与应用服务平台对本工作提供的支持！