场景与数据双驱动的隧道图像拼接方法

王照远，曹 民,2，王 毅，吴伟迪，李陶胜

(1 湖北工业大学电气与电子工程学院，湖北 武汉 430068；2 武汉武大卓越科技有限责任公司，湖北 武汉 430223；3 安庆职业技术学院，安徽 安庆 246003)

由于气候、水文和地质条件等因素影响，隧道运营中会逐渐出现不同程度的病害，影响隧道的正常使用[1]。目前，传统人眼目测或辅助仪器检测的方式效率低、人工成本高，且受天窗时间、照明、目视距离等客观条件影响，难以满足隧道检测快速性和准确性要求[2]。近年来，国内外科研机构基于多传感器融合研制了隧道病害自动化检测系统。德国SPACETEC公司研制了TS3系统，融合隧道衬砌灰度图、热成像图和三维点云图，实现裂缝识别；日本计测检测株式会社集成CCD相机、LED照明、激光扫描仪、编码器等，研制了MIS & MMS系统，可识别渗水和裂缝；法国HGH公司基于激光扫描仪和红外线扫描仪研制了ATLAS 70系统，用于探测衬砌裂缝、渗漏水和衬砌剥落病害[3]。国内武汉武大卓越科技公司研制了国内第一台以相机阵列、激光雷达以及红外传感器集成的隧道快速检测装备，适应国内3车道隧道检测，裂缝分辨率优于0.3 mm。

隧道检测中，如果多相机完全在一个平面且相机间没有相对运动，隧道裂缝等病害在获取的断面序列图像中是连续存在，但是，由于载体姿态变化导致相机间产生相对位移以及对相机共线共面标定精度问题，裂缝等病害在多个图片中发生错位现象，如果不进行高精度拼接，一个病害会被识别成多个病害而影响隧道检测状况评定。杨磊等[4]研究了一种结合空域和频域的序列图像配准方法，改进平移参数的估计，解决了图像的自动排序问题，并且减少了算法计算量，提高了效率；王文锋等[5]研究了适用于光场深度图像的序列图像拼接算法，解决了光场序列图像拼接效率低的问题；任刚等[6]研究了基于圆柱面映射的序列图像配准方法，但是存在采集数据时，要求相机恒速转动的问题。

隧道衬砌特征少，单纯依赖图像匹配方法难以解决实际工程中的隧道检测序列图像拼接问题，本论文提出一种场景与数据双驱动的隧道图像拼接方法。在隧道衬砌图像使用基于特征点的图像拼接算法无法检测出足够的特征点时，利用隧道图像采集过程中的相机之间位置关系，实现图像的配准；在图像质量较好时，使用基于特征点的图像拼接算法提取特征点进行匹配，计算变换矩阵，实现图像配准。

1 相关工作

论文的研究数据来源于武汉武大卓越科技公司研制的隧道快速检测装备，该检测装备是支持在正常行车速度下对公路隧道实施快速隧道结构性病害、水害和冻害检测的高端检测装备和数据处理系统，系统在自旋转传感器集成平台上集成面阵相机阵列、红外相机阵列、大功率LED阵列、INS/GPS/DMI及高精度激光扫描仪等传感器，能对隧道衬砌表面裂缝、温度及形变进行高精度快速测量。自旋转刚性支架上集成了16台高分辨率CCD相机，依据每个相机对应隧道不同物理位置和其到衬砌的距离，选择了不同焦距的相机，以保障每个相机数据的物理分辨率，根据国内交通行业规范，数据分辨率为0.3 mm。为了给每个相机提供物距测量和隧道定位估算，装备集成了高频率、高精度激光雷达，通过静态标定方法确定每台相机的物距计算方式和相机对应的激光雷达测量角度。实际检测中，每次检测测量半幅隧道，通过旋转测量支架达到通向行驶覆盖整个隧道检测的目的(图1)。同时，所需的相机设备的台数与图像分辨率之间关系见式(1)。

图1 检测装备和标定板

假设隧道断面弧长为L，图像的分辨率为p，图像的尺寸为M×N，那么有：

(1)

其中，n表示覆盖半个隧道面所需要的相机的台数。如果断面弧长为23 m，图像纵向方向像素个数N=3600，图像分辨率要达到0.2 mm，则计算可知，需要相机16台。

多相机中心线共线可以保证多相机行车方向数据的最大化利用，多相机的共面能保证多相机数据具有共同的测量姿态，利于数据的变化处理，同时，相机获取数据的计算需要测量相机到隧道衬砌的物理距离，相机与相机间、相机与激光雷达的关系标定可以有效解决这个问题[7]。多相机共线和共面标定方法为不断调整相机位置，并且在每次移动后利用相机拍摄标定板，将所有相机的中线调至一条直线上便于实现共线；如果想实现共面只需利用标定板中的一个十字形符号，使其在每个相机图像中都不发生形变即可。标定板如图1c所示。相机与相机间的位置关系和相机与激光雷达间的位置关系可以通过全站仪进行标定。相机中心线之间的角度可以通过确定相机中心线对应的激光线的位置确定。

2 隧道衬砌图像拼接

隧道衬砌特征点少，相邻图像间可能没有匹配的特征点，完全依赖图像特征点匹配方法进行拼接存在失配现象，为保证最终能实现隧道断面图像的拼接，利用测量场景的多相机和激光雷达的安装标定几何信息进行图像位置定位和粗解算，得到图像顺序和基本定位，在定位的基础上计算相邻数据图像的关系，在相交的两图像中进行特征点匹配，参照特征点进行配准，实现序列图像的高精度拼接。

2.1 拍摄场景驱动粗拼接

隧道测量多传感器安装在一个刚性的支架上，相机间关系以及相机与激光雷达的关系事先经过高精度标定。激光雷达数据用于隧道三维建模，获取每个相机的物距，每个相机根据需要的数据分辨率选择不同焦距镜头，保证数据物理分辨率。对于激光雷达测量的三维点云数据，在去除地面噪声后，利用ICP算法[8]匹配单个断面使多圈点云重合在一起，通过取点云最外围获得去噪后的点云，然后利用Delaunay三角剖分算法[9]进行三维重建。在此基础上，几何标定数据建立相机拍摄场景模型，计算图像位置关系和质量参数。

激光雷达采用以设定的角度间隔(如0.1°)逐点扫描进行测量，在扫描一周的激光线中可以提取一条几乎与相机主光轴方向一致的激光线。将每台相机和与其主光轴方向一致的激光线绑定，便可以确定每台相机主光轴与隧道衬砌的交点，即图像的中心，因此，可以确定每张图像的中心对应于隧道衬砌中的位置。同时，通过激光雷达与衬砌距离以及激光雷达与相机间的位置关系可以解算出相机的物距。通过相机物距可以计算各个图像的空间分辨率以评估图像质量，根据图像中心点间的位置关系，能够定位图像在全景图中的理论位置，可以计算相邻图像之间的空间关系，即相离、相交或相切。从而得到所有图像放置在理论位置上的图像粗拼接结果(图2)，其特征是所有图像的中心点都在一条直线上。如果相邻图像不相交，那么这两张图像拼接结束。

图2 粗拼接示意图

2.2 图像数据驱动配准融合

场景数据粗解算可以对序列图像进行定位，但由于传感器平台以及标定参数误差，相邻相机的数据总存在错位现象，对于有重叠的数据，如果图像存在特征，则可以利用数据特征点匹配进行数据配准。在图像质量较好的情形下，可以通过特征匹配获得高精度的图像配准变换矩阵，即基于图像数据驱动的配准模式。本文对相邻相机拍摄的两张灰度图像采用SURF算法[10]求解变换矩阵，该方法主要有6个步骤：特征点提取、尺度空间构建、特征点定位、特征点描述、特征点匹配和剔除误匹配。

SURF算法使用Hessian矩阵提取特征点[11]。为了加速和简化计算过程，使用盒状滤波器来代替高斯滤波器，并且在计算中使用积分图像。利用盒状滤波器模板建立尺度空间，图像尺度等于盒状滤波器尺度σ[12]。其中，最小的尺度图像由9×9的盒状滤波器滤波得到，基准滤波器的高斯函数σ=1.2，其它滤波器通过该滤波器扩展。

通过设置阈值，Hessian矩阵行列式值低的像素和非极大值的像素点均会被去除。为了满足尺度不变性，不仅需要与被检测像素所在的尺度图像的邻域像素比较，还需要与相邻尺度的图像像素比较。然后应用插值法确定特征点位置。

SURF算法描述符包含若干个子区域，每个子区域用一个4维特征矢量表示，16个子区域形成64维特征矢量。基于描述符，计算近似Hessian矩阵的行列式的迹，如果迹同号，则初步确定两个点匹配。进一步计算这两个匹配点的特征描述符间的欧式距离，检测相似程度，对于相似程度高的匹配点，再采用RANSAC算法[13]对匹配结果进行修正，最终确定匹配成功点，从而提高匹配精度。配准过程见图3。

(a)原始图像

(b)提取特征点

(c)特征点匹配

(d)剔除误匹配图 3 配准过程

所有图像配准完成后，基于SURF算法对图像的配准结果，重新确定图像的中心点之间的相对位置关系。检测过程中由于检测装备快速移动，且相机支架并不是理想的刚体，图像的中心点会发生细微移动，使图像中心点并非理想地排列在一条直线上，而是有相对的错位(图4a)。

(a)断面图像拼接结果示意图

(b)提取有效区域后最终结果示意图图 4 图像数据驱动配准

基于上述拼接定位结果，首先计算序列图像在全景图中相对的位置关系，得到所有图像在高方向上的有效区间(图4b)。然后计算相邻图像的重叠关系和物理分辨率，在隧道检测中，需要最大化使用高分辨率的数据，因此，基于计算的重叠关系和分辨率，对相邻图像的重叠部分保留分辨率高的数据。拼接结果见图5。

3 实验

采用隧道快速检测系统(ZOYON-TFS)采集实验数据，总共有3条隧道的数据被用于本实验。实验从其中抽取数据，并利用不同的算法测试一个断面16图片的拼接，相邻两张图像为一组，共计15组结果见表1(其中特征点个数从第二张图像开始记录)。

图5 实际拼接示例

针对测试数据，表1中展现了使用不同算法检测的特征点个数，以及经过RANSAC算法剔除误差后的配准准确率，其中N/A代表该数据不存在，不存在的原因是由于断面中某些图像质量较差，该组相邻图像配准失败。由表1可知，SURF和SIFT算法都能获得大量特征点，FAST算法整体求解出来的特征点数量都较少，不适合用于求解变换矩阵。并且，在特征点较多的情况下，SIFT算法有3张图像匹配错误或匹配点不够，造成无法求解出正确地变换矩阵；SURF算法有4张图像变换矩阵无法求解出来；FAST算法只有两张图像变换矩阵求解出来。对于能够正确的求解出变换矩阵的图像，SIFT算法整体的匹配正确率都较高，SURF算法的匹配正确率有4张在70%以下，其余的则高于70%。同时，统计算法运行时间，对比算法效率可得：SITF算法对于断面图像的变换矩阵求解需要196.2334 s，而SURF算法只需3.6805 s，SIFT算法所需时间大约是SURF算法所需时间的53倍。

最后，基于场景和数据对图像进行拼接，断面局部拼接结果示例见图6。

表1 特征点个数和匹配正确率

图6 隧道断面图像拼接

通过对比不同的拼接结果可知，对于图像的重叠区域，由于不同组图像重叠部分纹理特征不同、重叠面积不同，因此，图像在配准后准确率不同。纹理越明显、重叠面积越大，特征点的配准准确率也就越高，反之，则准确率越低。通过对比两种拼接方法可以发现两种拼接方法存在差异，对于场景驱动的拼接，在接缝处存在偏差，从可观测到的线型、点型等特征上看，这种偏差从几个像素到十几个像素不等，而数据驱动的拼接在接缝处偏差几乎无法通过人眼分辨。

4 结论

针对隧道自动化快速检测，设计了场景与数据双驱动的图像拼接方法。场景驱动的配准模式脱离具体的图像数据，仅仅与图像采集时的几何关系有关，不受图像质量的影响，为整个断面图像拼接提供可靠保证；同时，利用图像特征点匹配实现数据驱动的配准，数据驱动的配准模式由图像数据提供信息，为某些图像求解高精度配准关系提供可能，最后，将两种方法所求变换关系进行融合，实现隧道衬砌图像拼接。在图像拼接过程中，具有重叠部分并拥有良好局部特征的相邻图像都能实现高精度的拼接，没有重叠部分或不具备良好局部特征的相邻图像，利用场景驱动的方式为拼接提供保障。