倾斜影像与垂直影像的逐层自动密集匹配

张 丽，龚 辉，纪 松，张振超

1.西安测绘研究所，陕西 西安，710054;

2.地理信息工程国家重点实验室，陕西 西安，710054;

3.信息工程大学地理空间信息学院，河南 郑州，450052

1 引 言

多视角数字航空摄影测量技术是国际摄影测量领域近几年来发展起来的一项高新技术，它突破了传统的、单一的、近似垂直视角观察世界的局限，同时从一个垂直、多个倾斜等不同的角度进行严密的几何成像，经过高精度三维重建处理，形成具有准确地理空间信息和真实纹理信息的三维景观，为用户提供了一个符合人眼视觉习惯、真实直观的高精度三维地理场景。密集匹配是多视角影像实景三维重建处理的关键环节，可靠性和速度直接影响着三维重建的整体精度和效率。多视角影像密集匹配包含单一镜头影像的密集匹配以及垂直影像和倾斜影像之间的密集匹配。由于垂直影像获取的是空间物体的顶面信息，倾斜影像获取的是侧面、立面信息，将垂直影像与倾斜影像进行匹配，会带来以下四个方面的困难和挑战：①数据量大。对于五镜头多视角相机来说，一组垂直影像需要与四组倾斜影像匹配，而且多视角相机在获取数据时，一般要求达到75%以上的重叠度，数据量大幅增加。② 特征的几何变形剧烈。倾斜摄影角度通常在30°以上，导致同一地物在垂直影像和倾斜影像上的形状具有较大的差异。③成像比例尺差异较大。垂直摄影影像和倾斜摄影影像之间的成像比例尺具有较大的差异，分辨率变化较大。④影像光照差异较大、辐射差异明显。由于各镜头的摄影角度不同，获取影像时的光照条件差异较大，导致各镜头影像辐射差异明显。综上所述，由于多视角相机获取的影像存在地物几何特征变形剧烈、成像比例尺差异大、旋转和辐射信息差异明显等问题，传统的基于灰度和多数基于特征的影像匹配模型与算法应用于垂直影像和倾斜影像密集匹配时，成功率和可靠性大大降低，甚至失败。为此，在倾斜航空影像与垂直航空影像的密集匹配过程中，需要对现有算法进行优化和改进。文献[1]利用多视角影像对多种基于特征的影像匹配方法进行了分析，发现ASIFT(affine scale invariant feature transform)算法匹配出来的正确点数最多，但匹配成功率仍然很低，只有34.1%。文献[2]提出倾斜立体影像的Shi-Tomasi特征匹配方法。首先利用SIFT(scale invariant feature transform)算法进行初始匹配并估计单应矩阵，然后使用单应矩阵对倾斜影像进行射影变换，在下视影像和纠正后的倾斜影像上提取特征点，并使用NCC测度进行匹配。正确匹配点对数和匹配正确率较SIFT算法和ASIFT算法均有大幅提升，误差在1个像素之内的匹配点数可以达到45%左右，但是该方法匹配出来的点数仍不能达到逐像素匹配程度。为了实现垂直影像和倾斜影像的自动密集匹配，本文采用了特征匹配引导下的基于灰度的密集匹配方法，同时引入金字塔匹配策略，提出了一种逐层自适应密集匹配方法，实现了倾斜影像和垂直影像的逐像素密集匹配，实验结果表明，精度在1个像素以内的匹配点数达到了75%以上。

2 匹配流程与关键算法实现过程

算法整体采用三层影像金字塔分层匹配策略，流程如图1所示。上层同名点对、影像几何变形关系沿着金字塔传递到原始层，最后在原始层上实现逐像素匹配。由于倾斜影像几何变形严重，且同一张影像不同位置变形程度不一致，采用传统的灰度匹配方法计算出的同名点相关系数值很小，因此，采用特征匹配引导下的整体几何纠正附加局部几何纠正的策略，金字塔上面两层采用特征匹配，原始层采用逐像素灰度匹配。算法主要包括以下7个步骤：①对垂直影像(左像)和倾斜影像(右像)分别降采样两次得到三层影像金字塔，自下而上为第0层(原始层)、第1层(中间层)、第2层(最高层)。②在第2层上，影像经过两次低通滤波，细节信息已被大量过滤，主要表现出整体结构信息，而且影像尺寸小，匹配速度加快;由于左、右影像间尺度差异和几何变形差异较大，采用抗尺度和旋转变换的ASIFT算法对影像进行特征匹配。③ 对于ASIFT算法匹配出来的同名特征点，利用RANSAC(random sample con-sensus)准则进行过滤，剔除粗差，保证匹配结果可靠。④利用第2层传递到第1层的ASIFT特征点，在第1层计算两张影像间的几何变形关系，利用几何关系把右像往左像纠正，即等效下视纠正，消除影像之间的整体变形，再把纠正后右像上的像点按照投影逆变换关系反算到该层原始右影像上，为保证纠正和反算精度，插值方法采用双线性内插。⑤对于第1层上的左像和等效下视纠正后的右像采用高效的SURF(speeded up robust features)特征匹配得到大量子像素级精度的同名点，同样利用RANSAC准则对SURF匹配结果进行过滤。⑥在第0层，利用上面两层传递下来的特征点，构建狄洛尼(Delaunay)三角网，然后逐三角形进行纠正，补偿影像之间的局部变形。⑦采用基于灰度的匹配方法，对影像进行逐三角形密集匹配，生成密集点云数据。

图1 垂直影像与倾斜影像逐层自适应匹配总体流程

2.1 特征点匹配

目前常用的特征匹配方法为SIFT算法[3]，它较好地克服了场景平移旋转、尺度缩放引起的图像变形等问题，但SIFT算法适用于特征变形比较小的区域。由于垂直影像和倾斜影像之间地物几何特征变形比较大，解决方法是使用具有仿射不变特征的匹配方法，实验研究表明，ASIFT算法匹配出来的正确点对相对较多[1]，因此，对于最上层金字塔影像采用ASIFT特征匹配方法。ASIFT仿射变换算法是在匹配前先对相机视轴方向进行模拟以补偿几何变形，再利用SIFT算法进行匹配。

对于第1层金字塔影像，经过等效下视纠正后，已经消除了影像的整体变形，采用SURF算子进行特征匹配。SURF算子由Herbert Bay[4]等在2006年提出，本质上是对 SIFT算子的改进，与SIFT算法一样，对光照、旋转、缩放等因素具有不变性，但其速度较SIFT算法有较大提升，主要包括建立积分图像、利用箱式滤波器建立尺度空间、进行快速Hessian极值点检测、生成Haar小波建立描述子、通过距离进行匹配等5个步骤[5，6]。

2.2 等效下视纠正

根据特征点匹配结果，解算倾斜影像的旋转矩阵R，对倾斜影像按照R进行纠正，形成“近似水平”的等效影像，即等效下视影像。设等效下视影像上某点的像空间坐标为(u，v，ω)，该点在倾斜影像上的坐标为(x，y，-f)，则有：

纠正后所有像点在同一平面上，ω=-f，可得到下视影像与倾斜影像平面坐标间的对应关系：

2.3 原始层匹配

原始层匹配的主要思想是利用上面两层传递来的可靠的特征匹配点作为约束构建不规则三角网，在每个三角形内进行局部纠正，补偿多视角倾斜影像严重的几何变形，然后再采用基于灰度的匹配算法获取密集点云。原始层匹配过程及策略如下。

步骤一：特征点筛选

特征点对(三角网约束的结点)的分布至关重要。分布太稀疏，约束补偿作用不明显，灰度匹配成功率低;分布太密集，约束三角形多，局部纠正次数多，计算复杂。因此，ASIFT和SURF匹配结果在原始层叠加以后需要进行进一步筛选。特征点筛选的核心思想是对所有特征点对进行两两判定，当左、右影像上两对特征点距离小于阈值，则剔除一对。对于第i对与第j对同名点，ΔDLij为左像上两个特征点的距离，ΔDRij为右像上两个特征点的距离，剔除原则如下：

① 如果ΔDLij＜T1或ΔDRij＜T1，则同名特征分布过密，剔除任意一对。T1是重复冗余阈值，根据匹配测度进行设定，文中取5个像素。

② 如果ΔDLij＜T2或ΔDRij＜T2，则特征距离太近，对三角网约束影响不显著，剔除任意一对。T2是特征点最小距离阈值，常根据地形状况和匹配精度要求来选取，主要根据搜索范围确定，一般取传递范围的3倍方差，且T2＞T1。

③ 如果ΔDLij＞T2且ΔDRij＞T2，则两对特征同时保留。

步骤二：不规则三角网构建

不规则三角网(triangulated irregular network)约束的理论基础是视差的连续性，即在同一场景中，由于地形的自然过渡，使左、右影像的整体视差变化也必然是连续的。对于某个待匹配点，其所在的三角形约束了其在右像上的同名点的大致位置，如果对左、右影像分别构网，由于几何形变大，经常会出现主、辅三角形链码不一致的情形。本文采用狄洛尼三角网进行地形拟合，为保证左、右影像上特征点构网方式完全对应，首先对左像特征点构网，再按照左像构网的链码序列对右像构网。

每对三角形实际在左、右两张影像上对应的大体上是同一地区。几何纠正补偿是以每个小三角形面片为单元进行的。利用特征点对左像构建狄洛尼三角网后，再利用左像上三角形与特征点的对应关系，对右像的同名特征点构建狄洛尼三角形。

步骤三：基于灰度的密集匹配

根据视差连续性原则，左影像三角形内任一像点在右影像上的同名点一定位于右像相应三角形内部或周边。对于左、右影像上的一对相应三角形，分别求出外接矩形长和宽，分别以长、宽的最大值作为局部纠正单元，即矩形面片纠正。为了保证有足够周边像素参与计算相关系数，须把纠正单元再向外拓展一定数量的像素(相关系数计算窗口大小的一半)。对左面片上狄洛尼三角形确定的范围内的每一点，以右面片的同一坐标点为中心，开取n×n大小的搜索窗口，计算左面片点与右面片参考点之间的相似性测度，相似性测度局部极大且大于阈值的点，即为同名点。本文采用归一化互相关测度NCC作为相似性测度，它对匹配窗口尺度变化、像素微小偏移具有较好的适应性，取n=13。

3 实验与分析

实验采用AMC580多视角数字相机在嵩山航空摄影测量与遥感检校场的两组影像进行实验，实验采用的影像均截取自10328×7760的原始影像，数据信息见表1。

表1 实验数据信息

按照影像金字塔匹配策略，每层经过筛选后最终得到的可靠匹配点对数及第0层构建的狄洛尼三角形数见表2。其中，实验1是下视与后视匹配，第2层用ASIFT匹配筛选后剩余64对同名特征点，第1层过滤后剩余100对同名点，传递到第0层后，可以构建出含186个三角形的狄洛尼三角网，最终在第0层上进行逐像素的密集匹配，共得到214028对同名点。实验2是下视和前视影像匹配，第2层得到68对同名点，第1层过滤后剩余178对同名点，第0层上构建出340个三角形，匹配得到317551对同名点。两组实验匹配成功率均超过了75%。

表2 匹配点数及Delaunay三角形数

实验1、2各层的最终匹配结果如图2、3所示。两组结果图中，(a)与(b)分别为第2层、第1层的同名点对;(c)为在第0层上构建的狄洛尼三角网;(d)为间隔20个像素的格网匹配效果;(e)为第0层同名点生成的点云。

图2 实验1匹配结果

图3 实验2匹配结果

从图2和图3可以看出，匹配结果很好地反映了地形特征，通过人工检查，匹配精度均在一个像素以内，说明了本文方法的有效性。两组实验中图(a)的ASIFT特征匹配结果分布与图(b)的SURF特征匹配结果的分布情况类似，说明在纹理缺乏的区域都很难成功实现特征匹配。在图3(a)与(b)中，两层影像在右上角的植被区域都没有成功匹配出同名点，构建狄洛尼三角网时，这样的低纹理区域往往被少量大面积的三角形所约束，在后续密集匹配中难以实现成功匹配，所以图3(e)中右上角区域匹配点云较为稀疏。

4 结 论

针对倾斜影像和垂直影像之间存在分辨率差异大、几何特征变形严重和尺度不统一等问题，提出了一种逐层自适应密集匹配算法，算法整体上采用金字塔分层策略，对于匹配结果层层筛选、层层优化、渐进加密，实现了基于像方的全自动密集匹配，取得了较高的匹配成功率，匹配结果可靠。多视角航空摄影测量密集匹配的目标是获取全区域完整稠密的点云数据，本文算法获取的匹配点云一方面可作为侧面与顶面这种过渡区域的“过渡点云”，同时可为“下视与下视”、“倾斜与倾斜”这两种点云数据的融合提供控制。

[1]袁修孝，陈时雨.倾斜航摄影像匹配方法探究[J].测绘地理信息，2015，40(6)：1-5.

[2]赵琛琛，龚志辉，龙怡灿等.倾斜立体影像的 Shi-Tomasi特征匹配[J].测绘科学技术学报，2015，32(1)：66-71.

[3]Lowe D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision，2004，60(2)：91-110.

[4]Herbert Bay，Tinne Tuvtellars，Luc Van Gool.SURF：Speeded up Robust Feature[C].Proceedings of European Conference on Computer Vision.Australia：Springer Berlin Heidelberg，2006.

[5]石善球.基于Harris和SURF的遥感图像匹配方法研究[J].测绘与空间地理信息，2013，36(8)：52-57.

[6]胡同喜，牛雪峰，谭洋等.基于SURF算法的无人机遥感影像拼接技术[J].测绘通报，2015(1)：55-58.