单应约束与核线约束对于影像匹配精度的对比

周郑芳，张振超，戴晨光，张栩晨

1.第二测绘导航基地,江苏 南京，210028；2.信息工程大学，河南 郑州，450001；3.测绘信息技术总站,陕西 西安，710054



单应约束与核线约束对于影像匹配精度的对比

周郑芳1，张振超2，戴晨光2，张栩晨3

1.第二测绘导航基地,江苏 南京，210028；2.信息工程大学，河南 郑州，450001；3.测绘信息技术总站,陕西 西安，710054

数字影像匹配是摄影测量作业的关键环节，其精度影响后续前方交会、生成DSM的质量。单应约束和核线约束作为两种基于先验同名点的约束准则，在提高匹配精度的同时也能提高匹配效率。本文首先对重叠的、有严重几何变形的两张影像进行特征匹配，得到可靠的高精度同名点；然后进行单应约束与核线约束实验，对比两种约束方法的精度。结果表明，在同等条件下，核线矩阵约束比单应矩阵约束精度高；同时，本文也为匹配约束中像素偏移阈值的选择提供了参考依据。

单应约束；核线约束；单应矩阵；基础矩阵；影像匹配

1 引 言

数字影像匹配是数字摄影测量的经典问题，其精度影响到空三、前方交会、绝对定向及最终生成Digital Surface Model(DSM)等摄影测量产品的精度。其原理是在两张或多张数字影像的匹配实体之间自动建立对应关系的过程[1]。这些实体可以是数字影像中的点(即像素)，也可以是数字影像中提取的线、区域、关系等其它特征。影像匹配的难点在于影像匹配本身就是“病态”问题，如匹配区域存在遮挡或重复模式时，匹配会对应无解或多解情况。要使影像匹配转化为良态问题，其解决方式是在影像匹配过程中加入匹配限制条件，约束解所在空间。匹配约束不仅可以缩小搜索范围提高效率，而且可以提高匹配精度、避免匹配粗差出现。

传统摄影测量作业模式可以看作是计算机视觉在仅有下视的严格成像条件下的应用。在计算机视觉立体几何中，常用单应约束与极线约束(摄影测量学中常称“核线约束”)来对多张影像间的几何关系进行约束[2]。在摄影测量学中，核线约束早已在影像匹配中得到广泛使用。两种匹配约束准则的优势还体现在，对于有重叠的两张影像，不需要考虑成像瞬间摄像机的位置和姿态，只需要预先获得一定数量可靠的同名像点，就可以在两张影像间确立“像点—像点”的几何关系。本文重点研究单应约束与核线约束对于影像匹配约束效果的差异。单应约束与核线约束的实现分别对应两个变换矩阵：单应矩阵[2，3]和基础矩阵[2，3]。通过对不同尺度、不同几何变形的影像进行匹配约束实验，对比两种约束效果的差异。

2 单应约束

在计算机视觉中，平面的单应性被定义为从一个平面到另一个平面的二维投影映射[3]。在严格的摄像机成像模型中，假定两张影像记录的重叠区域是平面，此时，基准影像(左像)和待匹配影像(右像)的所有同名像点的位置关系都可以用同一个单应矩阵H来表征。令左像像点坐标为(x,y,1)T，右像像点坐标为(x′,y′,1)T，它们之间的单应矩阵为：

(1)

则严格条件下同名点之间存在以下映射关系[4]：

(2)

求解单应矩阵时，把式(2)线性化后共有9个未知参数，通过已知的同名点坐标采用最小二乘法即可解出9个参数。由于通常只有8个独立参数，所以至少需要4对同名像点来计算H。实际上应尽可能利用更多可靠的同名像点，借助RANSAC (Random Sample Consensus)[5]准则对H进行优化。另外，H乘以任何一个非零实数不会改变其投影变换效果，因此通常将其归一化，使得a9=1。

3 核线约束

摄影测量立体像对中有一个很强的约束条件，称为核线几何[1]，在计算机视觉领域也称为极线几何或对极几何[2,3]。给定立体像对的两张影像，对三维空间任何一点，包含该点与两幅影像投影中心的平面称为核面，核面与两幅影像的交线称为核线。如果两张影像的相对方位已知且已知左像像点，那么另一张影像上的相应核线即可确定，而且同名像点必须位于该核线上。这样，就可以有效地把二维匹配搜索范围简化为一维搜索范围。如图1，对于具有重叠区域的左像和右像，S1、S2为投影中心，像点P1所在的核线为l1，其在右像上的同名点P2一定在l1的相应核线l2上。由此可见，核线几何关系完全由地面点P、投影中心S1、S2三点的共面关系所确定。

图1 核线约束示意图

在计算机视觉中，用基本矩阵F联系两张影像间的像点关系：

(3)

x′xf11+x′yf12+x′f13+y′xf21+y′yf22+y′f23+xf31+yf32+f33=0

(4)

从n组对应点集合中可以列出如下线性方程组：

(5)

给定至少8对同名点，在相差一个尺度因子的意义下，可以线性求解F的元素(在7组对应点时也有非线性求解方法)。超过8对同名点时，利用RANSAC[5]准则计算基础矩阵的最小二乘解。

4 RANSAC准则

RANSAC(Random Sample Consensus)即随机采样一致性算法，是计算机视觉中稳定的参数估计算法。本实验中，RANSAC的作用是排除不稳定和错误的匹配点对，对两张影像间的几何关系进行最似然模拟。其思想是根据已知同名点对估计H或F，再根据求出的变换矩阵对已知同名点对进行划分，筛选出符合模型的同名点，利用新的同名点集重新估计变换模型。这样迭代若干次后，同名点对数最多时的H或F即为最优解。

如果已知同名点对数超过计算所需最小点对，通过RANSAC算法可以得到最优的单应矩阵和基础矩阵。这一思路的作用原理是，利用尽可能多的同名像点求解的H或F更具有一般性，能对更大范围的像点进行有效的几何约束。

5 实验与分析

为了对比单应矩阵与核线约束对立体匹配的约束效果，利用不同视角、不同镜头对同一地区拍摄的影像进行实验。采用牛津大学计算机视觉实验室Graffiti模拟影像序列[6]以及AMC580五视角倾斜相机[7]在登封地区拍摄的影像进行实验。AMC580五视角相机装有1个下视镜头、4个倾斜镜头，倾斜镜头与地面夹角约为45°。多视角倾斜镜头成像模式优势在于能获取更完整的建筑侧面影像，但同时由于影像几何变形太大，影像匹配面临新的难题。第一组实验对不同视轴夹角的两对Graffiti影像分别进行单应约束与核线约束实验；第二、三组分别对从AMC580影像上截取的下视与前视、下视与后视影像以及降采样后的金字塔影像进行对比实验。

首先，利用SURF(Speeded Up Robust Features)[8]特征匹配算法获取大量子像素级同名点，利用RANSAC滤除误匹配点，确保匹配结果可靠。其次，由同名点对计算单应矩阵 ，再把所有匹配点作为检查点，计算由左像像点按照H投影到右像上的像点与右像相应同名点之间的坐标偏移，计算所有同名像点的偏移中误差，把其作为约束中误差。同样，由同名点计算两张影像间的基础矩阵F，再把这些像点作为检查点，计算左像每个像点按照F对应到右像上的核线方程，把同名的右像像点与核线的距离作为约束误差，计算所有同名像点的约束中误差。SURF算子匹配结果如图2所示，实验结果见表1。

图2 SURF匹配实验结果

表1 单应约束与核线约束精度对比

编号序号左像右像视轴夹角(°)影像大小匹配点数H约束中误差(像素)F约束中误差(像素)第一组1Img1Img215800×640400±1．52±0．862Img1Img330800×64085±3．46±1．86第二组345AMC01＿157AMC05＿153下视前视250×250500×5001000×100072126±2．12±2．93±4．24±0．6e-5±0．70±1．51第三组678AMC01＿42AMC03＿47下视后视300×300600×6001200×120072522±11．02±12．31±27．28±0．4e-5±0．59±0．98

其中，实验5和实验8均采用原始影像(未经降采样)，向上的两组都是各自的两级金字塔影像，降采样采用高斯低通滤波器。第1、2、5、8组H约束和F约束精度对比如图3所示，横坐标为用于检查的同名点序列，纵坐标为像素偏移量。

图3 单应约束与核线约束像素偏移逐点对比图

综合表1和图3可以看出，不论是整体约束中误差，还是逐像点的约束精度，核线约束效果远比单应约束理想。除个别异常点外，核线约束精度普遍在2个像素以内。单应约束对于不同影像数据的约束效果差别较大，对倾斜影像下视与前视的约束中误差达到27个像素；对模拟影像约束效果较好，一般在3.5个像素以内。实际上，影像成像过程是三维物方空间到二维影像平面的投影，左右影像间的单应性关系只能是一种近似的几何关系，并非严格的单应性关系。因此，单应约束对于近似平面区域的约束效果较好，而对于高差起伏较大的区域，约束误差就会表现得更为明显。

对于多视角大倾斜影像生成的金字塔影像，不论是单应约束还是核线约束，影像降采样后约束精度比原始影像约束精度有明显提高。这是因为，在对影像进行降采样后，影像细节信息已经平滑处理，同一个单应矩阵(或基础矩阵)更能表征两张影像整体的几何变形。

6 结 论

本文进行的单应约束与核线约束精度对比实验均是基于可靠的先验同名点，二者对重叠区域的影像起到了有效的几何约束。随着求解H和F的可靠同名点数增加，H和F的精度也越来越高，越能表征影像整体的几何变形。实际应用中，往往在局部范围内利用两种匹配约束，在“小面元”内实施局部的匹配能达到更高的约束精度。在金字塔影像匹配约束中，两种约束对于降采样后影像的约束效果明显比原始影像好，因此，对于几何畸变严重的两张影像进行降采样，沿着影像金字塔自上而下、逐层匹配引导，可对匹配结果进行优化。此外，本文也为影像匹配中单应约束和核线约束像素偏移阈值的确定提供了参考。

[1]耿则勋，张保明，范大昭. 数字摄影测量学[M]. 北京：测绘出版社，2010.

[2]R. Hartley, A. Zisserman. Multiple view geometry in computer vision[M]. Cambridge University Press, 2003.

[3]G. Bradski, A. Kaehler. 学习OpenCV(中文版)[M]. 北京：清华大学出版社，2009.

[4]杨化超，张磊，姚国标等. 局部单应约束的高精度图像自动配准方法[J].测绘学报，2012，41(3)：401-408.

[5]M. Fisehler, R. Bolles. Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981，24(6): 381-395.

[6]牛津大学计算机视觉实验室：Graffiti模拟影像序列[EB/OL].[2014-11-26].http://www.robots.ox.ac.uk/～vgg/data/data-aff.html.

[7]上海航遥信息技术有限公司. AMC580[EB/OL]. [2013-09-26]. http://www.shhangyao.com/company/a1.

[8]H. Bay，T. Tuytelaars, L. V. Gool. SURF: Speeded up robust features[C]. European Conference on Computer Vision, 2006.

Comparison of Homography Constraint with Epipolar Geometry Constraint on Image Matching Accuracy

Zhou Zhengfang1, Zhang Zhenchao2, Dai Chenguang2, Zhang Xuchen3

1. The Second Surveying, Mapping & Navigation Base, Nanjing 210028, China 2. Information Engineering University, Zhengzhou 450001, China 3. Technical Division of Surveying and Mappping, Xi’an 710054, China

Digital image matching is critical in photogrammetry, whose accuracy directly influences the process of forward intersection and quality of DSM. As for homography constraint and epipolar line constraint are the constraint criteria based on the known matching pairs, they can improve matching accuracy as well as efficiency. First, this paper obtains reliable and precise matching pairs by establishing the feature matching on the two overlapping images with serious geometric distortion. Then it conducts homography constraint and epipolar line constraint experiments to compare the accuracy of the two constraints. The results show that epipolar geometry constraint can achieve higher accuracy compared with homography constraint under the equivalent conditions. Besides this paper also provides references for choose of pixel offset threshold in the image matching constraints.

homography constraint; epipolar line constraint; homography; fundamental matrix; image matching

2014-12-24。

周郑芳(1980—)，女，工程师，主要从事地图制图与地图数据服务方面的研究。

P223

A