基于归一化互相关的亚像素双目视觉匹配方法

范新峰，程远增，付　强

(解放军军械工程学院电子与光学工程系，河北 石家庄 050003)



基于归一化互相关的亚像素双目视觉匹配方法

范新峰，程远增，付强

(解放军军械工程学院电子与光学工程系，河北 石家庄 050003)

摘要:针对当前单一的区域匹配和特征匹配精度不高的问题,提出了基于归一化互相关的亚像素双目视觉匹配方法。该方法首先采用归一化互相关匹配获得目标图像的像素级最佳匹配点；然后根据互相关函数呈现出的特性，用改进的二次曲面拟合法拟合最佳匹配点周围区域，得到费马点，该点即为亚像素级的最佳匹配点；最后对两台相机采集的图像分别处理即可得到亚像素的匹配视差。实验结果表明，该匹配方法具有较高精度，能达到0.01像素。

关键词:归一化互相关；二次曲面拟合；图像匹配；亚像素；双目视觉

0引言

双目视觉是计算机视觉的重要组成部分，即由不同位置的两台或一台相机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得空间点的三维坐标值[1]。图像匹配是双目视觉理论中的一项重要技术，其实质在于将两幅或多幅图像进行对准，求取同一目标点的视差，其匹配精度直接决定着三维信息的获取是否准确。尽管在许多场合像素级的匹配精度已经能够满足需要[2]，但在双目测距、卫星遥感、医学成像等精度要求高的场合，必须要达到亚像素级匹配精度才能解决问题。

目前，图像匹配算法很多，可以分为区域匹配[3]和特征匹配[4]两大类。如果单一地进行匹配，它们的匹配精度都只能达到像素级别[5]，必须通过亚像素定位技术来提高精度。亚像素定位技术最早在20世纪70年代由Huechel[6]提出，现已发展为图像重采样、灰度矩和曲面拟合等多种定位方法。目前针对曲面拟合法的研究较多，虽然精度有限，但运算速度快，其亚像素精度不高的原因在于曲面趋于理想化。本文针对此问题，提出了基于归一化互相关的亚像素双目视觉匹配方法。

1归一化互相关匹配

区域匹配，本质是根据某种匹配准则确定参考图像中与模板图像最相似的区域图像，如图1所示。

图1　区域匹配原理图Fig.1　Principle figure of zone matching

匹配的结果是确定二者间的相对位置。目前，常用的匹配准则有最大互相关准则、最小平方误差准则、最小均方差准则等。最大互相关准则被认为是最佳的相似程度判据[7]，在实际应用中，为了克服模板和参考图像的灰度对互相关函数的影响，需要对它进行归一化处理。

(1)

F(m,n)的取值范围是[-1,1]，其顶点(相关峰)即为最佳匹配点(模板图像在参考图像中匹配程度最高的位置)。因为数字图像的灰度分辨率是以像素为单位，那么利用NC函数进行匹配时模板图像的滑动是以整像素来进行的，所以NC匹配仅能达到像素级精度，必须过亚像素定位技术来提高到亚像素级。

考虑到NC匹配的计算量大，参考图像进行了自适应的尺度变换，缩小了匹配范围。给定参考图像，按式(2)作横向梯度计算得到梯度图。式(2)中，f(x,i+1)、f(x,i)分别是第(i+1)、i列的灰度值，Th是梯度阈值。在梯度图中找出灰度和最大的行和列，可初步确定目标位置(行列相交的点)，以该点为中心外扩一定的像素作为最终的参考图像。在该图像中，确定目标最上行、最下行、最左列和最右列像素，并留有一定余量，作为模板图像。在计算最终的视差时，进行简单的变换即可。

(2)

2改进的二次曲面拟合法亚像素双目视觉匹配

2.1二次曲面拟合法原理

曲面拟合法的思想是在最佳匹配点附近按NC函数值进行曲面拟合，然后求极值获得亚像素的匹配点。定位精度主要由拟合函数决定，文中采用的是二次曲面函数。设二次曲面函数表达式如下：

F(x,y)=ax2+by2+cxy+dx+ey+f

(3)

式(3)中，F(x,y)是位置点(x,y)处的NC函数值。将最佳匹配点坐标及其八邻域像素点坐标代入式(3)，解方程组即可得到式(3)中各系数。二次曲面函数表达式可写成矩阵表达形式：

AX=b

(4)

式中，

(5)

(7)

由于系数矩阵不可逆，上述方程组一般用伪逆矩阵法求解。此法计算量大，而本文的程序开发环境中有求逆函数cvInvert(const CvArr* src, CvArr* dst, Int method=CV_SVD)，因而采取如下处理：矩阵A奇异值分解(SVD)得到广义逆矩阵A+，则：X=A+b。

获得拟合函数后求极值即确定最佳匹配点的亚像素级坐标，如式(8)。式中，f是二次曲面函数。

(8)

2.2对二次曲面拟合法进行改进

基于二次曲面拟合的亚像素定位中，存在着亚像素精度仅达到0.1～0.2像素且拟合的二次曲面趋于理想化的问题。针对出现的问题，吸取文献[8]中亚像素边缘拟合的思想，对二次曲面拟合法进行改进，提出新的拟合方法。以最佳匹配点的八邻域点中的4个顶点为中心，分别作45°、135°、225°及315°方向上的纵切，由点及面，获得相应的八邻域像素点，如图2所示。

图2　八邻域像素点的示意图Fig.2　Schematic diagram of 8 neighborhood pixels

综上，本文的亚像素双目视觉匹配方法步骤如下：

1)进行参考图像的尺度变换，缩小匹配范围，进行归一化互相关匹配，得到像素级的最佳匹配点；

2)根据NC函数，利用改进的二次曲面拟合法拟合最佳匹配点附近区域，得到4组亚像素坐标；

3)求4组亚像素坐标的费马点，完成单目图像的亚像素定位；

(9)

3实验结果分析

为了验证上述方法的正确性和评估性能，采用基于Microsoft Visual Studio 2010+OpenCV的程序开发环境进行了仿真实验。参考图像来源于两台相机同步拍摄的飞机图像和太阳图像，如图3。

图3　飞机图像Fig.3　Airplane image

实验中，先利用归一化互相关匹配得到左侧相机图像的飞机像素级坐标并作为精度衡量基准，在此基础上进行二次曲面拟合得到亚像素级坐标；利用左侧相机图像中提取的模板对右侧相机图像进行匹配，得到右侧图像中的飞机定位坐标；计算视差并进行精度评估。表1给出了本文方法及二次曲面拟合法的有关测试结果(不连续5帧图像)。

表1　飞机图像测试结果

从表1中看，本文算法x坐标的最大精度偏差的绝对值是0.002 5，而y坐标的最大精度偏差的绝对值是0.000 6；相比之下，二次曲面拟合法坐标偏差最大值达到了0.15。因而可认为本文方法的精度可达到0.01像素以上的亚像素精度，比二次曲面拟合法的精度有所提高，对于研究亚像素的双目视觉匹配有重要意义。

4结论

本文提出了基于归一化互相关的亚像素双目视觉匹配方法。该方法首先根据归一化互相关匹配计算出目标的像素级坐标，然后通过对最佳匹配点作4个方向上的二次曲面拟合，确定新的亚像素定位坐标，计算视差完成双目视觉匹配。实验结果表明，本文方法精度达到0.01亚像素精度，提高了亚像素匹配精度，具有一定的应用价值。但在复杂背景条件下，本文方法精度有所降低，这在下一步的工作中将进行针对性研究并加以解决。

参考文献:

[1]高宏伟.计算机双目立体视觉[M].北京:电子工业出版社，2012.

[2]张凌,赵永强,张洪才,等.基于相位相关和自适应阈值的图像亚像素配准[J].火力与指挥控制,2009,34(9):24-27.

[3]孙卜效,周东华.基于NCC的存在旋转的图像匹配算法[J].传感器与微系统,2008,27(5):43-45,48.

[4]徐一鸣,刘晓丽,刘怡昕.基于角点响应函数的加权Hansdorff距离匹配算法[J].探测与控制学报,2009,31(6):29-32,37.

[5]雷鸣,张广军.基于互相关的图像匹配亚像素定位[J].光电工程,2008,35(5):108-113.

[6]M H Huechel. An operator which locate edges in digital pictures[J].Journal of the Association for Computer Machinery, 1971,18(1):113-125.

[7]Brown L G. A Survey of Image Registration Techniques[J].ACM Computer Surveys, 1992,24(4):148-150.

[8]Steger C. An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20(2):113-125.

*收稿日期:2015-11-20

基金项目:武器装备军内科研项目资助(装司2014551)

作者简介:范新峰(1990—),男，湖北武穴人，硕士研究生，研究方向：图像处理，计算机视觉。E-mail:1132544091@qq.com。

中图分类号:TN911.73

文献标志码:A

文章编号：1008-1194(2016)03-0071-04

Sub-pixelBinocularVisionImageMatchingBasedonNormalizedCorrelation

FANXinfeng,CHENGYuanzeng,FUQiang

(ElectronicandOpticalDepartment,OrdanceEngineeringCollege,Shijiazhuang050003,China)

Abstract:Aiming at the problem of low accuracy in a single regional matching or feature matching, an image matching method for binocular vision with sub-pixel accuracy based on normalized correlation was proposed. Firstly, the normalized correlation matching was used to get the optimal matching point with pixel accuracy. Then the correlation peak was fitted according to the feature of correlation function by method of improved quadratic surface fitting, and the Fermat point was gained, which was the optimal matching point with sub-pixel accuracy. Finally, the matching parallax with sub-pixel accuracy was calculated by photos of two cameras. Experimental results showed this method had high sub-pixel accuracy to 0.01 pixel.

Key words:normalized correlation; quadratic surface fitting; image matching; sub-pixel; binocular vision