基于亚像素级角点检测的双目视觉距离测量

施闻明，郭星卫，王文清

(海军潜艇学院，山东 青岛 266042)

基于亚像素级角点检测的双目视觉距离测量

施闻明，郭星卫，王文清

(海军潜艇学院，山东 青岛 266042)

摘要：要提高双目测距的精度，需要高精度的视差，为此引入亚像素检测方法。首先，采用Bouguet立体校正算法将左右图像进行极线校正，以减少匹配计算代价，提高匹配效率；然后，利用Harris角点探测器在一矩形领域内寻找一个最强特征点作为待匹配点，再采用最大互相关法对左图像进行匹配搜索确定匹配点。最后，对已匹配好的点对进行亚像素级检测，即可得到亚像素级视差。实验结果表明，该方法能将角点检测精度提高到0.001像素，测距精度也相应提高，距离越远效果越明显。

关键词：立体匹配；亚像素检测；双目测距

0引言

双目视觉测距技术仿照人类双眼感知周围环境空间深度功能[1]，利用2个摄像头拍摄从不同位置拍摄同一场景，通过各种算法对所拍摄的立体图像对进行匹配，并计算视差，然后利用三角测量原理实现距离测量。立体匹配是双目视觉测距的关键环节，也是双目视觉研究的热点。近些年来，国内外机器视觉领域的学者提出了很多立体匹配的算法[2-7]，有些达到了极高的匹配精度，但这些算法要么是针对特定应用提出的，要么是以增加计算量来提高匹配精度，因而不具有通用性。就测距而言，只需知道目标上一些特征点坐标即可达到测距目的，没有必要进行全图像匹配。针对此特点，本文提出一种高精度快速匹配策略。首先，在获取双目视觉系统内外参数的条件下，采用Bouguet算法将左右图像校正为极线水平对准状态，以减少后续的匹配计算代价；然后，利用Harris角点探测器在右图像感兴趣区域内寻找一个最强特征点作为待匹配点，建立以该特征点为领域的模板，采用最大互相关法对对左图像进行匹配搜索确定匹配点；然后再对左右图像中确定的匹配点进行亚像素级检测，得出各自的亚像素级坐标；利用得出的亚像素级角点坐标结合双目视觉测距算法即可得到目标点的距离。本文所用方法相对上述文献中提出高精度立体匹配算法而言，计算代价更小，效率更高，对于实时性要求很高的场合，如双目实时测距，具有一定的参考价值。

1双目测量原理

双目立体视觉测量基于视差原理。图1所示为简单的双目平视立体成像原理图，2台摄像机投影中心线的距离，即基线距为B。点P在左右摄像机CCD平面上投影的图像坐标分别为pl=(Xl,Yl)和pr=(Xr,Yr)。 由三角关系可得

(1)

图1　双目立体成像原理Fig.1　Principle of binocular solid imaging

设视差为D=Xl-Xr， 由此计算出特征点P在摄像机坐标系下的三维坐标为

(2)

(3)

(4)

从而可得P点在摄像机坐标系下的距离为

(5)

因此，只要能在左图像找到与右图像对应的匹配点，就可以确定出该点的三维坐标，从而实现距离测量。

2图像立体校正

当2个像平面的极线完全水平对准时，此时的匹配效率最高，视差计算也最简单。但现实中的2台摄像机几乎不可能完全做到水平，即不可能有准确行对准的成像平面，因而需要对立体图像对进行立体校正，采用一定的数学方法使立体图像对完全地行对准到前向平行结构上。本文采用基于标定的Bouguet立体校正算法对图像进行立体校正[8]。该算法通过对立体标定获取的摄像机间的旋转矩阵R和平移向量T进行数学处理，使2幅图像中的每一副投影次数最小化，同时使得观测面积最大化，以达到让极线水平对准的效果。图2为校正后左右摄像机对应的2幅图像，可以看出，校正后的图像处于极线平行对准状态。在后续的匹配搜索过程中，只需在左右图像的同一行进行搜索即可找到对应的匹配点，从而达到提高匹配效率的目的。

图2　校正后的图像Fig.2　Images after revising

3特征点提取

3.1　角点提取

特征匹配方式是基于抽象的几何特征(如边缘轮廓、拐点、几何基元的形状及参数化的几何模型等)，本文采用的特征点为角点。对于角点的定义目前尚未统一，但最普遍的定义是由Harris在文献[9]中提出的，他定义角点位于图像二阶导数的自相关矩阵有2个最大特征值的地方，即图像边缘的相交处。本文采用文献[9]提出的角点检测方法对感兴趣点进行角点检测。例如，拟选取右图像标定纸右上角作为特征点，先确定一固定大小的矩形领域为角点检测区域(大致包含拟选特征点)，然后进行角点检测，测得该点图像坐标为P(882,251)。照此方法可在右图像中检测出若干感兴趣的特征点，将这些点作为待匹配点，按照引言中所描述的方法可找出右视图对应的匹配点。图3(a)显示以特征点为中心画矩形， 图3(b)显示矩形区域内角点检测结果。

图3　角点检测Fig.3　Corner detecting

3.2　亚像素角点提取

上节所获得的角点坐标为整数值，为提高测量精度，需要精度更高的角点即亚像素级角点。文献[10]介绍了一种计算亚像素级角点的方法，其主要思路如图4所示。

图4　亚像素级角点检测Fig.4　Sub-pixel corner detecting

图4中，假设q在实际的亚像素角点附近。检测所有的向量qp，若向量qp的方向与边缘方向一致，则此边缘上的p点处的梯度与向量qp正交，如图4(a)所示；若p点位于均匀区域，如图4(b)所示，则p点处的梯度为0，这2种情况下向量qp与p点处的梯度的点积均为0。可在p点周围找到若干组梯度以及相关的向量qp，令其点积为0，求解方程组，得出的值即为q的亚像素级坐标。

4最大互相关匹配准则

基于灰度的区域匹配方法，其基本原理是在其中1幅图像中选取1个子窗口(m×n)图像，然后在另1幅图像中的1个区域内，根据某种匹配准则，寻找与子窗口图像最为相似的子图像。本文将特征匹配与区域匹配进行融合，以提取到的特征点为中心选取m×n的窗口作为子窗口，采用最大互相关准则作为约束进行匹配。

考虑到噪声的影响，定义在某个领域上的灰度相关值C(x,y)来表示灰度的相似性。具体操作方法是将左图像中的已检测出的角点q(x,y)为中心的m×n窗口的灰度领域作为范本，在右图像中以互相关函数作为2个搜索领域间的相识性测度。搜索具有同样或相似灰度值分布的对应点领域，实现同名点的匹配。互相关函数C(x,y)表示如下

当C(x,y)最大时得到右图像中点p(x,y)，此时认为p(x,y)与q(x,y)为最佳匹配点对。

4实验与分析

采用上节的最大互相关匹配准则对右图像所检测到的若干特征点在左图像上进行搜索匹配，可得与之对应匹配点。本文在右图像上任意选取了15个特征点进行匹配，匹配结果如图5所示。

图5　匹配结果Fig.5　Matching result

对所得到匹配点对再按第3.2节中的方法进行亚像素角点检测，本文采用文献[8]中OpenCV开源计算机视觉库中提供的函数cvFindCornerSubPix()进行检测，得到亚像素级匹配点之后，再计算对应的视差，结合式(2)~式(5)以及通过摄像机标定得出的摄像机内外参数即可得出特征点的距离，如表1所示。

表1　亚像素检测及测距结果

从表1中数据可看出，经过亚像素检测以后，特征点的坐标精度有了很大提高，可达到小数点后3位，这在一定程度上也提高了测距的精度。由于本文中目标距离较近，视差比较大，所以坐标精度的提高对于测距的结果影响不是很大，但对于远距离目标来说，视差很小，此时角点测量精度的提高对最终测距精度会产生很大的影响。

5结语

本文提出了一种基于亚像素角点检测的方法实现双目测距，该方法在已匹配点的基础上进行亚像素检测，将匹配点的检测精度精确到0.001像素，这对提高测距精度，尤其是远距离目标的测距精度有很大作用。由于采用极线校正，使得匹配效率更高，因而本文所用方法适用于实时性要求很高的双目视觉测距、快速三维重建等场合。

参考文献：

[1]高文，陈熙霖.计算机视觉算法与系统原理[M].北京:清华大学出版社，1998.

[2]LEVINE M D,HANDLEY O.Computer determination of depth maps[J].Computer Graphics and Image Processing,1972(2):131-150.

[3]ANGELA R,ANTONIO C,JOSE M.A dense disparity map of stereo images[J].Pattern Recognition Letters,1997(18):385-393.

[4]唐丽,吴成柯,刘侍刚.基于区域增长的立体成像匹配算法[J].计算机学报,2004,27(7):937-944.

TANG Li,WU Cheng-ke,LIU Shi-gang.Matching arithmetic of solid imaging based on zone increasing[J].Computer Transaction,2004,27(7):937-944.

[5]LIM H S,PARK H.A dense disparity estimation method using color segmentation and energy minmiation[C]//Image Processing.IEEE International Conference on,8-11 Oct，2006(s):1033-1036.

[6]王红梅,张科,李言俊.图像匹配研究进展[J].计算机工程与应用,2004(19):42-45.

WANG Hong-mei,ZHANG Ke,LI Yan-jun.Research on headway of image matching[J].Computer Project and app,2004(19):42-45.

[7]王军,张明柱.图像匹配算法的研究进展[J].大气与环境光学学报,2007,2(1):11-15.

WANG Jun,ZHANG Ming-zhu.Research on headway of image matching arithmetic[J].Atmosphere and Atmosphere Optics Transaction,2007,2(1):11-15.

[8]于仕琪,刘瑞祯,译.学习OpenCV(中文版)[M].北京:清华大学出版社,2009.

[9]HARRIS C,STEPHENS M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vison Conference,1988：147-151.

[10]CHEN D,ZHANG G.A new sub-pixel detector for x-corners in camera calibration targets[J].WSCG Short Papers，2005:97-100.

Binocular range measuring based on sub-pixel corner detecting

SHI Wen-ming,GUO Xing-wei,WANG Wen-qing

(Navy Submarine Academy,Qingdao 266042,China)

Abstract：The improvement of the range-measuring accuracy depends on the high precise parallax, so this article introduces a sub-pixel detecting method. At first, it uses bouguet algorithm to rectify the left and right images to make their epipolar line forward-parallel so that decrease the computation and improve the matching efficiency. Then it uses Harris corner detector to find a most characteristic corner as candidate matching point. After that, it uses most cross correlation matching rule to match left image. Finally, it detects the matched points at sub-pixel level to get the sub-pixel parallax .the result shows that, the method used in this article can improve the corner detecting precision to 0.001 pixel, and the range-measuring accuracy be improved accordingly, the farther the targets′ range,the more evidently the improvement of precision.

Key words：stereo matching;sub-pixel detecting;binocular range measuring

作者简介：施闻明(1982-)，男，博士，讲师，从事载运工具运用工程研究。

基金项目：海军预研资助项目

收稿日期：2013-09-29； 修回日期： 2014-03-10

文章编号：1672-7649(2015)02-0107-04

doi：10.3404/j.issn.1672-7649.2015.02.022

中图分类号：TP273

文献标识码：A